Transportverfahren | sFTP (Anlieferung in der PEIQ Cloud durch Dritte) |
---|---|
Objekt | Metadaten-XML, Original-Bilder Dateigröße: >500 KB, Bilder als JPG, PNG, PDF, TIF, TIF, Gif, Bmp, SVG, RAW, WEBP, HEIC, EMF (inkl. IPTC-Infos) |
Trigger | automatisch, optional manuell, große Datenmengen sind vorher abzustimmen |
Unterstützte Drittsysteme | Typische Anbindungen sind Bild-Archive in Drittsystemen und Drittsysteme zur Content-Erstellung (Bild-Anlieferung vom Drittsystem) |
Beispieldaten | siehe unten |
Typische Drittsysteme | -- |
...
Expand | ||||
---|---|---|---|---|
| ||||
|
Mitwirkungspflichten der Kund:innen
Bereitstellung Textbilder inkl. diverser Fälle (Metadatum, Format, Farbraum etc.) zur Kontrolle und für die kund:innenseitige Freigabe für den Massenimport (siehe Mitwirkungspflichten: [7-15] Archiv - Bereitstellung Testbilder und DAM-Größe).
Bereitstellung der Bilder im importierfähigen Format.
Allgemeine Beschreibung
Der Bildimport mit Metadaten-XML dient zur Übernahme von Bildern inkl. Metadaten aus einem Drittsystem nach PRINT NGEN. Zunächst werden die Bilder inkl. ihrer in den Binärdaten enthaltenen IPTC-Metadaten vom sFTP-Server abgeholt. Die Übernahmelogik der IPTC-Metadaten aus den Binärdaten der Bilddateien in die entsprechenden NGEN Eigenschaften ist in der separaten Doku Auslesen der IPTC-Tags bei Bildern beschrieben.
...
Zum Import läuft in PRINT NGEN eine Warteschlange, die die Bilder und XMLs in folgenden in zwei den nachstehenden Blöcken importiert:.
Block 0
...
: Prüfung, ob es zu liegengebliebenen XMLs inzwischen ein zugehöriges Bild gibt
Da es sein kann, dass beim letzten Import XMLs auf dem sFTP-Server lagen, zu denen es noch keine zugehörige Bilddatei auf dem sFTP-Server gab und zu deren externer ID in PRINT NGEN auch noch kein Bild mit Status “Original” und “DBildImportArt=BilderMitMetadatenXML” vorhanden war, werden zunächst diese XMLs geprüft.
Erkennbar sind diese XMLs an der folgenden Namenskonvention image:
“image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.
...
xml”
Der durch PRINT NGEN angehängte Timestamp wird in UTC (Greenwich mean Time; Universal Time Coordinates), z. B. 20241115101530Z (auf Sekunden genau) mit zwei Unterstrichen getrennt an den angelieferten Dateinamen angehängt.
Für den durch PRINT NGEN angehängten Timestamp ist in PRINT NGEN eine Wartedauer hinterlegt. Diese liegt bei 10min10 Minuten. Ist die 10min-diese Wartedauer abgelaufen und immer noch kein entsprechendes Bild in PRINT NGEN und auch keine Bilddatei zur externen ID auf dem sFTP-Server vorhanden, wird das XML ins Fehler-Verzeichnis verschoben. Ist die Wartedauer noch nicht abgelaufen, es liegt aber immer noch kein entsprechendes Bild in PRINT NGEN oder auf dem sFTP-Server vor, bleibt das XML zunächst auf dem sFTP-Server liegen, bis die Warteschlange das nächste Mal läuft.
Ist inzwischen ein Bild in PRINT NGEN oder auf dem sFTP-Server vorhanden, wird das XML umbenannt und der durch PRINT NGEN angehängte Timestamp aus dem Dateinamen entfernt. Klappt das Umbenennen nicht, da das XML mit diesem Dateinamen noch einmal angeliefert wurde und im Import-Verzeichnis liegt, wird die Datei mit dem durch NGEN angehängten Timestamp gelöscht. (
Hier wird davon ausgegangen, dass die Datei mit dem gleichen Dateinamen, d. h. gleiche externe ID und gleicher Timestamp, auch den identischen Inhalt im XML hat.
...
Block 1
...
: Import der Bilder mit/ohne zugehörige XMLs
...
Zunächst werden alle Bilder mit oder ohne zugehörigen zugehörige XMLs importiert. Hierbei wird je angelieferter Bilddatei geprüft, ob es bereits ein Bild zur externen ID mit Status “Original” und “DBildImportArt=BilderMitMetadatenXML” gibt. Falls ja, wird das bestehende Bild in PRINT NGEN aktualisiert. Wenn es noch kein Bild gibt, wird ein neues angelegt.
...
Hierbei werden auch die XMLs mitberücksichtigt, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in PRINT NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war. D. h. es werden die XMLs mitberücksichtigt, die in Block 0 umbenannt wurden, wobei der durch PRINT NGEN angehängte Timestamp entfernt wurde.
...
Metadaten, die aus den IPTC-Infos ausgelesen wurden, werden somit in den PRINT NGEN Eigenschaften ggf. durch die Metadaten aus dem Metadaten-XML überschrieben.
Block 2
...
: Import der einzelnen Metadaten-XMLs ohne Bilddateien
Ein einzelnes Metadaten-XML sollte nur in dem Fall angeliefert werden, wenn bereits ein Originalbild mit “DBildImportArt=BilderMitMetadatenXML” zu dieser externen ID in PRINT NGEN vorliegt oder wenn direkt im Anschluss die zugehörige Bilddatei auf dem sFTP Server angeliefert wird.
Im Anschluss an den Import der Bilddateien mit oder ohne Metadaten-XMLs werden in Block 1 werden die einzelnen Metadaten-XMLs ohne Bilddateien importiert.
Auch hier werden die XMLs mitberücksichtigt, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in PRINT NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war. D. h. es werden die XMLs mitberücksichtigt, die in Block 0 umbenannt wurden, wobei der durch PRINT NGEN angehängte Timestamp entfernt wurde.
...
Beim Abarbeiten jedes XMLs wird geprüft, ob es ein Bild zur externen ID in PRINT NGEN gibt mit “Status=Original” und “DBildImportArt=BilderMitMetadatenXML”. Bilder mit zugehöriger Bilddatei zur externen ID wurden bereits in Block 1 berücksichtigt.
Falls es in PRINT NGEN bereits ein entsprechendes Bild zur externen ID gibt, werden die Eigenschaften an diesem NGEN-Bild anhand der im XML mitgelieferten Metadaten aktualisiert.
Gibt es zu einer im Dateinamen des XMLs angegebenen externen ID in PRINT NGEN noch kein Bild mit Status “Original" und “DBildImportArt=BilderMitMetadatenXML”, wird die Datei zunächst umbenannt, wobei an den ursprünglichen Dateinamen ein weiterer Timestamp angehängt wird. Diese XMLs entsprechen dann der folgenden Namenskonvention image:
“image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.
...
xml”
Beim nächsten Durchlaufen der Warteschlange werden diese XMLs mit dem durch PRINT NGEN angehängten Timestamp in Block 0 geprüft.
Dateien, die nicht importiert werden
Dateien, die mit einem Punkt im Dateinamen starten:
Dateien, die mit einem Punkt im Dateinamen starten, z. B. “.image_9876543210_08081000000.xml” werden noch geschrieben und dürfen daher von PRINT NGEN noch nicht importiert werden. Daher ignoriert PRINT NGEN beim Import alle Dateien, die mit einem Punkt starten und lässt diese im Import-Verzeichnis liegen.
0 KB große Dateien:
0 KB große Dateien werden direkt ins Fehler-Verzeichnis verschoben, da davon ausgegangen wird, dass z. B. die Verbindung beim Schreiben der Dateien unterbrochen wurde und die Dateien damit kaputt bzw. nicht vollständig sind.
Ausnahme - 0 KB große Dateien, die mit einem Punkt starten: Diese bleiben entsprechend der Regelung “Dateien die mit einem Punkt im Dateinamen starten” im Import-Verzeichnis liegen.
Dateien, die nicht der Namenskonvention entsprechen:
Dateien, die nicht der nachstehenden Namenskonvention entsprechen, können nicht importiert werden und werden somit ins Fehler-Verzeichnis verschoben.
“image_<externe ID>_<timestamp>.<Endung des Dateiformats z. B. “jpg”>”
“image_<externe ID>_<timestamp>.xml”
“image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.xml”
Ausnahme - : Dateien, die nicht der Namenskonvention entsprechen, aber mit einem Punkt starten: . Diese bleiben entsprechend der Regelung “Dateien die mit einem Punkt im Dateinamen starten” im Import-Verzeichnis liegen.
Taktung der Warteschlange
Der Import läuft im 5-Sekunden-Takt. Je Durchlauf der Warteschlange werden maximal 100 Bilder / einzelne Metadaten-XMLs importiert. D. h. in Block 1 wird je Bilddatei gezählt, in Block 2 je XML.
Wurden bei einem Durchlauf der Warteschlange 100 Bilder / einzelne Metadaten-XMLs importiert, bricht die Warteschlange ab und starten startet beim nächsten Durchlauf wieder mit Block 0.
Beispiel
...
Liegen im Import-Verzeichnis 150 Bilddateien mit/ohne Metadaten-XMLs und 150 einzelne Metadaten-XMLs ohne zugehörige Bilddatei, werden beim ersten Durchlauf der Warteschlange - nach Timestamp aufsteigend - die ersten 100 Bilder mit/ohne XMLs importiert. Wenn
Wurden in der Zwischenzeit keine weiteren Dateien angeliefert wurden, so werden beim zweiten Durchlauf die restlichen 50 Bilder mit/ohne XMLs importiert und die ersten 50, nach Timestamp aufsteigend sortierten, einzelnen Metadaten-XMLs ohne Bilddateien importiert.
Beim dritten Durchlauf werden die restlichen 100 einzelnen Metadaten-XMLs importiert, wieder unter der Voraussetzung, dass keine weiteren Dateien angeliefert wurden.
Falls in der Zwischenzeit weitere Dateien angeliefert werden, werden diese in Block 0, 1 und 2 mit berücksichtigt.
...
Beim Export der Daten durch den Anlieferer auf den sFTP-Server müssen zunächst die Binärdaten in ein entsprechendes Verzeichnis gelegt werden. Dies umfasst die Bilder als JPG, PNG, PDF, TIF, TIF, Gif, Bmp, SVG, RAW, WEBP, HEIC oder EMF.
Mapping Metadaten
vgl. Mehr dazu unter https://peiq.atlassian.net/wiki/spaces/PPSD/pages/edit-v2/1501036583?draftShareId=947c00c9-067e-4a83-844d-2fbfd755d0a2.
Übertragung der Metadaten
Im nächsten Schritt müssen die Metadaten im gleichen Verzeichnis des sFTP-Servers abgelegt werden. Die XML-Datei muss dabei bildweise geschickt werden. Mit dem Import dieses XMLs werden die Metadaten am Bild upgedatetaktualisiert.
Übernahmelogik von Metadaten nach PRINT NGEN
...
Metadaten werden nicht gesetzt, wenn die übergebenen Werte nicht zum Attributtyp (bspw. Zeichenfolge anstatt Datum/Uhrzeit für <date_time_created>) passen.
Beispiel
Code Block |
---|
<?xml version="1.0" encoding="utf-8"?> <image> <id>251-2298349</id> <status>Original</status> <object>mz</object> <underline>"Bridgerton" zählt zu den erfolgreichsten Netflix-Serien aller Zeiten.</underline> <source>privat</source> <caption>Bridgerton</caption> <filename>Beispielbild.jpg</filename> <honorar_id>mm</honorar_id> <origin>Archiv A</origin> <by_line>Max Mustermann</by_line> <edition>ma</edition> <category>pol</category> <location>Bergkirchen</location> <credit>Getty Images/iStockphoto</credit> <country>Deutschland</country> <date_time_created>31.05.2022 11:27</date_time_created> <object_name>Kulturzentrum</object_name> <service_identifier>dpa</service_identifier> <special_instructions>Kommentar</special_instructions> <title>Erfolgreiche Netflix-Serie</title> <urgency>3</urgency> <keywords> <keyword type="person" priority="1">Patrick Dempsey</keyword> <keyword type="organisation" priority="5">American Broadcasting Company</keyword> <keyword type="location" priority="3">USA</keyword> <keyword type="topic" priority="5">Serie</keyword> </keywords> <usage_instructions></usage_instructions> </image> |
...
Include Page | ||||
---|---|---|---|---|
|
Nur für PEIQ-Mitarbeiter:innen