Page Comparison

...

Mitwirkungspflichten der Kund:innen

1. Bereitstellung Textbilder inkl. diverser Fälle (Metadatum, Format, Farbraum etc.) zur Kontrolle und für die kund:innenseitige Freigabe für den Massenimport (siehe Mitwirkungspflichten: [7-15] Archiv - Bereitstellung Testbilder und DAM-Größe).

2. Bereitstellung der Bilder im importierfähigen Format.

Allgemeine Beschreibung

Der Bildimport mit Metadaten-XML dient zur Übernahme von Bildern inkl. Metadaten aus einem Drittsystem nach PRINT NGEN. Zunächst werden die Bilder inkl. ihrer in den Binärdaten enthaltenen IPTC-Metadaten vom sFTP-Server abgeholt. Die Übernahmelogik der IPTC-Metadaten aus den Binärdaten der Bilddateien in die entsprechenden NGEN Eigenschaften ist in der separaten Doku Auslesen der IPTC-Tags bei Bildern beschrieben.

...

• bei einer Bilddatei der Struktur image“image_<externe ID>_<timestamp>.<Endung des Dateiformats z. B. “jpg”>“jpg”>” bzw. beim XML der Struktur image“image_<externe ID>_<timestamp>.xml entsprechen.xml” entsprechen

• mit “image_” starten.

• nach “image_” die externe ID enthalten, die nur aus folgenden Zeichen bestehen darf: a-z, A-Z, 0-9, “-” (D.h. z.B. Umlaute und andere Sonderzeichen als “-” sind nicht erlaubt.)

• nach der externen ID mit “_” vom Timestamp getrennt sein.

• als Timestamp13Timestamp 13-Ziffern enthalten.

• als Datei Extension eine Bilddatei-Endung oder “.xml” enthalten.

Import der Daten

Zum Import läuft in PRINT NGEN eine Warteschlange, die die Bilder und XMLs in folgenden in zwei den nachstehenden Blöcken importiert:.

Block

...

0: Prüfung, ob es

...

zu liegengebliebenen XMLs inzwischen ein

...

Die Metadaten werden aus den IPTC-Infos ausgelesen und in die PRINT NGEN Eigenschaften übernommen.

...

zugehöriges Bild gibt

Da es sein kann, dass beim letzten Import XMLs auf dem sFTP-Server lagen, zu denen es noch keine zugehörige Bilddatei auf dem sFTP-Server XMLs zu dieser externen ID vorhanden sind. Sind mehrere XMLs vorhanden, werden diese nach Timestamp aufsteigend sortiert.

Hierbei werden auch die XMLs geprüft, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war.

Diese XMLs entsprechen der Namenskonvention imagegab und zu deren externer ID in PRINT NGEN auch noch kein Bild mit Status “Original” und “DBildImportArt=BilderMitMetadatenXML” vorhanden war, werden zunächst diese XMLs geprüft.

Erkennbar sind diese XMLs an der folgenden Namenskonvention:

• “image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.

...

• xml”

Das XML mit dem kleinsten Timestamp wird zuerst importiert. Alle weiteren XMLs werden anschließend entsprechend ihrer Reihenfolge mit aufsteigenden Timestamps herangezogen, um die Eigenschaften am NGEN-Bild zu aktualisieren.

Metadaten, die aus den IPTC-Infos ausgelesen wurden, werden somit in den PRINT NGEN Eigenschaften ggf. durch die Metadaten aus dem Metadaten-XML überschrieben.

Block 2 - Import der einzelnen Metadaten-XMLs ohne Bilddateien#

Ein einzelnes Metadaten-XML sollten nur in dem Fall angeliefert werden, wenn bereits ein Originalbild mit “DBildImportArt=BilderMitMetadatenXML” zu dieser externen ID in PRINT NGEN vorliegt oder wenn direkt im Anschluss die zugehörige Bilddatei auf dem sFTP Server angeliefert wird.

Im Anschluss an den Import der Bilddateien mit oder ohne Metadaten-XMLs werden die einzelnen Metadaten-XMLs ohne Bilddateien importiert.

Zunächst werden die XMLs geprüft, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war.

Diese werden entsprechend ihres Timestamps sortiert und nacheinander abgearbeitet. XMLs mit kleineren Timestamps werden zuerst importiert.

Bei jedem Durchlaufen der Warteschlange wird geprüft, ob es ein Bild zur externen ID in NGEN gibt mit “Status=Original” und “DBildImportArt=BilderMitMetadatenXML”. Bilder mit zugehöriger Bilddatei zur externen ID wurden bereits in Block 1 berücksichtigt.

Falls es in NGEN bereits ein entsprechendes Bild zur externen ID gibt, werden die Eigenschaften an diesem NGEN Bild anhand der im XML mitgelieferten Metadaten aktualisiert.

Gibt es zu einer im Dateinamen des XMLs angegebenen externen ID in NGEN noch kein Bild mit Status “Original" und “DBildImportArt=BilderMitMetadatenXML”, wird die Datei zunächst umbenannt, wobei an den ursprünglichen Dateinamen ein weiterer Timestamp angehängt wird.

Diese XMLs entsprechen der Namenskonvention image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.xml. Der durch NGEN angehängte Timestamp wird in UTC (Greenwich mean Time; Universal Time Coordinates), z.B. 20241115101530Z (auf Sekunden genau) mit zwei Unterstrichen getrennt an den angelieferten Dateinamen angehängt.

Für den durch NGEN angehängten Timestamp ist in NGEN eine Wartedauer hinterlegt. Diese liegt bei 10min. Ist die 10min-Wartedauer abgelaufen und immer noch kein entsprechendes Bild in NGEN vorhanden, wird das XML ins Fehler-Verzeichnis verschoben. Ist die Wartedauer noch nicht abgelaufen, bleibt das XML zunächst auf dem sFTP-Server liegen, bis die Warteschlange das nächste Mal läuft.

• B

XMLs mit kleinerem Timestamp werden zuerst importiert. Sollt beim Import zu einem Bild mehr als ein XML auf dem sFTP-Server leigen, wird zuerst das XML mit dem kleineren Timestamp und danach das Bild mit dem größeren Timestamp importiert.

...

Dateien, die mit einem Punkt im Dateinamen starten:

• Dateien, die mit einem Punkt im Dateinamen starten, z. B. “.image_9876543210_08081000000.xml” werden noch geschrieben und dürfen daher von PRINT NGEN noch nicht importiert werden. Daher ignoriert PRINT NGEN beim Import alle Dateien, die mit einem Punkt starten und lässt diese im Import-Verzeichnis liegen.

...

0 KB große Dateien:

• 0 KB große Dateien werden direkt ins Fehler-Verzeichnis verschoben, da davon ausgegangen wird, dass z. B. die Verbindung beim Schreiben der Dateien unterbrochen wurde und die Dateien damit kaputt bzw. nicht vollständig sind.

• Ausnahme - 0 KB große Dateien, die mit einem Punkt starten: Diese bleiben entsprechend der Regelung “Dateien die mit einem Punkt im Dateinamen starten” im Import-Verzeichnis liegen.

Der Import läuft im 1-Minuten-Takt. Je Durchlauf der Warteschlange werden maximal 100 Bilder / einzelne Metadaten-XMLs importiert.

Für den durch PRINT NGEN angehängten Timestamp ist in PRINT NGEN eine Wartedauer hinterlegt. Diese liegt bei 10 Minuten. Ist diese Wartedauer abgelaufen und immer noch kein entsprechendes Bild in PRINT NGEN und auch keine Bilddatei zur externen ID auf dem sFTP-Server vorhanden, wird das XML ins Fehler-Verzeichnis verschoben. Ist die Wartedauer noch nicht abgelaufen, es liegt aber immer noch kein entsprechendes Bild in PRINT NGEN oder auf dem sFTP-Server vor, bleibt das XML zunächst auf dem sFTP-Server liegen, bis die Warteschlange das nächste Mal läuft.

Ist inzwischen ein Bild in PRINT NGEN oder auf dem sFTP-Server vorhanden, wird das XML umbenannt und der durch PRINT NGEN angehängte Timestamp aus dem Dateinamen entfernt. Klappt das Umbenennen nicht, da das XML mit diesem Dateinamen noch einmal angeliefert wurde und im Import-Verzeichnis liegt, wird die Datei mit dem angehängten Timestamp gelöscht.

Block 1: Import der Bilder mit/ohne zugehörige XMLs

Zunächst werden alle Bilder mit oder ohne zugehörige XMLs importiert. Hierbei wird je angelieferter Bilddatei geprüft, ob es bereits ein Bild zur externen ID mit Status “Original” und “DBildImportArt=BilderMitMetadatenXML” gibt. Falls ja, wird das bestehende Bild in PRINT NGEN aktualisiert. Wenn es noch kein Bild gibt, wird ein neues angelegt.

Die Metadaten werden aus den IPTC-Infos ausgelesen und in die PRINT NGEN Eigenschaften übernommen.

Zudem wird geprüft, ob auf dem sFTP-Server XMLs zu dieser externen ID vorhanden sind. Sind mehrere XMLs vorhanden, werden diese nach Timestamp aufsteigend sortiert.

Hierbei werden auch die XMLs mitberücksichtigt, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in PRINT NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war. D. h. es werden die XMLs mitberücksichtigt, die in Block 0 umbenannt wurden, wobei der durch PRINT NGEN angehängte Timestamp entfernt wurde.

Das XML mit dem kleinsten Timestamp wird zuerst importiert. Alle weiteren XMLs werden anschließend entsprechend ihrer Reihenfolge mit aufsteigenden Timestamps herangezogen, um die Eigenschaften am NGEN-Bild zu aktualisieren.

Metadaten, die aus den IPTC-Infos ausgelesen wurden, werden somit in den PRINT NGEN Eigenschaften ggf. durch die Metadaten aus dem Metadaten-XML überschrieben.

Block 2: Import der einzelnen Metadaten-XMLs ohne Bilddateien

Ein einzelnes Metadaten-XML sollte nur in dem Fall angeliefert werden, wenn bereits ein Originalbild mit “DBildImportArt=BilderMitMetadatenXML” zu dieser externen ID in PRINT NGEN vorliegt oder wenn direkt im Anschluss die zugehörige Bilddatei auf dem sFTP Server angeliefert wird.

Im Anschluss an den Import in Block 1 werden die einzelnen Metadaten-XMLs ohne Bilddateien importiert.

Auch hier werden die XMLs mitberücksichtigt, die beim letzten Durchlauf der Warteschlange nicht importiert werden konnten, da es in PRINT NGEN noch kein Bild zur externen ID gab und auch noch keine zugehörige Bilddatei auf dem sFTP-Server vorhanden war. D. h. es werden die XMLs mitberücksichtigt, die in Block 0 umbenannt wurden, wobei der durch PRINT NGEN angehängte Timestamp entfernt wurde.

Alle gescannten XMLs werden entsprechend ihres Timestamps sortiert und nacheinander abgearbeitet. XMLs mit kleineren Timestamps werden zuerst importiert.

Beim Abarbeiten jedes XMLs wird geprüft, ob es ein Bild zur externen ID in PRINT NGEN gibt mit “Status=Original” und “DBildImportArt=BilderMitMetadatenXML”. Bilder mit zugehöriger Bilddatei zur externen ID wurden bereits in Block 1 berücksichtigt.

Falls es in PRINT NGEN bereits ein entsprechendes Bild zur externen ID gibt, werden die Eigenschaften an diesem NGEN-Bild anhand der im XML mitgelieferten Metadaten aktualisiert.

Gibt es zu einer im Dateinamen des XMLs angegebenen externen ID in PRINT NGEN noch kein Bild mit Status “Original" und “DBildImportArt=BilderMitMetadatenXML”, wird die Datei zunächst umbenannt, wobei an den ursprünglichen Dateinamen ein weiterer Timestamp angehängt wird. Diese XMLs entsprechen dann der folgenden Namenskonvention:

• “image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.xml”

Beim nächsten Durchlaufen der Warteschlange werden diese XMLs mit dem durch PRINT NGEN angehängten Timestamp in Block 0 geprüft.

Dateien, die nicht importiert werden

• Dateien, die mit einem Punkt im Dateinamen starten:

  • Dateien, die mit einem Punkt im Dateinamen starten, z. B. “.image_9876543210_08081000000.xml” werden noch geschrieben und dürfen daher von PRINT NGEN noch nicht importiert werden. Daher ignoriert PRINT NGEN beim Import alle Dateien, die mit einem Punkt starten und lässt diese im Import-Verzeichnis liegen.

• 0 KB große Dateien:

  • 0 KB große Dateien werden direkt ins Fehler-Verzeichnis verschoben, da davon ausgegangen wird, dass z. B. die Verbindung beim Schreiben der Dateien unterbrochen wurde und die Dateien damit kaputt bzw. nicht vollständig sind.

  • Ausnahme - 0 KB große Dateien, die mit einem Punkt starten: Diese bleiben entsprechend der Regelung “Dateien die mit einem Punkt im Dateinamen starten” im Import-Verzeichnis liegen.

• Dateien, die nicht der Namenskonvention entsprechen:

  • Dateien, die nicht der nachstehenden Namenskonvention entsprechen, können nicht importiert werden und werden somit ins Fehler-Verzeichnis verschoben.

    • “image_<externe ID>_<timestamp>.<Endung des Dateiformats z. B. “jpg”>”

    • “image_<externe ID>_<timestamp>.xml”

    • “image_<externe ID>_<timestamp>__<durch NGEN angehängter Timestamp>.xml”

  • Ausnahme: Dateien, die nicht der Namenskonvention entsprechen, aber mit einem Punkt starten. Diese bleiben entsprechend der Regelung “Dateien die mit einem Punkt im Dateinamen starten” im Import-Verzeichnis liegen.

Taktung der Warteschlange

Der Import läuft im 5-Sekunden-Takt. Je Durchlauf der Warteschlange werden maximal 100 Bilder / einzelne Metadaten-XMLs importiert. D. h. in Block 1 wird je Bilddatei gezählt, in Block 2 je XML.

Wurden bei einem Durchlauf der Warteschlange 100 Bilder / einzelne Metadaten-XMLs importiert, bricht die Warteschlange ab und startet beim nächsten Durchlauf wieder mit Block 0.

Beispiel

Liegen im Import-Verzeichnis 150 Bilddateien mit/ohne Metadaten-XMLs und 150 einzelne Metadaten-XMLs ohne zugehörige Bilddatei, werden beim ersten Durchlauf der Warteschlange - nach Timestamp aufsteigend - die ersten 100 Bilder mit/ohne XMLs importiert.

Wurden in der Zwischenzeit keine weiteren Dateien angeliefert, so werden beim zweiten Durchlauf die restlichen 50 Bilder mit/ohne XMLs importiert und die ersten 50, nach Timestamp aufsteigend sortierten, einzelnen Metadaten-XMLs ohne Bilddateien importiert.

Beim dritten Durchlauf werden die restlichen 100 einzelnen Metadaten-XMLs importiert, wieder unter der Voraussetzung, dass keine weiteren Dateien angeliefert wurden.

Falls in der Zwischenzeit weitere Dateien angeliefert werden, werden diese in Block 0, 1 und 2 mit berücksichtigt.

Übertragung der Binärdaten

Beim Export der Daten durch den Anlieferer auf den sFTP-Server müssen zunächst die Binärdaten in ein entsprechendes Verzeichnis gelegt werden.  Dies umfasst die Bilder als JPG, PNG, PDF, TIF, TIF, Gif, Bmp, SVG, RAW, WEBP, HEIC oder EMF.

Mapping Metadaten

vgl. Mehr dazu unter https://peiq.atlassian.net/wiki/spaces/PPSD/pages/edit-v2/1501036583?draftShareId=947c00c9-067e-4a83-844d-2fbfd755d0a2.

Übertragung der Metadaten

Im nächsten Schritt müssen die Metadaten im gleichen Verzeichnis des sFTP-Servers abgelegt werden. Die XML-Datei muss dabei bildweise geschickt werden. Mit dem Import dieses XMLs werden die Metadaten am Bild upgedatetaktualisiert.

Übernahmelogik von Metadaten nach PRINT NGEN

Zunächst werden beim Import eines Bildes die IPTC-Metadaten aus der Bilddatei ausgelesen und in die PRINT NGEN - Eigenschaften gemäß der Doku Auslesen der IPTC-Tags bei Bildern übernommen.

Für PRINT NGEN Eigenschaften sind maximale Zeichenlängen definiert, die nicht überschritten werden dürfen/können. Sind in einem IPTC-Feld also mehr Zeichen enthalten, als in der entsprechenden PRINT NGEN - Eigenschaft gesetzt werden können, wird die Zeichenlänge entsprechend abgeschnitten und die abgeschnittene Zeichenlänge so nach PRINT NGEN übernommen.

Das gleiche gilt auch für die Übernahme von Metadaten aus dem Metadaten-XML. Beim Überschreiten der maximal erlaubten Zeichenlänge wird auch hier der String verkürzt und anschließend in verkürzter Form nach NGEN in die PRINT NGEN Eigenschaft übernommen.

Bei Updates zu einem bereits in PRINT NGEN bestehenden Bild gilt folgendes:

• Metadaten-Updates erfolgen nur über das Metadaten-XML. D.h. wenn Wird also eine Bilddatei zu einer externen ID erneut mit erweiterten Metadaten angeliefert wird, so erfolgt hier kein Update der Eigenschaften in PRINT NGEN.

• Wird ein Metadaten-XML für ein Update angeliefert, werden alle befüllten Tags für das Update der PRINT NGEN Eigenschaften herangezogen. Leere oder nicht mitgelieferte Tags werden nicht berücksichtigt. D.h. Demnach bleiben diese Eigenschaften bleiben in PRINT NGEN auf ihrem bisherigen Stand.

• Soll eine Eigenschaft in PRINT NGEN leergesetzt werden, kann im entsprechenden Tag des XMLs der Wert “&lt;leer&gt;” mitgegeben werden. Das gilt für alle Eigenschaften außer <id>, <underline>, <source>, <caption>, <keywords><keyword priority="" type=""></keywords> (vgl. Tabelle unten).

...

Beispiel

<?xml version="1.0" encoding="utf-8"?>
<image>
	<id>251-2298349</id>
	<status>Original</status>
	<object>mz</object>
	<underline>&quot;Bridgerton&quot; zählt zu den erfolgreichsten Netflix-Serien aller Zeiten.</underline>
	<source>privat</source>
	<caption>Bridgerton</caption>
	<filename>Beispielbild.jpg</filename>
	<honorar_id>mm</honorar_id>
	<origin>Archiv A</origin>
	<by_line>Max Mustermann</by_line>
	<edition>ma</edition>
	<category>pol</category>
	<location>Bergkirchen</location>
	<credit>Getty Images/iStockphoto</credit>
	<country>Deutschland</country>
	<date_time_created>31.05.2022 11:27</date_time_created>
	<object_name>Kulturzentrum</object_name>
	<service_identifier>dpa</service_identifier>
	<special_instructions>Kommentar</special_instructions>
	<title>Erfolgreiche Netflix-Serie</title>
	<urgency>3</urgency>
	<keywords>
		<keyword type="person" priority="1">Patrick Dempsey</keyword>
		<keyword type="organisation" priority="5">American Broadcasting Company</keyword>
		<keyword type="location" priority="3">USA</keyword>
		<keyword type="topic" priority="5">Serie</keyword>
	</keywords>
	<usage_instructions></usage_instructions>
</image>

...

Fehler hinsichtlich der Namenskonvention

Die Namenskonvention für die Bilddateien und XMLs ist oben unter https://peiq.atlassian.net/wiki/spaces/PPSD/pages/1050247173/0-10-4+INBOUND+Bilder+mit+Metadaten-XML#Namenskonvention detailliert definiert. Entspricht eine Datei nicht dieser Namenskonvention, wird die Datei ins Fehler-Verzeichnis verschoben.

Ausnahmen:

• Der Dateiname fängt mit einem Punkt “.” an: Diese Dateien bleiben an. In dem Fall bleiben die Dateien ebenfalls liegen, da PRINT NGEN davon ausgeht, dass die Datei noch geschrieben wird.

• XMLs, die der Namenskonvention image“image_<externe ID>_<timestamp>__<angehängter Timestamp>.xml xml” (angehängter Timestamp, z.B. "20241017142203Z", entspricht dem Timestamp: "2024-10-17 14:22:03Z") entsprechen. , bleiben auch liegen. (Hinweis: Den angehängten Timestamp erstellt PRINT NGEN, wenn ein XML mit einer externen ID angeliefert wird, zu der es in PRINT NGEN noch kein Bild gibt. Wird während der Wartezeit von 10min 10 Minuten kein zugehöriges Bild angeliefert, wird auch dieses XML ins Fehler-Verzeichnis verschoben.

Entspricht eine Datei nicht dieser Namenskonvention oder einer der Ausnahmen, wird sie nicht importiert und ins Fehler-Verzeichnis verschoben.

• )

Mehr als ein Bild zur externen ID in PRINT NGEN vorhanden

Beim Import wird an den importierten Bildern (Bilder mit Status “Original”) in PRINT NGEN die Eigenschaft “DBildImportArt=BilderMitMetadatenXML” gesetzt. Andere Bildimporte setzen diese Eigenschaft nicht.

Bei Updates über den Bildimport mit Metadaten-XML werden nur Bilder im Status “Original” mit der Eigenschaft “DBildImportArt=BilderMitMetadatenXML” upgedatetaktualisiert. Andere Workflows ändern den Wert der Eigenschaft “DBildImportArt” nicht mehr. D.h. es gibt Demnach gibt es keine Bilder, die nachträglich noch die Eigenschaft “DBildImportArt=BilderMitMetadatenXML” erhalten.

Zudem sind für Bilder mit “DBildImportArt=BilderMitMetadatenXML” keine Workflows vorgesehen, die an Bildern nachträglich noch den Status “Original” setzen.

Entsprechend sollten Bilder nur über den Bildimport mit Metadaten-XML Bilder sowohl den Status “Original” als auch die Eigenschaft “DBildImportArt=BilderMitMetadatenXML” erhalten.

In der Praxis sollte es daher somit nicht vorkommen, dass bei einem Import mit Metadaten-XML mehr als Bild zur externen ID mit Status “Original” und der Eigenschaft “DBildImportArt=BilderMitMetadatenXML” gefunden werdenwird. Sollte es doch einmal vorkommen (z. B. da ein Bild von einem anderen System repliziert wurde , oder der Status “Original” oder “DBildImportArt=BilderMitMetadatenXML” nachträglich gesetzt wurden), wird das Bild bzw. XML ins Fehler-Verzeichnis verschoben.

...

^{Nur für PEIQ-Mitarbeiter:innen}

/wiki/spaces/CORE/pages/1050345477