Neuronale Stilübertragung

Neuronales Stiltransferverfahren angewendet auf die Mona Lisa :

Die Sternennacht

Frau mit Hut

Die große Welle vor Kanagawa

Neuronale Stiltransfer -Algorithmen ( NST ) können digitale Bilder oder Videos so bearbeiten, dass sie das Erscheinungsbild oder den visuellen Stil anderer Bilder übernehmen. NST-Algorithmen zeichnen sich durch die Verwendung tiefer neuronaler Netze zur Bildtransformation aus. Häufige Anwendungsgebiete von NST sind die Erstellung künstlicher Kunstwerke aus Fotografien, beispielsweise durch die Übertragung des Erscheinungsbilds berühmter Gemälde auf vom Nutzer bereitgestellte Fotos. Mehrere bekannte mobile Apps, darunter DeepArt und Prisma , nutzen NST-Techniken zu diesem Zweck . Künstler und Designer weltweit verwenden diese Methode, um neue Kunstwerke auf Basis bestehender Stile zu entwickeln.

NST ist ein Beispiel für Bildstilisierung , ein Problem, das im Bereich des nicht-fotorealistischen Renderings seit über zwei Jahrzehnten untersucht wird . Die ersten beiden beispielbasierten Stiltransferalgorithmen waren Bildanalogien ^{[ 1 ]} und Bildquilting ^{[ 2 ]} . Beide Methoden basierten auf patchbasierten Textursynthesealgorithmen .

Anhand eines Trainingsbildpaares – eines Fotos und eines dieses Fotos darstellenden Kunstwerks – konnte eine Transformation erlernt und anschließend analog angewendet werden, um aus einem neuen Foto ein neues Kunstwerk zu erstellen. Falls kein Trainingsfoto verfügbar war, musste dieses durch Bearbeitung des Eingabebildes erzeugt werden; beim Bildquilting war dieser Bearbeitungsschritt nicht erforderlich, obwohl er nur an einem Stil demonstriert wurde.

NST wurde erstmals in der Arbeit „A Neural Algorithm of Artistic Style“ von Leon Gatys et al. veröffentlicht, die ursprünglich 2015 auf ArXiv ^{[ 3 ]} publiziert und anschließend von der Peer-Review- Konferenz CVPR im Jahr 2016 angenommen wurde. ^{[ 4 ]} In der Originalarbeit wurde eine VGG-19-Architektur ^{[ 5 ]} verwendet, die für die Objekterkennung mit dem ImageNet- Datensatz vortrainiert wurde .

Im Jahr 2017 stellte Google AI eine Methode ^{[ 6 ]} vor , die es einem einzelnen tiefen Faltungsnetzwerk für Stiltransfer ermöglicht, mehrere Stile gleichzeitig zu erlernen. Dieser Algorithmus erlaubt die Stilinterpolation in Echtzeit, sogar bei Videodaten.

Dieser Abschnitt orientiert sich eng an der Originalveröffentlichung. ^{[ 4 ]}

Die Idee des Neural Style Transfer (NST) besteht darin, zwei Bilder zu nehmen – ein Inhaltsbild und ein Stilbild – und ein drittes Bild zu generieren , das eine gewichtete Kombination zweier Verlustfunktionen minimiert: einen Inhaltsverlust und einen Stilverlust . ${\displaystyle {\vec {p}}}$${\displaystyle {\vec {a}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}})}$${\displaystyle {\mathcal {L}}_{\text{style }}({\vec {a}},{\vec {x}})}$

Der Gesamtverlust ist eine lineare Summe der beiden: Durch die gemeinsame Minimierung des Inhalts- und des Stilverlusts erzeugt NST ein Bild, das den Inhalt des Inhaltsbildes mit dem Stil des Stilbildes verbindet. $${\displaystyle {\mathcal {L}}_{\text{NST}}({\vec {p}},{\vec {a}},{\vec {x}})=\alpha {\mathcal {L}}_{\text{content}}({\vec {p}},{\vec {x}})+\beta {\mathcal {L}}_{\text{style}}({\vec {a}},{\vec {x}})}$$

Sowohl der Inhaltsverlust als auch der Stilverlust messen die Ähnlichkeit zweier Bilder. Die Inhaltsähnlichkeit ist die gewichtete Summe der quadrierten Differenzen zwischen den neuronalen Aktivierungen eines einzelnen Convolutional Neural Network (CNN) auf zwei Bildern. Die Stilähnlichkeit ist die gewichtete Summe der Gram-Matrizen innerhalb jeder Schicht (siehe unten für Details).

In der Originalveröffentlichung wurde ein VGG-19 CNN verwendet, die Methode funktioniert aber für jedes CNN.

Sei ein Bild als Eingabe für ein CNN. ${\textstyle {\vec {x}}}$

Sei die Matrix der Filterantworten in der Schicht auf das Bild , wobei: ${\textstyle F^{l}\in \mathbb {R} ^{N_{l}\times M_{l}}}$${\textstyle l}$${\textstyle {\vec {x}}}$

• ${\textstyle N_{l}}$ist die Anzahl der Filter in der Schicht  ;${\textstyle l}$
• ${\textstyle M_{l}}$ist das Produkt aus Höhe und Breite (d. h. Anzahl der Pixel) jedes Filters in der Ebene  ;${\textstyle l}$
• ${\textstyle F_{ij}^{l}({\vec {x}})}$ist die Aktivierung des Filters an Position in der Ebene .${\textstyle i^{\text{th}}}$${\textstyle j}$${\textstyle l}$

Ein gegebenes Eingabebild wird in jeder Schicht des CNN durch die Filterantworten auf dieses Bild kodiert, wobei höhere Schichten globalere Merkmale kodieren, dabei aber Details lokaler Merkmale verlieren. ${\textstyle {\vec {x}}}$

Sei ein Originalbild. Sei ein Bild, das so generiert wird, dass es dem Inhalt von entspricht . Sei die Matrix der Filterantworten in der Schicht auf das Bild . ${\textstyle {\vec {p}}}$${\textstyle {\vec {x}}}$${\textstyle {\vec {p}}}$${\textstyle P^{l}}$${\textstyle l}$${\textstyle {\vec {p}}}$

Der Inhaltsverlust ist definiert als der quadratische Fehler zwischen den Merkmalsdarstellungen des generierten Bildes und des Inhaltsbildes in einer ausgewählten Schicht eines CNN: Dabei sind und die Aktivierungen des Filters an Position in Schicht für das generierte bzw. das Inhaltsbild. Die Minimierung dieses Verlusts fördert einen ähnlichen Inhalt des generierten Bildes wie des Inhaltsbildes, wie er durch die Merkmalsaktivierungen in der ausgewählten Schicht erfasst wird. ${\displaystyle l}$$${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}},l)={\frac {1}{2}}\sum _{i,j}\left(A_{ij}^{l}({\vec {x}})-A_{ij}^{l}({\vec {p}})\right)^{2}}$$${\displaystyle A_{ij}^{l}({\vec {x}})}$${\displaystyle A_{ij}^{l}({\vec {p}})}$${\displaystyle i^{\text{th}}}$${\displaystyle j}$${\displaystyle l}$

Der gesamte Inhaltsverlust ist eine lineare Summe der Inhaltsverluste jeder Schicht: , wobei die positive reelle Zahlen sind, die als Hyperparameter gewählt werden. ${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}})=\sum _{l}v_{l}{\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}},l)}$${\displaystyle v_{l}}$

Der Stilverlust basiert auf den Gram-Matrizen der generierten und der Stilbilder, welche die Korrelationen zwischen verschiedenen Filterantworten in unterschiedlichen Schichten des CNN erfassen: Hierbei sind und die Einträge der Gram-Matrizen für die generierten und die Stilbilder in Schicht . Explizit:$${\displaystyle {\mathcal {L}}_{\text{style }}({\vec {a}},{\vec {x}})=\sum _{l=0}^{L}w_{l}E_{l},}$$$${\displaystyle E_{l}={\frac {1}{4N_{l}^{2}M_{l}^{2}}}\sum _{i,j}\left(G_{ij}^{l}({\vec {x}})-G_{ij}^{l}({\vec {a}})\right)^{2}.}$$${\displaystyle G_{ij}^{l}({\vec {x}})}$${\displaystyle G_{ij}^{l}({\vec {a}})}$${\displaystyle l}$$${\displaystyle G_{ij}^{l}({\vec {x}})=\sum _{k}F_{ik}^{l}({\vec {x}})F_{jk}^{l}({\vec {x}})}$$

Durch die Minimierung dieses Verlusts wird begünstigt, dass das generierte Bild ähnliche Stilmerkmale wie das Stilbild aufweist, was durch die Korrelationen zwischen den Merkmalsreaktionen in jeder Schicht erfasst wird. Die Idee ist, dass die Korrelationen der Aktivierungsmuster zwischen Filtern in einer einzelnen Schicht den „Stil“ in der Größenordnung der rezeptiven Felder dieser Schicht erfassen.

Ähnlich wie im vorherigen Fall handelt es sich um positive reelle Zahlen, die als Hyperparameter gewählt werden. ${\displaystyle w_{l}}$

In der Originalveröffentlichung verwendeten sie eine bestimmte Auswahl an Hyperparametern.

Der Stilverlust wird für die Ausgaben der Schichten , , , , im VGG-19-Netzwerk berechnet und ist ansonsten null. Der Inhaltsverlust wird für berechnet und ist ansonsten null. ${\displaystyle w_{l}=0.2}$conv1_1conv2_1conv3_1conv4_1conv5_1${\displaystyle w_{l}=1}$conv4_2

Das Verhältnis . ${\displaystyle \alpha /\beta \in [5,50]\times 10^{-4}}$

Das Bild wird zunächst approximiert, indem dem Eingangsbild ein geringes Maß an weißem Rauschen hinzugefügt und es durch das CNN geleitet wird. Anschließend wird dieser Verlust sukzessive durch das Netzwerk zurückpropagiert , wobei die CNN-Gewichte fixiert sind, um die Pixel des Bildes zu aktualisieren . Nach mehreren tausend Trainingsepochen entsteht (hoffentlich) ein Bild, das dem Stil und Inhalt des Eingangsbildes entspricht . ${\displaystyle {\vec {x}}}$${\displaystyle {\vec {p}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {a}}}$${\displaystyle {\vec {p}}}$

Stand 2017 dauerte die Konvergenz bei Implementierung auf einer GPU einige Minuten. ^{[ 8 ]}

Bei einigen praktischen Anwendungen wurde festgestellt, dass das resultierende Bild zu viele hochfrequente Artefakte aufweist, die durch Hinzufügen der Gesamtvariation zum Gesamtverlust unterdrückt werden können. ^{[ 9 ]}

Im Vergleich zu VGGNet eignet sich AlexNet nicht gut für den neuronalen Stiltransfer. ^{[ 10 ]}

NST wurde auch auf Videos ausgeweitet. ^{[ 11 ]}

In nachfolgenden Arbeiten wurde die Geschwindigkeit der NST für Bilder durch die Verwendung spezieller Normalisierungen verbessert . ^{[ 12 ] [ 8 ]}

In einer Arbeit von Fei-Fei Li et al. wurde eine andere regularisierte Verlustmetrik und eine beschleunigte Trainingsmethode verwendet, um Ergebnisse in Echtzeit zu erzielen (drei Größenordnungen schneller als Gatys). ^{[ 13 ]} Anstelle des oben definierten pixelbasierten Verlusts nutzten sie einen „wahrnehmungsbasierten Verlust“, der die Unterschiede zwischen höheren Schichten innerhalb des CNN misst. Sie verwendeten ein symmetrisches Faltungs-Dekonvolutions-CNN. Das Training verwendet eine ähnliche Verlustfunktion wie die grundlegende NST-Methode, regularisiert aber zusätzlich die Ausgabe zur Glättung mittels Totalvariationsverlust (TV). Nach dem Training kann das Netzwerk verwendet werden, um ein Bild in den während des Trainings verwendeten Stil zu transformieren, indem ein einziger Feedforward-Durchlauf des Netzwerks durchgeführt wird. Das Netzwerk ist jedoch auf den einen Stil beschränkt, in dem es trainiert wurde. ^{[ 13 ]}

In einer Arbeit von Chen Dongdong et al. wurde die Fusion von optischen Flussinformationen in Feedforward-Netzwerke untersucht , um die zeitliche Kohärenz des Ausgangssignals zu verbessern. ^{[ 14 ]}

Zuletzt wurden merkmalsbasierte NST-Methoden für eine schnelle Stilisierung untersucht, die nicht an einen einzelnen spezifischen Stil gebunden sind und eine vom Benutzer steuerbare Mischung von Stilen ermöglichen , beispielsweise die Weißungs- und Farbtransformation (WCT). ^{[ 15 ]}