Utau

UTAU ist eine japanische Gesangssynthesizer- Anwendung von Ameya/Ayame (飴屋/菖蒲). Das Programm ähnelt der Vocaloid- Software, unterscheidet sich jedoch dadurch, dass es als Shareware und nicht unter einer Drittanbieterlizenz vertrieben wird.

Im März 2008 veröffentlichte Ameya/Ayame UTAU, eine kostenlose, fortschrittliche Shareware- Software mit Unterstützungsfunktion, die von der offiziellen Website heruntergeladen werden konnte. UTAU (歌う), wörtlich übersetzt „singen“ auf Japanisch, hat seinen Ursprung in der Aktivität von „Jinriki Bōkaroido“ (人力ボーカロイド; Manuelles Vocaloid) , bei der Nutzer eine bestehende Gesangsspur bearbeiten, Phoneme extrahieren, die Tonhöhe anpassen und diese neu zusammensetzen, um eine Vocaloid -ähnliche Gesangsstimme zu erzeugen. UTAU wurde ursprünglich entwickelt, um diesen Prozess mithilfe der Konkatenationssynthese zu unterstützen . UTAU kann vom Nutzer bereitgestellte WAV-Dateien verwenden, sodass durch Hinzufügen von Liedtexten und Melodie eine Gesangsstimme synthetisiert werden kann. UTAU wurde bei der Erstveröffentlichung zusammen mit AQUESTs Sprachgenerator „AquesTalk“ ^{[ 2 ]} ausgeliefert , der die Sprachsamples der Standard-Stimmbank Utane Uta (auch bekannt als Defoko , japanisch für „Standardmädchen“) synthetisierte. Anschließend löschte sich der Generator selbst. Die für UTAU erstellten Stimmen werden offiziell ebenfalls „UTAU“ genannt, sind aber umgangssprachlich als „UTAUloids“ bekannt, in Anlehnung an VOCALOID. Sie werden auch als „Stimmbanken“ (häufiger im englischsprachigen Raum) und in Japan als „(Stimm-)Bibliotheken“ bezeichnet. Zahlreiche Stimmbanken wurden von unabhängigen Nutzern entwickelt. Diese Stimmbanken werden normalerweise direkt von ihren Erstellern per Internet-Download vertrieben, einige werden aber auch im Rahmen kommerzieller Projekte verkauft.

UTAU ist hauptsächlich ein japanisches Programm, daher sind viele seiner Stimmen speziell für die japanische Sprache erstellt. Da Benutzer jedoch eigene Stimmbibliotheken erstellen können, hat die Benutzergemeinschaft Methoden entwickelt, um Stimmbibliotheken auch in anderen Sprachen als Japanisch singen zu lassen. Das X-SAMPA- Format wird häufig für italienische oder andere nicht-japanische Stimmbibliotheken verwendet, es kommen aber auch andere phonetische Systeme zum Einsatz, wie beispielsweise ARPABET und diverse benutzerdefinierte Systeme. ^{[ 3 ]}

Die Projektdateien von UTAU werden unter der Dateiendung „.ust“ (Utau Sequence Text) gespeichert. Diese Dateien können frei weitergegeben werden, sodass verschiedene UTAU dasselbe Stück singen können. Produzenten haben unterschiedliche Methoden zur Erstellung ihrer Klangbibliotheken entwickelt, was zu unterschiedlichen Ergebnissen führt. ^{[ 4 ]} UTAU unterstützt weder das MIDI- noch das VSQ-Format.

Ameya/Ayame hat in einer noch unveröffentlichten neueren Version von UTAU Unicode-Unterstützung hinzugefügt, wie Screenshots auf Twitter belegen. Die entsprechende Backend-Unterstützung für die Tail-Fixed-Region sowie für diverse andere Audio-Codierungen wurde bereits veröffentlicht, während die Frontend-Unterstützung (Stand: September 2022) noch aussteht. Ameya hat UTAU außerdem aktualisiert, um die Kompatibilität mit 64-Bit-Systemen zu gewährleisten.

Der Editor ermöglicht das Platzieren von Noten, das Eingeben von Phonemen sowie das Ändern von Tonhöhe und Lautstärke auf einer Pianorolle . In UTAU kann nur eine Spur erstellt werden, und Noten können nicht übereinander angeordnet werden. Da ein Mensch nicht zwei verschiedene Dinge gleichzeitig sagen kann, gilt dies auch für einen Utauloid . Standardmäßig werden nur Noten auf der Pianorolle angezeigt, die Anzeigeeinstellungen können jedoch geändert werden, um Tonhöhenkurve, Lautstärkeintensität, Hüllkurve und Flags anzuzeigen. UTAU verwendet Flags, um Aspekte der Stimme zu verändern, beispielsweise durch Tiefpass- und Hochpassfilter sowie durch das Hinzufügen oder Verringern von Atemgeräuschen. Diese Flags unterscheiden sich je nach verwendetem Resampler. Partiturinformationen und Daten in der Voicebank werden mit einem Resampler und dem WAV-Tool basierend auf der mit dem Editor erstellten Partitur verarbeitet. In einer einzelnen .ust-Datei kann nur ein Resampler verwendet werden. Ein Formantfilter dient zur Steuerung von Änderungen der Stimmqualität und kann deaktiviert werden.

Die zu ladende Audiodatei wird gefunden, indem die Symbole der Note mit dem Dateinamen in der Sprachbibliothek abgeglichen werden. Eine Präfix-Map-Datei kann jedoch den Unterordner ändern, aus dem das Sample stammt. Die Tonhöhe der synthetisierten Stimme wird entsprechend der Differenz zwischen der Original-Audiodatei und der Tonhöhe der Note im Editor angepasst. UTAU verwendet Formantfilter, um extreme Veränderungen der Stimmqualität zu verhindern. Diese Filter können deaktiviert werden. Die Stapelverarbeitung dient der gleichzeitigen Generierung mehrerer Noten. Dabei werden Cache-Dateien erstellt. Je nach Resampler kann die Anzahl der Cache-Dateien variieren. Im Menü können Einstellungen vorgenommen werden, um die Cache-Dateien beim Schließen des Programms oder nach einer bestimmten Zeit zu löschen.

Es gibt integrierte Plugins , die Vokale automatisch zusammenführen können, sowie die „Omakase/À la carte“-Einstellungen, mit denen sich Tonhöhe und Vibrato automatisch auf eine gesamte Datei anwenden lassen. Auch von Benutzern erstellte Plugins können in die Software integriert werden. Die Farben des Editors lassen sich in der Datei „setting.ini“ anpassen.

Wie bereits erwähnt, lassen sich WAV-Dateien in UTAU importieren. Eine einzelne Voicebank kann Hunderte, in manchen Fällen sogar Tausende dieser Dateien enthalten. Stimmen werden installiert, indem man sie entweder in den Ordner „voice“ kopiert oder per Drag & Drop auf das UTAU-Symbol zieht. Diese Bibliotheken enthalten außerdem eine oto.ini-Datei, die Timing und Konfiguration jedes Samples festlegt. Bei der Audioausgabe aus den Notendaten im Editor verwendet das Programm die oto.ini-Datei, um Timing und Aussprache einzustellen. Oto.ini-Dateien können über die UTAU-Benutzeroberfläche oder mit Drittanbieter-Software erstellt werden, wobei SetParam das bekannteste dieser Programme ist. Frequenztabellen (.frq-Dateien) werden verwendet, um die Wellenform beim Ändern der Tonhöhe im Editor zu verarbeiten. Einige Resampler verwenden andere Dateitypen als .frq. Die Stimmen können auch Bilddateien (meist im .bmp-Format) und eigenständige Sprachdialoge enthalten, wie sie bei manchen Vocaloids vorkommen. Oftmals sind auch Readme-Dateien mit Softwareinformationen und Nutzungsbedingungen enthalten. Charakterinformationsdateien, üblicherweise als character.txt bezeichnet, sind oft ebenfalls enthalten. Diese enthalten Informationen, die im Bereich „Sprachvorschau“ der Benutzeroberfläche angezeigt werden können. Dort finden sich Angaben zum Autor der Sprachbank, der Name, eine Beispieldatei, die beim Klicken auf die Schaltfläche „Beispiel“ abgespielt wird, und das Bild der Sprachbank. Die Datei kann auch weitere vom Ersteller festgelegte Parameter wie beispielsweise das Genre enthalten.

Einige Stimmbibliotheken sind einsilbig und werden zusammenfassend als „CV“ (Konsonant-Vokal) bezeichnet, während andere Triphone verwenden , um einen weicheren Klang zu erzeugen. ^{[ 4 ]} Diese triphonetischen Stimmbibliotheken werden zusammenfassend als „VCV“ (Vokal-Konsonant-Vokal) bezeichnet. Ihre Erstellung ist deutlich zeit- und arbeitsaufwändiger (sie sind etwa siebenmal so groß wie eine CV-Stimmbibliothek, gemessen an der Anzahl der Zeilen in der oto.ini-Datei), führt aber zu einem natürlicheren Ergebnis.

Spätere UTAU-Stimmen enthielten Phoneme aus Vokalen und Konsonanten (VC), um auch andere Sprachen als Japanisch zu unterstützen. Zu den Methoden, die dies nutzen, gehören „CVVC“ (bei dem ein VC-Phonem zwischen zwei CV-Phoneme eingefügt wird) und die verwandte Methode „VCCV“, die auf CVVC basiert, aber einige Unterschiede aufweist (Unterscheidung zwischen aspirierten und unaspirierten VCs, Unterstützung von Konsonantenclustern usw.). „VCCV“ wurde so benannt, um es von den früheren CVVC-Listen seines Entwicklers zu unterscheiden. Zwei seltenere Sprachaufnahmemethoden sind CVC, bei dem ein Phonem aus Konsonant-Vokal-Konsonant besteht und im Programm mithilfe der oto.ini aufgeteilt wird, und die Methode Rentan-Jutsu (れんたんじゅつ), bei der eine Reihe von CV-Silben in mehreren WAV-Dateien aufgenommen wird, um ein flüssigeres Ergebnis zu erzielen, ohne auf vollständiges VCV zurückgreifen zu müssen.

Da es sich bei den Audiodateien um unabhängige Dateien handelt, können sie auch in anderer Software wie einer DAW verwendet werden.

Die Entwicklung von UTAU begann, als Ameya mit Audacity Samples anderer Sänger neu kombinierte und mit Melodyne die Tonhöhe korrigierte und mit Musik unterlegte. Dieser Vorgang wurde als „manuell erzeugtes Vocaloid“ bezeichnet. LOLI.COM, ein Musiker, der seine Rapmusik auf Nico Nico Douga veröffentlichte , nutzte seine eigene Stimme für ein solches Vocaloid und veröffentlichte eine Audiobearbeitungssoftware, die anderen Nutzern dabei helfen sollte. Da die manuelle Erstellung von „manuell erzeugtem Vocaloid“ sehr zeitaufwendig und mühsam war, begann Ameya, ein neues Tool zu entwickeln, das diesen Prozess vereinfachen sollte.

Das Tool wurde am 11. Januar 2008 auf Nico Nico Douga angekündigt. Damals konnten die Klangzeit angepasst, die Hüllkurve einer Note verändert und Batch-Dateien erstellt werden. Am 5. Februar 2008 wurde ein Video veröffentlicht, das die Benutzeroberfläche zeigte. Hier konnten Samples zeitlich gedehnt, oto.ini-Dateien erstellt und die Tonhöhenveränderungen von Noten angepasst werden. ^{[ 5 ]} Am 5. März 2008 erschien auf Nico Nico Douga ein Video, das die Spezifikationen des Programms erläuterte, ^{[ 6 ]} und am 15. März 2008 wurde das Tool in UTAU umbenannt.

Der Entwickler war von Beruf Programmierer und kein Spezialist für Sprachsynthese, nutzte aber sein Vorwissen, um UTAU zu entwickeln. Nach der Veröffentlichung verbesserte Ameya UTAU kontinuierlich und begann, es in Zusammenarbeit mit anderen Entwicklern von Text-to-Speech-Systemen weiterzuentwickeln. ^{[ 7 ]}

Im Juni 2008 lehnte Ameya die Bezeichnung „Jinriki Bōkaroido“ (人力ボーカロイド; Manual Vocaloid) für UTAU ab und nannte es stattdessen Software zur Synthese singender Stimmen. ^{[ 8 ]}

Eine Mac-Version namens UTAU-Synth wurde 2011 veröffentlicht.

Da UTAU aus beliebigen WAV-Dateien Gesangsstimmen erzeugen kann, lassen sich auch die Stimmen bereits existierender Personen als Daten verwenden. Häufig werden Sprachaufnahmen von Schauspielern, Sängern und Prominenten für UTAU wiederverwendet. Der Entwickler Ameya erstellte sogar einmal eine Stimme mithilfe von Daten von der CD eines Synchronsprechers.

Im Mai 2008 beschloss Ameya, vorerst keine Audiodaten mehr ohne Genehmigung zu verwenden, es sei denn, der Synchronsprecher erteilte seine Zustimmung. ^{[ 9 ]}

Obwohl die Software in Japan sehr beliebt ist, verdankt sie ihre Ursprünge und ihren kulturellen Einfluss der bereits etablierten Popularität der Vocaloid-Software. UTAU selbst erlangte erstmals Bekanntheit, als der Schöpfer von Kasane Teto die Figur 2008 im Rahmen eines Aprilscherzes als echten Vocaloid ausgab. Der Einfluss der Vocaloid-Software führte auch dazu, dass beide Programme häufig parallel verwendet werden. Beliebte UTAU-Maskottchen wie Kasane Teto tauchen oft in VOCALOID-basierten Medien wie Maker Hikōshiki Hatsune Mix oder Hatsune Miku: Project DIVA auf .

Später beeinflusste die UTAU-Software Vocaloid und andere Gesangssynthesizer. Zahlreiche Gesangsstimmen bezogen sich entweder auf UTAU oder wurden eigens für die Engine produziert. So wurde beispielsweise Megurine Luka V4x von der UTAU-Stimme Gahata Meiji beeinflusst. ^{[ 10 ]} Wataru Sasaki, Planungs- und Entwicklungsleiter bei Crypton Future Media, sprach mit einer mit UTAU bestens vertrauten Person und bezeichnete das Gespräch als „sehr interessant“. ^{[ 11 ]} Macne Nana aus der Macne-Serie wurde später sowohl als UTAU- als auch als Vocaloid-Stimme verwendet. Misha, die Sprecherin des englischen Vocaloid Ruby , hatte zuvor bereits eine japanischsprachige UTAU-Stimme namens Makune Hachi ( MAKU音ハチ) produziert. Darüber hinaus schuf die Sängerin von Dex, Kenji-B, Kenji Baionoto (倍音音ケンジ) für UTAU, und AkiGlancy, die Sängerin hinter Dex‘ Partnerin Daina, gab der UTAU Namida (ナミダ) ihre Stimme . Kikuko Inoue , die Synchronsprecherin von Macne Coco White and Black ( Mac音ココ白・黒) (siehe Macne-Serie ), sprach anschließend ein Vocaloid5-Produkt namens Haruno Sora (桜乃そら). Das Produkt wurde mit zwei Voicebanks geliefert: Natural und Cool. ^{[ 12 ]} Nach der Veröffentlichung von Vocaloid 3 erhielten ihre beiden Schwestern Tohoku Itako und Tohoku Kiritan den UTAU-Gesang. ^{[ 13 ]} Kiritan startete später eine Crowdfunding- Kampagne, um sie zu einem Voiceroid zu machen . ^{[ 14 ]} UTAU hatte nicht nur Einfluss auf Vocaloid, sondern diente auch als Entwicklungsplattform für andere kommerzielle Gesangssynthesizer. Der bekannteste davon ist Dreamtonics' Synthesizer V , der aus der Entwicklung des UTAU-Resamplers Moresampler hervorging. Beide wurden von Kanru Hua entwickelt. ^{[ 15 ] [ 16 ] [ 17 ]}

Die Hauptattraktion von UTAU liegt nicht nur in der kostenlosen Verfügbarkeit im Internet, sondern auch darin, dass Nutzer ihre eigene Stimme in die Datenbank einfügen und für Musikprojekte verwenden können. Dies eröffnet ihnen völlig neue Möglichkeiten, ihre Musik weiterzuentwickeln. UTAU verdankt seine wachsende Popularität der Möglichkeit, kostenlos Stimmen für Musikzwecke zu erstellen, und hat zahlreiche Musikproduzenten auf Plattformen wie Niconico und YouTube dazu bewegt, mit der Software zu arbeiten . Nutzer sehen UTAU auch als Alternative zu Vocaloid, dessen Stimmenangebot deutlich begrenzter und teurer ist und möglicherweise nicht die gewünschten Stimmen für ihre Musikprojekte bietet. Die große Datenbank von UTAU hingegen bietet oft eine viel höhere Wahrscheinlichkeit, die passende Stimme zu finden. Trotz der Vielzahl an verfügbaren Stimmbibliotheken arbeiten insgesamt jedoch deutlich weniger Produzenten mit UTAU als mit Vocaloid. ^{[ 18 ]}

Ein Radiosender richtete ein einstündiges Programm ein, das ausschließlich Musik auf Basis von Vocaloid und UTAU enthielt. ^{[ 19 ]}

Darüber hinaus fand ab dem 19. Juli 2012 regelmäßig eine Veranstaltung namens The UTAU M@STER statt. Diese Veranstaltung diente als Haupttreffen von Gruppen und Zirkeln und wurde in ähnlicher Weise wie die Vocaloid-bezogene Veranstaltung THE VOC@LOID M@STER abgehalten, die seit 2007 existierte. ^{[ 20 ]}

Im Gegensatz zu Vocaloid sind UTAU-Dateien nicht restriktiv, da sie nicht auf einer proprietären Lizenz basieren. Daher können Open-Source- Produkte mit der UTAU-Software verwendet werden, beispielsweise die für die Macne-Serie ( Mac音シリーズ) entwickelten Produkte, die für Reason 4 und GarageBand veröffentlicht wurden . Diese Produkte wurden von Act2 vertrieben und konnten durch Konvertierung ihres Dateiformats auch mit UTAU verwendet werden. ^{[ 21 ]} Später enthielten die Macne-Pakete Whisper☆Angel Sasayaki, Macne Nana 2S und Macne Petit 2S vorkonfigurierte UTAU-Stimmbibliotheken.

Die Standard-Stimmbank „Defoko“ (Utane Uta) verwendet die Stimme aus der Software AquesTalk, genauer gesagt die Stimme „AquesTalk Female-1“ von A-quest. Die kostenlose Verbreitung mit der Software war genehmigt. ^{[ 22 ]} Auch Utane Koe, Utas Schwester, verwendet die Stimme aus der AquesTalk-Software. Die ursprünglich für UTAU entwickelte Stimmbank Namine Ritsu (波音リツ) wurde später als „Namine Ritsu S“ in die Software Sinsy integriert . Die ebenfalls für UTAU entwickelte Stimmbank Yamine Renri (闇音レンリ) wurde später in Synthesizer V aufgenommen. Die beliebte UTAU-Figur Kasane Teto wurde am 27. April 2023 als KI-Stimmendatenbank für Synthesizer V veröffentlicht. ^{[ 23 ]}

Aufgrund der Urheberrechtsvereinbarung der Software ist der Import von nicht-offener Software wie VOCALOID in UTAU nicht gestattet. ^{[ 24 ]} Zahlreiche Plug-ins wurden von Nutzern entwickelt, um die Gesangsfunktionen der Software zu erweitern und zu verbessern. Das Programm Sugarcape, das wie UTAU als Freeware konzipiert ist, befindet sich bereits in der Beta-Phase. ^{[ 25 ]} Am 27. Mai 2011 erschien eine offizielle Mac-Version von UTAU mit dem Namen UTAU-Synth. ^{[ 26 ]} Sie bietet nahezu den gleichen Funktionsumfang wie die Windows-Version. UTAU-Synth kann sowohl Stimmen als auch Songs importieren, die mit der Windows-Version erstellt wurden, jedoch sind die Projektdateien und Voicebank-Konfigurationen nicht vollständig kompatibel. Ende 2017 wurde bekannt gegeben, dass Plogue Art et Technologie, Inc. eine funktionierende Redirect-Anpassung entwickelt hat, mit der UTAU-Gesang in ihrer Engine Alter/Ego verwendet werden kann . ^{[ 27 ]}

OpenUTAU ist ein inoffizieller Open-Source-Nachfolger von UTAU, entwickelt vom Vocaloid-Produzenten StAkira. Eine Betaversion wurde im November 2021 veröffentlicht. Die Software wurde so konzipiert, dass sie mit UTAU kompatibel ist, aber eine moderne Benutzererfahrung bietet. Im Gegensatz zu UTAU benötigt sie keine japanische Systemlokalisierung, um ordnungsgemäß zu funktionieren. ^{[ 28 ]}

Der erste UTAU-Originalsong, der überhaupt veröffentlicht wurde, war „Kenka Wakare“ ^{[ 29 ]} (japanisch: „けんか別れ“; englisch: „Fighting and Breaking up“) von nwp8861, der auch für „Song of the Eared Robot“ ^{[ 30 ]} , gesungen von Kasane Teto , verantwortlich war . Das Lied Kenka Wakare wurde am 10. Mai 2008 auf Nico Nico Douga mit der Voicebank Utane Uta ^{[ 31 ]} veröffentlicht ; Eine überarbeitete Version wurde drei Tage später, am 13. Mai 2008, veröffentlicht.

Die lizenzierten Songs aus dem Album „Graduation from Lie“ mit Kasane Teto wurden als Sonderveröffentlichung von Karen-T unter Crypton Future Media zum Download angeboten . Dies ist die erste lizenzierte Veröffentlichung eines UTAU-Albums. ^{[ 32 ]}

Die Sprachbibliothek Momo Momone wird im viralen YouTube-Video „ Nyan Cat “ verwendet. Es handelt sich um ein Cover von „Nyanyanyanyanyanyanya!“, einem Lied, das ursprünglich von daniwellP komponiert und mit dem VOCALOID Hatsune Miku aufgenommen wurde . ^{[ 33 ]}

• Cevio
• Dōjin-Musik
• Sprachsynthese

• (Auf Japanisch) Offizielle Website (macOS-Version)
• (Auf Japanisch) Offizielle Website
• (Auf Japanisch) Entwicklerblog