Auditory scene analysis

In perception and psychophysics, auditory scene analysis (ASA) is a proposed model for the basis of auditory perception. This is understood as the process by which the human auditory system organizes sound into perceptually meaningful elements. The term was coined by psychologist Albert Bregman.^[1] The related concept in machine perception is computational auditory scene analysis (CASA), which is closely related to source separation and blind signal separation.

The three key aspects of Bregman's ASA model are: segmentation, integration, and segregation.

Sound reaches the ear and the eardrum vibrates as a whole. This signal has to be analyzed (in some way). Bregman's ASA model proposes that sounds will either be heard as "integrated" (heard as a whole – much like harmony in music), or "segregated" into individual components (which leads to counterpoint).^[2] For example, a bell can be heard as a 'single' sound (integrated), or some people are able to hear the individual components – they are able to segregate the sound. This can be done with chords where it can be heard as a 'color', or as the individual notes. Natural sounds, such as the human voice, musical instruments, or cars passing in the street, are made up of many frequencies, which contribute to the perceived quality (like timbre) of the sounds. When two or more natural sounds occur at once, all the components of the simultaneously active sounds are received at the same time, or overlapped in time, by the ears of listeners. This presents their auditory systems with a problem: which parts of the sound should be grouped together and treated as parts of the same source or object? Grouping them incorrectly can cause the listener to hear non-existent sounds built from the wrong combinations of the original components.

In vielen Fällen lassen sich die einzelnen Elemente zeitlich miteinander verbinden und so ein auditiver Strom erzeugen. Diese Fähigkeit des auditiven Streamings lässt sich am sogenannten Cocktailparty-Effekt veranschaulichen . Bis zu einem gewissen Grad kann man, selbst wenn mehrere Stimmen gleichzeitig sprechen oder Hintergrundgeräusche vorhanden sind, einer bestimmten Stimme folgen. ^{[ 3 ]} In diesem Beispiel trennt das Ohr die Stimme von den anderen (integrierten) Geräuschen, und das Gehirn „streamt“ diese getrennten Geräusche zu einem auditiven Strom. Musiker, insbesondere Dirigenten, beherrschen diese Fähigkeit hervorragend. Sie können ein, zwei, drei oder mehr Instrumente gleichzeitig hören (und sie trennen) und jedes einzelne als unabhängige Linie im auditiven Streaming verfolgen.

Eine Reihe von Gruppierungsprinzipien scheinen der ASA zugrunde zu liegen, von denen viele mit Prinzipien der Wahrnehmungsorganisation verwandt sind, die von der Gestaltpsychologie entdeckt wurden. Diese lassen sich grob in sequentielle Gruppierungsmechanismen (solche, die über die Zeit wirken) und simultane Gruppierungsmechanismen (solche, die über die Frequenz wirken) kategorisieren :

• Fehler bei der simultanen Gruppierung können dazu führen, dass Laute, die eigentlich getrennt wahrgenommen werden sollten, verschmelzen. Die verschmolzenen Laute weisen dann andere wahrgenommene Eigenschaften (wie Tonhöhe oder Klangfarbe) auf als die tatsächlich wahrgenommenen Laute. Beispielsweise sind zwei gleichzeitig präsentierte Vokale möglicherweise nicht unterscheidbar, wenn sie getrennt werden. ^{[ 4 ]}
• Fehler bei der sequentiellen Gruppierung können beispielsweise dazu führen, dass ein Wort aus Silben zweier verschiedener Stimmen zusammengesetzt klingt. ^{[ 5 ] [ 6 ]}

Die Segregation kann primär auf perzeptuellen Hinweisen beruhen oder auf der Erkennung erlernter Muster basieren („schemabasiert“).

Die Aufgabe der auditiven Signalverarbeitung (ASA) besteht darin, eingehende Sinnesinformationen zu gruppieren und so eine präzise mentale Repräsentation der einzelnen Geräusche zu bilden. Wenn Geräusche vom Hörsystem zu einer wahrgenommenen Sequenz gruppiert werden, die sich von anderen gleichzeitig auftretenden Sequenzen unterscheidet, wird jede dieser wahrgenommenen Sequenzen als „auditiver Strom“ bezeichnet. In der realen Welt entspricht ein solcher Strom, wenn die ASA erfolgreich arbeitet, einer bestimmten Schallquelle in der Umgebung, die ein über die Zeit anhaltendes Muster erzeugt, wie beispielsweise eine sprechende Person, Klavierspiel oder Hundegebell. Im Labor hingegen ist es durch die Manipulation der akustischen Parameter der Geräusche möglich, die Wahrnehmung eines oder mehrerer auditiver Ströme hervorzurufen.

Ein Beispiel hierfür ist das Phänomen des Streamings , auch „Stream-Segregation“ genannt. ^{[ 7 ]} Werden zwei Töne, A und B, zeitlich schnell abwechselnd wiedergegeben, kann die Wahrnehmung nach wenigen Sekunden so wirken, als würde sie sich aufspalten. Der Hörer nimmt dann zwei statt eines einzigen Tonstroms wahr, wobei jeder Strom den Wiederholungen eines der beiden Töne entspricht, beispielsweise AAAA- usw., gefolgt von BBBB- usw. Die Tendenz zur Segregation in separate Ströme wird durch Unterschiede in den akustischen Eigenschaften der Töne A und B begünstigt. Zu den Unterschieden, die klassischerweise als Ursache für Segregation gelten, gehören Frequenzunterschiede (bei reinen Tönen ), Grundfrequenzunterschiede (bei komplexen Tönen ), Frequenzzusammensetzung und Schallquellenort. Es wurde jedoch auch angenommen, dass nahezu jeder systematische Wahrnehmungsunterschied zwischen zwei Sequenzen Streaming auslösen kann, ^{[ 8 ]} vorausgesetzt, die Geschwindigkeit der Sequenz ist ausreichend.

Eine interaktive Webseite, die dieses Streaming-Verfahren und die Bedeutung von Frequenztrennung und Geschwindigkeit veranschaulicht, finden Sie hier.

Andranik Tangian argumentiert, dass das Gruppierungsphänomen nicht nur in der Dynamik, sondern auch in der Statik auftritt. So ist beispielsweise die Wahrnehmung eines Akkords eher ein Effekt akustischer Datenrepräsentation als physikalischer Kausalität (tatsächlich kann ein einzelner physikalischer Körper, wie etwa eine Lautsprechermembran, den Effekt mehrerer Töne erzeugen, und mehrere physikalische Körper, wie etwa als Akkord gestimmte Orgelpfeifen, können den Effekt eines einzelnen Tons erzeugen). Aus der Sicht der musikalischen Akustik ist ein Akkord eine besondere Art von Klang, dessen Spektrum – die Menge der Teiltöne (sinusförmige Schwingungen) – als Verschiebungen eines einzelnen Tonspektrums entlang der Frequenzachse betrachtet werden kann. Anders ausgedrückt: Die Intervallstruktur des Akkords ist eine akustische Kontur, die von einem Ton beschrieben wird (in der Dynamik sind polyphone Stimmen Trajektorien von Tonspektren). Dies wird durch die Informationstheorie begründet. Ist der erzeugende Ton harmonisch (besitzt also eine Tonhöhenprägnanz), so ist diese Repräsentation eindeutig und benötigt den geringsten Speicherbedarf, d. h. sie ist im Sinne Kolmogorovs am wenigsten komplex . Da sie einfacher ist als alle anderen Repräsentationen, einschließlich derjenigen, bei der der Akkord als ein einziger komplexer Klang betrachtet wird, wird der Akkord als zusammengesetzt wahrgenommen. Ist der erzeugende Ton inharmonisch, wie beispielsweise ein glockenartiger Klang, so ist die Intervallstruktur dennoch als Verschiebung eines Tonspektrums erkennbar, dessen Tonhöhe unter Umständen nicht wahrnehmbar ist. Diese auf der optimalen Repräsentation basierende Definition eines Akkords erklärt unter anderem die Überlegenheit des Intervallhörens gegenüber dem absoluten Tonhöhenhören. ^{[ 9 ] [ 10 ]}

Zahlreiche Experimente untersuchten die Trennung komplexerer Klangmuster, beispielsweise einer Folge hoher Töne unterschiedlicher Tonhöhe, die mit tiefen Tönen verschachtelt sind. In solchen Sequenzen hat die Trennung gleichzeitig auftretender Klänge in separate Frequenzströme einen tiefgreifenden Einfluss auf deren Wahrnehmung. Die Wahrnehmung einer Melodie wird erleichtert, wenn alle ihre Töne im selben Frequenzstrom liegen. Wir neigen dazu, die Rhythmen zwischen Tönen desselben Frequenzstroms wahrzunehmen und jene anderer Frequenzströme auszublenden. Zeitliche Einschätzungen sind zwischen Tönen desselben Frequenzstroms präziser als zwischen Tönen aus verschiedenen Frequenzströmen. Selbst die wahrgenommene räumliche Position und die wahrgenommene Lautstärke können durch die sequentielle Gruppierung beeinflusst werden. Während die ersten Forschungen zu diesem Thema an erwachsenen Menschen durchgeführt wurden, zeigen neuere Studien, dass einige ASA-Fähigkeiten bereits bei Neugeborenen vorhanden sind, was darauf hindeutet, dass sie angeboren und nicht durch Erfahrung erlernt sind. Weitere Forschungen haben gezeigt, dass auch nicht-menschliche Tiere ASA aufweisen. Derzeit untersuchen Wissenschaftler die Aktivität von Neuronen in den auditorischen Regionen des Großhirns, um die Mechanismen der ASA zu entschlüsseln.

• Menschliche Hörökologie
• Scheinbare Diskontinuität
• Phonemischer Restaurationseffekt
• Theorie der unentbehrlichen Attribute