
Das Zipfsche Gesetz ( / z ɪ f / ) ist ein empirisches Gesetz, das besagt, dass, wenn eine Menge von Messwerten in absteigender Reihenfolge sortiert wird, der Wert des n -ten Eintrags oft annähernd umgekehrt proportional zu n ist .
Das bekannteste Beispiel für das Zipfsche Gesetz betrifft die Häufigkeitsverteilung von Wörtern in einem Text oder Korpus natürlicher Sprache :
Man stellt üblicherweise fest, dass das häufigste Wort etwa doppelt so oft vorkommt wie das nächsthäufigste, dreimal so oft wie das dritthäufigste usw. Im Brown Corpus of American English ist beispielsweise das Wort „ the “ das am häufigsten vorkommende Wort und macht allein fast 7 % aller Wortvorkommen aus (69.971 von etwas über einer Million). Gemäß dem Zipfschen Gesetz kommt das zweithäufigste Wort „ of “ auf etwas über 3,5 % aller Wörter (36.411 Vorkommen), gefolgt von „ and “ (28.852). [ 1 ] Es wird oft in der folgenden Form verwendet, dem sogenannten Zipf-Mandelbrot-Gesetz :
wobei und angepasste Parameter sind, mit , und . [ 2 ]
Dieses Gesetz ist nach dem amerikanischen Linguisten George Kingsley Zipf benannt [ 3 ] [ 4 ] [ 5 ] und stellt nach wie vor ein wichtiges Konzept in der quantitativen Linguistik dar . Es hat sich gezeigt, dass es auf viele andere Arten von Daten anwendbar ist, die in den Natur- und Sozialwissenschaften untersucht werden .
In der mathematischen Statistik wurde dieses Konzept als Zipf-Verteilung formalisiert : Eine Familie verwandter diskreter Wahrscheinlichkeitsverteilungen, deren Rang-Häufigkeits-Verteilung einer inversen Potenzgesetzbeziehung folgt . Sie stehen in Zusammenhang mit dem Benfordschen Gesetz und der Pareto-Verteilung .
Manche Datensätze zeitabhängiger empirischer Daten weichen geringfügig vom Zipfschen Gesetz ab. Solche empirischen Verteilungen werden als quasi-Zipfsch bezeichnet .
Geschichte
Der deutsche Physiker Felix Auerbach beobachtete 1913 eine umgekehrte Proportionalität zwischen der Bevölkerungsgröße von Städten und ihrer Platzierung in einer nach absteigender Reihenfolge sortierten Rangliste. [ 6 ]
Das Zipfsche Gesetz war bereits vor Zipf entdeckt worden, [ a ] zuerst vom französischen Stenografen Jean-Baptiste Estoup im Jahr 1916, [ 8 ] [ 7 ] und auch von G. Dewey im Jahr 1923, [ 9 ] sowie von E. Condon im Jahr 1928. [ 10 ]
Die gleiche Beziehung für die Häufigkeit von Wörtern in natürlichsprachlichen Texten wurde bereits 1932 von George Zipf beobachtet [ 4 ] , doch er beanspruchte nie, sie selbst entdeckt zu haben. Tatsächlich mochte Zipf die Mathematik nicht. In seiner Publikation von 1932 [ 11 ] äußert er sich verächtlich über die Beteiligung der Mathematik an der Linguistik, ao ibidem , S. 21:
- ... lassen Sie mich hier für jeden Mathematiker, der die folgenden Daten genauer formulieren möchte, Folgendes anmerken: Die Fähigkeit des extrem Positiven, zum extrem Negativen zu werden, bringt meiner Meinung nach den Teufel in die Formel.
Der einzige mathematische Ausdruck, den Zipf verwendete, sieht aus wie ab 2 = konstant, den er aus Alfred J. Lotkas Veröffentlichung von 1926 „entlehnt“ hat. [ 12 ]
Derselbe Zusammenhang wurde in vielen anderen Kontexten und für andere Variablen als die Häufigkeit festgestellt. [ 2 ] Beispielsweise ist die Größe von Unternehmen umgekehrt proportional zu ihrem Rang, wenn sie nach absteigender Größe geordnet werden. [ 13 ] Derselbe Zusammenhang findet sich auch für persönliche Einkommen (wo er als Pareto-Prinzip bezeichnet wird [ 14 ] ), die Anzahl der Zuschauer desselben Fernsehkanals [ 15 ] , Noten in der Musik [ 16 ] , Zelltranskriptome [ 17 ] [ 18 ] und vieles mehr.
1957 schlug George A. Miller vor, dass ein Potenzgesetz sogar in zufällig generierten Texten auftritt. [ 19 ] Und 1992 veröffentlichte der Bioinformatiker Wentian Li einen Beweis [ 20 ] , dass die Potenzgesetzform des Zipfschen Gesetzes ein Nebenprodukt der Rangordnung von Wörtern ist. [ 21 ]
Formale Definition
Formal ordnet die Zipf-Verteilung auf N Elementen dem Element vom Rang k (beginnend bei 1) die folgende Wahrscheinlichkeit zu:
wobei H N eine Normierungskonstante ist: Die N -te Harmonische :
Die Verteilung wird manchmal zu einem inversen Potenzgesetz mit dem Exponenten s anstelle von 1 verallgemeinert . [ 22 ] Genauer gesagt:
wobei H N , s eine verallgemeinerte harmonische Zahl ist
Die verallgemeinerte Zipf-Verteilung kann nur dann auf unendlich viele Elemente ( N = ∞) erweitert werden, wenn der Exponent s größer als 1 ist. In diesem Fall wird die Normierungskonstante H N , s zur Riemannschen Zetafunktion .
Der Fall unendlich vieler Elemente wird durch die Zeta-Verteilung charakterisiert und als Lotka-Gesetz bezeichnet . Ist der Exponent s gleich 1 oder kleiner, so divergiert die Normierungskonstante H( N , s) mit N gegen unendlich.
Empirische Tests
Empirisch lässt sich anhand eines Datensatzes prüfen, ob das Zipfsche Gesetz gilt. Dazu wird die Güte der Anpassung einer empirischen Verteilung an die hypothetische Potenzgesetzverteilung mit einem Kolmogorov-Smirnov-Test überprüft und anschließend das (logarithmische) Likelihood-Verhältnis der Potenzgesetzverteilung mit alternativen Verteilungen wie einer Exponentialverteilung oder einer Lognormalverteilung verglichen. [ 23 ]
Das Zipfsche Gesetz lässt sich visualisieren, indem man die Häufigkeitsdaten in einem doppeltlogarithmischen Diagramm darstellt , wobei die Achsen den Logarithmus der Rangfolge und den Logarithmus der Häufigkeit repräsentieren. Die Daten folgen dem Zipfschen Gesetz mit dem Exponenten s insofern, als die Kurve annähernd einer linearen (genauer: affinen ) Funktion mit der Steigung −s entspricht . Für den Exponenten s = 1 kann man auch den Kehrwert der Häufigkeit (mittleres Wortintervall) gegen den Rang oder den Kehrwert des Rangs gegen die Häufigkeit auftragen und das Ergebnis mit der Geraden durch den Ursprung mit der Steigung 1 vergleichen . [ 3 ]
Statistische Erklärungen
Obwohl das Zipfsche Gesetz für die meisten natürlichen Sprachen und sogar für einige künstliche Sprachen wie Esperanto [ 24 ] und Toki Pona [ 25 ] gilt , ist der Grund dafür noch nicht vollständig geklärt. [ 26 ] Neuere Übersichten zu generativen Verfahren für das Zipfsche Gesetz finden sich unter anderem bei Mitzenmacher , „A Brief History of Generative Models for Power Law and Lognormal Distributions“ [ 27 ] und Simkin, „Re-inventing Willis“ [ 28 ] .
Dies lässt sich jedoch teilweise durch statistische Analysen zufällig generierter Texte erklären. Wentian Li zeigte, dass in einem Dokument, in dem jedes Zeichen zufällig aus einer Gleichverteilung aller Buchstaben (plus Leerzeichen) ausgewählt wurde, die „Wörter“ unterschiedlicher Länge dem Makrotrend des Zipfschen Gesetzes folgen (die wahrscheinlichsten Wörter sind die kürzesten und haben die gleiche Wahrscheinlichkeit). [ 20 ] 1959 stellte Vitold Belevitch fest, dass die erste Abschneidung einer beliebigen, wohldefinierten statistischen Verteilung (nicht nur der Normalverteilung ) nach dem Rang und ihrer Entwicklung in eine Taylorreihe das Zipfsche Gesetz ergibt. Die zweite Abschneidung der Taylorreihe führt zum Mandelbrotschen Gesetz . [ 29 ] [ 30 ]
Das Prinzip des geringsten Aufwands ist eine weitere mögliche Erklärung: Zipf selbst schlug vor, dass weder Sprecher noch Hörer einer bestimmten Sprache mehr Aufwand betreiben wollen als nötig, um Verständnis zu erlangen, und dass der Prozess, der zu einer annähernd gleichmäßigen Verteilung des Aufwands führt, die beobachtete Zipf-Verteilung zur Folge hat. [ 5 ] [ 31 ]
Eine Minimalerklärung geht davon aus, dass Wörter durch zufälliges Tippen von Affen erzeugt werden . Wenn Sprache durch einen einzelnen Affen erzeugt wird, der zufällig tippt und dabei eine feste, von Null verschiedene Wahrscheinlichkeit hat, jede Buchstabentaste oder jedes Leerzeichen zu treffen, dann folgen die vom Affen erzeugten Wörter (durch Leerzeichen getrennte Buchstabenfolgen) dem Zipfschen Gesetz. [ 32 ]
Eine weitere mögliche Ursache für die Zipf-Verteilung ist ein Präferenzanhaftungsprozess , bei dem der Wert x eines Elements tendenziell proportional zu x wächst (intuitiv: „ Die Reichen werden reicher “ oder „Erfolg erzeugt Erfolg“). Ein solcher Wachstumsprozess führt zur Yule-Simon-Verteilung , die die Worthäufigkeit im Verhältnis zum Rang in der Sprache [ 33 ] und die Bevölkerungszahl im Verhältnis zum Rang von Städten [ 34 ] besser beschreibt als das Zipfsche Gesetz. Sie wurde ursprünglich von Yule zur Erklärung der Bevölkerungszahl im Verhältnis zum Rang von Arten entwickelt und von Simon auf Städte angewendet.
Eine ähnliche Erklärung basiert auf Atlasmodellen, Systemen austauschbarer, positivwertiger Diffusionsprozesse mit Drift- und Varianzparametern, die nur vom Rang des Prozesses abhängen. Es wurde mathematisch gezeigt, dass das Zipfsche Gesetz für Atlasmodelle gilt, die bestimmte natürliche Regularitätsbedingungen erfüllen. [ 35 ] [ 36 ]
Verwandte Gesetze
Eine Verallgemeinerung des Zipfschen Gesetzes ist das Zipf-Mandelbrot-Gesetz , das von Benoit Mandelbrot vorgeschlagen wurde und dessen Häufigkeiten wie folgt lauten:
Die Konstante C ist die Hurwitz-Zetafunktion, ausgewertet an der Stelle s .
Zipf-Verteilungen können durch Variablentausch aus Pareto-Verteilungen gewonnen werden. [ 22 ]
Die Zipf-Verteilung wird manchmal auch als diskrete Pareto-Verteilung bezeichnet [ 37 ], weil sie analog zur stetigen Pareto-Verteilung ist , so wie die diskrete Gleichverteilung analog zur stetigen Gleichverteilung ist .
Die Randfrequenzen der Yule-Simon-Verteilung betragen ungefähr
für jede Wahl von ρ > 0 .
In der parabolischen fraktalen Verteilung ist der Logarithmus der Häufigkeit ein quadratisches Polynom des Logarithmus des Rangs. Dies kann die Anpassung gegenüber einer einfachen Potenzgesetzbeziehung deutlich verbessern. [ 38 ] Ähnlich wie die fraktale Dimension lässt sich auch die Zipf-Dimension berechnen, die ein nützlicher Parameter in der Textanalyse ist. [ 39 ]
Es wurde argumentiert, dass das Benfordsche Gesetz ein Spezialfall des Zipfschen Gesetzes mit beschränkter Wahrscheinlichkeit ist [ 38 ]. Der Zusammenhang zwischen diesen beiden Gesetzen wird dadurch erklärt, dass sie beide auf skaleninvarianten funktionalen Beziehungen der statistischen Physik und kritischen Phänomenen beruhen [ 40 ] . Die Wahrscheinlichkeitsverhältnisse im Benfordschen Gesetz sind nicht konstant. Die ersten Ziffern von Daten, die das Zipfsche Gesetz mit s = 1 erfüllen , erfüllen auch das Benfordsche Gesetz.
| Benfordsches Gesetz: | ||
|---|---|---|
| 1 | 0,30103000 | |
| 2 | 0,17609126 | −0,7735840 |
| 3 | 0,12493874 | −0,8463832 |
| 4 | 0,09691001 | −0,8830605 |
| 5 | 0,07918125 | −0,9054412 |
| 6 | 0,06694679 | −0,9205788 |
| 7 | 0,05799195 | −0,9315169 |
| 8 | 0,05115252 | −0,9397966 |
| 9 | 0,04575749 | −0,9462848 |
Vorkommen
Stadtgrößen
Nach Auerbachs Beobachtung aus dem Jahr 1913 wurde das Zipfsche Gesetz hinsichtlich der Stadtgröße eingehend untersucht. [ 41 ] Neuere empirische [ 42 ] [ 43 ] und theoretische [ 44 ] Studien haben jedoch die Relevanz des Zipfschen Gesetzes für Städte in Frage gestellt.
Worthäufigkeiten in natürlichen Sprachen

In vielen Texten in menschlichen Sprachen folgen die Worthäufigkeiten annähernd einer Zipf-Verteilung mit einem Exponenten s nahe 1; das heißt, das häufigste Wort kommt etwa n- mal so häufig vor wie das n -häufigste.
Die tatsächliche Rang-Häufigkeits-Verteilung eines natürlichsprachlichen Textes weicht in gewissem Maße von der idealen Zipf-Verteilung ab, insbesondere an den beiden Enden des Bereichs. Die Abweichungen können von der Sprache, dem Thema des Textes, dem Autor, einer möglichen Übersetzung und den verwendeten Rechtschreibregeln abhängen. [ 45 ] Aufgrund von Stichprobenfehlern sind gewisse Abweichungen unvermeidbar .
Im Bereich der niedrigen Frequenzen, wo der Rang sich N nähert , nimmt die Kurve eine treppenförmige Gestalt an, da jedes Wort nur eine ganzzahlige Anzahl von Malen vorkommen kann.
- Zipfsche Gesetzdiagramme für mehrere Sprachen



Die ersten fünf Bücher des Alten Testaments (die Tora ) in Hebräisch, mit Vokalen
Die ersten fünf Bücher des Alten Testaments (der Pentateuch ) in der lateinischen Vulgata- Übersetzung
Die ersten vier Bücher des Neuen Testaments (die Evangelien ) in der lateinischen Vulgata- Übersetzung

In einigen romanischen Sprachen weichen die Häufigkeiten der etwa zwölf häufigsten Wörter erheblich von der idealen Zipf-Verteilung ab, da diese Wörter Artikel enthalten, die nach grammatischem Geschlecht und Numerus flektiert werden .
In vielen ostasiatischen Sprachen, wie Chinesisch , Tibetisch und Vietnamesisch , besteht jedes Morphem (Wort oder Wortteil) aus einer einzigen Silbe ; ein englisches Wort wird oft als Kompositum aus zwei solchen Silben übersetzt. Die Rang-Häufigkeits-Tabelle für diese Morpheme weicht an beiden Enden des Spektrums deutlich vom idealen Zipfschen Gesetz ab.
Auch im Englischen werden die Abweichungen vom idealen Zipfschen Gesetz bei der Untersuchung großer Textsammlungen deutlicher. Die Analyse eines Korpus von 30.000 englischen Texten ergab, dass nur etwa 15 % der Texte dem Zipfschen Gesetz gut entsprechen. Geringfügige Änderungen in der Definition des Zipfschen Gesetzes können diesen Prozentsatz auf nahezu 50 % erhöhen. [ 48 ]
In diesen Fällen lässt sich die beobachtete Häufigkeits-Rang-Beziehung genauer modellieren, indem man separate Zipf-Mandelbrot-Verteilungen für verschiedene Wortarten oder -untergruppen angibt. Dies trifft beispielsweise auf die Häufigkeits-Rang-Darstellung der ersten 10 Millionen Wörter der englischen Wikipedia zu. Insbesondere die Häufigkeiten der geschlossenen Klasse der Funktionswörter im Englischen werden besser durch einen Wert von s kleiner als 1 beschrieben, während das offene Vokabelwachstum mit zunehmender Dokument- und Korpusgröße einen Wert von s größer als 1 für die Konvergenz der verallgemeinerten harmonischen Reihe erfordert . [ 3 ]

Wird ein Text so verschlüsselt, dass jedes Vorkommen eines bestimmten Klartextworts stets demselben verschlüsselten Wort zugeordnet wird (wie bei einfachen Substitutionschiffren , etwa der Caesar-Verschlüsselung oder einfachen Codebuchchiffren ), bleibt die Häufigkeits-Rang-Verteilung unverändert. Können hingegen mehrere Vorkommen desselben Wortes zwei oder mehr verschiedenen Wörtern zugeordnet werden (wie bei der Vigenère- Verschlüsselung ), weist die Zipf-Verteilung typischerweise einen flachen Bereich im Hochfrequenzbereich auf.
Anwendungen
Das Zipfsche Gesetz wurde zur Extraktion paralleler Textfragmente aus vergleichbaren Korpora verwendet. [ 49 ] Laurance Doyle und andere schlugen die Anwendung des Zipfschen Gesetzes zur Erkennung außerirdischer Sprachen bei der Suche nach außerirdischer Intelligenz vor . [ 50 ] [ 51 ]
Die Häufigkeitsrangverteilung der Wörter ist oft charakteristisch für den Autor und ändert sich im Laufe der Zeit kaum. Dieses Merkmal wurde bei der Analyse von Texten zur Autorschaftszuordnung verwendet. [ 52 ] [ 53 ]
Es wurde festgestellt, dass die wortähnlichen Zeichengruppen des Voynich-Manuskripts aus dem 15. Jahrhundert das Zipfsche Gesetz erfüllen, was darauf hindeutet, dass der Text höchstwahrscheinlich keine Fälschung ist, sondern in einer obskuren Sprache oder Chiffre verfasst wurde. [ 54 ] [ 55 ]
Siehe auch
- 1%-Regel – Hypothese: Mehr Menschen halten sich in einer virtuellen Gemeinschaft auf, als dass sie aktiv teilnehmen.
- Benfordsches Gesetz – Beobachtung, dass in vielen realen Datensätzen die erste Ziffer wahrscheinlich klein ist.
- Bradfordsches Gesetz – Muster von Verweisen in wissenschaftlichen Zeitschriften
- Gesetz der Kürze – Linguistikgesetz
- Demografische Gravitation – Sozialer Effekt
- Wortliste – Reine Liste der Wörter einer Sprache in der Korpuslinguistik
- Gibrats Gesetz – Ökonomisches Prinzip
- Hapax legomenon – Wort, das nur einmal in einem Text oder einer Aufzeichnung vorkommt
- Heaps'sches Gesetz – Heuristik für unterschiedliche Wörter in einem Dokument
- Hilbergs Hypothese – Potenzgesetzliches Wachstum der Sprachentropie oder ein stochastischer Prozess
- Historisches Wiederauftreten – Wiederholung ähnlicher Ereignisse in der Geschichte
- King-Effekt – Ein Phänomen in der Statistik, bei dem die höchstrangigen Datenpunkte Ausreißer sind.
- Langer Ausläufer – Merkmal mancher statistischer Verteilungen
- Lorenz-Kurve – Graph der Vermögens- oder Einkommensverteilung
- Lotkas Gesetz – Anwendung des Zipfschen Gesetzes auf Publikationen nach Fachgebiet
- Menzeraths Gesetz – Sprachgesetz
- Pareto-Verteilung – Wahrscheinlichkeitsverteilung
- Pareto-Prinzip – Statistisches Prinzip über das Verhältnis von Wirkungen zu Ursachen
- Prices Gesetz – Bibliometrische Hypothese
- Prinzip des geringsten Aufwands – die Idee, dass Akteure bevorzugt das tun, was am einfachsten ist.
- Rang-Größen-Verteilung – Statistische Verteilung
- Stiglers Gesetz der Eponymie – Beobachtung, dass keine wissenschaftliche Entdeckung nach ihrem Entdecker benannt wird
- Buchstabenhäufigkeit
- Die häufigsten Wörter im Englischen
Anmerkungen
Referenzen
- ^ Fagan, Stephen; Gençay, Ramazan (2010). „Einführung in die textuelle Ökonometrie“. In: Ullah, Aman; Giles, David EA (Hrsg.). Handbuch der empirischen Ökonomie und Finanzwissenschaft . CRC Press. S. 133–153 , insbesondere S. 139. ISBN 978-1-4200-7036-1
Im Brown Corpus beispielsweise, das aus über einer Million Wörtern besteht, besteht die Hälfte des Wortvolumens aus wiederholten Verwendungen von nur 135 Wörtern
. - ^ a b Piantadosi, Steven (25. März 2014). „Zipfs Worthäufigkeitsgesetz in der natürlichen Sprache: Eine kritische Betrachtung und zukünftige Richtungen“ . Psychon Bull Rev. 21 ( 5): 1112–1130 . doi : 10.3758/s13423-014-0585-6 . PMC 4176592. PMID 24664880 .
- ^ a b c Powers, David MW (1998). Anwendungen und Erklärungen des Zipfschen Gesetzes . Gemeinsame Konferenz über neue Methoden in der Sprachverarbeitung und im computergestützten Lernen natürlicher Sprache. Association for Computational Linguistics. S. 151–160 . Archiviert vom Original am 10. September 2015. Abgerufen am 2. Februar 2015 – via aclweb.org.
- ^ a b Zipf, GK (1935). Die Psychobiologie der Sprache . New York, NY: Houghton-Mifflin.
- ^ a b c Zipf, George K. (1949). Menschliches Verhalten und das Prinzip des geringsten Aufwands . Cambridge, MA: Addison-Wesley. S. 1 – via archive.org.
- ^ Auerbach, F. (1913). „Das Gesetz der Bevölkerungskonzentration“. Petermanns Geographische Mitteilungen (auf Deutsch). 59 : 74–76 .
- ^ Manning , Christopher D .; Schütze, Hinrich (1999). Grundlagen der statistischen Verarbeitung natürlicher Sprache . MIT Press. P. 24. ISBN 978-0-262-13360-9Die
- ^ Estoup, J.-B. (1916). Gammes Stenographiques (4. Aufl.).Zitiert in Manning & Schütze (1999) . [ 7 ]
- ^ Dewey, Godfrey (1923). Relative Frequency of English Speech Sounds . Harvard University Press – via Internet Archive.
- ^ Condon, EU (1928). „Statistik des Vokabulars“ . Science . 67 (1733): 300. Bibcode : 1928Sci....67..300C . doi : 10.1126/science.67.1733.300 . hdl : 11858/00-001M-0000-002B-0DF6-B . PMID 17782935 .
- ^ Zipf, GK (1932). Ausgewählte Studien über das Prinzip der relativen Häufigkeit in der Sprache . Harvard, MA: Harvard University Press.
- ^ Zipf, George Kingsley (1942). „Die Einheit von Natur, Prinzip der geringsten Handlung und natürlicher Sozialwissenschaft“. Sociometry . 5 (1): 48–62 . doi : 10.2307/2784953 . JSTOR 2784953 .
- ^ Axtell, Robert L. (7. September 2001). „Zipf-Verteilung der Unternehmensgrößen in den USA“. Science . 293 (5536): 1818–1820 . Bibcode : 2001Sci...293.1818A . doi : 10.1126/science.1062081 . PMID 11546870 .
- ^ Sandmo, Agnar (2015). Das Hauptproblem der politischen Ökonomie . Handbuch der Einkommensverteilung. Band 2. S. 3–65 . doi : 10.1016/B978-0-444-59428-0.00002-3 . ISBN 978-0-444-59430-3Die
- ^ Eriksson, Magnus; Rahman, SM Hasibur; Fraile, Francisco; Sjostrom, Marten (2013). „Effizientes interaktives Multicast über DVB-T2 – Nutzung dynamischer SFNS und PARPS“ . 2013 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB) . S. 1–7 . doi : 10.1109/BMSB.2013.6621700 . ISBN 978-1-4673-6047-0Die
- ^ Zanette, Damián H. (7. Juni 2004). „Zipfs Gesetz und die Schaffung musikalischen Kontextes“. arXiv : cs/0406015 .
- ^ Lazzardi, Silvia; Valle, Filippo; Mazzolini, Andrea; Scialdone, Antonio; Caselle, Michele; Osella, Matteo (27. April 2023). „Neue statistische Gesetze in transkriptomischen Einzelzelldaten“ . Körperliche Überprüfung E . 107 (4) 044403. Bibcode : 2023PhRvE.107d4403L . doi : 10.1103/PhysRevE.107.044403 . PMID 37198814 .
- ^ Chenna, Ramu; Gibson, Toby (2011). Evaluation of the suitability of a Zipfian gap model for pairwise sequence alignment (PDF) . International Conference on Bioinformatics Computational Biology. BIC 4329. Archiviert vom Original (PDF) am 6. März 2014.
- ^ Miller, George A. (1957). „Einige Auswirkungen intermittierender Stille“ . The American Journal of Psychology . 70 (2): 311–314 . doi : 10.2307/1419346 . ISSN 0002-9556 . JSTOR 1419346 .
- ^ a b Li, Wentian (1992). „Random Texts Exhibit Zipf's-Law-Like Word Frequency Distribution“. IEEE Transactions on Information Theory . 38 (6): 1842–1845 . Bibcode : 1992ITIT...38.1842L . doi : 10.1109/18.165464 .
- ^ Newman, Mej (September 2005). „Potenzgesetze, Pareto-Verteilungen und das Zipfsche Gesetz“ . Contemporary Physics . 46 (5): 323–351 . arXiv : cond-mat/0412004 . Bibcode : 2005ConPh..46..323N . doi : 10.1080/00107510500052444 . ISSN 0010-7514 .
- ^ a b Adamic, Lada A. (2000). Zipf, Potenzgesetze und Pareto – ein Tutorial zur Rangordnung (Bericht) (Neuauflage). Hewlett-Packard Company. Archiviert vom Original am 1. April 2023. Abgerufen am 12. Oktober 2023 .„Originalveröffentlichung“ . www.parc.xerox.com . Xerox Corporation . Archiviert vom Original am 7. November 2001. Abgerufen am 23. Februar 2016 .
- Clauset , A.; Shalizi, C. R.; Newman, M. E. J. (2009). „Potenzgesetzverteilungen in empirischen Daten“. SIAM Review . 51 (4): 661–703 . arXiv : 0706.1062 . Bibcode : 2009SIAMR..51..661C . doi : 10.1137/070710111 .
- ^ Manaris, Bill; Pellicoro, Luca; Pothering, George; Hodges, Harland (13. Februar 2006). Untersuchung der statistischen Anteile von Esperanto im Vergleich zu anderen Sprachen mithilfe neuronaler Netze und des Zipfschen Gesetzes (PDF) . Künstliche Intelligenz und Anwendungen. Innsbruck, Österreich. S. 102–108 . Archiviert vom Original (PDF) am 5. März 2016 – via cs.cofc.edu.
- ^ Skotarek, Dariusz (12.–14. Oktober 2020). Zipfsches Gesetz in Toki Pona (PDF) . ExLing 2020: 11. Internationale Konferenz für Experimentelle Linguistik. Athen, Griechenland: ExLing Society. doi : 10.36505/ExLing-2020/11/0047/000462 . ISBN 978-618-84585-1-2– via exlingsociety.com.
- ^ Brillouin, Léon (2004) [1959, 1988]. La science et la théorie de l'information [ Die Wissenschaft und Theorie der Information ] (auf Französisch).
Zurückgewiesen im Jahr 1988, Englische Übersetzung zurückgemeldet im Jahr 2004
- ^ Mitzenmacher, Michael (Januar 2004). „Eine kurze Geschichte generativer Modelle für Potenzgesetz- und Lognormalverteilungen“ . Internet Mathematics . 1 (2): 226–251 . doi : 10.1080/15427951.2004.10129088 .
- ^ Simkin, MV; Roychowdhury, VP (Dezember 2010). „Re-inventing Willis“. Physics Reports . arXiv : physics/0601192 . doi : 10.1016/j.physrep.2010.12.004 .
- ^ Belevitch, V. (18. Dezember 1959). „Über die statistischen Gesetze sprachlicher Verteilungen“ (PDF) . Annales de la Société Scientifique de Bruxelles . 73 : 310–326 . Archiviert (PDF) vom Original am 15. Dezember 2020 . Abgerufen am 24. April 2020 .
- ^ Neumann, PG (ca. 2022). Statistische Metalinguistik und Zipf-/Pareto-/Mandelbrot- Verteilung (Bericht). Computer Science Laboratory. Band 12A. Menlo Park, CA: SRI International . Archiviert vom Original am 5. Juni 2011. Abgerufen am 29. Mai 2011 über sri.com.
- ^ Ferrer i Cancho, Ramon & Sole, Ricard V. (2003). „Geringster Aufwand und die Ursprünge der Skalierung in der menschlichen Sprache“ . Proceedings of the National Academy of Sciences of the United States of America . 100 (3): 788–791 . Bibcode : 2003PNAS..100..788C . doi : 10.1073/pnas.0335980100 . PMC 298679. PMID 12540826 .
- ^ Conrad, B.; Mitzenmacher, M. (Juli 2004). „Potenzgesetze für zufälliges Tippen von Affen: Der Fall ungleicher Wahrscheinlichkeiten“. IEEE Transactions on Information Theory . 50 (7): 1403–1414 . Bibcode : 2004ITIT...50.1403C . doi : 10.1109/TIT.2004.830752 .
- ^ Lin, Ruokuang; Ma, Qianli DY; Bian, Chunhua (2014). „Skalierungsgesetze in der menschlichen Sprache, abnehmende Entstehung neuer Wörter und ein verallgemeinertes Modell“. arXiv : 1412.4846 [ cs.CL ].
- ^ Vitanov, Nikolay K.; Ausloos, Marcel (2. Dezember 2015). „Test zweier Hypothesen zur Erklärung der Bevölkerungsgröße in einem Städtesystem“. Journal of Applied Statistics . 42 (12): 2686–2693 . arXiv : 1506.08535 . Bibcode : 2015JApSt..42.2686V . doi : 10.1080/02664763.2015.1047744 .
- ^ Fernholz, Ricardo T.; Fernholz, Robert (Dezember 2020). „Zipfs Gesetz für Atlasmodelle“. Zeitschrift für angewandte Wahrscheinlichkeit . 57 (4): 1276–1297 . arXiv : 1707.04285 . doi : 10.1017/jpr.2020.64 .
- ^ Tao, Terence (Juli 2012). „E pluribus unum: Von der Komplexität zur Universalität“ . Dädalus . 141 (3): 23–34 . doi : 10.1162/DAED_a_00158 .
- ^ Johnson, NL; Kotz, S. & Kemp, AW (1992). Univariate Discrete Distributions (2. Aufl.). New York: John Wiley & Sons, Inc. S. 466. ISBN 978-0-471-54897-3Die
- ^ a b van der Galien, Johan Gerard (8. November 2003). „Fakultätszufälligkeit: Die Gesetze von Benford und Zipf bezüglich der Verteilung der ersten Ziffer der Faktorfolge der natürlichen Zahlen“ . zonnet.nl . Archiviert vom Original am 5. März 2007. Abgerufen am 8. Juli 2016 .
- ^ Eftekhari, Ali (2006). „Fraktale Geometrie von Texten: Eine erste Anwendung auf die Werke Shakespeares“. Journal of Quantitative Linguistics . 13 ( 2–3 ): 177–193 . doi : 10.1080/09296170600850106 .
- ^ Pietronero, L.; Tosatti, E.; Tosatti, V.; Vespignani, A. (2001). „Erklärung der ungleichen Verteilung von Zahlen in der Natur: Die Gesetze von Benford und Zipf“. Physica A. 293 ( 1–2 ) : 297–304 . arXiv : cond-mat/9808305 . Bibcode : 2001PhyA..293..297P . doi : 10.1016/S0378-4371(00)00633-6 .
- ^ Gabaix, Xavier (1999). „Zipfs Gesetz für Städte: Eine Erklärung“. The Quarterly Journal of Economics . 114 (3): 739–767 . doi : 10.1162/003355399556133 . JSTOR 2586883 .
- ^ Arshad, Sidra; Hu, Shougeng; Ashraf, Badar Nadeem (Februar 2018). „Zipfsches Gesetz und die Verteilung der Stadtgröße: Ein Überblick über die Literatur und zukünftige Forschungsagenda“ (PDF) . Physica A: Statistical Mechanics and Its Applications . 492 : 75–92 . Bibcode : 2018PhyA..492...75A . doi : 10.1016/j.physa.2017.10.005 . Archiviert vom Original (PDF) am 26. November 2024. Abgerufen am 19. November 2024 .
- ^ Gan, Li; Li, Dong; Song, Shunfeng (August 2006). „Ist das Zipf-Gesetz irreführend bei der Erklärung von Stadtgrößenverteilungen?“. Economics Letters . 92 (2): 256–262 . doi : 10.1016/j.econlet.2006.03.004 .
- ^ Verbavatz, Vincent; Barthelemy, Marc (19. November 2020). „Die Wachstumsgleichung der Städte“. Nature . 587 (7834): 397–401 . arXiv : 2011.09403 . Bibcode : 2020Natur.587..397V . doi : 10.1038/s41586-020-2900-x . PMID 33208958 .
- ^ Rosillo-Rodes, Pablo; San Miguel, Maxi; Sánchez, David (14. Juli 2025). „Entropie und Typ-Token-Verhältnis in Gigawortkorpora“. Physical Review Research . 7 (3) 033054. arXiv : 2411.10227 . Bibcode : 2025PhRvR...7c3054R . doi : 10.1103/rxxz-lk3n .
- ^ Ferrer Cancho, Ramon; Solé, Ricard V. (Dezember 2001). „Zwei Regime in der Häufigkeit von Wörtern und die Ursprünge komplexer Lexika: Zipfs Gesetz neu betrachtet“. Journal of Quantitative Linguistics . 8 (3): 165–173 . doi : 10.1076/jqul.8.3.165.4101 . hdl : 2117/180381 .
- ^ Dorogovtsev, SN; Mendes, JFF (22. Dezember 2001). „Sprache als sich entwickelndes Wortnetz“ . Proceedings of the Royal Society of London. Series B: Biological Sciences . 268 (1485): 2603–2606 . doi : 10.1098 / rspb.2001.1824 . PMC 1088922. PMID 11749717 .
- Moreno -Sánchez, I.; Font-Clos, F.; Corral, A. (2016). „Groß angelegte Analyse des Zipfschen Gesetzes in englischen Texten“ . PLOS ONE . 11 (1) e0147073. arXiv : 1509.04486 . Bibcode : 2016PLoSO..1147073M . doi : 10.1371/ journal.pone.0147073 . PMC 4723055. PMID 26800025 .
- ^ Mohammadi, Mehdi (2016). „Parallele Dokumentenidentifizierung mithilfe des Zipfschen Gesetzes“ (PDF) . Proceedings of the Ninth Workshop on Building and Using Comparable Corpora . LREC 2016. Portorož, Slowenien. S. 21–25 . Archiviert (PDF) vom Original am 23. März 2018.
- ^ Doyle, LR (18. November 2016). „Warum außerirdische Sprache inmitten des ganzen Lärms des Universums auffallen würde“ . Nautilus Quarterly . Archiviert vom Original am 29. Juli 2020. Abgerufen am 30. August 2020 .
- ^ Kershenbaum, Arik (16. März 2021). Der Zoologe als Leitfaden durch die Galaxis: Was Tiere auf der Erde über Außerirdische – und uns selbst – verraten . Penguin. S. 251–256 . ISBN 978-1-9848-8197-7OCLC 1242873084 .
- ^ van Droogenbroeck, Frans J. (2016). Umgang mit der Zipf-Verteilung bei der computergestützten Autorschaftszuordnung (Bericht). Archiviert vom Original am 4. Oktober 2023 – via academia.edu.
- ^ van Droogenbroeck, Frans J. (2019). Eine grundlegende Neuformulierung des Zipf-Mandelbrot-Gesetzes zur Lösung von Problemen der Autorschaftszuordnung mittels Gaußscher Statistik (Bericht). Archiviert vom Original am 30. September 2023 – via academia.edu.
- ^ Boyle, Rebecca. „Sprachähnliche Muster in mysteriösen Texten könnten ein ausgeklügelter Schwindel sein“ . New Scientist . Archiviert vom Original am 18. Mai 2022. Abgerufen am 25. Februar 2022 .
- ^ Montemurro, Marcelo A.; Zanette, Damián H. (21. Juni 2013). „Schlüsselwörter und Kookkurrenzmuster im Voynich-Manuskript: Eine informationstheoretische Analyse“ . PLOS ONE . 8 (6) e66344. Bibcode : 2013PLoSO...866344M . doi : 10.1371/journal.pone.0066344 . PMC 3689824. PMID 23805215 .
Weiterführende Literatur
- Gelbukh, Alexander; Sidorov, Grigori (2001). „Die Koeffizienten der Zipf- und Heaps-Gesetze hängen von der Sprache ab“. Computational Linguistics and Intelligent Text Processing . Lecture Notes in Computer Science. Band 2004. S. 332–335 . doi : 10.1007/3-540-44686-9_33 . ISBN 978-3-540-41687-6Die
- Kali, Raja (15. September 2003). „Die Stadt als gigantische Komponente: Ein zufallsgraphenbasierter Ansatz zum Zipfschen Gesetz“. Applied Economics Letters . 10 (11): 717–720 . doi : 10.1080/1350485032000139006 .
- Shyklo, Alexandra Elizabeth (2017). Einfache Erklärung des Zipfschen Rätsels mittels einer neuen Rang-Anteils-Verteilung, abgeleitet aus der Kombinatorik des Rangordnungsprozesses (Bericht). SSRN 2918642 .
- Moskowitz, Clara; Ford, Ni-ka; Christiansen, Jen (Januar 2024). „Zellen nach Anzahl und Größe“. Scientific American . 330 (1): 94. doi : 10.1038/scientificamerican0124-94 . PMID 39017389 .
Externe Links
- Strogatz, Steven (29. Mai 2009). „Gastbeitrag: Mathematik und die Stadt“ . The New York Times . Archiviert vom Original am 27. September 2015. Abgerufen am 29. Mai 2009 .—Ein Artikel über das Zipfsche Gesetz in Anwendung auf Stadtbevölkerungen
- Um die Ecke sehen (Künstliche Gesellschaften bringen das Zipfsche Gesetz zum Vorschein)
- PlanetMath-Artikel zum Zipfschen Gesetz
- Verteilungen vom Typ "fraktale Parabel" in der Natur (Französisch, mit englischer Zusammenfassung) Archiviert am 24.10.2004 im Internetarchiv Wayback Machine
- Eine Analyse der Einkommensverteilung
- Zipf-Liste französischer Wörter (Archiviert am 23.06.2007 im Internetarchiv Wayback Machine)
- Zipf-Liste für Englisch, Französisch, Spanisch, Italienisch, Schwedisch, Isländisch, Latein, Portugiesisch und Finnisch vom Gutenberg-Projekt und Online-Rechner zur Wortrangfolge in Texten. Archiviert am 08.04.2011 in der Wayback Machine.
- Silagadze, ZK (1999). „Zitate und das Zipf-Mandelbrot-Gesetz“. arXiv : physics/9901035 .
- Beispiele und Modellierung des Zipfschen Gesetzes (1985)
- Adamic, Lada (2011). „Die Entschlüsselung des Zipfschen Gesetzes“ . Nature . 474 (7350): 164–165 . doi : 10.1038/474164a .
- Das Benfordsche Gesetz, das Zipfsche Gesetz und die Pareto-Verteilung von Terence Tao .
- „Zipf-Gesetz“ , Enzyklopädie der Mathematik , EMS Press , 2001 [1994]