Zipfelsinn III

[richy]

Einige Ergebnisse.
Das sich diskret komplizierte Funktionen ergeben, schreibe ich diese nicht explizit an.
Darstellung des Pareto oder 80/20 Gesetzes :
Im Folgenden ist die Summe ueber die diskrete Verteilung c/k in Abhaengigkeit der Anzahl von Klassen dargestellt :




Das 80/20 Gesetzt gilt somit nur in etwa fuer Klaessenzahlen zwischen 1000 und 2000. Genau bei 1744.
http://www.ephorie.de/das_80-20_prinzip.htm
Es ist durchaus moeglich, dass manche Wirschaftswissenschaftler von einer falschen Annahme ausgehen. Allerdings ist in obiger Darstellugng nicht erfasst wieviele Elemente
eine Klasse tatsaechlich enthaelt.
Die kummukitave Wahrscheiblichkeit kann man auch als Nutzen betrachten ueber die prozentuale Betrachtung der Bearbeitung einer Gesamtaufgabe.

Formell:

m:=sum(1/(i),i=1..N);m:=1/m;
d:=sum(m/p,p=1..x*N);
d=1/(Psi(N+1)+gamma)*Psi(x*N+1)+1/(Psi(N+1)+gamma)*gamma
Dies unterscheidet sich vom kontinuierlichen Fall.

Der Gesamtaufwand , Information, Entropie : a:=sum(log(p/m),p=1..x*N)
waechst bei einer c/k Verteilung in etwa linear :



Iteressant ist auch die Darstellung des Nutzens pro Aufwand


Spaetestens ab 0.2 also 20% einer erldedigten Aufgabe wird der Nutzen pro Aufwand immer geringer.
Das ist auch die Erklaerung, warum man z.B. beim Erlernen eines instrumentes Anfangs
schnell recht weit kommt und ab einem gewissen Level der Fortschritt stagniert.

Weitere interessante Beispiele der Zipf Verteilung sind uebrigends Lawinen und die Form von Sandhaufen.

[richy]

Korrektur :
Das Programm predic.c in numerical reicipes in C ist leider doch keine vollstaendige Implementation des Burg Algorithmus, sondern benutzt nur dessen Predictor Routine.
Die Second Edition ist auch eher etwas fuer C Puristen des ANSI C-Codes.

Die PDF Dateien des Buches meiner Meinung nach jedoch dennoch eine Goldgrube. Fuer die third Edition zahlt man inzwischen 120 EUR !
http://www.fizyka.umk.pl/nrbook/bookcpdf.html

Kostenlos, Freeware ist dagegen dieses eigenstaendige Programm "Rainbow" fuer
Spektralschaetzung !
http://www.digitalcalculus.com/page/593045
Es enthaelt gleich 13 Methoden ! moderner und traditioneller Spektralschaetzung, inclusive Burg Algorithmus, aus dem Buch
"Modern Spectral Estimation: Theory and Application"
http://www.amazon.com/gp/offer-listi...9/ref=dp_olp_2
Schlappe 200 USD. Wahnsinn was gute Buecher heute kosten :-(
Das Programm ist recht maechtig und praktisch, aber nicht sonderlich gut durchdacht.
So werden aktuelle Einstellungen nur uebernommen wenn man diese in einer Datei
speichert.
Am besten man erzeugt zunaechst eine Muelleimerdatei, mit der man die ganzen sinnlosen
erwarteten Speichervorgaenge erledigt.
Das Programm verfuegt auch ueber keine Fehlerabfangroutinen.
Schade ansonsten ein wirklich super Programm.


MAPLE Dateiroutine fuer den Datentrasfer via Textdatei zu Rainbow:
**************************************************

> restart;
> N:=2^8; .................................Anzahl Abtastwerte
> for i from 1 to N do
> f[i]:=evalf(sin(8*Pi*i/N)); ........ Beispielfunktion
> od:
>
> druck:=seq([i,f[i]],i=1..N): ....... Nur zur Kontrolle :
> plot([druck]); ........................ Ausdruck der Funktion

> # SPEICHERN IM TEXTFORMAT :
> # **********************
> filename:=`C:/od-tools/Rainbow/User/richy.txt`;
> fd:= fopen(`filename`,WRITE,TEXT);
> for i from 1 to N do
> fprintf(`fd`,`%g %f\n`,i,f[i]):
> od:
> fclose(fd);

In Mathlab ist der Burg Algorithmus uebrigends auch implementiert.

[richy]

Spektralschaetzung der logistischen Gleichung


r=3.825

1024 Abtastwerte (nicht mittelwertfrei)

Burg Algorithmus 10 ter Ordnung :


Burg Algorithmus 10 ter Ordnung fuer mittelwertfreie Daten :


Im Bereich der Frequenzen 5-10 sieht man einen linearen Abfall jedoch vom -6 dB.
Ansonsten kann ich hier keine 1/f Beziehung erkennen.

[richy]

Vergleich des Periodorgamms mit dem Burg Algorithmus

Im folgenden wurden 1024 zufaellige Abstatswerte verwendet, denen eine Sinusschwingung gleicher Amplitude ueberlagert ist.
Hier das Ergebnis der Spektralschaetzung

Periodogramm mit Rechteckfenster


Periodogramm mit Barlettfenster


Burg Algorithmus


Dabei ist zu beachten, dass der Burg Algorithmus die absoluten Werte der spektralen Leistungsdichte nur unvollkommen wiedergibt.
Wie man sieht liefert er jedoch ein glattes Spektrum.
Die Schwankungen im Periodogramm geben die konstante Leistungsdichte des Zufallssignals dagegen nur sehr schlecht wieder.

[Hamilton]

Hm, also nachwievor denke ich, dass ein 1/f-Spektrum etwas anderes ist als eine 1/x Verteilung. Ich finde außerdem, dass dieser Thread zu unaufgeräumt geworden ist. Der Abstecher in die Spektralschätzer ist ja ganz nett, gehört hier aber nicht rein, das ist nur ein technisches Problem.

2)
Es muss sowohl eine untere Grenzfrequenz fu als auch eine obere Grenzfrequenz fo geben, da die Leistung nicht unbegrenzt sein kann.

3)
Da der ln fuer grosse Argumente von allen Verteilungen am langsamsten waechst, ist die 1/f Verteilung enegetisch am guenstigsten zur Ueberdeckung grosser Frequenzbereiche
Die Fiktion wieisses Rauschen natuerlich ausgeschlossen.
=>
Steht einem physikalischen System ein begrenzter Energievorrat zu Verfuegung und wird dieser ueber einen grossen Frequenzbereich verteilt, so ist mit 1/f Rauschen zu rechnen. Unter Beachtung von 2.

Ich halte die Behauptung, dass ein 1/f-Spektrum Energieminimierend sein soll nichts. Das Leistungsspektrum sagt nur, in welchen Frequenzen wieviel Energie abgestrahlt wird. Da ist nichts minimal.
Das Integral über 1/f konvergiert nicht, wie du richtig bemerkt hast- also muss es irgendwelche harten Grenzen geben- nach oben und nach unten- das halte ich nicht für plausibel. Und- wenn das so wäre, warum hält sich z.B. ein schwarzer Strahler nicht daran? Und woraus leitest du die Grenzen ab?
Das ist einfach zuviel gewollt. Manchmal sieht man Dinge, nur weil man sie sehen will- aber das hier ist einfach nicht zu sehen.

Das Ziel ist, einen Code zu finden, mit dem die Zeichenkette mit so wenig Binärzeichen wie möglich übertragen werden kann. Man kann sich dabei zunutze machen, dass nicht alle Zeichen gleich häufig auftreten und man für Zeichen, die seltener auftreten, deshalb auch längere Sequenzen verwenden kann, wenn es dafür möglich ist, für ein Zeichen, das häufiger vorkommt, eine kürzere Codesequenz zu verwenden.

Auch hier muss ich widersprechen, ich weiß, es ist nicht von dir.
Shannon selbst schrieb in seinem berühmten Paper, dass gerade das nicht das Ziel von Sprache ist mit möglichst kurzen Wörtern auszukommen.
Natürlich könnten wir alle Kombinationen von Buchstaben als Wörter zulassen, z.b. aa, ab, ac, ad, ae ... zx, zy, zz
Das ist vielleicht das Ziel von Datenkompression, aber bei Fehlübertragung von Sprache würde es dazu führen, dass ein bei der Übertragung verändertes Wort, nicht als falsch erkannt werden würde, weil es dann ein anderes Wort wäre. Übertrage ich "Bahnhof" und bekomme "Bahmhaf", erkenne ich, dass es ein Fehler ist und kann evtl. auf das korrekte Wort rückschließen, das geht aber nicht mehr, wenn "Bahmhaf" ein eigenes Wort ist.
Womit wir dabei wären, dass Sprache im Shannonsinne redundant ist und anstatt der Maximierung der Informationsdichte eher die Übertragungssicherheit im Vordergrund steht.

Übrigens: Ich finde es ein bisschen unfair, dass du behauptest, dieser Thread wäre ein Selbstgespräch. Ich mach mir nicht die Mühe, deinen Kram zu lesen und darauf zu antworten um dann als Hintergrundrauschen empfunden zu werden.

[richy]

Hi Hamilton

Hm, also nachwievor denke ich, dass ein 1/f-Spektrum etwas anderes ist als eine 1/x Verteilung.

Also mir gehts im Prinzip genauso. Warum serioese Quelle dann aber vom Lesitungsdichtespektrum von Musik. Sprache, DNA Sequenzen, Herzrhytmus und insbesonders in der logistischen Gleichung sprechen ist mir bischen raetselhaft.
Bei Musik koennte doch das Audiosignal gemeint sein. Das ist sicherlich 1/f verteilt. Ebenso bei Sprache.

Ich halte die Behauptung, dass ein 1/f-Spektrum Energieminimierend sein soll nichts. Das Leistungsspektrum sagt nur, in welchen Frequenzen wieviel Energie abgestrahlt wird. Da ist nichts minimal.

Das Zitat ist nicht von mir sondern dem Buch rauschen, dessen Bucheinblick leider nicht mehr verfuegbar ist. Es ging da vor allem un das 1/f also Funkelrauschen von Halbleitern.

Ich meine eines ist klar :
Wenn ein breitbandiger Uebertragungskanal zur Verfuegung steht, dann waere es toericht diesen nicht zu nutzen.
Je breitbandiger der Kanal ist, umso mehr Information kann ich darin uebertragen.
Blos warum ich dann keine Gleichverteilung benutzen soll ist mir auch nicht klar.
Wenn das Leistungsdichtesprktrum mit c/f abfaellt wie sieht es dann mit der Energie aus ?
Ist die dann nicht konstant ueber die Frequenz ?

Und woraus leitest du die Grenzen ab?

Die Frage ist leicht zu beantworten.
Aus der physikalischen Bandbegrenzug des Kanals.
Eine Geige strahlt sicherlich keinen 1 Mhz oder 10 Hz Ton ab.

Das ist einfach zuviel gewollt. Manchmal sieht man Dinge, nur weil man sie sehen will- aber das hier ist einfach nicht zu sehen.

Da verweise ich wiederum an die Autoren meiner Zitate. Ich will in dem Fall nichts sehen. Nur das 1/x und 1/f Verteilungen ausgezeichnet sind.
Und das will ich nicht sehen, sondern dem ist so.
Den Rosa (1/f) Rauschgenerator im EQ gibt es nicht zum Vergnuegen.
Und das Zipfsche Gesetz oder 80/20 Prinzip findet man ueberall. Selbst auf dem Teppich.

Womit wir dabei wären, dass Sprache im Shannonsinne redundant ist und anstatt der Maximierung der Informationsdichte eher die Übertragungssicherheit im Vordergrund steht.

Ja, demstimme ich zu.,Und danke fuer die Erklaerung. Aber du vergisst die Entwicklung einer Sprache dabei.
Soll man die Codierung aendern weil man mehr zu uebertragen hat.
Also die ganzen haeufigen woerter wie "der die das ein eine" weglassen ?
Nur Mittellange Woerter ? Wurde natuerlich schon gehen.

Der Abstecher in die Spektralschätzer ist ja ganz nett, gehört hier aber nicht rein, das ist nur ein technisches Problem.

Der war zwingend notwendig. Ich habe eben keine Bilder von Spektraldichten gefunden die einen beschriebenen 1/x-1/f auch konkret belegen. Und daher musste ich selber messen.
Und wenn ich das schon tue mache ich das moeglichst genau.

Sorry wegen dem Hintergrundrauschen. Hoffe mal wenigstens 1/f. :-)
Das war nicht auf dich bezogen sondern, dass es gibt eben kaum einen Thread hier in dem wirklich nur 2 Leute diskutieren.
Dialog waere also richtig gewesen.

[Hamilton]

Also mir gehts im Prinzip genauso. Warum serioese Quelle dann aber vom Lesitungsdichtespektrum von Musik. Sprache, DNA Sequenzen, Herzrhytmus und insbesonders in der logistischen Gleichung sprechen ist mir bischen raetselhaft.
Bei Musik koennte doch das Audiosignal gemeint sein. Das ist sicherlich 1/f verteilt. Ebenso bei Sprache.

Naja, man kann ja das Spektrum berechnen, aber es ist eben was anderes als die Verteilung von Features.
Bei einem zeitkontinuierlichem Signal (data), kann man sowohl das Spektrum ( bei matlab periodogram(data) oder psd(data) ) bestimmen oder eben auch die Verteilung im Sinne von Aufenthaltswahrscheinlichkeit ( hist(data) )
Das sind aber eben komplett verschiedene Dinge. Für die Entropie benutzt du das Histogram als Schätzer für die W'keitsdichte, nicht das Spektrum.

Die Frage ist leicht zu beantworten.
Aus der physikalischen Bandbegrenzug des Kanals.
Eine Geige strahlt sicherlich keinen 1 Mhz oder 10 Hz Ton ab.

Na so einfach ist das nicht. Nehmen wir statt 'ner Geige mal 'ne einzelne Saite. Die kann einen Grundton f und alle Obertöne nf, n=1,2,3...
Die werden natürlich mit wachsendem n immer schwächer, aber es gibt kein n_max, wo noch was kommt und dann ist plötzlich Schluss.
Geht die Leistungsdichte statt mit 1/f mit 1/f² oder exp(-f), kovergiert das Integral und du brauchst keine scharfen Grenzen einführen.

[richy]

Das sind aber eben komplett verschiedene Dinge. Für die Entropie benutzt du das Histogram als Schätzer für die W'keitsdichte, nicht das Spektrum.

Denke auch, dass da einige "Experten" sich falsch ausgedrueckt haben oder zu wenig nachgedacht haben. Aber es kann doch nicht allen der selbe Fehler unterlaufen.
*schulterzuck
Ich kann das Histogramm ueber eine Abbildung so veraendern, dass zwar die Histogramm Verteilung veraendert wird aber nicht die AKF der Zeitfunktion wenn ich die Abbildung auf die Zufallsvariable ausfuehre.
Dann wenn in die Abbildung keine vergangenen Werte eingehen.
Und damit kann gar kein eindeutiger Zusammenhang uwischen 1/f und 1/x bestehen.

Na so einfach ist das nicht. Nehmen wir statt 'ner Geige mal 'ne einzelne Saite. Die kann einen Grundton f und alle Obertöne nf, n=1,2,3...
Die werden natürlich mit wachsendem n immer schwächer, aber es gibt kein n_max, wo noch was kommt und dann ist plötzlich Schluss.

Das ist nur Theorie. Es gibt keinen idealen Saegezahn oder Rechteck.
Das waeren unstetige Funktionen. Die gibt es real nicht. Spruenge oder Knicke von Zeitfunktionen sind immer abgerundet.
Jeder Kanal, jedes System ist bandbegrenzt.
Du hoerst von 20 bis 16 000 Hz. Das ist der begrenzte Kanal.
Uebrigends in etwa mit einem 1/f Frequenzgang.

Und selbst die Bandbegrenzung kann kein ideales Rechteckfenster sein.
Das ist sie auch nicht.

Geht die Leistungsdichte statt mit 1/f mit 1/f² oder exp(-f), kovergiert das Integral und du brauchst keine scharfen Grenzen einführen.

Sag das mal Mutter Natur :-)
( 1/f^2 ?)

In einem hast du aber recht.
Die Bandbegrenzung wird zum Beispiel eine Gaussform aufweisen. Und daher
das ganze Spektrum am Rand nicht 1/f verteilt sein. Ideales 1/f gibt es natuerlich nicht.
Die Aussage gilt daher auch nur innerhalb eines Intervalls um die Mitte des bandbegrenzten Kanals. Das kann aber ein sehr weiter Bereich sein.

[rene]

Zitat:
Über das Wiener-Chintschin-Kolmogorow-Theorem eines Zufallsprozesses werden die selbstähnlichen Funktionen durch eine Fourier-Transformation gebildet.
Das ist in dem Thread auch ausfuehrlich besprochen. Warum selbstaehnlich ?
FT eignet sich praktisch nicht so sehr fuer stochastische Signale.

Akustisch ist ein Zufallsprozess mit 1/f Leistungsdichte rosa Rauschen.
Und dieses Spektrum kommt in der Natur sehr haeufug vor.
Da ware die Frage. Warum genau ?
Ist die Energiedichte dann ueber die Frequenz konstant ?

Und die zweite Frage :
Gibt es bei einem zeitlichen diskreten Zufallsprozess einen Zusammenhang zwischen der 1/f Verteilung und dem 1/k Histogramm ?

Will keine Off Topic Diskussion hier starten, obwohl der ganze Zipf Thread natuerlich schon etwas mit der Wirtschaftskrise zu tun hat. Daher nur kurz die Frage :
Was bedeutet ein 1/f Leistungsdichtespektrum energetisch ?

Hi richy

Ja, ist ein wenig off topic im Systemkrise-Thread, deshalb weiche ich hier aus.

(Auto-) Korrelativ statt selbstähnlich wäre wohl der bessere Ausdruck.
Die Energie E=int(¦|X f()²|)*df in der 1/f-Verteilung scheint über den gesamten Frequenzbereich annähernd gleich und somit auch die Leistung als Energie pro Zeit. Auch unser Gehör hat einen 1/f-Rauschfilter und wir nehmen die höheren Töne bis zu einer physiologisch bedingten Frequenz von etwa 20kHz anteilsmässig stärker wahr, sodass das rosa Rauschen über alle hörbaren Frequenzen gleich stark empfunden wird.
Die 2. Frage lässt sich vermutlich nicht so einfach beantworten. Ich sehe allenfalls eine gewisse Ähnlichkeit mit der Poisson-Verteilung für Warteschlangenprobleme, wobei zuerst ein Anstieg bis zum Erwartungswert der Verteilung stattfindet, um dann mit der 1/f-Verteilung im Histogramm konform zu gehen.

Ich war wohl nicht eine besondere Hilfe!

Grüsse, rene

[Hamilton]

Ich hab mal eben was berechnen lassen.
Dies ist das Histogram des Songs Useless von Depeche Mode.

Zur besseren Vergleichbarkeit habe ich den Song vorher auf Varianz=1 und Mittelwert=0 gebracht.

depechemode_histlog.jpg
Das geübte Auge erkennt sicher sofort, dass dies eine logarithmierte Darstellung ist.

Hier kommt nun der Spektralschätzer nach der Welch-Methode
depechemode_psd.jpg
Frequency 1 entspricht ca. 22050 Hz (Datei hatte CD-Qualität)

1/f hat das Spektrum mit gutem Willen im Bereich von f=0.1 bis 0.4
(bitte bedenken, Darstellung ist wieder logarithmisch)