Quanten.de Diskussionsforum - Entropie in der Informationstheorie

Quanten.de Diskussionsforum (http://www.quanten.de/forum/index.php5)

- Quantenmechanik, Relativitätstheorie und der ganze Rest. (http://www.quanten.de/forum/forumdisplay.php5?f=3)

- - Entropie in der Informationstheorie (http://www.quanten.de/forum/showthread.php5?t=626)

AW: Entropie in der Informationstheorie

Hi Uranor..

Diesbezüglich gebe ich dir vollkommen recht...

Meiner Ansicht nach gibt es keine wirkliche Zeitreise, weil der Lauf der Dinge determiniert ist. Der Lauf der Lichtübertragung aber eben meines Erachtens nicht.

Es wäre also möglich, in ferne Zeiten zu sehen, sie aber nicht wirklich zu verändern. (Prophetie?)

Man kann also nur auf Grund zukunftszeigender Visionen das Heute entsprechend verändern, damit das Gesehene nicht so wie gesehen passiert(das Ruder rumreisen in der Strömung der Zeit)

Und das auch wieder nur, wenn man in der Lage ist, das "gesehene" auch richtig zu interpretieren, was wohl das schwierigste sein wird, wie schon die Forschung an sich zeigt.(z.B. die aktuelle Klimadebatte) Manches muss man eben ausprobieren und beobachten, ob es wirklich den gewünschten Erfolg zeigt

JGC

AW: Entropie in der Informationstheorie

Zitat:

Zitat von JGC (Beitrag 21321)

Meiner Ansicht nach gibt es keine wirkliche Zeitreise, weil der Lauf der Dinge determiniert ist.

Ja genau...

...Ist es denn überhaupt möglich, Heisenber derart konsequent zu ignorieren? Also gel, also hier, ich zeichne für die meisten Post des Threads nicht verantwortlich.

:p

AW: Entropie in der Informationstheorie

Zitat:

Zitat von Uranor (Beitrag 21302)

Ich denke, Information können oh ja spontan entstehen. Unsere Denkfreiheit ist nur nutzbar, weil das Gehirn wegen der enormen Komplexität Fehler begehen kann. Basiert eine fehlerhaft gefundene Information nun kausal auf etwas vorhandenem, oder ist es eine unabhängige Information?

Ich denke, die Lebenserfahrung sagt eher das Gegenteil: Wir können Informationen nicht aus dem Nichts erzeugen, sondern nur durch Informationsverarbeitung. Wer nichts gelernt hat, bringt nichts zustande. Wer im Berufsleben ein Konzept zu erarbeiten hat, wird als erstes Informationen sammeln. Jazzmusiker, die ja ihre Musik improvisieren, sind keine Autisten. Sie greifen in ihren Solos auf Patterns und Licks genannte Versatzstücke zurück. Selbst der chaotischste Free-Jazzer oder abstrakteste Maler steht in einer künstlerischen Tradition und wird von anderen Künstlern beeinflußt. In der Informatik ist das GIGO(Müll rein - Müll raus)-Prinzip als Erfahrungssatz bekannt.

AW: Entropie in der Informationstheorie

Zitat:

Zitat von hhmoeller (Beitrag 21330)

Hier gebe ich allerdings zu bedenken, dass jeder Akkord irgendwann erstmalig gefunden wurde. Danach suchen und finden geschahen allerdings nicht akausal. Kan man sagen, auf bestehendem fand eine Symmetrieerweiterung statt? Auf bestehendem wurde eine Information gefunden, die es vorher nicht gab. Stile, Genres entwickeln sich auf Erweiterungsprozessen.

Aber wie genannt, das Fehler-Geschehen will mich durchaus mal näher interessieren. Ergibt sich eine Mischung auf bekanntem oder ähnlich wie die Mutation etwas neues?...

Hmm. Auch die Mutation ist nicht wirklich etwas neues. Es ist aber eine neue Kombination. Für mich als neuen Nutzer der Duftnoten-Landkarte ergab sich gegenüber dem Rest der Spezies etwas neues. Und... DNA ist imerhin konkretisierte Information pur. Sie ist kausal spontan etwa auf einer Strahlungs-Anomalie entstanden.

Gruß Uranor

AW: Entropie in der Informationstheorie

Zitat:

Zitat von Hamilton (Beitrag 21291)

Die Entropie ist in der Informationstheorie sowas wie der Erwartungswert der Information.
Nach Tukey ist Information I = -log p, wobei die Basis erstmal egal ist und für die Einheit steht (ist sie 2, dann hat I die Einheit Bit, ist sie e, dann nennt man das "nats")

p ist hier die Wahrscheinlichkeit mit der ein Ereignis eintritt.
Hat man z.B. eine Münze, dann ist die Kopf-W'keit 1/2, damit ist die Info aus einem Münzwurf genau 1 Bit.
Aus 10 Würfen können sich 2^10 Möglichkeiten ergeben, da die W'keit für jeden Wurf 1/2 bleibt, ist die Information = - log (1/2^10) = 10 bit.
Mit jedem Münzwurf steigt die Information an. Ist die W'keit für ein Ereignis 1, dann kann ich den Prozess so oft realisieren, wie ich will, die Information bleibt 0 (da schon vorher klar ist, wie das Ergebnis sein wird)

Der Informationsbegrif aus der Inf.Theorie ist also was ganz anderes als unser alltäglicher Gebrauch des Wortes Information. Er sagt nämlich nichts über die Verwertbarkeit von Information aus, sondern eher etwas über die "Überrschung" über ein Ereeignis. Die Überraschung über ein Ereignis, dass sicher eintritt (I = -log (1) = 0) ist null, wärend die Information, dass ein total seltendes/unwahrscheinliches Ereignis eingetreten ist, sehr groß ist.

Die (Shannon-)Entropie ist der Erwartungswert der Information, H = - SUMME { p log p }
Sie kann interpretiert werden als Unsicherheit über den Ausgang eines Zufallsexperimentes (deren Verteilung man kennt).
Betrachten wir z.B. zwei User eines Internetforums. Der eine schreibt immer das selbe und benutzt oft die gleichen Wörten (z.B. "Einstein, doof, falsch, unlogisch ...), der andere neigt nicht zu Polemik, schreibt deshalb nur, wenn es etwas interessantes zu sagen gibt, wiederholt sich nicht ständig und benutzt auch einen reicheren Wortschatz.
Jetzt kann man z.B. ein Histogramm anfertigen über alle Wörter, die die beiden benutzt haben- ein Historgramm ist ja ein Schätzer für die W'keiten der Wörter, also hat man p(wort) für beide und kann die Entropie ausrechnen. Dabei wird sich vermutlich ergeben, dass der zweite User eine deutlich höhere Entropie hat als der erste, was bedeutet, dass er mehr Information generiert.
Wenn ich die beiden also nicht selbst kenne, sondern nur ihre Entropien, würde ich zweifellos eher die Beiträge von User Nr.2 lesen.

(Ein dritter User, der rein zufällige Nonsenswörter schreibt, wie ghkgfhk etc... und dabei eine große Vielfalt walten lässt, hätte zweifellos eine noch viel höhere Entropie, also Vorsicht bei der Interpretation)

Wie man das jetzt mit der Zeit zusammenbringt und deine Frage beantwortet überlasse ich jetzt den anderen. Ich bin der Meinung, dass für das, was dich eigentlich interessiert, die Entropie dich nicht weiter bringt.

Diese mathematischen Festlegungen für Information, Erwartungswert und Entropie sind m.E. heute etwas zu eng.

Information ist für mich die Abstraktion von Daten durch den Menschen, also wesentlich mehr als nur eine Unwahrscheinlichkeit.

Der Begriff der Entropie bleibt für mich ein Rätsel. Ich frage mich, ob er ausserhalb der Wärmetheorie sinnvoll ist. Er ist der frühe Versuch, Mengentheorie und Wahrscheinlichkeitsrechnung zu verbinden, hat aber m.E. heute keine sinnvolle Verwendung mehr.

AW: Entropie in der Informationstheorie

Zitat:

Wer ein Wurmloch findet und es nutzen kann, wird der Geodäte nicht folgen müssen, kann ggf. den Weg abkürzen. Aber abkürzen bedeutet niemals!!!, sich selbst überholen.

Also, ich muss ehrlich zugeben, dass ich keine Kapazität auf dem Gebiet der ART bin, trotzdem: Ein Wurmloch ist ein Shortcut in der Raumzeit, etwas was dort rein geht, kann an einem anderen Ort und zu einer anderen Zeit auf der anderen Seite wieder herauskommen- soweit mein Kenntnisstand.

AW: Entropie in der Informationstheorie

Zitat:

Also versteht denn hier niemand was von Physik? Wo soll man denn hinspringen? Was ist denn dort, wo man nach kindlicher Phanthasie hinspringen will?

Es geht ja hier nicht um (klassische) Physik sondern um Quantenphysik - und da ist ja alles nur buchstäblich einen 'Quantensprung' weit entfernt ;)

AW: Entropie in der Informationstheorie

Zitat:

Zitat von Hamilton (Beitrag 21349)

Du wirst mich sicherlich jederzeit in Sachen ART schlagen können. Ich akzeptiere, was zum Wurmloch ermittelt wurde, kann die Rechnung aber selbst nicht nachvollziehen.

Wir können uns einfach einen Bogen vorstelen. Wir folgen der Geodäte, also der Bogenform. Fritze läuft parallel los, steuert aber auf des Wurmloch zu, wohl sowas wie ein SL. Sein Weg wird immer steiler, Er jagt nahezu gerade durch's SL; er folgt nicht dem Bogen sondern der Sehne. Natürlich wird er früher am Ziel sein als wir. Er hat uns also über seinen direkteren Weg überholt.

Ich kann mich aber selbst nicht überholen. Entweder ich tippel den Bogen ab, oder ich ich düse den kürzeren Sehnenweg. Ich werde somit niemals in meine eigene Vergangenheit oder Zukunft gelangen können. Ich kann mich nicht verdoppeln.

Und auch wenn ich extrem hoch beschleunige, werde ich nur das Zwilligsparadoxon erfehren, keinen Bezugssystemwechsel. Die Generationen, die relativ zu mir rasend schnell altern und vergehen, werden mich nicht los. Ich altere fast nicht, doch wir bleiben im gemeinsamen Erfahrungsraum.

Um solche Zusammenhänge geht es. Wir werden sehr verschieden betrachten können. Es wird sich sogar zeigen, dass es außer dem Bezugsraum nichts gibt. Gäbe es doch noch weiteres, hätte es mit uns absolut nichts zu tun...

Gruß Uranor

AW: Entropie in der Informationstheorie

Zitat:

Zitat von Gandalf (Beitrag 21351)

Es geht ja hier nicht um (klassische) Physik sondern um Quantenphysik - und da ist ja alles nur buchstäblich einen 'Quantensprung' weit entfernt ;)

*stimmung*. Der Weg führt allerdings immer kausal voraus, niemals rückwärts. Man kan nur das Zwillingsparadoxon realisieren, keinen Sprung zwischen Erfahrungsräumen realisieren.

AW: Entropie in der Informationstheorie

Zitat:

Zitat von Gandalf (Beitrag 21351)

Es geht ja hier nicht um (klassische) Physik sondern um Quantenphysik - und da ist ja alles nur buchstäblich einen 'Quantensprung' weit entfernt ;)

Von woher nach wohin:confused:
:D :D :D möbius