Entropie in der Informationstheorie

[uwebus]

@ Gandalf

vielen Dank für den Link.

“Das, was wirklich dieses Universum ausmacht, ist völlig anders als das, was wir uns bisher gedacht haben. Und das ist ja eine riesige Überraschung! Denn das bedeutet in der allgemeinen Naturforschung, dass wir vor tödlichen Überraschungen nicht sicher sind. Es könnte alles ganz anders sein, als wie wir uns das jemals gedacht haben. Und das finde ich doch unglaublich erstaunlich. Daher muss man immer sehr vorsichtig sein mit Aussagen, die den Eindruck machen, als hätte jemand die Weisheit mit ganz großen Löffeln gefuttert.“

Erstaunlich der Unterschied zwischen Leschs zitierter Äußerung und seinem Auftreten im Fernsehen (Alpha Centauri).

Gruß

[hhmoeller]

Ich habe längst den Überblick über diesen von mir eröffneten Thread verloren.

Hatte inzwischen jemand eine Antwort auf die Frage "Gibt es einen 2. Hauptsatz in der Informationstheorie?"

Die Antwort, die ich mir anfangs vorgestellt habe, lautet etwa so:

"Ich bin Ingenieur für Nachrichtentechnik, meine Antwort ist: ja/nein, Quelle: ..."

Es könnte so einfach sein ...

[pauli]

Zitat von hhmoeller

Es könnte so einfach sein ...

ja, wenn es denn einen Ingenieur für Nachrichtentechnik im Forum gäbe

[Marco Polo]

Zitat von pauli

ja, wenn es denn einen Ingenieur für Nachrichtentechnik im Forum gäbe

Den Studiengang gibt es zumindest schon mal.

Aber es ist tatsächlich so wie hhmoeller es beklagt. Man kann schnell den Überblick verlieren, wenn wild hin und her gepostet wird und sich ein Thread schnell hin zu off Topic entwickelt.

Eigentlich ist hier die Moderation gefragt.

Als frisch gebackener Moderator habe ich mich aber noch nicht daran gewagt, irgendwelche Posts zusammenzuführen oder zu verschieben. Das könnte bei unsachgemässem Vorgehen zu einem heillosen Chaos führen.

Na ja, früher oder später wird das dann wohl zur Routine werden, denke ich.

Gruss, Marco Polo

[richy]

Hi
Ich bin zwar nur Ingenieur fuer E-Technik, aber dazu gehoeren auch Daten und
Nachrichtenuebertragung.

Hatte inzwischen jemand eine Antwort auf die Frage "Gibt es einen 2. Hauptsatz in der Informationstheorie?"

Information wird in der Nachrichtentechnik wie ghier schon erlaeutert wurde ueber den Shannonschen Informationsgehalt gemessen. Der ist Proportional zu ln(1/Auftrittswahrscheinlichkeit) eines Zeichens.Ein Zeichen das immer auftritt uebertraegt so zum Beispiel keinerlei Information.
Das ist aber nicht der Begriff der Information den wir als semantischen Informationsgehalt verstehen. Darueber gibt es kaum Theorien.

Wenn du nach dem 2 ten Hauptsatz fraegst, dann muss es Prozesse geben, die die Information veraendern.Und dazu muss diese physikalisch wechselwirken. Zum Beispiel ueber den Informationskanal.
Und hier kann der Informationsgehalt verrauschen.
Da wuerde ich sagen der 2 te Hauptsatz gilt.

Man koennte auch ohne physikalischen Kanal eine nichtlineare Abbilldung
konstruieren, die zu selbigem Resultat fuehrt.
Es gibt aber auch umekehrt Moeglichkeiten zum Beispiel ueber die Autokorrelationsfunktion ein Signal zu restaurieren.

Ohne Betrachtung eines physikalischen Kanals haengt es also davon ab welche Abbildungenm Systemfunktionenich auf den Informationsgehalt wirken lassen, ob der Informationsgehalt sich veraendert.
Ich wuerde sagen in diesem rein abstrakten Raum gilt der Hauptsatz nicht.

[Hamilton]

Die Informationstheorie verfügt nicht über "Hauptsätze" - das ist nicht Thermodynamik und auch keine Alternative dazu.
Es mache sich bitte jeder selber ein Bild davon.
Der Originalartikel von Shannon ist im Netz frei erhältlich z.B. unter
http://cm.bell-labs.com/cm/ms/what/s...day/paper.html

Wie sollte man den 2. Hauptsatz der TDyn auf die Infotheorie übertragen?
Es gibt ja keine Energie, Leistung, Arbeit, Wirkungsgrad, etc... in der Infotheorie!

Nachdem das hier ganz schön Offtopic gelaufen ist, weiß ich jetzt auch nicht mehr was du eigentlich genau wissen wolltest? Was es nur die Frage nach dem Hauptsatz, oder was das nur ein Zwischenprodukt für deine eigentliche Frage, die Du freundlicherweise noch mal formulieren könntest!?

[JGC]

Zitat von Hamilton

Wie sollte man den 2. Hauptsatz der TDyn auf die Infotheorie übertragen?
Es gibt ja keine Energie, Leistung, Arbeit, Wirkungsgrad, etc... in der Infotheorie!

Entschuldige, wenn ich da unterbreche...

Wieso sollte es nicht anwendbar sein?

Eine Information besitzt immerhin auf einen bestimmten jeweiligen Zusammenhang bezogen eine positive oder auch negative Wertung(ob es zu einem übergeordneten Informationsgebilde einer Geschichte oder eines Sachverhaltes passt oder nicht)
Dann besitzt so eine Information eine statistische Aussagekraft in Form einer Bedeutung, die ebenfalls je nach dem entsprechenden Zusammenhang der "ganzen" Beschreibung..

Und wenn ein Interpreter/Empfänger/Bewusstsein oder sonst was diese verschiedenartigen Informationen entsprechend zu einer ganzen "Sachbeschreibung"(übergeordnetes Zuordnungsmuster) zusammenfügt, so werden auch entsprechende Reaktionen in der umgebenden physikalischen Welt erzielt...

Einfaches Beispiel...

Die Zeitung oder die Nachrichten berichten, das Lebensmittel morgen 100% mehr kosten.. Physikalisch führt das zu Massenbewegungen, Hamsterkäufen und zu einem ernsten Versorgungs-Engpass..

Oder das Beispiel des mißhandelten Rodney King

Da lösten die Informationen mehr aus als es die meisten wahrhaben wollten(Selbst im Wiki wird die Zahl der Getöteten und der Sachschaden um einiges untertrieben bis verharmlost, ich hatte da schon ganz anderen Zahlen gelesen)

Information bedeutet Macht!!

Und die gehorchen den selben Gesetzen wie Ladungen und Feldern...(und bewegen ganze Universen)

So wie ich in die Welt hinausschrei, so krieg ich die Welt-Reaktion zurück.

Das wird zwar auch immer gerne psychologisch gesehen, aber nicht von mir, da ich das psychische Wirken mit der Physik des Verhaltens von Ladungen und Feldern gleichsetze.

Wenn eine Nachricht eines Einzelnen Individiums über einen einzelnen Sachverhalt über einen Medienkanal auf viele Millionen Individien weiterkopiert wird, so ergeben sich daraus ungeahnte Handlungs-Energien als Reaktion darauf..

Das ist also jetzt nur meine Meinung dazu

[Uranor]

Zitat von JGC

Das wird zwar auch immer gerne psychologisch gesehen, aber nicht von mir, da ich das psychische Wirken mit der Physik des Verhaltens von Ladungen und Feldern gleichsetze.

Falls die Gleichsetzerei mit dem begonnenen Tempo voranschreitet, werden bereits ab dem nästen, also dem sagenumwobenen Dienstag auf den Labortischen der Physiker Gänselebern tranchiert und mit LHC-Kanonen Spiegeleier in die Pfanne geschossen.

Oh oh..., hab ich gestern fette KaLauer gelesen...

[JGC]

Falls die Gleichsetzerei mit dem begonnenen Tempo voranschreitet, werden bereits ab dem nästen, also dem sagenumwobenen Dienstag auf den Labortischen der Physiker Gänselebern tranchiert und mit LHC-Kanonen Spiegeleier in die Pfanne geschossen.

Oh oh..., hab ich gestern fette KaLauer gelesen...

Tja...


Im Bauch wird eh alles zu einer Pampe, egal was für leckere Sachen du auf dem Tisch stehen hattest... Ich hoff du denkst an deinen Colesterinspiegel..

[Uranor]

Zitat von JGC

Tja...


Im Bauch wird eh alles zu einer Pampe, egal was für leckere Sachen du auf dem Tisch stehen hattest... Ich hoff du denkst an deinen Colesterinspiegel..

Verquirl doch nicht alles schon vor dem Puter tranchierem. Erst will alles gefuttert und mit einem zünftigen Warsteiner nachgespült werden.

Colesterinspiegel? Bei Schwalbennestern und Ochsenblut schau ich nicht danach, ansonsten per auto. Mein Blutdruck ist heute in der Tat noch besser als damals, als ich Feinde (vielleicht Römer? ) verprügeln lernte. - Das war jetzt (ab "Mein ") kein Gag, ist tatsächlich so.

Gruß Uranor