Zitat:
Zitat von RoKo
Die Shannon-Entropie ist ein Mass fuer den Informationsverlust, den man erleidet, wenn man statt des gesendeten Zeichens einen Zufallswert empfaengt. Die physikalische Entropie ist zugleich ein Mass fuer die Anzahl der moeglichen Mikrozustaende, die mit einem bekannten Makrozustand vertraeglich sind. Die Gleichsetzung Anzahl der moeglichen Mikrozustaende = Informationsmenge ist unzulaessig, weil ein bekannter Mikrozustand nicht nur ein Bit ist, sondern weitere Informationen (klassisch: Orte und Impulse aller Teilchen) enthaelt.
|
Die Shannon-Entropie ist nicht nur für Bits definiert, sondern allgemein für Zufallsvariablen über einem diskreten Ereignisraum.
Die Shannon-Entropie dann noch auf kontinuierliche Zufallsvariablen zu erweitern ist ein Leichtes.
Tut man das, so ist bis auf einen konstanten Faktor die Shannon-Entropie formal identisch zur von-Neumann-Entropie.
Ich sehe nicht, wo da ein Problem bestehen sollte, eine Analogie herzustellen, denn das wird in der Tat ja auch häufig gemacht.