Entropie und Information

[RoKo]

Hallo zusammen,

noch steckt die physikalische Betrachtung des Begriffes "Information" in den Kinderschuhen. Wichtige Zusammenhänge können jedoch dem Online-Skript der Uni Kiel über "Entropie und Information" entnommen werden.

Wichtig erscheint mir der Hinweis, dass der Zusammenhang zwischen Entropie und Information nur über das thermodynamische Gleichgewicht definiert ist. Daraus ergeben sich mindestens zwei Schlussfolgerungen:

1. Die auf der Erde vorhandene Information lässt sich nicht einfach bestimmen. Die Erde ist ein System, dass fernab vom thermodynamischen Gleichgewicht existiert und beständig Entropie exportiert. Dadurch werden Strukturen aufgebaut und die Informationsmenge erhöht sich im Laufe der Zeit.

2. Auch eine Betrachtung der maximal möglichen Entropie eines Volumens (wie z.B. des derzeit sichtbaren Universums) über die Bekenstein-Grenze führt nicht zu der in diesem Volumen derzeit vorhandenen Information, weil sich das Universum nicht im thermodynamischen Gleichgewicht befindet.

[Bauhof]

Zitat von RoKo

Die auf der Erde vorhandene Information lässt sich nicht einfach bestimmen. Die Erde ist ein System, dass fernab vom thermodynamischen Gleichgewicht existiert und beständig Entropie exportiert. Dadurch werden Strukturen aufgebaut und die Informationsmenge erhöht sich im Laufe der Zeit.

Hallo RoKo,

wenn die Erde beständig Entropie exportiert, heißt das, dass die Entropie der Erde beständig abnimmt?

M.f.G. Eugen Bauhof

[RoKo]

Hallo Bauhof,

Zitat von Bauhof

..wenn die Erde beständig Entropie exportiert, heißt das, dass die Entropie der Erde beständig abnimmt?

JA.

Die Erde nimmt pro Sekunde von der Sonne 10^17 W Wärmeenergie bei einer Temperatur von rund 5800 Kelvin auf und strahlt die gleiche Menge Wärmeenergie bei einer Temperatur von durchschnitlich 260 Kelvin ab. Daraus ergibt sich rechnerisch eine Entropieabnahme von 4*10^14 W/K je Sekunde.

Der Thermodynamiker Werner Ebeling bezeichnet die Erde deshalb auch als Photonenmühle, die zwischen zwei Temperaturniveaus arbeitet.

Literatur:
Ebeling; Chaos-Ordnung -Information
und
Ebeling/Feistel; Chaos und Kosmos

[Ich]

2. Auch eine Betrachtung der maximal möglichen Entropie eines Volumens (wie z.B. des derzeit sichtbaren Universums) über die Bekenstein-Grenze führt nicht zu der in diesem Volumen derzeit vorhandenen Information, weil sich das Universum nicht im thermodynamischen Gleichgewicht befindet.

Sie führt zur maximal möglichen Information, die dort überhaupt vorhanden sein könnte.

Bin schon wieder weg.

[RoKo]

Zitat von Ich

Sie führt zur maximal möglichen Information, die dort überhaupt vorhanden sein könnte.

..sofern sich das betrachtete Volumen ohne weitere Expansion zum "Wärmetod" entwickelt und die Informationsmenge auf die Anzahl möglicher Mikrozustände des Macrozustandes "Wärmetod" reduziert werden kann.

[RoKo]

Zur informationstheoretischen Konsequenz der Bekenstein-Grenze
Die Shannon-Entropie betrachtet den maximal moeglichen Informationsverlust einer gegebenen Anzahl von Moeglichkeiten.

Die Planck'sche Entropie betrachtet die Anzahl von Moeglichkeiten eines gegebenen Macrozustandes. (Dies setzt einen Macrozustand - und damit mindestens Naehe zum thermodynamischen Gleichgewicht des betrachteten Systems voraus.)

Durch die Gleichsetzung gelangt man zu dem maximal moeglichen Informationsverlust bei einer bestimmten Entropie. Der maximal moegliche Informationsverlust bezieht sich dabei auf diejenige Informationsmenge, die unter Nutzung der Moeglichkeiten ein vollkommen geordneter Zustand (S=0) haben kann. Der Informationsverlust bezieht sich also auf Informationen, die in geordneten Strukturen steckt. Diejenige Information, die in den Zustanden einzelner Teilchen steckt - bei klassischer Betrachtung also Ort und Impuls - bleibt natuerlich auch bei maximaler Entropie erhalten.

Von einer Entropie-obergrenze, wie sie die Bekenstein-Grenze darstellt, kann man deshalb nicht auf die maximal moegliche Gesamtmenge von Information, sondern allenfalls auf die maximal in geordneten Strukturen speicherbare Information schliessen.

[RoKo]

Beweis
Gegeben sei ein System U, dass sich in zwei Klassen von Macro-zuständen befinden kann: LEBEN und TOT.
Der Macrozustand wird solange als LEBEN klassifiziert, solange es in U Gebiete mit einen negativen Entropiegradienten gibt; danach wird es als TOT klassifiziert.
OMEGA_LEBEN sei nun die Anzahl aller möglichen Micro-zustände der Macro-zustände LEBEN und
OMEGA_TOT sei nun die Anzahl aller möglichen Micro-zustände der Macro-zustände TOT.
Da es unmöglich ist, Tote zum Leben zu erwecken, kann kein Micro-zustand aus der Anzahl OMEGA_LEBEN in den Micro-zuständen der Anzahl OMEGA_TOT enthalten sein. Folglich gilt:
OMEGA_MAX > OMEGA_TOT.

Die maximale Entropie eines jeden Systems U ist dann erreicht, wenn es sich im thermodynamischen Gleichgewicht befindet.
Solange es im System U Gebiete mit einen negativen Entropiegradienten gibt, befindet es sicher nicht im thermodynamischen Gleichgewicht.
Für die Entropie S gilt daher S_LEBEN < S_TOT.
Aus der Planckschen Formel ergibt sich somit folgende Abschätzung der maximalen Entropie:
S_MAX <= K_BOLTZMANN * LN (OMEGA_TOT)

Da es unmöglich ist, Tote zum Leben zu erwecken (und vom thermodynamischen Gleichgewicht keine Zustände fernab davon erreicht werden können), kann kein Micro-zustand aus der Anzahl OMEGA_LEBEN in den Micro-zuständen der Anzahl OMEGA_TOT enthalten sein. Folglich gilt:
OMEGA_MAX > OMEGA_TOT.

Folglich ist eine Entropie-Obergrenze keine Obergrenze für die maximal möglichen Zustände eines Systems und somit auch keine Obergrenze für die maximal enthaltene Information. Quod est demonstrandum.

Empirischer Nachweis:

Man bringe einen lebenden Fisch in ein Wasserglas, verschliesse es und zeichne auf geeignete Weise solange alle Micro-zustände auf, bis sich der Fisch vollständig im Wasser gelöst hat.

[Ich]

Magst dir nicht mal ein Buch über statistische Thermodynamik ausleihen und durcharbeiten? Den Reif könnte ich empfehlen, den versteht man schon beim aufmerksamen Durchlesen. Philosophie kann Grundwissen nicht ersetzen, da musst du durch.

Ich mach noch einen Versuch:

Gegeben seien vier Plätze im Phasenraum und ein Teilchen, das die besetzen kann.
Damit gibt's 4 Mikrozustände für das System:
01 00 00 10
00 01 10 00

Dann definieren wir Subsysteme "links" und "rechts" - man stelle sich eine eingeschobene Trennwand vor - und einen Makrozustand "lebendig" dergestalt, dass dabei bekannt sei, dass das Teilchen sich im Subsystem "rechts" aufhält. Dafür gibt's 2 Mikrozustände:
0|1 0|0
0|0 0|1

Der MAKROZUSTAND "lebendig" zeichnet sich dadurch aus, dass es da einen "Entropiegradienten" gibt ("negativer Gradient" ist eine ziemlich unsinnige Worthülse in dem Zusammenhang, btw.). Der Gradient besteht darin, dass das Subsystem "rechts" zwei mögliche Zustände hat, also eine Entropie von ln(2)/ln(2) = 1:
0 1
1 0

wohingegen das System "links" nur einen möglichen Zustand hat, also eine Entropie von ln(1)/ln(2) = 0:
0
0

(Einschub: MIKROZUSTÄNDE haben hingegen keine Entropiegradienten, das geht logisch gar nicht, wie jetzt hoffentlich klar ist.)

Der Zustand maximaler Entropie, im thermischen Gleichgewicht, ist der, in dem das Gesamtsystem jeden möglichen Mikrozustand einnehmen kann. Das sind 4.

Was du jetzt verstehen musst: der Mikrozustand
01
00

ist sowohl vom Makrozustand "lebendig" als auch vom Makrozustand "thermisches Gleichgewicht" aus erreichbar. Er ist aber selber kein Makrozustand (und das verwechselst du immer)!
Das System kann ohne weiteres in einen Mikrozustand wechseln, der auch zum Makrozustand "lebendig" gehört, da ist nichts dabei.
Es ist in der Tat das Grundpostulat der statistischen Thermodynamik, dass jeder erreichbare Mikrozustand mit derselben Wahrscheinlichkeit eintreten kann.

In einem riesigen System im Gleichgewicht kann ein Mikrozustand, der zum Makrozustand "lebendig" gehört mit derselben Wahrscheinlichkeit eintreten wie irgendein besonders langweiliger Mikrozustand, in dem die Zustände auf höchst zusammenhanglose Art besetzt sind. Der Unterschied ist nur, dass es von Mikrozuständen des letzteren Typus ca. 10^10^100 (oder was weiß ich) mal mehr gibt als von den interessanteren Mikrozuständen, die zum Makrozustand "lebendig" gehören. Deswegen passiert das praktisch nicht, nicht weil der interessante Mikrozustand nicht auch zum Makrozustand "Gleichgewicht" gehören würde. Der gehört da genauso dazu und kann genauso erreicht werden, das ist nicht verboten.

Also umfasst S_max alle möglichenMikrozustände, die des Makrozustands "lebendig" genauso wie alle anderen. Also ist S_max die Obergrenze der möglichen Zustände des System, drum heißt es auch S_max. Und jeder andere Makrozustand ist eine Untermenge davon, mit weniger möglichen Zuständen.

[RoKo]

Hallo Ich,

Zitat von Ich

Magst dir nicht mal ein Buch über statistische Thermodynamik ausleihen und durcharbeiten?

Die statistische Thermodynamik ist mir durchaus bekannt. Sie beschäftigt sich aber nun mal mit Systemen, die nahe dem thermodynamischen Gleichgewicht sind oder sich mindestens darauf zu bewegen. Ich rede nun aber von einer Thermodynamik fernab von einem solchen Gleichgewicht, wie sie z.B. von Ilja Prigogine und Hermann Haken erstmalig untersucht wurde. Da hat die statistische Thermodynamik nichts beizutragen.

Ich mach noch einen Versuch:

Ich auch:
In der Thermodynamik fernab vom Gleichgewicht und speziell in der Thermodynamik geht es ganz wesentlich um den Entropieexport eines Subsystems E mit konstanter Temperatur, der wesentlich dadurch zustande kommt, dass es einen Energiefluss von einem weiteren Subsystem S mit hoher Temperatur über das Subsystem E zu einem dritten Subsystem M mit niedrigerer Temperatur gibt.

Energieumwandlung und Entropieexport sind wesentliche physikalische Voraussetzungen für das biologische Phänomen "Leben". Dein Trivialbeispiel mit den vier Plätzen im Phasenraum kannst du deshalb vergessen. Dort findet weder Energieumwandlung noch Entropieexport statt; da gibt es also keinen MAKROZUSTAND "lebendig". Die Worthülse "negativer Gradient" war durchaus mit Bedacht gewählt, weil sie eben den Entropieexport zum Ausdruck bringen sollte

Es ist in der Tat das Grundpostulat der statistischen Thermodynamik, dass jeder erreichbare Mikrozustand mit derselben Wahrscheinlichkeit eintreten kann.

Es ist aber eben nicht mehr jeder Zustand erreichbar!
- Wenn im Universum die Masse des Wasserstoffs zu Helium oder schwereren Elementen "verbrannt" ist, dann gibt es kein bekanntes physikalisches Gesetz, dass diesen Prozess rückgängig machen könnte (ausser ggf. in periodischen Modellen)
- Wenn ein Fisch (oder ein anderes Lebewesen) tot ist, dann wird nach den Gesetzen der Thermodynamik sein Leichnam verwesen und es gibt kein bekanntes physikalisches Gesetz, dass es spontan wieder zum Leben ereckt wird.
- Wenn ein grünes Blatt vom Baum gefallen ist, dann verwelkt es. Da kannst du bis zum Sankt Nimmerleinstag darauf warten, bis es wieder grün wird.

Also umfasst S_max alle möglichenMikrozustände, die des Makrozustands "lebendig" genauso wie alle anderen. Also ist S_max die Obergrenze der möglichen Zustände des System, drum heißt es auch S_max. Und jeder andere Makrozustand ist eine Untermenge davon, mit weniger möglichen Zuständen.

Physik ist eine theoriegeleitete Erfahrungswissenschaft. Wenn es empirische Belege für einen spontanen technisch nutzbaren Heliumzerfall, die Wiederauferstehung der Toten oder das Ergrünen verwelkter Blätter gibt, dann werde ich meine Gegenposition widerrufen.

[Ich]

Mir kommt das immer mehr vor wie eine Diskussion mit SCR. Zeig' mir bitte mal, dass sich eine weitere Diskussion lohnt. Einfach beantworten, bitte.

Dein Trivialbeispiel mit den vier Plätzen im Phasenraum kannst du deshalb vergessen. Dort findet weder Energieumwandlung noch Entropieexport statt; da gibt es also keinen MAKROZUSTAND "lebendig".

1. Es findet Energietransport statt. Wenn man den besetzten Zustand als energiereicher ansieht, dann wandert nach dem Wegnehmen der Trennwand irgendwann Energie von rechts nach links. Einverstanden?
2. Es findet Entropieexport statt. Nach dem Rüberwandern der Energie ist die Entropie links gestiegen, rechts gesunken. Einverstanden?
3. Der Makrozustand "lebendig" wurde so genannt, weil der deiner Definition dafür entspricht: Die Subsysteme sind nicht im Gleichgewicht, sondern das rechte hat mehr Entropie als das linke. Es herrscht also ein Entropiegradient. Einverstanden?

Wenn im Universum die Masse des Wasserstoffs zu Helium oder schwereren Elementen "verbrannt" ist, dann gibt es kein bekanntes physikalisches Gesetz, dass diesen Prozess rückgängig machen könnte

Nehmen wir z.B. mal 2H + 2H -> 3He + n + gamma.
4. Ist der Prozess 3He + n + gamma -> 2H + 2H physikalisch erlaubt oder nicht?
5. Wenn ja, warum findet er trotzdem so gut wie nie statt?