[Hamilton]

Die Entropie ist in der Informationstheorie sowas wie der Erwartungswert der Information.
Nach Tukey ist Information I = -log p, wobei die Basis erstmal egal ist und für die Einheit steht (ist sie 2, dann hat I die Einheit Bit, ist sie e, dann nennt man das "nats")

p ist hier die Wahrscheinlichkeit mit der ein Ereignis eintritt.
Hat man z.B. eine Münze, dann ist die Kopf-W'keit 1/2, damit ist die Info aus einem Münzwurf genau 1 Bit.
Aus 10 Würfen können sich 2^10 Möglichkeiten ergeben, da die W'keit für jeden Wurf 1/2 bleibt, ist die Information = - log (1/2^10) = 10 bit.
Mit jedem Münzwurf steigt die Information an. Ist die W'keit für ein Ereignis 1, dann kann ich den Prozess so oft realisieren, wie ich will, die Information bleibt 0 (da schon vorher klar ist, wie das Ergebnis sein wird)

Der Informationsbegrif aus der Inf.Theorie ist also was ganz anderes als unser alltäglicher Gebrauch des Wortes Information. Er sagt nämlich nichts über die Verwertbarkeit von Information aus, sondern eher etwas über die "Überrschung" über ein Ereeignis. Die Überraschung über ein Ereignis, dass sicher eintritt (I = -log (1) = 0) ist null, wärend die Information, dass ein total seltendes/unwahrscheinliches Ereignis eingetreten ist, sehr groß ist.

Die (Shannon-)Entropie ist der Erwartungswert der Information, H = - SUMME { p log p }
Sie kann interpretiert werden als Unsicherheit über den Ausgang eines Zufallsexperimentes (deren Verteilung man kennt).
Betrachten wir z.B. zwei User eines Internetforums. Der eine schreibt immer das selbe und benutzt oft die gleichen Wörten (z.B. "Einstein, doof, falsch, unlogisch ...), der andere neigt nicht zu Polemik, schreibt deshalb nur, wenn es etwas interessantes zu sagen gibt, wiederholt sich nicht ständig und benutzt auch einen reicheren Wortschatz.
Jetzt kann man z.B. ein Histogramm anfertigen über alle Wörter, die die beiden benutzt haben- ein Historgramm ist ja ein Schätzer für die W'keiten der Wörter, also hat man p(wort) für beide und kann die Entropie ausrechnen. Dabei wird sich vermutlich ergeben, dass der zweite User eine deutlich höhere Entropie hat als der erste, was bedeutet, dass er mehr Information generiert.
Wenn ich die beiden also nicht selbst kenne, sondern nur ihre Entropien, würde ich zweifellos eher die Beiträge von User Nr.2 lesen.

(Ein dritter User, der rein zufällige Nonsenswörter schreibt, wie ghkgfhk etc... und dabei eine große Vielfalt walten lässt, hätte zweifellos eine noch viel höhere Entropie, also Vorsicht bei der Interpretation)

Wie man das jetzt mit der Zeit zusammenbringt und deine Frage beantwortet überlasse ich jetzt den anderen. Ich bin der Meinung, dass für das, was dich eigentlich interessiert, die Entropie dich nicht weiter bringt.