Abweichungen und Möglichkeiten in einem Multiversum?

[Geku]

Zitat von TomS

Wenn dem nicht so wäre, müsstest du beweisen, dass das NN etwas kann oder tut, was ein Algorithmus nicht kann

Die Frage ist, ob man nicht Äpfel mit Birnen vergleicht, wenn man Neuronale Netzwerke mit Algorithmen vergleicht?

Ein Algorithmus ist eine Handlungsvorschrift, hingegen ist ein Neuronales Netzwerk , wie ein Computer, eine Plattform zur Informationsverarbeitung.

So gesehen müsst die Frage lauten: wenn dem nicht so wäre, müsstest du beweisen, dass das NN etwas kann oder tut, was ein Computer nicht kann.

Zum Beispiel flexibel auf Unbekanntes zu reagieren, ohne den Alorithmus zu ändern.

Ein gutes Beispiel ist ELIZA ist ein 1966 von Joseph Weizenbaum entwickeltes Computerprogramm.

https://de.m.wikipedia.org/wiki/ELIZA

Wird ELIZA mit Unbekannten konfrontiert, antwortet es mit allgemeinen Ausweichphrasen wie z.B. „Das habe ich noch nicht verstanden, können Sie mir das erklären.“ oder „Davon verstehe ich nichts, lassen Sie uns über ein anderes Thema reden.“

Kann ich bei einem Neuralen Netzwerk nur von der Gewichtung auf die Funktion schließen?
Z.B. ist das Netzwerk auf Hexadezimal oder nur auf Dezimalzahlen trainiert?

Ich hatte unlängst im "Wiener Technischen Museum" die Gelegenheit mit einem Neuronalen Netzwerk zu "spielen", welches auf Dezimalzahlen trainiert wurde.

https://www.technischesmuseum.at/jar...0621748801.jpg

Man musste am Eingang ein Ziffer zeichnen, an den zehn Ausgängen wurden die Ziffern gewichtet dargestellt.
Man konnte eine '7' so zeichnen, dass sich das Netzwerk nicht zwischen '1' und '7' entscheiden konnte.

[TomS]

Zitat von Geku

Die Frage ist, ob man nicht Äpfel mit Birnen vergleicht, wenn man Neuronale Netzwerke mit Algorithmen vergleicht?

Ein Algorithmus ist eine Handlungsvorschrift, hingegen ist ein Neuronales Netzwerk , wie ein Computer, eine Platform zur Informationsverarbeitung.

Ich würde vorschlagen, du befasst dich mit den Zusammenhängen zwischen Algorithmen, Turingmaschinen und Computerprogrammen; sie sind im Sinne der Mathematik funktional äquivalent und unterscheiden sich lediglich in ihrer Darstellung / Notation / Kodierung / Programmierung.

(Es handelt sich demnach nicht um Äpfel und Birnen sondern um Obst ;-)

Zitat von Geku

Wenn dem nicht so wäre, müsstest du beweisen, dass das NN etwas kann oder tut, was ein Computer nicht kann.

Gut, dann stellen wir doch diese Frage.

Das NN kann oder tut eben nicht mehr als ein Computer. Es bearbeitet stur die algebraische Formel (y,p') = f(x,p). Und es reagiert eben gerade nicht flexibel auf den Input sondern folgt starr diesem Algorithmus: nehme Input (x,p), wende die Formel f an und erzeuge Output (y,p'), ersetze p durch p' (nur im Trainingsmodus).

Du kannst gerne versuchen, das Gegenteil zu beweisen ;-)

[Geku]

Zitat von TomS

Ich würde vorschlagen, du befasst dich mit den Zusammenhängen zwischen Algorithmen, Turingmaschinen und Computerprogrammen; sie sind im Sinne der Mathematik funktional äquivalent und unterscheiden sich lediglich in ihrer Darstellung / Notation / Kodierung / Programmierung

Wo bleibt das Neuronale Netzwerk?

Computerprogramme sind Algorithmen. Algorithmen sind pure Software. Computer und Neuronale Netzwerke sind Hardware auf denen Information verarbeitet wird.

Das NN kann oder tut eben nicht mehr als ein Computer

Entferne aus einem Computer einen Tranistor und entferne ein Neuron aus dem Netzwerk

Der Computer wird ausfallen, das Neuronale Netzwerk wird weiter funktionieren. Auch das Gehirn kann, z.B. nach einer durchgezechten Nacht viele Neuronen verlieren, ist aber spätestens am übernächsten Tag wieder voll zu gebrauchen.

Fazit: Das Neuronale Netzwerk ist nicht bloß ein Computer.

Du kannst gerne versuchen, das Gegenteil zu beweisen ;-)

[TomS]

Zitat von Geku

Computerprogramme sind Algorithmen. Algorithmen sind pure Software. Computer und Neuronale Netzwerke sind Hardware auf denen Information verarbeitet wird.

Algorithmen sind rein funktional definiert. Alles weitere wie Hardware ist irrelevant.

Zitat von Geku

Entferne aus einem Computer einen Tranistor und entferne ein Neuron aus dem Netzwerk

Der Computer wird ausfallen, das Neuronale Netzwerk wird weiter funktionieren. Auch das Gehirn kann, z.B. nach einer durchgezechten Nacht viele Neuronen verlieren, ist aber spätestens am übernächsten Tag wieder voll zu gebrauchen.

Richtig, jedoch irrelevant.

Das ist aber für die Definition eines Algorithmus völlig egal. Wenn du aus einem NN ein Neuron entfernst, dann entspricht das einem leicht geänderten Algorithmus, in dem einige Parameter zu Null gesetzt werden.


Fangen wir von vorne an: bestreitest du, dass das NN lediglich die Funktion (y,p’) = f(x,p) ausführt und dabei p durch p’ ersetzt? Wenn ja, was tut es noch?

[Geku]

Ich möchte diese Funktion, die sehr allgemein gehalten ist, nicht bestreiten.

Aber wie sieht diese Funktion für ein sehr einfaches Netzwerk mit drei Schichten (eine Eingabeschichtem, eine verdeckte Schichte und eine Ausgabeschichte) mit je neun Neuronen aus?

[TomS]

Zitat von Geku

Ich möchte diese Funktion, die sehr allgemein gehalten ist, nicht bestreiten.

Gut.

Damit ist aber hoffentlich klar, dass die (iterierte) Ausführung dieser Funktion einem Algorithmus entspricht.

Zitat von Geku

Aber wie sieht diese Funktion für ein sehr einfaches Netzwerk mit drei Schichten (eine Eingabeschichtem, eine verdeckte Schichte und eine Ausgabeschichte) mit je neun Neuronen aus?

y = f(x) = a( Wx + b ) entspricht je Layer im wesentlichen einer Matrix W, die auf den Input-Vektor x angewendet wird wodurch ein Output-Vektor erzeugt wird; auf jedes Element dieses Vektors wird anschließend noch ein Bias b addiert und eine Aktivierungsfunktion a angewendet, wenn der Output-Vektor als Input in den nächsten Layer eingespeist wird.

Die Berechnung der neuen Parameter p’ aus p (d.h. im wesentlichen die neuen W und b) ist komplizierter.

https://towardsdatascience.com/intro...s-e8b60dbbdeba
https://towardsdatascience.com/https...h-17660bc376ba

[Geku]

Danke für die beiden aufschlußreichen Links.

[Einfels]

Ich habe mit neuronalen Netzwerken und Algorithmen nicht viel am Hut (eigentlich gar nichts) und verstehe auch zu wenig davon, um mich hier jetzt in die Diskussion einzuklinken, denn möglicherweise verstehe ich da auch etwas falsch, ich meine nämlich, dass...

....weder neuronale Netzwerke und schon gar nicht Algorithmen, der menschlichen Intelligenz auch nur annähernd das Wasser reichen können, so sind für mich beide, das neuronale Netzwerk sowie ein Algorithmus, gleichsam mehr oder weniger "unbedeutend" im Gegensatz zur menschlichen Intelligenz.

Es drängt sich mir jedoch der Verdacht auf, einige würden in einem neuronalen Netzwerk etwas "ganz besonderes" sehen, wenn es denn aber nicht viel "klüger" ist oder sogar nur gleichsam "dämlich" wie ein Algorithmus zu sein scheint.

[TomS]

Zitat von Einfels

… ich meine nämlich, dass weder neuronale Netzwerke und schon gar nicht Algorithmen, der menschlichen Intelligenz auch nur annähernd das Wasser reichen können

Zunächst sind NNs nur spezielle Algorithmen.

Ich sehe nicht, dass die Funktionen und Fähigkeiten des menschlichen Verstandes auch nur ansatzweise präzise definiert, verstanden oder gar quantifiziert wären. Daher ist es wirklich nur deine Meinung.

Zitat von Einfels

Es drängt sich mir jedoch der Verdacht auf, einige würden in einem neuronalen Netzwerk etwas "ganz besonderes" sehen, wenn es denn aber nicht viel "klüger" ist oder sogar nur gleichsam "dämlich" wie ein Algorithmus zu sein scheint.

Ein NN ist m.W.n. gleich mächtig zu einer Turingmaschine. Allerdings verstehe ich weiß ein Detail nicht, denn im Gegensatz zur Turingmaschine terminiert das NN sicher bei jeder Eingabe.

[Geku]

Zitat von Einfels

Ich habe mit neuronalen Netzwerken und Algorithmen nicht viel am Hut (eigentlich gar nichts) und verstehe auch zu wenig davon, um mich hier jetzt in die Diskussion einzuklinken, denn möglicherweise verstehe ich da auch etwas falsch, ich meine nämlich, dass...

....weder neuronale Netzwerke und schon gar nicht Algorithmen, der menschlichen Intelligenz auch nur annähernd das Wasser reichen können, so sind für mich beide, das neuronale Netzwerk sowie ein Algorithmus, gleichsam mehr oder weniger "unbedeutend" im Gegensatz zur menschlichen Intelligenz.

Es drängt sich mir jedoch der Verdacht auf, einige würden in einem neuronalen Netzwerk etwas "ganz besonderes" sehen, wenn es denn aber nicht viel "klüger" ist oder sogar nur gleichsam "dämlich" wie ein Algorithmus zu sein scheint.

Unser Gehirn besteht aus Neuronalen Netzwerken. Also hat es mindestens eine Netzwerkvariante, wenn auch ein langer evolutionnärer Weg notwendig war, zum Bewustsein geschafft.