Warum Backpropagation in der KI nicht für jede Lernaufgabe reicht

Künstliche Intelligenz lernt durch Fehlerkorrektur. Doch was passiert, wenn keine klaren Antworten vorliegen? Die klassische Methode namens Backpropagation stößt hier an ihre Grenzen – besonders in der Verstärkungslernung (Reinforcement Learning). Während sie in überwachten Lernverfahren zuverlässig arbeitet, versagt sie oft, wenn optimale Ausgaben unbekannt bleiben. Warum das so ist und welche Alternativen es gibt, erklärt dieser Artikel.

Die Stärke von Backpropagation bei bekannten Zielen

Backpropagation ist das Herzstück der meisten neuronalen Netze. Es funktioniert nach einem einfachen Prinzip: Das Netz erhält Eingabedaten und berechnet eine Ausgabe. Diese wird mit der vorgegebenen Idealausgabe aus dem Trainingssatz verglichen. Die Differenz – auch als Fehler bezeichnet – dient als Grundlage für die Anpassung der Netzwerkparameter.

Nehmen wir ein Beispiel: Ein neuronales Netz soll den Hunger eines Organismus bewerten und entscheidet zwischen zwei Zuständen – „satt“ (1) oder „hungrig“ (0). Die Trainingsdaten könnten so aussehen:

Eingabe (Hunger)  Idealausgabe
0.0               0
1.0               1
0.1               0
0.9               1

Das Netz verarbeitet nacheinander die Eingaben und passt seine Gewichte an, um die berechnete Ausgabe näher an die Idealausgabe zu bringen. Der Schlüssel liegt in der Ableitung (Derivat): Sie zeigt an, in welche Richtung und wie stark ein Parameter angepasst werden muss, um den Fehler zu minimieren. Bei einem negativen Derivat wird der Bias-Wert erhöht, bei positivem entsprechend verringert.

Doch dieses Verfahren setzt voraus, dass die Idealausgaben bekannt sind – eine Voraussetzung, die in der Verstärkungslernung nicht immer erfüllt ist.

Warum Backpropagation in der Verstärkungslernung scheitert

In der Verstärkungslernung gibt es keinen festen Satz idealer Ausgaben. Stattdessen muss das System selbstständig Entscheidungen treffen, deren Folgen oft erst später sichtbar werden. Ein klassisches Beispiel ist ein Roboter, der zwischen zwei Orten wählen muss: Platz A oder Platz B.

• Problem 1: Keine Idealausgaben verfügbar

Das neuronale Netz erhält keine vordefinierten Antworten. Es weiß nicht, ob Platz A oder B die bessere Wahl ist – zumindest nicht im Moment der Entscheidung.

• Problem 2: Keine Fehlerberechnung möglich

Ohne Idealausgaben fehlt der Referenzwert, um die Netzwerkausgabe zu bewerten. Die klassische Fehlerberechnung und die darauf basierende Ableitung versagen.

• Problem 3: Verzögerte Belohnungen

Die Konsequenzen einer Entscheidung zeigen sich oft erst nach mehreren Schritten. Ein Roboter, der zunächst in eine Sackgasse läuft, erhält erst am Ende der Route eine Rückmeldung. Diese verzögerte Information erschwert die direkte Fehlerkorrektur.

Policy Gradients: Ein alternativer Ansatz

Um diese Hürden zu überwinden, setzt die Verstärkungslernung auf Policy Gradients – eine Methode, die nicht auf Idealausgaben angewiesen ist. Stattdessen nutzt sie geschätzte Ableitungen, um die Parameter des neuronalen Netzes anzupassen.

Der Grundgedanke:

• Das Netz erhält eine Belohnung für gute Entscheidungen und eine Bestrafung für schlechte.
• Diese Rückmeldung wird genutzt, um die Wahrscheinlichkeit zu erhöhen, dass ähnliche Entscheidungen in Zukunft getroffen werden.
• Die Anpassung erfolgt direkt über die Gradienten der Belohnungsfunktion, ohne dass eine Idealausgabe bekannt sein muss.

Ein einfaches Beispiel verdeutlicht das Prinzip:

Angenommen, ein Agent entscheidet zwischen zwei Aktionen – links oder rechts. Die Belohnung für die rechte Aktion beträgt +1, für die linke -1. Das neuronale Netz berechnet für jede Aktion eine Wahrscheinlichkeit. Policy Gradients passen die Gewichte so an, dass die Wahrscheinlichkeit für die belohnte Aktion steigt und für die bestrafte sinkt.

Die Mathematik hinter Policy Gradients

Policy Gradients basieren auf der Score-Funktion und der Monte-Carlo-Methode. Der Kern der Formel lautet:

Δθ = α * ∇θ log π(a|s, θ) * R

Dabei steht:

• Δθ für die Gewichtsänderung,
• α für die Lernrate,
• ∇θ log π(a|s, θ) für die Ableitung der Log-Wahrscheinlichkeit der gewählten Aktion,
• R für die erhaltene Belohnung.

Diese Gleichung zeigt, wie die Parameter angepasst werden: Je höher die Belohnung für eine Aktion, desto stärker wird die Wahrscheinlichkeit für diese Aktion erhöht.

Fazit: Backpropagation bleibt wichtig – aber nicht universell

Backpropagation ist ein mächtiges Werkzeug für überwachte Lernverfahren, doch in der Verstärkungslernung stößt es an seine Grenzen. Policy Gradients bieten hier eine elegante Lösung, indem sie auf Idealausgaben verzichten und stattdessen auf Belohnungen setzen. Dieser Ansatz ermöglicht es KI-Systemen, komplexe Entscheidungen zu treffen, selbst wenn die optimalen Ausgaben unbekannt bleiben.

Die Zukunft der KI-Forschung wird zeigen, wie sich diese Methoden weiterentwickeln. Eines ist jedoch sicher: Die Kombination aus Backpropagation und Policy Gradients könnte der Schlüssel zu noch leistungsfähigeren und flexibleren KI-Systemen sein.