ASI-EVOLVE: Neues KI-System optimiert autonom Trainingsdaten und Algorithmen

Die Entwicklung fortschrittlicher KI-Modelle folgt oft einem mühevollen Zyklus: Hypothesen aufstellen, Experimente durchführen, Ergebnisse analysieren. Dieser Prozess erfordert nicht nur umfangreiche manuelle Arbeit, sondern bindet auch wertvolle Rechenressourcen und menschliche Expertise. Ein neues System namens ASI-EVOLVE des Generative Artificial Intelligence Research Lab (SII-GAIR) soll diese Hürden überwinden, indem es die gesamte Optimierungsschleife automatisiert – von den Trainingsdaten über die Modellarchitektur bis hin zu den Lernalgorithmen.

In ersten Tests zeigte die Technologie, dass sie nicht nur menschliche Benchmarks erreicht, sondern diese sogar übertrifft. Das System entdeckte eigenständig neuartige Sprachmodell-Architekturen, verbesserte Prä-Trainingsdaten-Pipelines um über 18 Punkte in Benchmark-Tests und entwarf effizientere Verstärkungslern-Algorithmen. Für Unternehmen, die regelmäßig KI-Systeme optimieren, könnte ASI-EVOLVE den manuellen Aufwand deutlich reduzieren.

Warum die manuelle KI-Optimierung an Grenzen stößt

KI-Entwickler können nur einen winzigen Ausschnitt des theoretisch möglichen Designraums erkunden. Jede experimentelle Iteration erfordert nicht nur tiefes Fachwissen, sondern auch erhebliche Rechenleistung. Die gesammelten Erkenntnisse bleiben zudem oft in isolierten Teams oder als individuelle Erfahrungswerte bestehen – ein Wissenstransfer findet selten statt. Diese strukturellen Grenzen bremsen die Innovationsgeschwindigkeit in der KI-Forschung spürbar.

Während spezialisierte KI-Tools wie AlphaFold bereits beeindruckende Fortschritte in der Biologie ermöglichen, scheitern bestehende Frameworks meist an der Bewältigung offener Innovationsaufgaben. Die Optimierung grundlegender KI-Fähigkeiten ist besonders komplex: Sie umfasst die Anpassung großer, interdependenter Codebasen, den Betrieb rechenintensiver Experimente und die Analyse multidimensionaler Rückmeldungen aus Trainingsprozessen.

„Aktuelle Frameworks zeigen noch nicht, dass KI in der Lage ist, diesen Prozess in einer einheitlichen Weise zu meistern“, schreiben die Forscher. „Sie beschränken sich meist auf eng gefasste Optimierungen innerhalb spezifischer Constraints.“

Wie ASI-EVOLVE selbstständig lernt und forscht

Um die manuelle R&D-Arbeit zu ersetzen, setzt ASI-EVOLVE auf einen geschlossenen Kreislauf: Es kombiniert bestehendes Wissen, generiert Hypothesen, führt Experimente durch und zieht daraus lernbare Schlüsse. Das System beginnt mit einer Wissensbasis namens Cognition Base, die relevante Fachliteratur, bewährte Heuristiken und bekannte Fallstricke enthält. Diese Grundlage lenkt die Suche von Anfang an in vielversprechende Richtungen.

Der zweite zentrale Baustein ist der Analyzer, der komplexe experimentelle Rückmeldungen – etwa Trainingsprotokolle, Benchmarkergebnisse oder Effizienzmetriken – in kompakte, handlungsrelevante Erkenntnisse umwandelt. Dazu gehören auch kausale Analysen, die Ursache-Wirkungs-Zusammenhänge aufdecken.

Mehrere spezialisierte Module ergänzen das System:

• Researcher: Generiert aus der Wissensbasis und vergangenen Experimenten neue Hypothesen – entweder durch Code-Anpassungen oder das Erstellen neuer Programme.
• Engineer: Führt die eigentlichen Experimente durch, wobei es vorab unbrauchbare Kandidaten durch schnelle Vorab-Tests aussortiert, um GPU-Stunden zu sparen.
• Database: Speichert alle Iterationen systematisch – inklusive Code, Motivation, Rohdaten und Analyzer-Berichte – und stellt so sicher, dass Erkenntnisse langfristig genutzt werden können.

„ASI-EVOLVE entwickelt nicht nur Lösungen weiter, sondern seine eigene Denkfähigkeit“, erklären die Entwickler. „Erfahrungen und Erkenntnisse werden kontinuierlich gespeichert und abgerufen, um zukünftige Suchprozesse zu informieren. So wächst das System nicht nur in der Qualität seiner Ergebnisse, sondern auch in seiner Fähigkeit, gezielt nach neuen Lösungen zu suchen.“

Praktische Anwendungen: Vom Datenmanagement bis zur Algorithmen-Optimierung

In Experimenten demonstrierte ASI-EVOLVE seine Fähigkeiten in drei zentralen Bereichen:

• Datenbereinigung: Bei der Aufgabe, große Pretrainings-Korpora für spezifische Anwendungsfälle zu bereinigen, identifizierte das System Probleme wie HTML-Code-Fragmente oder Formatierungsfehler. Es entwickelte eigenständig Reinigungsregeln und zeigte, dass domain-spezifische Erhaltungsstrategien herkömmlichen Methoden überlegen sind.
• Modellarchitekturen: Das System entwarf neuartige Sprachmodell-Strukturen, die in Benchmark-Tests bessere Ergebnisse erzielten als bestehende menschliche Designs.
• Lernalgorithmen: ASI-EVOLVE konzipierte effizientere Verstärkungslern-Verfahren, die mit geringerem Rechenaufwand vergleichbare oder bessere Leistungen erbrachten.

Für Unternehmen, die regelmäßig KI-Systeme anpassen, könnte die Technologie den manuellen Aufwand deutlich reduzieren. Statt wochenlanger Trial-and-Error-Phasen übernimmt ASI-EVOLVE die systematische Optimierung – und liefert dabei oft sogar bessere Ergebnisse als menschliche Experten.

Ausblick: KI, die sich selbst weiterentwickelt

Die erfolgreiche Demonstration von ASI-EVOLVE markiert einen wichtigen Schritt hin zu autonomer KI-Forschung. Während bisherige Systeme meist auf die Verbesserung einzelner Komponenten beschränkt waren, zeigt diese Technologie, dass KI in der Lage ist, den gesamten Entwicklungszyklus zu optimieren – und dabei sogar neue Erkenntnisse zu generieren.

Langfristig könnte ASI-EVOLVE nicht nur die Effizienz, sondern auch die Qualität von KI-Systemen revolutionieren. Die Fähigkeit, Wissen systematisch zu speichern und für zukünftige Projekte nutzbar zu machen, könnte den Weg für eine neue Ära der KI-Entwicklung ebnen – eine, in der Systeme nicht nur trainiert, sondern auch selbst lernen, zu forschen und zu verbessern.