Sakana AI stellt einen selbstverbessernden Agenten vor, der die Leistung auf SWE-Bench um bis zu 50 % steigert

Japanisches KI-Unternehmen Sakana KI führte die Darwin-Gödel-Maschine (DGM) ein, einen selbstmodifizierenden Agenten, der seinen eigenen Code verändern kann. Das System orientiert sich an evolutionären Prinzipien und verfügt über eine wachsende Anzahl von Agentenvarianten, was eine kontinuierliche Erforschung des breiten Spektrums selbstverbessernder Agentendesigns ermöglicht.

Während aktuelle Agentensysteme nach der Bereitstellung typischerweise statisch und unveränderlich sind, betont das DGM die kontinuierliche Selbstverbesserung als entscheidenden Faktor für die Weiterentwicklung der KI-Fähigkeiten. Die Maschine ist darauf ausgelegt, KI-Systeme zu unterstützen, die – ähnlich wie der Mensch – lernen und ihre Fähigkeiten im Laufe der Zeit weiterentwickeln können.

Das DGM stellt einen bemerkenswerten Fortschritt für KI-Systeme dar, die in der Lage sind, ihre eigenen Lernfortschritte selbstständig zu identifizieren und darauf aufzubauen, um kontinuierlich Innovationen zu entwickeln. Das System erweitert sein Archiv, indem es einen Agenten aus seiner bestehenden Sammlung auswählt und mithilfe eines Basismodells eine neue, verbesserte Variante dieses Agenten generiert. Dieser Prozess der offenen Exploration erzeugt einen wachsenden Baum aus vielfältigen, hochwertigen Agenten und ermöglicht die gleichzeitige Exploration mehrerer Pfade innerhalb des Suchraums. 

Empirische Ergebnisse zeigen, dass das DGM seine Programmierfähigkeiten im Laufe der Zeit verbessert – durch verbesserte Tools wie Code-Bearbeitung, Long-Context-Management und Peer-Review-Mechanismen. Dies führt zu einer Leistungssteigerung bei Benchmarks wie SWE-Bench (von 20.0 % auf 50.0 %) und Polyglot (von 14.2 % auf 30.7 %). Das System übertrifft durchweg Basismodelle, denen es an Selbstverbesserung oder offenen Explorationsmöglichkeiten mangelt.

Bemerkenswerterweise umfasste die Entwicklung hin zum wirksamsten Wirkstoff manchmal Zwischenprodukte Agenten Die Ergebnisse zeigten zwar eine schlechtere Leistung als ihre Vorgänger, blieben aber in der Linie erhalten. Dies verdeutlicht die Vorteile einer offenen Suchstrategie. Dieser Ansatz bewahrt ein vielfältiges Archiv nützlicher Zwischenagenten, anstatt sich ausschließlich auf die Abzweigung vom leistungsstärksten Agenten zu konzentrieren. Dies zeigt, dass Fortschritt nicht immer linear verläuft.

Die Forschung zeigt außerdem, dass die verbesserte Leistung der vom DGM entdeckten Agenten auf verschiedene Basismodelle, wie z. B. die Übertragung von Claude auf o3-mini, und auf verschiedene Programmiersprachen und Aufgabenbereiche, darunter Python, Rust, C++, Go und andere, verallgemeinert werden kann.

Sakana AI: Entwicklung von KI-Systemen, die von der Natur und kollektiver Intelligenz inspiriert sind

Sakana AI ist ein KI-Forschungsunternehmen mit Sitz in Tokio, das sich auf die Entwicklung von KI-Systemen konzentriert, die von natürlichen Prozessen inspiriert sind. Der Ansatz des Unternehmens besteht darin, mehrere kleinere, autonome Modelle zu einer kollektiven Intelligenz zu integrieren, ähnlich wie ein Fischschwarm agiert. Diese Methode unterscheidet sich von herkömmlichen groß angelegten KI-Modellen, indem sie Anpassungsfähigkeit, Ressourceneffizienz und langfristige Nachhaltigkeit in den Vordergrund stellt.

Zu den Forschungsprojekten von Sakana AI gehört die „Evolutionary Model Merge“-Technik, die evolutionäre Algorithmen anwendet, um bestehende KI-Modelle zu kombinieren. Dieser Prozess generiert neue Modelle mit gezielten Fähigkeiten und minimiert gleichzeitig den Bedarf an umfangreicher Rechenleistung. Darüber hinaus hat Sakana AI die „ KI-Wissenschaftler “, ein System zur Automatisierung der wissenschaftlichen Forschung, das es Stiftungsmodellen ermöglicht, Untersuchungen und Entdeckungsprozesse selbstständig durchzuführen.