GitHubs Copilot Code Review: Warum bessere Tools anfangs schlechtere Ergebnisse lieferten

Die Annahme, dass bessere Tools automatisch zu besseren Ergebnissen führen, gilt nicht immer – zumindest nicht sofort. Als GitHub die Code-Explorationstools von Copilot CLI in seinen Code Review Agent integrierte, um die Infrastruktur zu vereinheitlichen, passierte genau das Gegenteil: Die Effizienz sank, während gleichzeitig weniger relevante Probleme erkannt wurden. Die Lösung lag nicht in der Technik selbst, sondern in der Neugestaltung der Arbeitsanweisungen für die KI.

Tools allein verbessern keine Ergebnisse

GitHubs Copilot Code Review analysiert Pull Requests, identifiziert relevante Codeänderungen und bewertet potenzielle Risiken, bevor der Code in die Produktion gelangt. Dafür greift die KI auf spezielle Tools zurück, die den Code nach Mustern, Abhängigkeiten und potenziellen Fehlern durchsuchen. Ursprünglich nutzte der Agent eigene, maßgeschneiderte Tools für diese Aufgabe. Als man jedoch auf die standardisierten Tools aus der Copilot CLI umstellte – darunter grep, glob und view – erwartete man eine nahtlose Leistungssteigerung.

Doch die Benchmarks zeigten ein überraschendes Ergebnis: Die durchschnittlichen Kosten für einen Review stiegen an, während gleichzeitig weniger Probleme erkannt wurden. Die Tools selbst funktionierten einwandfrei – sie waren jedoch für einen anderen Anwendungsfall optimiert. Während die ursprünglichen Tools darauf ausgelegt waren, zusätzliche Kontextinformationen automatisch zu liefern, fehlte diese Anpassung bei den neuen Tools.

Die falsche Herangehensweise: Breites Suchverhalten statt gezielter Analyse

Ein entscheidender Unterschied lag in der Arbeitsweise der KI. Die ursprünglichen Tools waren so konzipiert, dass sie umfangreiche Codeabschnitte durchsuchten und zusätzliche Kontextinformationen bereitstellten. Dies war sinnvoll für ältere KI-Modelle, die weniger präzise Tool-Aufrufe tätigten und auf umfassende Informationen angewiesen waren. Die neuen Tools aus der Copilot CLI hingegen folgten einem anderen Prinzip: Sie waren für allgemeine Code-Exploration optimiert, nicht für die gezielte Überprüfung von Pull Requests.

Die Traces der KI zeigten ein klares Muster: Statt sich auf die relevanten Änderungen zu konzentrieren, begann die KI mit einer breiten Suche. Sie durchsuchte ganze Verzeichnisse, öffnete große Codeabschnitte und sammelte unnötige Kontextinformationen. Dieses Verhalten entsprach eher dem eines Entwicklers, der ein Repository erkundet, als dem eines Reviewers, der gezielt nach Problemen in einer bestimmten Codeänderung sucht.

Ein menschlicher Reviewer geht anders vor. Er beginnt mit dem Diff, stellt gezielte Fragen wie:

• Wo wird diese Funktion aufgerufen?
• Gibt es ähnliche Muster in Tests oder Helferfunktionen?
• Welcher kleinste Codeabschnitt erklärt das geänderte Verhalten?

Die KI hingegen folgte den ursprünglichen Anweisungen, die für ein anderes Szenario entwickelt wurden. Statt gezielt nach relevanten Informationen zu suchen, sammelte sie unnötige Daten, die später in den Kontext der KI eingingen und die Effizienz beeinträchtigten.

Die Lösung: Anweisungen an die KI neu definieren

Der Durchbruch kam, als das Team erkannte, dass nicht die Tools selbst das Problem waren, sondern die Art und Weise, wie die KI mit ihnen umging. Die Anweisungen für die KI mussten vollständig überarbeitet werden, um ihr die richtige Herangehensweise beizubringen. Statt der bisherigen, allgemeinen Suchanfragen sollte die KI lernen, gezielt nach den relevanten Informationen zu suchen.

Die neuen Anweisungen wurden so gestaltet, dass die KI:

• Zunächst den Diff analysiert und daraus gezielte Suchanfragen ableitet.
• Nur die minimal notwendigen Codeabschnitte öffnet, um die gestellten Fragen zu beantworten.
• Unnötige Kontextinformationen vermeidet, um Token-Kosten und Rechenaufwand zu reduzieren.

Nach dieser Anpassung kehrte sich die Entwicklung um: Die durchschnittlichen Kosten für einen Review sanken um etwa 20 Prozent, während gleichzeitig die Qualität der Reviews gleichblieb. Die KI arbeitete nun effizienter und zielgerichteter, genau wie ein menschlicher Reviewer.

Fazit: Die richtige Kombination aus Tools und Anweisungen entscheidet

Das Experiment von GitHub zeigt, dass die Integration besserer Tools allein nicht zwangsläufig zu besseren Ergebnissen führt. Entscheidend ist, wie die KI mit diesen Tools umgeht – und das wird maßgeblich durch die Anweisungen und Arbeitsanweisungen bestimmt. Die Erkenntnis, dass die ursprüngliche Herangehensweise der KI nicht zum neuen Toolset passte, führte schließlich zur Lösung. Dieser Fall unterstreicht die Bedeutung von kontinuierlichem Benchmarking und der Anpassung von KI-Systemen an reale Arbeitsabläufe. In Zukunft könnten ähnliche Ansätze dazu beitragen, die Effizienz und Genauigkeit von KI-gestützten Code-Reviews weiter zu verbessern – ohne dabei auf bewährte Tools verzichten zu müssen.