Quantisierung in KI-Modellen: Warum Leaderboards die Realität verschleiern
Leaderboards suggerieren oft, dass kleinere quantisierte KI-Modelle leistungsfähig sind – doch dies trügt. Tatsächlich leidet die Agentenfähigkeit bei zu starker Kompression spürbar. Eine neue Methode hilft Entwicklern, den Sweet Spot für Echtzeit-Anwendungen zu finden.