SK hynix und TetraMem entwickeln energieeffizienten KI-Chip für Edge-Geräte

Die Entwicklung energiesparender Hardware für KI-Anwendungen an der Edge gewinnt zunehmend an Bedeutung. Ein kürzlich vorgestelltes Projekt von SK hynix, TetraMem und Forschern der University of Southern California könnte hier einen wichtigen Schritt darstellen – auch wenn die tatsächlichen Leistungsdaten noch Fragen aufwerfen.

Ein neuartiger Ansatz für In-Memory-Computing

Die Zusammenarbeit der Partner zielt auf ein memristor-basiertes In-Memory-Computing-System-on-Chip (SoC), das speziell für Edge-KI-Geräte konzipiert ist. Im Gegensatz zu herkömmlichen GPUs oder NPUs soll der Chip Neural-Network-Inference mit minimalem Energieverbrauch ermöglichen. Allerdings handelt es sich dabei noch um ein Proof-of-Concept, dessen theoretische Spitzenleistung bei etwa 2,54 TOPS liegt – deutlich unter den Anforderungen von Microsofts Copilot+-Initiative.

Der Chip kombiniert konventionelle IMC-Kreuzbarren mit einer speziell für Depthwise Convolution (DWC) optimierten Architektur. Diese Technik adressiert ein zentrales Problem bei leichten KI-Modellen wie MobileNet: DWC führt unabhängige Filterungen pro Kanal durch, was sich schlecht auf standardmäßige Kreuzbarren abbilden lässt. Die Lösung? Ein zickzackförmiger Kreuzbarren, der die Ausnutzung der Speichermatrix maximiert.

Aufbau und Funktionsweise des Chips

Der SoC basiert auf einem embedded RISC-V-Prozessor, der die Arbeitslasten steuert, und umfasst 10 Neural Processing Units (NPUs). Eine davon ist speziell für DWC ausgelegt, während die anderen neun für Pointwise- und dichte Operationen zuständig sind.

• Neun der zehn NPUs verfügen über einen 256×256-Kreuzbarren, der analoge Vektor-Matrix-Multiplikationen durchführt. Dazu gehören:
• 256 8-Bit-DACs zur Umwandlung digitaler Aktivierungen in analoge Spannungen
• 256 8-Bit-ADCs zur Rückumwandlung der analogen Ergebnisse in digitale Werte
• Peripherie-Schaltungen für Steuerung und Programmierung

• Die DWC-optimierte NPU ersetzt den Standard-Kreuzbarren durch acht spezialisierte 252×28-Zickzack-Kreuzbarren. Diese Topologie ermöglicht 28 parallele 3×3-Faltungen, wobei die gesamte Matrix für Gewichtspeicher genutzt wird.

SK hynix entwickelte die Memristor-Bauelemente und integrierte sie auf eine 65-nm-CMOS-Basis mittels Back-End-Prozess. TetraMem optimierte die Architektur für DWC, während die USC die Evaluierung übernahm.

Leistung und Effizienz: Stärken und Grenzen

In einem Visual Wake Words-Benchmark mit einem angepassten MobileNetV1Small-Modell (ca. 36.000 Parameter) erreichte der Chip eine End-to-End-Inferenzgenauigkeit von 80,36%. Das entspricht dem Software-Modell mit 4-Bit-Präzision – ein vielversprechendes Ergebnis, das die Machbarkeit des Ansatzes unterstreicht.

Allerdings fallen die Leistungsdaten gemessen an den Erwartungen zurück:

• Spitzen-Durchsatz: 0,254 TOPS pro NPU (insgesamt theoretisch 2,54 TOPS bei voller Auslastung)
• Energieeffizienz: 21,3 TOPS/W bei 100 MHz und 11,9 TOPS/W bei 400 MHz

Die Autoren verweisen auf einen Vergleich mit SRAM-basierten In-Memory-Beschleunigern und behaupten, der Chip sei zehnmal energieeffizienter als Nvidias A100 bei INT8-Operationen. Doch diese Aussagen sind nicht vollständig validiert, da der Demonstrator nur eine DWC-NPU, fünf Standard-NPUs und vier ungenutzte NPUs einsetzte. Ob alle zehn NPUs gleichzeitig betrieben werden können, bleibt unklar.

Zukunftsperspektiven: Potenzial trotz Ungewissheiten

Trotz der offenen Fragen zeigt das Projekt, dass Memristor-Technologie für Edge-KI realistisch umsetzbar ist – auch auf älterer 65-nm-Hardware. Die Kombination aus analoger In-Memory-Berechnung und spezialisierter DWC-Optimierung könnte den Weg für kleinere, energieeffizientere KI-Chips ebnen.

Die nächsten Schritte werden zeigen, ob der Ansatz skalierbar ist und praktische Anwendungen jenseits von Proof-of-Concepts findet. Sollte dies gelingen, könnte er die Entwicklung von KI-Hardware für mobile und IoT-Geräte nachhaltig beeinflussen.