Gemma 4 für Offline-Spracherkennung: 5 Modelle im Windows-Test

Offline-Spracherkennung mit lokaler KI: Warum Parlotype auf Gemma 4 setzt

Parlotype ist ein kostenloses Windows-Tool für lokale Spracherkennung, das seit Kurzem neben Whisper auch Googles neues Modell Gemma 4 unterstützt. Die Besonderheit: Nutzer können zwischen fünf verschiedenen GGUF-Varianten wählen, die sich in Dateigröße, Rechenleistung und Genauigkeit unterscheiden. Doch welche Variante eignet sich am besten für den täglichen Einsatz? Ein Entwickler hat die Modelle systematisch getestet und seine Erkenntnisse in einem Open-Source-Projekt festgehalten.

Das Tool nutzt eine Kombination aus dem .NET-Ökosystem und der Avalonia-UI-Bibliothek, um eine nahtlose Integration in Windows zu ermöglichen. Per globalem Hotkey lässt sich die Spracherkennung starten, während die Audioverarbeitung vollständig lokal erfolgt – ohne Cloud-Abhängigkeit. Diese Architektur stellt sicher, dass sensible Sprachdaten nicht das Gerät verlassen und die Antwortzeiten minimal bleiben.

Fünf Modelle, eine Entscheidung: Welche Variante überzeugt am meisten?

Als Google das Modell Gemma 4 im April 2026 veröffentlichte, integrierte der Entwickler von Parlotype es als alternative Spracherkennungs-Engine neben der bestehenden Whisper-Unterstützung. Die Entscheidung für Gemma 4 fiel aufgrund seiner multimodalen Fähigkeiten, insbesondere der verbesserten Verarbeitung von sauberer Sprache – ideal für Diktate oder Notizen. Die fünf verfügbaren GGUF-Varianten wurden auf Basis eines Benchmarks mit 50 Testproben aus dem LibriSpeech-Datensatz evaluiert, wobei Whisper in drei Größen (Small, Medium, LargeV3Turbo) als Referenz diente.

Die Testergebnisse zeigen deutliche Unterschiede zwischen den Modellen:

• Gemma 4 E2B BF16 erreichte die beste Genauigkeit mit einem Wortfehlerrate (WER) von 13,15 % und einer Zeichenfehlerrate (CER) von 4,95 %. Damit lag es knapp vor Whisper LargeV3Turbo (WER 11,48 %).
• Gemma 4 E4B Q4_K_M folgte mit einem WER von 13,82 % bei vergleichbarer Rechenleistung.
• Die Varianten mit BF16-Gewichten schnitten in der Genauigkeit besser ab, benötigten jedoch deutlich mehr Speicherplatz (bis zu 15 GB).
• Gemma 4 E2B Q8_0 zeigte mit einem WER von 19,22 % die schwächste Leistung, war jedoch mit einer Rechenzeit (RTF) von nur 0,315 deutlich schneller als andere Modelle.

Die Wahl fiel schließlich auf Gemma 4 E2B BF16 als Standardmodell, da es das beste Verhältnis aus Genauigkeit und Rechenleistung bot. Die anderen Varianten können jedoch bei Bedarf über die Einstellungen ausgewählt werden.

Warum llama-server die optimale Laufzeitumgebung ist

Die Integration von Gemma 4 stellte den Entwickler vor technische Herausforderungen, insbesondere bei der Auswahl der richtigen Laufzeitumgebung. Folgende Kriterien waren entscheidend:

• Keine Cloud-Nutzung: Alle Berechnungen müssen lokal erfolgen.
• Windows-Kompatibilität: Einfache Installation ohne zusätzliche Abhängigkeiten wie Python.
• Cross-Plattform-GPU-Unterstützung: Funktionalität auf NVIDIA-, AMD- und Intel-Grafikkarten.
• Stabile API mit Audio-Unterstützung: Eine HTTP-basierte Schnittstelle, die Audioeingaben verarbeiten kann.

Nach Tests mit verschiedenen Optionen – darunter ONNX Runtime, Ollama und Lemonade – fiel die Wahl auf llama-server von llama.cpp. Der HTTP-Server bietet eine OpenAI-kompatible API, unterstützt die Audio-Eingabe über /v1/chat/completions und ist in vorkompilierten Windows-Versionen für Vulkan und CUDA verfügbar. Zudem ermöglicht er eine einfache Aktualisierung der Modelle über das Tool selbst, ohne dass Nutzer manuell Dateien austauschen müssen.

Ein entscheidender Vorteil von llama-server liegt in seiner Flexibilität: Nutzer können zwischen verschiedenen GGUF-Varianten wechseln, ohne das Tool neu installieren zu müssen. Die Entscheidung gegen einen Python-basierten Ansatz fiel aufgrund der zusätzlichen Abhängigkeiten, die für nicht-technische Nutzer schwer zu handhaben wären.

Ausblick: Wo geht die Reise für Parlotype?

Die Integration von Gemma 4 markiert einen wichtigen Schritt für Parlotype, doch der Entwickler plant bereits weitere Verbesserungen. Geplant sind:

• Unterstützung für zusätzliche Sprachen: Neben Englisch sollen weitere Sprachen integriert werden.
• Optimierung der Hotkey-Steuerung: Eine verbesserte Benutzeroberfläche für die Hotkey-Konfiguration.
• Benchmark-Erweiterungen: Tests mit realen Sprachaufnahmen statt synthetischen Datensätzen.

Mit der Veröffentlichung des Quellcodes und der Benchmark-Ergebnisse hofft der Entwickler, eine Diskussion über die optimale Nutzung von Gemma 4 in Desktop-Anwendungen anzuregen. Das Projekt zeigt, dass lokale Spracherkennung mit modernen KI-Modellen nicht nur möglich, sondern auch praxistauglich ist – vorausgesetzt, man wählt die richtige Modellvariante und Laufzeitumgebung.