DDR5-Bandbreite begrenzt LLM-Inferenz auf APUs: Benchmarks zeigen Engpässe
Tests mit AMD-APUs zeigen, dass der gemeinsame DDR5-Speicher die gleichzeitige Ausführung mehrerer Sprachmodelle blockiert. Selbst kleine Modelle halbieren ihre Leistung, wenn große Modelle parallel laufen.