Live-Stream-Archivierung optimieren: Wie Shiftbloom Studio Kosten spart

Die Archivierung von Livestreams stellt Medienproduktionen oft vor ein zentrales Problem: Die Infrastruktur muss ständig bereitstehen, um im entscheidenden Moment aufzuzeichnen – selbst wenn stundenlang nichts passiert. Bei Shiftbloom Studio führte genau diese Überdimensionierung zu unnötigen Kosten und komplexer Verwaltung. Die Lösung? Eine klare Trennung von Zeit- und Aufgabenkritischen Prozessen.

Warum ein monolithisches System scheitert

Viele kleine Medienfirmen starten mit einem einzigen, durchgehenden Rekorder, der rund um die Uhr läuft. Das Problem: Diese Lösung ist nicht nur teuer, sondern auch ineffizient. Während Livestreams eine permanente Bereitschaft erfordern, können Nachbearbeitungen wie das Herunterladen von VODs, das Reparieren beschädigter Dateien oder das Umkodieren von Inhalten problemlos warten.

Ein klassisches Beispiel ist die Archivierung von Backfills – alten Streams, die nachträglich hochgeladen werden. Diese Datenmengen lassen sich nicht in Echtzeit verarbeiten, ohne die Live-Aufzeichnung zu gefährden. Die Lösung lag daher in der Aufteilung der Aufgaben in zwei spezialisierte Zellen:

• Observer-Zellen für die Livestream-Erfassung (zeitkritisch)
• Harvest-Zellen für die Nachbearbeitung (zeitlich flexibel)

Die drei Säulen der neuen Architektur

Die Umstellung auf ein modulares System erforderte drei zentrale Komponenten, die jeweils eine spezifische Rolle übernehmen. Jede Zelle ist dabei so konzipiert, dass sie nur die Ressourcen nutzt, die sie tatsächlich benötigt.

1. Die Mothership: Der intelligente Steuerungsmechanismus

Im Kern der Architektur steht ein schlanker Cron-Job, der als „Mothership“ fungiert. Diese Steuerungseinheit übernimmt drei Hauptaufgaben:

• Überwachung der Warteschlangenlängen
• Prüfung aktiver Livestreams
• Steuerung der Observer- und Harvest-Zellen

Basierend auf diesen Daten entscheidet die Mothership dynamisch, wie viele Harvest-Zellen benötigt werden und welche Kanäle einen Observer benötigen. Die gesamte Logik läuft direkt in der Datenbank ab – die einzige zentrale Quelle der Wahrheit. Dadurch bleibt das System wartbar und skalierbar, ohne zusätzliche Abhängigkeiten zu schaffen.

2. Observer-Zellen: Präzise Livestream-Erfassung

Jede Observer-Zelle ist für die Aufzeichnung eines einzigen Kanals verantwortlich. Die Konfiguration erfolgt über Umgebungsvariablen, die beim Start der Zelle übergeben werden:

OBSERVER_VOD_ID=12345
OBSERVER_CHANNEL_ID=streamer123
OBSERVER_CHANNEL_LOGIN=shiftbloom
OBSERVER_CHANNEL_NAME=Tech-News-Live

Sobald eine Zelle gestartet wird, beginnt sie unverzüglich mit der Aufzeichnung. Die Segmente werden direkt in einem Objektspeicher abgelegt, während regelmäßige Heartbeats die Stabilität überwachen. Ein entscheidender Mechanismus ist die kurze Nachlaufzeit nach einem Stream-Ende: Selbst wenn ein Stream kurzzeitig abbricht und neu startet, bleiben die Fragmente zusammenhängend. Ohne diese Pufferzeit entstünden sonst zahlreiche kleine, unvollständige VOD-Dateien.

3. Harvest-Zellen: Flexible Nachbearbeitung

Harvest-Zellen übernehmen alle Aufgaben, die nicht in Echtzeit erledigt werden müssen. Dazu gehören:

• Herunterladen von VODs
• Reparieren beschädigter Dateien
• Umkodieren von Inhalten
• Archivierung alter Daten

Ein entscheidender Vorteil: Diese Zellen lassen sich nahezu überall einsetzen, solange Docker verfügbar ist – ob auf einem kleinen VPS, einer AWS-Instanz oder sogar einem alten Laptop. Die einzige Voraussetzung sind Zugriff auf die PostgreSQL-Datenbank und den Objektspeicher.

Die messbaren Vorteile der neuen Struktur

Die Umstellung brachte nicht nur eine bessere Ressourcennutzung mit sich, sondern auch konkrete Leistungssteigerungen. Ein besonders beeindruckendes Beispiel war die Migration eines historischen Datenbestands von 15,5 Terabyte in nur 36 Stunden – ohne dass dabei ein einziger Frame aus einem Livestream verloren ging.

Vor der Umstellung sah die Situation oft so aus:

| Situation | Vorher | Nachher | |-----------|--------|---------| | Keine aktiven Livestreams | Rekorder läuft weiter | Keine Observer-Zellen aktiv | | Leere Warteschlange | Kapazität trotzdem reserviert | Harvest-Zellen deaktiviert | | Große Nachbearbeitungslast | Alles verlangsamt | Harvest-Zellen hochskaliert | | Archivdaten | Gemischt mit aktiven Daten | Einfache Migration in Cold Storage |

Die neue Architektur ist nicht nur effizienter, sondern auch einfacher zu warten. Durch die klare Trennung von zeitkritischen und flexiblen Aufgaben entfällt die Notwendigkeit, ein überdimensioniertes Monolithsystem zu betreiben. Stattdessen entsteht ein Ökosystem aus spezialisierten Komponenten, die nur dann aktiv werden, wenn sie tatsächlich gebraucht werden.

Die wichtigste Erkenntnis: Aufgaben nach Dringlichkeit trennen

Der größte Fortschritt lag nicht in der Wahl bestimmter Tools oder Plattformen, sondern in der grundlegenden Erkenntnis, dass sich Aufgaben nach ihrer Dringlichkeit unterscheiden lassen. Livestreams erfordern eine permanente Bereitschaft, während Nachbearbeitungen geduldig warten können. Diese Unterscheidung ermöglichte eine radikale Vereinfachung der Infrastruktur.

Shiftbloom Studio setzt diese Architektur intern ein, um die Herausforderungen unkonventioneller Livestream-Aufzeichnungen zu meistern. Das System ist bewusst schlank und kostengünstig gehalten, um auch mit unvorhergesehenen Szenarien umgehen zu können.

Falls auch du mit ähnlichen Problemen kämpfst, könnte diese Herangehensweise eine elegante Lösung bieten. Die Frage ist nicht, ob du ein komplexes Monolithsystem betreiben musst, sondern ob du die richtigen Werkzeuge für die jeweilige Aufgabe einsetzt.