Die Herausforderung, die ich lösen wollte, bestand darin, dass jeder Kreative, den ich kenne, 3-4 Stunden damit verbringt, ein Video manuell in Clips für TikTok und Instagram zu schneiden. Das Algorithmus-System belohnt die Menge an Inhalten, nicht die Perfektion. Deshalb habe ich ClipFarmer entwickelt.
Das Problem, das ich lösen wollte
ClipFarmer verwendet echte maschinelle Lernmodelle, die auf der Verarbeitungspipeline laufen. Dazu gehören Whisper (HuggingFace) für die automatische Spracherkennung, YOLO + OpenCV (cv2) für die Szenenerkennung und Objektverfolgung, Detectron2 für die Instanzsegmentierung, MediaPipe für die Pose- und Gesichtserkennung und OpenCV (cv2) als Rückgrat der Frame-Verarbeitung.
Die Effekte- und Übergangspipeline
Dies war der schwierigste Teil, den ich zu bauen hatte. Jeder Effekt ist eine cv2-Pipeline, die Frames einzeln verarbeitet und wieder zu einem Video zusammenfügt. Dazu gehören Farbgradation, CRT-Scanline-Überlagerung, Bewegungsunschärfe und Skelett-Überlagerung.
Der Stack
Der Backend-Stack besteht aus FastAPI + Celery + RabbitMQ + Redis, der AI/CV-Stack aus Whisper + YOLO + Detectron2 + MediaPipe + OpenCV, der Storage aus MinIO (selbstgehostet, S3-kompatibel, presigned Uploads), der Frontend-Stack aus React + Vite + TailwindCSS und der Database-Stack aus PostgreSQL + SQLAlchemy async. Jedes AI-Modell läuft in seiner eigenen conda-Umgebung innerhalb des Worker-Containers.
Die afrikanische Kreativ-Perspektive
In Senegal und Westafrika zahlt man mit Mobile-Money (Wave, Orange Money), Kreditkarten sind selten und die meisten AI-Tools sind Betrug oder unzugänglich. ClipFarmer akzeptiert Wave und Orange Money nativ und läuft echte Modelle, nicht nur eine Chat-Schnittstelle.
Was ich gelernt habe
Conflicting ML-Abhängigkeiten sind brutal, presigned Uploads sind für Videos unerlässlich, cv2-Frame-Verarbeitung ist ohne Batch-Verarbeitung langsam und Docker-Netzwerke können einen demütigen. ClipFarmer ist jetzt live und bietet kostenlose Credits, um es auszuprobieren. Ich bin neugierig, ob jemand anders cv2-Verarbeitungspipelines im großen Maßstab aufgebaut hat.
KI-Zusammenfassung
TikTok ve Instagram için manuel video klipleri oluşturmak saatler alıyor. ClipFarmer ile bu süreci otomatikleştirin ve daha fazla viral video oluşturun.
