Xiaomi’nin HarnessX Aracı: AI Sistemi Kendi Kendini Geliştiriyor

Yapay zekâ ajanları, karmaşık ve uzun soluklu görevlere yöneldikçe, performanslarını sınırlayan en önemli unsurlarından biri, bu ajanları modele bağlayan "harness" adı verilen yazılım iskele sistemleridir. Mevcut yaklaşımlar genellikle statik ve elle kodlanan bu iskelelerin iyileştirilmesinin manuel süreçlerle sınırlı kalmasına neden oluyor. Xiaomi’nin araştırmacıları ise bu darboğazı aşmak için HarnessX adlı bir çerçeve geliştirdi. Bu yenilikçi sistem, AI iskelelerini bileşenler halinde modelleyerek, görev sırasında otomatik olarak kendini geliştirebiliyor. Gerçek dünya uygulamalarında, HarnessX’in sunduğu bu dinamik uyum yeteneği, AI sistemlerinin uygulamaya özgü gereksinimlere anında yanıt vermesini sağlıyor. Yapılan testlerde, özellikle Qwen3.5-9B gibi daha küçük modellerde performans artışının %44’e kadar çıktığı gözlemlendi. Bu bulgular, AI yeteneklerini artırmada sadece temel modelin ölçeklendirilmesinin tek yol olmadığını, hatta bazı durumlarda en verimli yol olmadığını ortaya koyuyor.

AI Harness’lerin Geleneksel Sorunları

AI uygulamalarında, temel bir modelin yeteneğinin ne kadar iyi olduğu, çoğunlukla onun etrafındaki "harness" sistemine bağlıdır. Bu sistem, modelin ham çıktılarını yapılandırılmış ve yürütülebilir ajan davranışlarına dönüştüren operasyonel katmandır. Harness, modelin çevresini gözlemlemesini, problemi analiz etmesini ve eylemde bulunmasını sağlayan bileşenleri içerir: komut dizileri, harici araç bütünleşmeleri, bellek yönetimi ve kontrol akışları.

Ancak işletme AI ajanları daha karmaşık ve uzun vadeli iş akışlarına yöneldikçe, harness mühendisliği AI geliştirmenin temel bir parçası haline geldi. Bu alandaki olgunlaşmamışlık ise üç temel zorlukla karşımıza çıkıyor:

• Statik ve elle kodlanan yapılar: Temel modelde değişiklik yapılması, yeni araçlar eklenmesi veya farklı bir operasyonel alana geçilmesi gerektiğinde, mühendisler elle yapılan değişikliklere başvurmak zorunda kalıyor. Geleneksel harness sistemleri, geçmiş deneyimlerden öğrenip kendini iyileştirme mekanizmasına sahip değil.

• Mimarideki sıkı bağlantı sorunu: Çoğu harness sistemi, komut şablonları, araç sarıcıları, yeniden deneme politikaları ve bellek yönetimini tek bir kod yolu içinde sıkı sıkıya birleştiriyor. Bu durum, bileşenlerden birinde yapılan değişikliğin diğerlerini bozmasına yol açabiliyor. Farklı iş alanlarında harness yeniden kullanımına gidildiğinde, temiz ve modüler bir yapı yerine ham kod kopyalamaya başvuruluyor.

• Model ve harness’in ayrı ayrı optimize edilmesi: Mühendisler harness’ı geliştirmek için testler yaptığında, elde edilen yürütme izleri genellikle atılıyor ve modelin eğitilmesi için kullanılmıyor. Bu da model iyileştirmelerinin harness’a doğal olarak yansımasını engelliyor ve ekiplerin operasyonel verilerin tam değerinden faydalanmasını zorlaştırıyor.

HarnessX: AI Ajanlarına Özgürlük Tanıyan Otonom Bir Sistem

Xiaomi araştırmacıları, HarnessX’i geliştirirken "birleşik harness dökümhanesi" olarak adlandırılan bir yaklaşım benimsedi. Temel yenilik, harness’ı bir "birinci sınıf nesne" olarak ele almak. Bu yaklaşımda, harness, bağımsız olarak seri hale getirilebilen, modüler ve değiştirilebilir bir yapıya kavuşuyor. Model yapılandırmasından (hangi AI modelinin kullanılacağı) bağımsız olarak, mühendisler altyapıyı değiştirmeden, harness’ı kolayca uyarlayabiliyor ve evrimleştirebiliyor.

HarnessX, ajan davranışını farklı bileşenlere ayırarak çalışıyor: bağlam derleme, bellek yönetimi, araç ekosistemi, kontrol akışı ve gözlemlenebilirlik. Her bir özel davranış, "işlemci" adı verilen modüllerle temsil ediliyor ve bu modüller, harness’in yaşam döngüsü kancalarına bağlanıyor. Bu modüler yapı sayesinde, sistemde herhangi bir değişiklik yapılmasına gerek kalmadan, işlemciler eklenebiliyor, çıkarılabiliyor veya değiştirilebiliyor.

HarnessX’in otonom iyileştirme yeteneği, AEGIS adındaki iz temelli evrim motoruyla sağlanıyor. AEGIS, harness uyarlamasını, farklı sembolik bileşenler üzerinden pekiştirmeli öğrenme problemi olarak ele alıyor. Bu yaklaşımın getirdiği üç temel patolojiyle mücadele etmek için araştırmacılar özel mekanizmalar geliştirdi:

• Ödül hackleme: Sistem, görevi çözmek yerine, çözümün kestirme yollarını keşfedebilir.
• Kalıcı unutkanlık: Bir alanda ortaya çıkan sorunu düzeltmek için yapılan değişiklik, başka bir alandaki daha önce çözülmüş bir görevi bozabilir.
• Keşif eksikliği: Sistem, sadece yerel komut iyileştirmelerine odaklanarak, yapısal olarak daha üstün araç yapılandırmalarını keşfetmekte başarısız olabilir.

Bu sorunları önlemek için AEGIS, tam iz gözlemlenebilirliği ve dört aşamalı bir pipeline kullanıyor:

• Sindirici (Digester): Yürütme izlerini yapılandırılmış özetlere dönüştürerek, ajanın nerede başarısız olduğunu belirliyor.
• Planlayıcı (Planner): Bu özetleri analiz ederek, sistemin sadece yerel komut değişiklikleri yerine, yapısal değişiklikleri keşfetmesine olanak tanıyor.
• Evrimleştirici (Evolver): Koddaki harness değişikliklerini oluşturuyor ve bunları dağıtımdan önce doğru şekilde çalışıp çalışmadıklarını test ediyor.
• Eleştirmen ve kapı (Critic and gate): Eleştirmen, değişimleri değerlendirerek ödül hacklemeyi tespit ederken, deterministik kapı, daha önce çözülmüş bir görevi gerileten herhangi bir güncellemeyi reddederek kalıcı unutkanlığı engelliyor.

HarnessX, self-improving harness araştırmalarının hızla gelişen alanında yer alıyor. Ancak onu diğerlerinden ayıran en önemli özellik, harness ve modelin birlikte evrimleşmesini sağlaması. Bu yaklaşım, hem AI sistemlerinin performansını artırıyor hem de mühendislerin manuel müdahalesine olan bağımlılığı azaltıyor. Gelecekte, HarnessX gibi sistemlerin AI altyapısında devrim yaratması ve daha otonom, uyarlanabilir ajanların ortaya çıkması bekleniyor.

Küçük Modellerden Büyük Kazançlar

Araştırmada yer alan testler, HarnessX’in performans artışında özellikle küçük modellerde nasıl bir fark yarattığını ortaya koydu. Örneğin, Qwen3.5-9B modelinde, cisimsel planlama görevlerinde %44’lük bir artış gözlemlendi. Bu sonuçlar, AI yeteneklerini artırmada temel modelin ölçeklendirilmesinin tek yol olmadığını gösteriyor. HarnessX’in sunduğu otonom iyileştirme yeteneği, hem verimlilik hem de esneklik açısından önemli avantajlar sunuyor. Gelecekte bu teknolojinin daha geniş AI sistemlerinde benimsenmesiyle, ajanların kendi kendini optimize eden yapılarla donatılması mümkün olacak.