Yapay zekanın yazılım geliştirmeye entegrasyonu hızla yayılırken, Ruby ve Rails toplulukları arasında "Ruby en AI dostu dil" iddiası sıkça dile getiriliyor. Peki bu iddia ne kadar geçerli? Yaklaşık on bir aydır süren tartışmaların merkezinde yatan bu savın arkasında ne gibi gerçekler var?
AI'nın Ruby kodunu yazmada üstünlüğü: Doğru olan kısım
Öncelikle, iddianın geçerli olan kısmından başlayalım. Yapay zeka modelleri, on binlerce Rails uygulamasını analiz etmiş durumda. Bu modeller, has_many ilişkilerinin nerede tanımlandığını, concern dosyalarının ne işe yaradığını ve service objectların nasıl yapılandırılması gerektiğini anında kavrayabiliyor. Rails'in "konfigürasyona göre değil, kurallara göre" yaklaşımı, sadece geliştiriciler için değil, AI modelleri için de bir kılavuz niteliği taşıyor.
Bu sayede, AI modelinden "bir servis objesi yaz", "bir scope ekle" ya da "bu kontrolörü yeniden yapılandır" gibi taleplerde bulunduğunuzda, model doğru yerleri bulmakta ve daha az sayıda yanlış tahminde bulunmakta. Dolayısıyla, AI'nın Ruby kodunu yazmada ne kadar başarılı olduğu konusunda hiçbir şüphe yok. Ancak bu durum, AI'nın proje ölçeğinde bağımlılıkları doğru şekilde çözümleyip çözemeyeceği sorusunu yanıtlamıyor.
Ölçeklenen projelerde AI'nın zayıf noktası: Bağımlılıkları izleme
AI'nın Ruby kodunu yazmada başarılı olması, onun proje içerisindeki bağımlılıkları doğru şekilde izleyebileceği anlamına gelmiyor. Örneğin, bir modelde yapılan bir değişikliğin hangi dosyalarda ve hangi fonksiyonlarda etkilere yol açacağını belirlemek, yerel bir okuma işleminden çok daha karmaşık bir süreçtir. Bu noktada, AI'nın yetenekleri sınırlı kalıyor.
Bu hipotezi test etmek amacıyla, on üç farklı Ruby kod deposu üzerinde bir araştırma gerçekleştirildi. Her bir depoda, belirli bir model dosyasının (örneğin Inbox, MergeRequest, Spree::Order) bağımlılıklarını bulmak için AI modeline iki farklı görev verildi:
- Basit görev: AI modeli, sadece kod dosyalarında metin taraması yaparak bağımlılıkları bulmaya çalıştı.
- Gelişmiş görev: AI modeli, ayrıca bir yapısal harita kullanarak bağımlılıkları sorgulayabildi.
Sonuçlar çarpıcıydı. Basit görevde, AI modellerinin bağımlılıkları bulma oranı oldukça düşük çıktı. Örneğin, Chatwoot projesinde Inbox modelinin bağımlılıklarını bulma oranı sadece %29 iken, yapısal harita kullanıldığında bu oran %97'ye yükseldi. Benzer şekilde, GitLab'daki MergeRequest modelinde basit görevde %26 olan başarı oranı, yapısal harita kullanıldığında %67'ye çıktı.
Ancak, bazı projelerde durum farklıydı. Küçük ve okunabilir projelerde (örneğin llm.rb), AI modellerinin performansı zaten yüksekti ve yapısal harita kullanımı neredeyse hiç fark yaratmadı. Bunun nedeni, bu projelerin bağımlılıklarını açıkça isimlendirmesi ve kodun dağınık olmamasıydı.
Beklenmedik bulgular: Model büyüklüğü ve ünlü projelerin tuzağı
Araştırmada iki önemli sürprizle karşılaşıldı. İlk olarak, en küçük model olan Devstral, en yüksek performans artışını gösterdi. Beş farklı model üzerinde yapılan testlerde, en büyük model olan Opus %26'lık bir artış sağlarken, Devstral %24'lük bir artışla hemen ardından geldi. Bu durum, modelin bellek kapasitesinin azalmasıyla birlikte, dışarıdan gelen haritaların ne kadar değerli olduğunu gösterdi.
İkinci sürpriz ise ünlü projelerin AI tarafından yanıltıcı şekilde ezbere bilinmesiydi. Örneğin, Forem (dev.to'nun kod deposu) ve Rails projeleri, AI modellerinin zaten ezbere bildiği projeler arasındaydı. Bu projelerde, AI modelleri bazen bağımlılıkları ezbere söyleyebiliyor, ancak gerçek projede bağımlılıklar değişmiş olabiliyordu. Bu durum, AI modellerinin ezberlediği kod ile gerçek kod arasındaki farkı ayırt etmekte zorlandığını gösterdi.
Geleceğe bakış: Ölçeklendikçe AI'nın sınırları ortaya çıkıyor
Bu araştırma, Ruby ve Rails'in AI dostu olduğu iddiasının sadece belirli bir ölçeğe kadar geçerli olduğunu gösteriyor. Küçük ve düzenli projelerde AI, kod yazma ve bağımlılıkları izleme konusunda oldukça başarılı. Ancak projeler büyüdükçe, AI'nın bağımlılıkları doğru şekilde izleme yeteneği önemli ölçüde düşüyor.
Bu durum, geliştiricilerin AI araçlarını kullanırken dikkatli olmalarını gerektiriyor. AI'nın sunduğu kolaylıklar ve hız kazanımlarının yanı sıra, özellikle büyük projelerde bağımlılıkları doğru şekilde izleme konusunda ekstra dikkat ve insan denetimi gerekiyor. AI, geliştiricilere yardımcı bir araç olarak kullanılmalı, ancak nihai kararlar yine de geliştiricilerin sorumluluğunda olmalıdır.
Yapay zeka özeti
Ruby ve Rails'in yapay zeka dostu olduğu yaygın bir iddia olsa da, gerçekler daha karmaşık. On üç Ruby kod deposunda yapılan araştırma, AI'nın kod okumada başarılı olduğunu gösterirken, ölçeklenen projelerde bağımlılıkları doğru şekilde çözümlemekte zorlandığını ortaya koydu.
