Uzun Belgelerde LLM İsteklerini Parçalamanın Veri Çıkarma Doğruluğunu Artırdığı Kanıtlandı

Yapay zeka tabanlı belge işleme sistemlerinde uzun metinlerden yapılandırılmış veri çıkarma süreci, verimli görünse de aslında birçok gizli tuzak barındırıyor. Pek çok eğitim kaynağında, tüm belgenin tek bir büyük dil modeli (LLM) isteğine aktarılarak aynı anda birden fazla alanın çıkarılması öneriliyor. Ancak bu yöntem kısa belgelerde işe yarasa da üretim ölçeğindeki uzun dokümanlarda ciddi sorunlara yol açıyor.

Ancak bu süreci iki ayrı aşamaya ayırma stratejisi, hem doğruluk oranını artırıyor hem de sistemin ölçeklenebilirliğini ve güvenilirliğini önemli ölçüde iyileştiriyor. Bu yaklaşım, bir akordionun genişleyip daralmasına benziyor: önce belge segmentlere bölünüyor, ardından her segmentten hassas veriler çıkarılıyor. Peki, neden bu yöntem tek istekli yaklaşımdan daha etkili ve nasıl uygulanabilir?

Tek bir devasa isteğin sınırları

Uzun belgelerden veri çıkarma sürecini tek bir isteğe sıkıştırma eğilimi oldukça yaygın. Örneğin 50 sayfalık bir rapor için geliştiriciler genellikle aşağıdaki gibi bir istek oluşturuyor:

• Çıkarılması gerekenler: başlık, bölüm başlıkları, amaç, bahsedilen hizmetler, kabul kriterleri ve daha fazlası.
• Sonuçların JSON formatında yapılandırılmış olarak döndürülmesi.

Başlangıçta bu yöntem kabul edilebilir sonuçlar verebilir. Ancak belge uzunluğu arttıkça üç temel sorun ortaya çıkıyor:

• Kalite tutarsızlığı: Modeller uzun belgelerde tutarlılığı korumakta zorlanır. Belgenin ilerleyen bölümlerinde özetlemeler zayıflar, bazı alanlar atlanır ya da hayali detaylar üretilir.

• Tek nokta hatası: Bir alanda meydana gelen hata (örneğin hayali bir kabul kriteri) tüm çıktıyı geçersiz kılabilir. Bu durum manuel inceleme süreçlerini tetikleyerek işlem hattını geciktirir.

• Performans darboğazı: 30.000 token içeren bir istek hem zaman hem de kaynak tüketimi açısından oldukça maliyetlidir. Paralel işleme imkansız hale gelir; belgeler sırayla işlenmek zorunda kalır ve gecikme artar, verimlilik düşer.

Bu sorunları gidermek için yapılan girişimler — örneğin daha fazla örnek eklemek, formatlama kurallarını sıkılaştırmak ya da isteği genişletmek — genellikle yalnızca marjinal iyileşmeler sağlar ve mühendislik maliyetini artırır. Altta yatan yapısal sorun ise çözülmemiş kalır.

Akordion modeli: İki odaklı aşamaya ayırma

Çözüm, belge işleme sürecini iki özel aşamaya ayırmakta yatıyor. Bu yöntem bir akordiona benziyor: belgeyi önce yönetilebilir segmentlere bölüyor, ardından her segmentten yalnızca gereken verileri çıkarıyor.

Aşama 1: Belge segmentasyonu

• Girdi: Tam belge.
• İstek görevi: Yapılandırılmış veriler çıkarmadan, belgeyi mantıksal segmentlere (bölümler, paragraflar, tablo satırları gibi) ayırıp temiz bir dizi olarak döndürmek.
• Çıktı: Her bir öğenin başlık ve metin içerdiği JSON listesi.

Aşama 2: Alan çıkarma

• Girdi: Tek bir segment.
• İstek görevi: Belirli alanları (amaç, bahsedilen hizmetler, kabul kriterleri gibi) çıkarmak.
• Çıktı: O segmente ait yapılandırılmış JSON kaydı.

Bu yaklaşım, segmentasyon ve çıkarma sorumluluklarını birbirinden ayırarak her isteğin tek bir görevi odaklanmasını sağlıyor. İlk istek sınırları tanımlarken, ikinci istek ise şema uyumlu alanları çıkararak görevini yerine getiriyor. Hiçbir istek artık çoklu hedefler arasında dağılmak zorunda kalmıyor.

İki aşamalı modelin avantajları

Bu yöntem, tek istekli yaklaşıma kıyasla birçok önemli avantaj sunuyor:

• Tek amaçlı istekler doğruluğu artırıyor: Her istek daha net bir direktif alıyor ve dikkat dağınıklığı azalıyor. Örnekler daha kısa, ilgili ve bakımı kolay hale geliyor. Model artık tek bir göreve odaklanabiliyor; bu da hayali veriler üretme ve alanları atlama riskini önemli ölçüde azaltıyor.

• Yerel hatalar operasyonel yükü hafifletiyor: Eğer Aşama 2, 7. segmente ait veriyi çıkarmada başarısız olursa sadece 7. segmentin yeniden işlenmesi gerekiyor — tüm belge değil. Başarısız kayıtlar izole edilip yeniden denenebilir ya da karantinaya alınabilir, başarılı extraksiyonlar ise kesintiye uğramadan devam eder.

• Doğal paralel işleme hızı artırıyor: Aşama 1, segmentlerden oluşan bir dizi üretiyor. Bu segmentler birden fazla çalışan ya da API çağrısı arasında dağıtılabiliyor. 50 segment içeren bir belge, tek bir büyük çağrıya kıyasla 50 kat daha hızlı işlenebiliyor.

• Önbellekleme maliyetleri düşürüyor: Standart başlıklar, alt bilgiler ya da standart metinler gibi tekrarlanan bölümler Aşama 2 düzeyinde önbelleğe alınabiliyor. Bu sayede gereksiz LLM çağrılarından kaçınılıyor ve zamanla maliyet verimliliği artıyor.

• Bağlam penceresi sınırlamaları ortadan kalkıyor: Aşama 1 tam belgeyi okumak zorunda olsa da çıktısı oldukça kompakt. Aşama 2 ise yalnızca tek bir segmenti işliyor; bu sayede modelin bağlam penceresi, son derece uzun belgelerde bile artık bir sınırlama olmaktan çıkıyor.

Tasarım kararları ve denge unsurları

Bu modeli uygulamak elbette bazı maliyetleri beraberinde getiriyor. Tek bir belge için segment sayısı kadar fazla LLM çağrısı yapmak gerekiyor — bu da kısa belgelerde (örneğin iki paragraflık e-postalar) ek yük oluşturabiliyor. Akordion yaklaşımı, özellikle tek istekli sistemlerde kalite kaybına yol açan uzun belgeler için en uygun çözüm.

Ayrıca, bir "segment"in ne olduğu da dikkatlice tasarlanması gereken bir karar. Bu, belge tipi ve extraction hedeflerine bağlı olarak bölüm başlıkları, tablo satırları ya da görünür sınırlarla ilişkili olmayan mantıksal birimlere denk gelebilir. Bu tanım, doğrudan extraction kalitesini etkiliyor ve dikkatli bir şekilde uyarlanmalı.

Akordion modelini ne zaman kullanmalı (ve ne zaman kaçınmalı)

İki aşamalı extraction modelini aşağıdaki durumlarda tercih edin:

• Modelin belge boyunca tutarlılığını kaybetmesine yol açabilecek kadar uzun belgelerde.
• Çıkarılması gereken şema alan sayısının beşten fazla olduğu ve tüm alanların aynı bağlamsal ipuçlarına bağlı olmadığı durumlarda.
• Başarısız kayıtları yeniden işlerken tüm belgeyi tekrar işlemek zorunda kalmamak için.
• Duvar saati süresini azaltıp verimliliği artırmak amacıyla paralel çalıştırmanın önemli olduğu senaryolarda.

Kısa belgeler içinse tek ve kapsamlı bir istek tercih edilmeli. Bu tür durumlarda segmentasyon ve paralel işleme avantajları, ek LLM çağrıları nedeniyle oluşan maliyet artışından daha ağır basmayabilir.