MIT’den küresel matematik yarışmalarına 30 bin soruluk dev arşiv

Uluslararası Matematik Olimpiyatı’na (IMO) katılan ülkeler, hazırlık sürecinde karşılaştıkları en zorlayıcı problemleri yıllarca biriktirmiş, ancak hiçbir yerde sistematik olarak yayınlamamıştı. MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL), Suudi Arabistan’daki Kral Abdullah Bilim ve Teknoloji Üniversitesi (KAUST) ile HUMAIN şirketinden araştırmacılar, bu gizli hazinenin peşine düştü ve MathNet adıyla dünyanın en geniş kapsamlı kanıt temelli matematik problemi arşivini oluşturdu.

30 binden fazla soru ve çözüm içeren MathNet, 47 farklı ülkeden, 17 dilde ve 143 yarışmadan derlenen verilerle, benzerlerinden beş kat daha büyük bir veri seti haline geldi. Bu proje, Brezilya’daki Uluslararası Öğrenme Temsilleri Konferansı’nda (ICLR) sunulacak.

MathNet’in öne çıkan özellikleri: Ölçekten öte çeşitlilik

MathNet’in büyüklüğü kadar dikkat çeken bir diğer unsur da çeşitliliği. Önceki veri setleri genellikle ABD ve Çin’deki yarışmalardan derlenen sorulara odaklanmıştı. Oysa MathNet, altı kıtada 47 ülkeden, 17 farklı dilde ve 40 yıldan uzun bir süreye yayılan bir arşiv sunuyor. Hem metin hem de görsel tabanlı problemleri içeriyor ve yarışma matematiğinin farklı kültürlerini yansıtıyor.

MIT doktora öğrencisi ve projenin baş yazarı Shaden Alshammari, konuyla ilgili şunları söylüyor: "Her ülke, en yenilikçi ve yaratıcı problemlerini içeren bir kitapçıkla katılır. Bu kitapçıklar paylaşılır, ancak hiç kimse sistematik olarak toplamayı, temizlemeyi ve çevrimiçi olarak yayınlamayı düşünmemişti. MathNet, bu boşluğu doldurmayı amaçlıyor."

25 bin sayfa ve elde derlenen bir arşiv

MathNet’in oluşturulması, 1.595 PDF dosyası ve 25 binden fazla sayfanın taranmasını gerektirdi. Bu arşivin önemli bir kısmı, 2006 yılından beri eliyle kitapçıkları derleyip tarayan IMO topluluğunun önemli isimlerinden Navid Safaei’nin kişisel arşivinden geldi. Safaei’nin yıllar süren çalışması, MathNet’in omurgasını oluşturdu.

Araştırmacıların vurguladığı bir diğer nokta da veri kaynağı seçimidir. Çoğu matematik veri seti, Art of Problem Solving (AoPS) gibi topluluk forumlarından derlenen sorulara dayanır. MathNet ise sadece resmi ulusal yarışma kitapçıklarından oluşuyor. Bu kitapçıklar, uzmanlar tarafından yazılmış ve hakem onayından geçmiş, bazen çok sayfalı açıklamalar içeriyor. Bu derinlik, yapay zekâ modellerinin matematiksel akıl yürütmeyi öğrenmesi için çok daha zengin bir sinyal sunuyor. Öğrenciler için de devrim niteliğinde bir kaynak olan MathNet, dünya genelindeki farklı matematik geleneklerinden yüksek kaliteli problem ve çözümleri bir araya getiriyor.

Alshammari, kendisinin de öğrencilik yıllarında IMO’ya katıldığını ve birçok öğrencinin bireysel çabayla yarışmaya hazırlandığını hatırlatıyor: "Umarım MathNet, öğrencilere yüksek kaliteli problemler ve çözümlerle dolu merkezi bir platform sunarak onlara yardımcı olur."

IMO topluluğundan destek ve gelecek planları

Araştırma ekibi, IMO topluluğuyla derin bağlara sahip. Projeye katılan araştırmacılardan Sultan Albarakati, hala IMO yönetim kurulunda görev yapıyor. Ekip, MathNet’in IMO vakfıyla doğrudan paylaşılması için çalışmalar yürütüyor. Veri setinin doğruluğunu teyit etmek amacıyla 30’dan fazla ülkeden (Ermenistan, Rusya, Ukrayna, Vietnam ve Polonya dahil) uzmanları bir araya getiren bir değerlendirme grubu oluşturuldu. Bu grup, binlerce çözümü birlikte inceleyerek verilerin güvenilirliğini artırdı.

İsviçre IMO takımının yardımcı lideri Tanish Patil, MathNet hakkında şunları söylüyor: "MathNet, hem öğrenciler hem de yarışma hazırlayanlar için mükemmel bir kaynak olabilir. Diğer arşivlerde standartlaştırılmış format eksikliği ve doğrulanmamış çözümler bulunabiliyor. MathNet’in, yapay zekâ modellerinin performansını iyileştirme potansiyeli de oldukça heyecan verici. Ayrıca, yeni IMO sorularının orijinalliğini belirleme sorununa da ışık tutabilir."

Yapay zekâ performansında yeni bir benchmark

MathNet, aynı zamanda yapay zekâ modellerinin matematiksel akıl yürütme yeteneklerini test eden bir benchmark görevi görüyor. Son dönemde yapay zekâ modellerinin matematikteki başarısına dair çeşitli haberler yayınlandı. Bazı modellerin IMO’da altın madalya performansı gösterdiği iddia edildi. Ancak MathNet’in sonuçları, bu ilerlemenin her alanda eşit olmadığını ortaya koyuyor.

En yüksek performans gösteren modeller arasında yer alan GPT-5 bile MathNet’in ana test setinde (6.400 problem) sadece %69,3 başarı elde etti. Bu da neredeyse üç problemden birinin çözülemediği anlamına geliyor. Görsel unsurlar içeren problemlerde performansın daha da düştüğü görülüyor; bu da yapay zekânın görsel muhakeme yeteneklerinin hala zayıf olduğunu gösteriyor.

Açık kaynaklı modellerdeyse daha çarpıcı bir durum söz konusu: Moğolca dilindeki problemlerde bazı modeller %0 performans gösterdi. Alshammari, bu durumu şöyle açıklıyor: "GPT modelleri İngilizce ve diğer dillerde eşit performans gösteriyor. Ancak birçok açık kaynaklı model, Moğolca gibi daha az yaygın dillerde tamamen başarısız oluyor."

MathNet’in çeşitliliği, yapay zekâ modellerinin matematik öğrenimindeki bir diğer önemli sorunu da hedef alıyor. Veri setleri genellikle İngilizce ve Çince problemlerle sınırlı kaldığında, modeller matematiksel kültürün dar bir kesitini öğrenmiş oluyor. Romanya’daki kombinatorik problemleri ya da Brezilya’daki sayı teorisi soruları gibi farklı matematik gelenekleriyle zenginleştirilen MathNet, bu açığı kapatmayı amaçlıyor.

Gelecekte neler bekleniyor?

MathNet’in yayınlanması, hem öğrenciler hem de yapay zekâ araştırmacıları için yeni fırsatlar sunuyor. Veri setinin IMO vakfıyla paylaşılması planlanırken, aynı zamanda gelecekteki yarışmalar için daha orijinal ve zorlu problemlerin geliştirilmesine de katkı sağlayabilir. Araştırmacılar, MathNet’in yapay zekâ modellerinin matematiksel akıl yürütme yeteneklerini derinlemesine anlamalarına yardımcı olacağını ve bu alandaki ilerlemeleri hızlandıracağını umuyor. Bu arşiv, matematik eğitiminde ve yapay zekâ araştırmalarında yeni bir dönemin başlangıcı olabilir.