NumPath, diskalkulili (sayısal öğrenme güçlüğü) çocuklar için özel olarak geliştirilmiş, AI destekli bir matematik öğretmen uygulamasıdır. Uygulamanın temelinde, öğrencilerin matematik becerilerini Bayesçi Bilgi İzleme (BKT) yöntemiyle tahmin eden adaptif bir motor bulunuyor. Bu motor, öğrencilerin mevcut bilgilerine göre en uygun soruları seçerek bireysel öğrenme deneyimini zenginleştirmeyi hedefliyor.
Ancak yakın zamanda karşılaşılan bir sorun, bu adaptif sistemi kökten değiştirdi. Eskiden uygulama, öğrencilerin yanlış yanıtlarını MistakeClassifier bileşeniyle sınıflandırıyor, ancak bu hataları algoritmanın soru seçme kararlarına dahil etmiyordu. Bir öğrenci ne kadar çok yanlış yapsa da, sistem sadece o konudaki genel ustalık düzeyine (BKT tahmini) göre soru zorluğunu ayarlıyordu. Bu durum, MacLellan ve ekibinin önerdiği "Hata Tanı Teşhis Sinyali" ilkesine aykırıydı: Hatalar, öğrenciye özel bir şekilde ele alınmalı, rastgele tekrarlar şeklinde değil.
Hataların Öğretici Sinyaller Olarak Kullanılması
NumPath geliştiricileri, hataların ne zaman ve nasıl bir yanıt oluşturması gerektiğini yeniden değerlendirdi. Bu konuda üç temel kural belirledi:
- Hata penceresi: Öğrencinin son üç yanlış yanıtına (MistakeEvent kayıtlarına) bakılıyor. Bu pencerede en sık karşılaşılan hata kodu, sistem tarafından dikkate alınıyor.
- Eşik değeri: Penceredeki hataların en az ikisinde aynı hata kodu varsa, sistem devreye giriyor. Üç hatalığın en az ikisinde aynı hata olması, o konuda bir desen olduğunu gösteriyor.
- Hata-kavram eşleştirmesi: Her hata kodu, belirli bir matematiksel kavramla (KC - Knowledge Component) ilişkilendiriliyor. Örneğin, "DIGIT_REVERSAL" (basamak yer değişimi) hatası, "PLACE_VALUE" (basamak değeri) kavramıyla ilişkilendiriliyor.
Bu kurallar sayesinde, sistem artık sadece genel ustalık düzeyine değil, öğrencinin yaptığı belirli hatalara da yanıt veriyor. Örneğin, üç oturum boyunca sürekli "BORROW_SKIP" (ödünç alma hatası) yapan bir öğrenci, sistem tarafından doğrudan o konuya odaklanan ve zorluğu düşürülmüş sorularla karşılaşmaya başlıyor.
Uygulama Detayları ve Araştırma Etkisi
Yapılan değişiklik, sadece 60 satırlık bir kod değişikliğiyle gerçekleştirildi. İki dosyada yapılan düzenlemelerle birlikte, sistem artık her öğrencinin NextProblemResponse yanıtında, sorunun seçilme nedenini açıklayan bir reason alanı sunuyor. Örneğin:
"Remediation: BORROW_SKIP detected 2× on SUB_BORROW (p_mastery=0.41)"Bu açıklama, öğretmenlerin öğrencilerin ilerleyişini daha iyi anlamalarını sağlıyor. Aynı zamanda, sistemin kararlarının şeffaf ve izlenebilir olmasını da garanti altına alıyor.
Araştırma ekibi, NumPath’ın randomize kontrollü denemesinde (RCT), bu değişikliğin öğrenci sonuçları üzerindeki etkisini ölçmeyi planlıyor. Eski sistemde, zorluk seviyesi sadece genel ustalık düzeyine göre ayarlanıyordu. Bu da, aslında statik bir çalışma kağıdından farklı olmayan bir sistem anlamına geliyordu. Oysa yeni sistemde, her bir hata kaydı, öğrencinin bir sonraki deneyimini doğrudan şekillendiren bir veri noktası haline geliyor. Bu da sistemi, gerçek bir "Akıllı Öğretim Sistemi"ne dönüştürüyor.
Doğru Eşiğin Belirlenmesi ve Geleceğe Yönelik Adımlar
Geliştiriciler, hata penceresi için kullanılan eşiği belirlerken bazı zorluklarla karşılaştı. Örneğin, üç hatalığın ikisinde aynı hata olması, desenin erken bir aşamada yakalanmasını sağlıyor. Ancak bu, yanlış pozitiflere (aslında desen olmayan durumlarda sistemin devreye girmesi) yol açabiliyor. Üç hatalığın üçünün de aynı olmasıysa, sistemi çok katı hale getiriyor ve desenin kaçırılmasına neden olabiliyor.
Bu kararın doğru olup olmadığını doğrulamak için henüz yeterli öğrenci verisine sahip değiller. Bu nedenle, bu tercihi araştırma notu olarak kaydettiler ve ileride daha fazla veri toplandıktan sonra yeniden değerlendirmeyi planlıyorlar.
Önümüzdeki adımlarda, sistemde yapılan iyileştirmelerden biri de, hata kayıtları için doğru indekslemeyi sağlamak olacak. Geliştiriciler, MistakeEvent tablosuna (student_id, created_at) bileşik indeksini eklemeyi planlıyor. Bu, performans kayıplarını önlemek ve sistemin daha hızlı yanıt vermesini sağlamak için kritik bir adım.
Başka bir önemli hedef de, öğretmenlere öğrencilerin ilerleyişini daha ayrıntılı bir şekilde sunabilmek. Önümüzdeki dönemde, BKT tahminlerinin (p_mastery) doğrudan öğretmen paneline entegre edilmesi planlanıyor. Bu sayede, öğretmenler öğrencilerin sadece son yedi günlük doğruluk oranlarını değil, uzun vadeli ustalık düzeylerini de görebilecekler. Bu da, MacLellan’ın "Öğretmenin Döngüde Olması" ilkesinin son parçasını oluşturacak.
Sonuç: Veri ve Geri Bildirim Döngüsünün Kapanması
NumPath’ın hikayesi, sadece bir uygulamanın geliştirilme süreci değil, aynı zamanda eğitim teknolojilerinde nasıl bir devrimin başlangıcı da olabilir. Hataların basitçe kaydedilmesinden ziyade, onlardan anlamlı dersler çıkarılması ve öğrencilerin bireysel ihtiyaçlarına göre uyarlanması, geleceğin eğitim anlayışını şekillendirecek temel prensiplerden biri.
Bu iyileştirme, geliştiricilerin de belirttiği gibi, sadece 60 satırlık bir kod değişikliğiyle gerçekleştirildi. Ancak araştırma ve eğitim dünyası için taşıdığı anlam çok daha büyük: Statik bir çalışma kağıdından, öğrenci ihtiyaçlarına göre sürekli uyarlanan bir öğretim sistemine geçiş. Ve bu geçişin temeli, her bir hata kaydının, öğrencinin bir sonraki adımını doğrudan etkileyen bir sinyal haline gelmesiyle atılıyor.
Yapay zeka özeti
NumPath, diskalkulili öğrenciler için hata tabanlı adaptif öğrenme sunan bir AI matematik öğretmeni. Hataların nasıl analiz edildiğini ve bireysel öğrenme deneyimini nasıl iyileştirdiğini keşfedin.
