Kendi Makine Öğrenimini Sıfırdan Kurmak: MedMind Projesi

Günümüzün çoğu yapay zeka projesi, sadece mevcut modellerin API’lerine sarılmaktan ibaret. Oysa bir modelin nasıl eğitildiğini, verilerin nasıl işlendiğini ve sistemin nasıl üretime alındığını anlamak, gerçek bir öğrenme süreci için elzemdir. Bu amaçla yola çıkan geliştirici, sıfırdan klinik karar destek sistemi inşa etmeye karar verdi. Projeye MedMind adını veren ekip, hem kendi dil modelini eğitmeyi hem de tamamen yerli bir arama ve dağıtım altyapısı kurmayı hedefliyor. Tüm sürecin ilk adımı olan ortam kurulumundan başlayarak, projenin teknik detaylarını paylaşıyor.

Neden Sıfırdan Bir Yapay Zeka Sistemi Kuruluyor?

Yapay zeka projelerinde sıklıkla karşılaşılan bir durum, dış API’lerin kullanılmasıyla sınırlı kalmak. Örneğin, bir arayüz üzerinden GPT-4’e soru gönderip cevabı göstermek, pratik bir çözüm olabilir. Ancak bu yaklaşım, modelin nasıl çalıştığına dair derin bir anlayış sağlamıyor. Geliştirici, bu eksikliği gidermek amacıyla tamamen yerli bir sistem kurmaya karar verdi. MedMind, klinik karar destek alanında kullanılacak bir yapay zeka sistemi olarak tasarlandı. Proje, gerçek tıp sınavı sorularıyla eğitilen bir dil modeli, vektör tabanlı arama sistemi ve üretim ortamında çalıştırılan bir API’dan oluşuyor.

MedMind’in Teknik Yapısı

Proje, çok katmanlı bir mimariye sahip. İlk olarak, gerçek tıp verilerini içeren bir veri seti indiriliyor ve temizleniyor. Ardından, bu verilerle bir dil modeli ince ayara tabi tutuluyor. Modelin ürettiği yanıtların doğruluğunu artırmak için RAG (Retrieval-Augmented Generation) adı verilen bir yöntem kullanılıyor. Bu yöntemde, modelin yanıt üretmeden önce ilgili tıbbi bilgileri vektör tabanlı bir veri tabanından araması sağlanıyor. Son olarak, eğitilen model FastAPI kullanılarak bir API’ye dönüştürülüyor ve bir Streamlit arayüzüyle kullanıcı dostu hale getiriliyor.

Projenin temel bileşenleri şunlar:

• Veri indirme ve temizleme: Gerçek tıp sınavı soruları ve cevaplarından oluşan bir veri seti kullanılıyor.
• Model eğitimi: İnce ayar için LoRA (Low-Rank Adaptation) yöntemiyle desteklenen modeller tercih ediliyor.
• Arama sistemi: Metinleri vektörlere dönüştüren ve vektör benzerliğiyle en ilgili bilgileri bulan bir sistem kuruluyor.
• Üretim ortamı: FastAPI ile geliştirilen bir API ve Streamlit arayüzü sayesinde sistem kullanıcı dostu hale getiriliyor.

Ortam Kurulumu: Python ve Gereksinimler

Bir yapay zeka projesine başlamadan önce, uygun ortamın kurulması kritik önem taşıyor. Geliştirici, Python 3.11 sürümünü tercih etmiş. Bunun nedeni, PyTorch ve Hugging Face gibi popüler kütüphanelerin bu sürümü en iyi şekilde desteklemesi. Ardından, projeye özel bir sanal ortam oluşturuluyor. Bu, sistemdeki diğer projelerden bağımsız olarak kütüphanelerin yönetilmesini sağlıyor.

Sanal ortamın oluşturulması ve etkinleştirilmesi için kullanılan komutlar şöyle:

python -m venv venv
venv\Scripts\activate  # Windows için

Ardından, projenin temel gereksinimleri yükleniyor. Kullanılan kütüphaneler ve görevleri şu şekilde:

• torch: Derin öğrenme modellerinin eğitimi ve çalıştırılması için temel kütüphane.
• transformers: OPT, Mistral, LLaMA gibi önceden eğitilmiş modellerin kullanılmasını sağlayan kitaplık.
• peft: Modellerin verimli bir şekilde ince ayar yapılmasını sağlayan LoRA yöntemini destekliyor.
• trl: Model eğitiminde talimatlara dayalı ince ayarın kolaylaştırılması için kullanılıyor.
• accelerate: Dağıtılmış eğitim ve çoklu GPU desteği sağlıyor.
• chromadb: Vektör tabanlı verilerin saklanması ve aranması için kullanılan veri tabanı.
• sentence-transformers: Metinleri vektörlere dönüştürerek arama sisteminin temelini oluşturuyor.
• fastapi: Üretim ortamında çalışacak API’nin geliştirilmesi için kullanılıyor.
• uvicorn: FastAPI uygulamalarının çalıştırılması için ASGI sunucu.
• streamlit: Kullanıcı dostu arayüzlerin hızlıca oluşturulmasını sağlıyor.

Proje Dizini: Düzenli Bir Yapı Oluşturmak

Herhangi bir kod yazılmadan önce, projenin dosya ve dizin yapısının belirlenmesi önemlidir. Geliştirici, aşağıdaki dizin yapısını oluşturmuş:

medmind/
├── data/            # Veri indirme ve temizleme komutları
├── training/        # Model ince ayarı ve eğitim
├── rag/             # RAG sistemiyle ilgili kodlar
├── eval/            # Model değerlendirme ve doğrulama
├── api/             # FastAPI tabanlı backend
└── frontend/        # Streamlit arayüzü

Bu yapı, kodun modüler ve anlaşılır olmasını sağlıyor. Her bileşen ayrı bir dizinde yer alıyor ve bağımsız olarak geliştirilebiliyor. Örneğin, veri işleme kodları data/ dizininde, model eğitimi ise training/ dizininde yer alıyor.

Eğitim Ortamı: Google Colab ile Ücretsiz GPU Kullanımı

Projenin en kritik aşamalarından biri, modelin eğitilmesi. Ancak yerel bilgisayarlar genellikle bu işlem için yeterli donanıma sahip değil. Geliştirici, bu sorunu çözmek için Google Colab kullanıyor. Ücretsiz olarak sağlanan T4 GPU, model eğitiminin hızlandırılması için ideal bir çözüm sunuyor. Bu yaklaşım, bütçesi sınırlı olan geliştiriciler için oldukça yaygın bir yöntem.

Geleceğe Bakış: Tamamen Yerli Bir Yapay Zeka Sistemi

MedMind projesi, yapay zeka sistemlerinin nasıl inşa edildiğine dair derin bir anlayış kazandırmayı hedefliyor. Geliştirici, projenin sadece bir başlangıç olduğunu ve gelecekte daha da geliştirileceğini belirtiyor. Özellikle, modelin daha geniş veri setleriyle eğitilmesi ve daha karmaşık senaryolarda test edilmesi planlanıyor. Ayrıca, sistemin performansının optimize edilmesi ve kullanıcı dostu arayüzün iyileştirilmesi de hedefler arasında yer alıyor.

Bu projeden çıkarılacak en önemli ders, yapay zeka sistemlerinin sadece API’lere bağlı kalmadan inşa edilebileceği. Gerçek bir sistem kurmak, hem teknik yetenekleri geliştiriyor hem de yapay zekanın nasıl çalıştığına dair derin bir bakış açısı kazandırıyor.