Windows'ta WSL2 Üzerinde Gemma-4 12B Modeli Nasıl Çalıştırılır?

Windows kullanıcıları için yapay zeka modellerini yerel olarak çalıştırmak karmaşık görünebilir. Ancak Windows Subsystem for Linux 2 (WSL2) sayesinde bu süreç oldukça basitleşiyor. Bu rehberde, WSL2 ortamında Gemma-4 12B modelini nasıl kuracağınızı ve çalıştıracağınızı adım adım açıklıyoruz. Bu yöntemle, hem komut satırı hem de web arayüzü üzerinden modeli kullanabilirsiniz.

WSL2 Ortamını Güncelleme ve Hazırlama

WSL2’nizin en son sürümde olduğundan emin olun. Terminalinizde aşağıdaki komutları çalıştırarak sistem güncellemelerini gerçekleştirin:

sudo apt update && sudo apt upgrade -y

Bu adım, sisteminizin hem güvenlik hem de performans açısından en iyi durumda olmasını sağlar. Güncellemeler tamamlandıktan sonra, gerekli bağımlılıkları yüklemeye geçebilirsiniz.

Gerekli Bağımlılıkların Yüklenmesi

Çalıştırılabilir dosyaların derlenmesi için temel geliştirme araçları ve kütüphaneler gereklidir. Aşağıdaki komutlarla gerekli paketleri yükleyin:

sudo apt install build-essential cmake git libssl-dev -y

Eğer sisteminizde NVIDIA GPU bulunuyorsa, CUDA araç setini de yüklemeniz gerekebilir. Bu sayede model, GPU’nuzdan faydalanarak daha hızlı çalışabilir:

sudo apt install nvidia-cuda-toolkit -y

Komutlar tamamlandıktan sonra, sisteminizin GPU uyumluluğunu kontrol etmek için terminalde `nvidia-smi` komutunu çalıştırabilirsiniz.

llama.cpp Deposunun Kurulumu ve Derlenmesi

Gemma-4 12B modelini çalıştırmak için öncelikle llama.cpp adlı açık kaynaklı bir projeyi kurmanız gerekiyor. Bu proje, modellerin yerel olarak çalıştırılmasını sağlayan optimize edilmiş araçlar sunar. Aşağıdaki adımları takip edin:

Depoyu Klonlama ve Derleme

Terminalde aşağıdaki komutları sırasıyla çalıştırın:

git clone 
cd llama.cpp

Derleme işlemini başlatmak için CMake kullanılır. GPU desteği ile derlemek istiyorsanız aşağıdaki komutu kullanın:

cmake -B build -DGGML_CUDA=ON -DLLAMA_OPENSSL=ON
cmake --build build --config Release

Eğer GPU kullanmayacaksanız, `-DGGML_CUDA=ON` ve `-DLLAMA_OPENSSL=ON` parametrelerini kaldırarak derlemeyi gerçekleştirebilirsiniz:

cmake -B build
cmake --build build --config Release

Derleme işlemi tamamlandığında, artık modeli çalıştırmaya hazırsınız.

Gemma-4 12B Modelinin Yüklenmesi ve Çalıştırılması

Modeli çalıştırmak için öncelikle GGUF formatındaki model dosyasını indirmeniz gerekiyor. Hugging Face platformundan `gemma-4-12b-it-UD-Q4_K_XL.gguf` dosyasını indirebilirsiniz. Terminalde aşağıdaki komutlarla modeli indirin ve uygun bir klasöre kaydedin:

mkdir -p models
wget -O models/gemma-4-12b-it-UD-Q4_K_XL.gguf 

Komut Satırı Arayüzü ile Modeli Çalıştırma

Modeli komut satırı üzerinden çalıştırmak için aşağıdaki komutu kullanın:

./build/bin/llama-cli -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL

Komut çalıştırıldığında, model sohbeti başlatmanızı isteyecektir. Örneğin, kullanıcıdan gelen "hello" mesajına yanıt olarak model aşağıdaki gibi bir çıktı üretebilir:

> hello [Start thinking] Kullanıcı "hello" dedi ve sohbeti başlattı. Yardımsever bir yanıt verilmeli.

* "Merhaba! Bugün size nasıl yardımcı olabilirim?"
* "Selam! Aklınızda ne var?"
* "Merhaba! Size nasıl yardımcı olabilirim?"
[End thinking]
Merhaba! Bugün size nasıl yardımcı olabilirim?
[ Prompt: 19.5 t/s | Generation: 11.8 t/s ]

Web Arayüzü ile Modeli Çalıştırma

Eğer bir web arayüzü üzerinden modeli kullanmak istiyorsanız, llama-server komutunu çalıştırabilirsiniz. Aşağıdaki komutla modeli 8080 portunda çalıştırın:

./build/bin/llama-server -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL --port 8080

Ardından, tarayıcınızdan **` adresine giderek modeli etkileşimli olarak kullanabilirsiniz.

Geleceğe Yönelik Öneriler ve Sonuç

Gemma-4 12B modelini WSL2 ortamında çalıştırmak, hem performans hem de kullanım kolaylığı açısından oldukça verimli bir yöntemdir. Gelecekte, bu modeli daha da optimize etmek için farklı kalıp (quantization) seçeneklerini deneyebilir veya farklı donanım yapılandırmalarında testler gerçekleştirebilirsiniz. Ayrıca, WSL2’nin sunduğu esneklik sayesinde, diğer yapay zeka modellerini de kolaylıkla yerel olarak çalıştırabilirsiniz.

Bu rehberi takip ederek, Windows tabanlı sistemlerde yapay zeka modellerini kullanmanın ne kadar basit olduğunu göreceksiniz. Modelin performansını artırmak için sistem kaynaklarınızı ve GPU destekli kurulumu optimize etmeyi unutmayın.