Yazar, büyük dil modelleri (LLM) ile çalışırken sıkça karşılaştığı bir problemi çözmek için bir AI token hesaplayıcı geliştirdi. Bu hesaplayıcı, yazarın promt'unun model contexto penceresine sığacağını kontrol etmesini sağlıyor.
AI Token Hesaplayıcı Nedir?
AI token hesaplayıcı, ortak AI modelleri için bir tarayıcı tabanlı token ve contexto tahmin aracıdır. Kullanıcılar, promt'lerini, kod parçalarını, belge bölümünü veya sohbet taslağını yapıştırabilir ve ilgili sağlayıcı/modeli seçerek token sayısını ve contexto kullanımını hemen görebilirler.
Hangi Modelleri Destekler?
İlk sürüm, yazarın en sık planlaması gereken modellere odaklanıyor:
- OpenAI / GPT modelleri
- Claude
- Gemini
- Qwen
- GLM
- Kimi
OpenAI modelleri için araç, uyumlu yerel BPE tokenizers kullanıyor. Diğer sağlayıcılar için, sonuç yerel bir tahmin olarak gösteriliyor çünkü kesin fatura tokenizers ya proprietary ya da kimlik doğrulama API'leri aracılığıyla sunuluyor.
Gizlilik
Yazarın en çok önem verdiği şey gizlilikti. Promt taslakları thường ürün fikirleri, müşteri metni, günlükler veya dahili notlar içeriyor. Yazar, metni başka bir sunucuya göndererek yalnızca yaklaşık bir sayı üretmek için bir token hesaplayıcı istemiyordu.
Gelecek
AI token hesaplayıcı, uzun promt'leri göndermeden önce producción modellerine, belgeleri sohbet için kısaltmadan önce, kod parçalarını kontrol etmeden önce ve çok mesajlı promt'lerin bölünmesi gerekip gerekmediğini tahmin etmeden önce rất yararlı oldu. Eğer GPT, Claude, Gemini, Qwen, GLM veya Kimi ile çalışıyor ve promt'ünü göndermeden önce hızlı bir yerel kontrol yapmak istiyorsanız, AI token hesaplayıcısını deneyebilirsiniz.
Yapay zeka özeti
AI token hesaplayıcı, yazarların promt'lerinin model contexto penceresine sığacağını kontrol etmesini sağlıyor. Hızlı ve yerel bir token ve contexto tahmin aracı.
