AI Token Sayacı
GPT, Claude, Gemini, Llama ve herhangi bir AI modeli için token sayın. Özel fiyatlarla API maliyetlerini tahmin edin. Ücretsiz ve gizli, tarayıcınızda çalışır.
AI\'da token nedir?
Token, AI modellerinin işlediği temel metin birimidir. İngilizcede yaklaşık 1 token = 4 karakter veya yaklaşık 0,75 kelime. Örneğin, \"hello\" genellikle 1 tokendir, ancak \"unbelievable\" 2 tokene bölünebilir: \"un\" ve \"believable\".
Bu araç tüm AI modelleri için çalışıyor mu?
Evet. Bu araç GPT-4, GPT-3.5, Claude, Gemini, Llama, Mistral, DeepSeek ve daha fazlası dahil tüm önemli LLM modelleri için çalışan evrensel bir yaklaştırma algoritması kullanır. Tahmin genellikle kesin sayımların %5-10\'u içindedir.
Token sayımı ne kadar doğru?
Sayım, BPE (Byte Pair Encoding) tokenizasyon kalıplarına dayalı evrensel bir yaklaştırma algoritması kullanır. Genellikle %5-10 içinde yakın tahminler sağlar ancak her model kendi tokenizatorını kullandığından kesin API sayımlarından hafifçe farklılık gösterebilir.
API maliyetlerini nasıl tahmin ederim?
Maliyet Tahmini bölümünü genişletin ve giriş, çıkış ve önbellek isabet tokenları için API fiyatlarınızı girin. Araç, sayılan token sayısına ve milyon token başına fiyatınıza göre tahmini maliyeti otomatik olarak hesaplayacaktır.
Metnim bir sunucuya gönderiliyor mu?
Hayır. Tüm token sayımı tarayıcınızda tamamen yerel olarak yapılır. Metniniz hiçbir zaman cihazınızdan çıkmaz ve herhangi bir sunucuya gönderilmez. Bu araç tam gizlilik için %100 istemci tarafıdır.
BPE tokenizasyonu nedir?
BPE (Byte Pair Encoding), büyük dil modelleri tarafından kullanılan en yaygın tokenizasyon yöntemidir. Bir eğitim korpusundaki en sık karakter çiftlerini yinelemeli olarak birleştirerek verimlilik ve kapsama dengesini sağlayan bir kelime dağarcığı oluşturur.
Tokenler diller arasında nasıl farklılaşır?
Token verimliliği diller arasında önemli ölçüde değişir. İngilizce metin ortalama 4 karakter başına yaklaşık 1 tokendir. CJK dilleri (Çince, Japonca, Korece) yazma sistemlerinin karmaşıklığı nedeniyle tipik olarak token başına 1,5-2 karakter gerektirir.
Token ile kelime arasındaki fark nedir?
Tokenler kelimelerle aynı değildir. Yaygın İngilizce kelimeler genellikle 1 tokendir, ancak uzun veya nadir kelimeler birden fazla tokene bölünebilir. Noktalama işaretleri ve boşluklar da bağımsız tokenler olabilir.
Fine-tuned veya özel modeller için kullanabilir miyim?
Evet. Evrensel yaklaştırma algoritması, belirli tokenizatöründen bağımsız olarak herhangi bir model için çalışır. Tahmin hafifçe değişebilse de, maliyet tahmini ve metin planlaması için güvenilir bir yaklaşım sağlar.
Önbellek isabet fiyatlandırması nasıl çalışır?
OpenAI ve Anthropic gibi birçok AI sağlayıcı, önbelleğe alınmış tokenler için indirimli fiyatlar sunar. Önbellek isabet tokenleri tipik olarak normal giriş fiyatının %10\'u kadar ücretlendirilir. Tasarrufları görmek için önbellek isabet fiyatınızı girin.