Token sayacı
Metninizi yazın ya da yapıştırın; bir dil modelinin yaklaşık kaç token olarak göreceğini tahmin edin. Bu bir tahmindir: gerçek sayı kullandığınız modelin kendi ayrıştırıcısına göre değişir.
- Karakter
- 0
- Kelime
- 0
- Tahmini token
- 0
Yöntem: kelimeler yaklaşık dört karakterlik parçalara bölünür; Türkçe gibi ekli dillerde gerçek sayı çoğunlukla bundan yüksektir. Kesin sayı için kullandığınız modelin sayacına bakın. Token nedir?