Token, büyük dil modellerinin metni parçalara böldüğü temel birimdir. Bir token kelimeye eşit olmayabilir; kısa kelimeler tek token, uzun kelimeler birden fazla token olabilir. Türkçe gibi dillerde tokenleme İngilizceye göre daha fazla token üretebilir çünkü morfolojik yapı daha karmaşıktır. API fiyatlandırması genellikle token başına yapılır. Hem girdi hem çıktı tokenları ücretlendirilir.
"Merhaba, bugün hava güzel." cümlesi İngilizce için yaklaşık 7 token olabilir. Türkçe için çoğu zaman daha fazla token harcanır çünkü ekleme dilinin yapısı tokenizasyonu zorlaştırır. Bu, Türkçe içerik üretmenin İngilizceye göre API maliyetini artırabileceği anlamına gelir. Büyük ölçekte API kullanan uygulamalarda token optimizasyonu ciddi maliyet farkı yaratır.
