Yapay Zekâda Token Nedir? Basit ve Uygulamalı Rehber

Yapay zekâda token nedir? Token, yapay zekâ modelinin metni işlerken kullandığı küçük parçalardır. Bir token bazen tek bir kelimeye, bazen kelimenin bir bölümüne, bazen de noktalama işaretine karşılık gelir. Model, sorumuzu doğrudan kelimeler olarak değil, bu parçaların sıralı hâli olarak işler.

Tokenları anlamak; yapay zekâ yanıtlarının neden bazen kısaldığını, uzun metinlerin neden sınırı aştığını ve API kullanım maliyetinin nasıl oluştuğunu kavramayı kolaylaştırır. Bu rehberde konuyu teknik terimlere boğmadan, günlük bir örnekle açıklayacağız.

Token nedir?

Tokenı, bir cümlenin yapboz parçaları gibi düşünebilirsiniz. Yapay zekâ modeli önce metni daha küçük parçalara ayırır. Ardından bu parçalar arasındaki ilişkilere bakarak bir sonraki parçanın ne olabileceğini tahmin eder.

Örneğin “Kediler neden miyavlar?” cümlesi bir modelde kabaca şöyle parçalara ayrılabilir:

Kediler | neden | miyav | lar | ?

Bu yalnızca anlatımı kolaylaştıran bir örnektir. Gerçek parçalama işlemi kullanılan modele ve dile göre değişebilir. Türkçedeki ekler, uzun kelimeler, boşluklar ve noktalama işaretleri token sayısını etkileyebilir.

Token ile kelime aynı şey mi?

Hayır. Bir kelime her zaman tek token değildir. Kısa ve sık kullanılan bir kelime tek parça olarak işlenebilir. Daha uzun veya daha az kullanılan bir kelime ise birkaç tokena bölünebilir.

Bu yüzden “100 kelime = 100 token” demek doğru değildir. Aynı metin, farklı yapay zekâ modellerinde farklı sayıda tokena ayrılabilir. Türkçe gibi eklemeli dillerde kelimeler bazen daha fazla parçaya bölünebilir.

Basit kural şudur: Token sayısı, yazının uzunluğunu ölçmenin kelime sayısından farklı bir yoludur. Kesin sayıyı öğrenmek için kullandığınız modelin tokenizer aracını kontrol etmeniz gerekir.

Girdi ve çıktı tokenları nedir?

Yapay zekâ ile konuşurken iki temel token türü görürsünüz:

• Girdi tokenları: Sizin gönderdiğiniz soru, talimat, sohbet geçmişi ve eklediğiniz dosyalardaki metin.
• Çıktı tokenları: Modelin size verdiği yanıtın oluşturduğu parçalar.

Örneğin modele uzun bir ürün kataloğu gönderip “Bunu üç maddede özetle” derseniz, katalog girdi tokenlarını; üç maddelik özet ise çıktı tokenlarını oluşturur. Her iki taraf da toplam kullanımın bir parçasıdır.

Token limiti ve bağlam penceresi nedir?

Her yapay zekâ modelinin aynı anda okuyup yazabileceği bir token kapasitesi vardır. Bu kapasiteye genellikle bağlam penceresi veya token limiti denir. Limit, modele göre değişir; bu nedenle her model için geçerli tek bir sayı yoktur.

Uzun bir sohbeti, çok sayıda belgeyi veya büyük bir kod dosyasını tek seferde gönderdiğinizde sınırı aşabilirsiniz. Böyle bir durumda model metnin bir bölümünü dikkate almayabilir, isteği reddedebilir veya yanıtı yarıda bırakabilir.

Pratik çözüm, metni küçük bölümlere ayırmak ve her bölümün kısa özetini kullanmaktır. Belgeleri yapay zekâ için bölümlere ayırma mantığını anlattığım RAG reranking rehberinde bu sürecin arama tarafını da görebilirsiniz.

Token sayısı neden önemlidir?

1. Maliyeti etkiler

API ile yapay zekâ kullanan uygulamalarda ücretlendirme çoğu zaman kullanılan girdi ve çıktı tokenlarına göre yapılır. Fiyat; modele, girdi-çıktı türüne ve sağlayıcıya göre değişir. Bu nedenle aynı işi daha kısa ve düzenli bir istemle yapmak maliyeti azaltabilir.

2. Yanıt hızını etkiler

Modelin işlemesi gereken metin büyüdükçe yanıtın hazırlanması daha uzun sürebilir. Özellikle her istekte bütün sohbet geçmişini yeniden gönderen uygulamalarda token sayısı hız üzerinde fark yaratır.

3. Yanıtın odağını etkiler

Gereksiz tekrarlar ve konu dışı belgeler, modelin dikkatini dağıtabilir. Daha az ama daha ilgili token içeren bir istek, çoğu zaman daha anlaşılır bir yanıt üretir.

Token kullanımını azaltmak için 5 basit yöntem

1. İsteğinizi net yazın: Aynı talimatı farklı cümlelerle tekrar etmeyin.
2. Gereksiz bağlamı çıkarın: Modelin cevaplaması gereken soruyla ilgisiz metni göndermeyin.
3. Uzun sohbetleri özetleyin: Eski mesajları olduğu gibi taşımak yerine kısa bir durum özeti kullanın.
4. Yanıt sınırı koyun: “En fazla beş madde ve 150 kelime kullan” gibi bir sınır belirleyin.
5. Belgeleri bölümlere ayırın: Büyük dosyayı tek parça göndermek yerine ilgili bölümü seçin.

Tekrarlanan uzun talimatları daha verimli yönetmek için prompt caching rehberine de göz atabilirsiniz.

Basit bir token optimizasyonu örneği

Aşağıdaki iki istek aynı amaca hizmet edebilir:

Uzun ve dağınık istek:
Bu belgeyi dikkatlice oku, önemli yerleri bul, bana anlaşılır bir şekilde aktar, çok uzatma ama önemli hiçbir şeyi de atlama.

Daha net istek:
Belgeyi 5 maddede özetle. Her madde en fazla 20 kelime olsun.

İkinci istek daha kısa olduğu için yalnızca token kullanımını azaltmaz. Aynı zamanda modelin beklenen çıktı biçimini daha iyi anlamasına yardım eder. İyi bir istem; amacı, sınırı ve çıktı formatını açıkça belirtir.

Sık sorulan sorular

Bir token kaç kelimedir?

Sabit bir cevap yoktur. Token; kelimeye, dile, noktalama işaretine ve kullanılan modele göre değişir. Bu nedenle yaklaşık hesaplar fikir verir, kesin sonuç vermez.

Token limiti dolarsa ne olur?

İstek reddedilebilir, yanıt kısalabilir veya sohbetin eski bölümleri dikkate alınmayabilir. Uzun içeriği özetlemek ve parçalara ayırmak en pratik çözümlerdir.

Token sayısını nasıl öğrenebilirim?

Kullandığınız yapay zekâ sağlayıcısının tokenizer aracını veya API yanıtındaki kullanım bilgisini kontrol edebilirsiniz. OpenAI’nin tokenlar ve token sayımı açıklaması, konuyu örneklerle anlatır.

Sonuç

Yapay zekâda token nedir? sorusunun kısa cevabı şudur: Token, modelin metni işlerken kullandığı küçük dil parçalarıdır. Kelime sayısından farklıdır; girdi ve çıktı uzunluğunu, bağlam sınırını, maliyeti ve yanıt hızını etkileyebilir.

Yapay zekâ uygulaması geliştirirken metni gereksiz yere uzatmamak, uzun belgeleri bölmek ve beklenen yanıt uzunluğunu belirtmek iyi bir başlangıçtır. Token mantığını kavradığınızda hem daha kontrollü istemler yazabilir hem de kullandığınız modeli daha verimli yönetebilirsiniz.