Co to je
Token je základní jednotka, na kterou se text rozdělí, než ho zpracuje jazykový model, tedy program umělé inteligence (AI). Může to být celé slovo, část slova nebo interpunkce. Jazykové modely, na kterých stojí nástroje typu ChatGPT, nečtou text po slovech, ale po tokenech. Čeština se obvykle rozpadá na více tokenů než angličtina, protože dělení bývá laděno hlavně pro angličtinu.
Slovo „token“ má i jiné významy, například přístupový klíč k aplikaci (API token). Tady jde o význam z oblasti umělé inteligence.
Proč na tom záleží
Počet tokenů určuje, kolik textu model zohlední najednou, a u služeb účtovaných podle využití, typicky přes API (rozhraní pro napojení programů), i cenu. U promptu (zadání) a dlouhých dokumentů je dobré vědět, že delší vstup znamená vyšší náklady a nemusí vést ke kvalitnější odpovědi.
Modelový příklad
Firma chce, aby AI asistent shrnul rozsáhlé příručky. Zjistí, že se nevejdou do jednoho dotazu, a rozdělí je na části.
Co byste měli vědět
- Limity a účtování se liší podle služby, ověřte je u té, kterou používáte.
- Krátké, jasné zadání šetří tokeny i čas.
- Přístupový API token (klíč, kterým se program prokazuje službě) nikomu nesdílejte, funguje jako heslo.