Token
Et token er en enhed, modellen bruger til at repræsentere tekst eller andre input. Tokens svarer ikke præcist til ord.
Token: Et token er en enhed, modellen bruger til at repræsentere tekst eller andre input. Tokens svarer ikke præcist til ord.
Tokens er modellens interne tekststykker
Et ord kan blive ét eller flere tokens, og tegnsætning eller dele af ord kan også være egne tokens. Derfor kan du ikke regne præcist fra “antal ord” til “antal tokens” uden den konkrete tokenizer.
Tokens påvirker både plads og omkostning
I API-brug måles input og output ofte i tokens. Lange dokumenter, stor samtalehistorik og lange svar bruger derfor mere af kontekstvinduet og kan koste mere. Det gør det nyttigt at fjerne irrelevant historik og kun hente de kilder, opgaven behøver.
Eksempel: et langt dokument
Hvis en agent skal finde én returregel i 300 sider dokumentation, er det sjældent smart at sende alt med hver gang. Retrieval kan hente de relevante passager og bruge færre tokens, samtidig med at evidensen bliver tydeligere.
Spørgsmål om emnet
Hvad betyder Token?
Et token er en enhed, modellen bruger til at repræsentere tekst eller andre input. Tokens svarer ikke præcist til ord.
Hvad er et konkret eksempel på Token?
En lang rapport bruger mange tokens både som input og output, hvilket påvirker kontekstforbrug, latency og i API’er ofte omkostning.
Hvad bliver Token ofte forvekslet med?
“1 token = 1 ord” er en upræcis tommelfingerregel; tokenisering afhænger af model og sprog.