Context window
Context window er den mængde input og samtalehistorik en model kan have til rådighed i én behandling.
Context window: Context window er den mængde input og samtalehistorik en model kan have til rådighed i én behandling.
Kontekstvinduet er arbejdsbordet – ikke permanent hukommelse
Det beskriver, hvor meget input modellen kan have med i den aktuelle behandling: instruktioner, samtalehistorik, dokumentuddrag og eventuelle værktøjsresultater. At noget kan være i kontekstvinduet betyder ikke, at modellen altid bruger alle detaljer lige godt.
Mere kontekst er ikke automatisk bedre
Store mængder irrelevant tekst kan gøre den vigtige information sværere at prioritere. Strukturér materialet, fjern støj, og brug retrieval når kun få passager er relevante for hver opgave.
Praktisk konsekvens
En lang kundetråd kan med fordel opsummeres med bevarede beslutninger og åbne spørgsmål. For kritiske data bør du stadig sende den autoritative kilde eller hente den igen frem for at stole på en gammel opsummering.
Spørgsmål om emnet
Hvad betyder Context window?
Context window er den mængde input og samtalehistorik en model kan have til rådighed i én behandling.
Hvad er et konkret eksempel på Context window?
Hvis du giver hundredvis af sider, chats og instruktioner, konkurrerer de om plads og opmærksomhed i konteksten.
Hvad bliver Context window ofte forvekslet med?
En stor context window betyder ikke, at al information vægtes lige godt. Kurateret kontekst kan stadig give bedre resultater.