Hallucination
En hallucination er et modeloutput, der præsenterer opdigtet, forkert eller ikke-understøttet information som om den var korrekt.
Hallucination: En hallucination er et modeloutput, der præsenterer opdigtet, forkert eller ikke-understøttet information som om den var korrekt.
Hallucination er ikke bare “en dum fejl”
Problemet opstår, når modellen udfylder et hul med noget plausibelt i stedet for at markere usikkerhed. Det kan være en opdigtet kilde, et forkert produktnavn, en forkert dato eller en konklusion, som ikke følger af materialet.
Reducer risikoen ved at ændre systemet
Giv autoritative kilder, kræv sporbarhed, begræns opgaven, og brug retrieval eller værktøjer til fakta, der kan hentes regelbaseret. Ved høj risiko bør output valideres eller godkendes før handling.
Et godt testspørgsmål
Fjern bevidst en afgørende oplysning fra inputtet. Et robust setup bør sige, at informationen mangler, i stedet for at gætte. Den test fortæller mere end et flot svar på en nem case.
Spørgsmål om emnet
Hvad betyder Hallucination?
En hallucination er et modeloutput, der præsenterer opdigtet, forkert eller ikke-understøttet information som om den var korrekt.
Hvad er et konkret eksempel på Hallucination?
En model kan opfinde et lovcitat, en artikel eller en produktfunktion, hvis den bliver bedt om noget den ikke har evidens for.
Hvad bliver Hallucination ofte forvekslet med?
Hallucination er ikke det samme som almindelig upræcision; problemet er især den overbevisende form uden tilstrækkelig evidens.