Sådan reducerer du AI-hallucinationer

Hallucinationer reduceres med bedre evidens og stopregler

Hallucinationer reduceres ikke med én magisk sætning. Du skal styre kilder, gøre usikkerhed synlig, kræve verificerbare outputs og vælge, hvilke påstande et menneske skal kontrollere.

Eksempel: svaret må kun bruge det vedlagte materiale

Design prompten til at kunne sige “det ved jeg ikke”

1. 1. Afgør hvilke påstande der kræver dokumentation.
2. 2. Giv modellen relevante og autoritative kilder.
3. 3. Kræv markering af usikkerhed og manglende evidens.
4. 4. Adskil fakta fra forslag eller analyse i outputtet.
5. 5. Verificér kritiske påstande med kilden eller et regelbaseret system.
6. 6. Brug menneskelig gennemgang ved høj konsekvens.

Undgå krav om et svar for enhver pris

• At bede modellen “vær 100 % korrekt” uden kilder.
• At bruge citationer som pynt uden at kontrollere at de faktisk understøtter påstanden.
• At lade modellen udfylde tomme felter med sandsynlige værdier.

Lav en test med manglende information

Giv modellen et spørgsmål hvor svaret ikke findes i det vedlagte materiale. Test om din prompt får den til at afstå fra at gætte.

Kan modellen markere usikkerhed korrekt?

• Kan du spore kritiske påstande til en kilde?
• Har du testet mangel på evidens?
• Er konsekvensen ved en fejl afspejlet i gennemgangkravet?

Den vigtigste kontrol er at gøre manglende evidens legitim

Modeller er ofte mest overbevisende netop dér, hvor materialet er tyndt. Design derfor opgaven, så “ikke nok information” er et acceptabelt output. Bed modellen skelne mellem det, der fremgår af kilden, og det, den infererer.

Til dokumentarbejde kan du kræve side- eller afsnitshenvisninger for centrale udsagn. Til webresearch bør kilder åbnes og verificeres, ikke kun gengives fra et søgeresumé. Til struktureret data kan du validere værdier mod originalen.

Temperature eller en “vær forsigtig”-instruktion løser ikke et manglende evidensgrundlag. Grounding, retrieval, skemaer og menneskelig kontrol er stærkere mekanismer.

Fortsæt med RAG, kilder og evaluering

• Grounding
• RAG
• Sådan bruger du AI til research

Start med at skelne mellem fire typer faktaproblemer

Manglende evidens er, når modellen svarer uden en kilde. Forkert evidens er, når kilden ikke støtter påstanden. Forældet evidens er, når en tidligere korrekt kilde ikke længere gælder. Fejlfortolkning er, når den rigtige kilde bliver læst forkert. De kræver ikke samme løsning.

Byg et svarformat, der gør usikkerhed synlig

Til faktatungt arbejde kan output opdeles i konklusion, evidens, usikkerhed og manglende information. Bed modellen skelne mellem hvad kilden direkte siger, og hvad den selv udleder. Det giver en redaktør en reel chance for at kontrollere resultatet.

Test med spørgsmål systemet ikke kan svare på

Et eval-sæt bør indeholde mindst nogle cases, hvor korrekt adfærd er “det fremgår ikke af kilderne”. Hvis modellen altid føler sig tvunget til at levere et fuldt svar, opdager du aldrig, om reservevej virker. I RAG-løsninger bør du desuden teste, om retrieval faktisk henter den rigtige passage før du bedømmer formuleringen.

Et eksempel på en robust researchregel

I stedet for “vær helt præcis” kan du instruere: “Brug kun de vedlagte kilder til faktuelle påstande. Sæt [mangler kilde] ved oplysninger, der er nødvendige men ikke dokumenteret. Gengiv kilde-id efter hver central påstand. Hvis kilderne modsiger hinanden, vis uenigheden.” Den regel gør fejl lettere at opdage, men erstatter stadig ikke menneskelig kontrol.