RAG til AI-agenter: grounded viden uden at proppe alt i prompten
RAG lader agenten hente relevante kilder ved behov. God retrieval kræver metadata, adgangskontrol og evaluering – ikke bare embeddings.
Start med spørgsmålet retrieval skal løse
Dig, der vil give en agent adgang til intern viden og sikre, at svar kan spores til de dokumenter brugeren faktisk må se.
- Chunk efter mening og struktur
RAG lader agenten hente relevante kilder ved behov. God retrieval kræver metadata, adgangskontrol og evaluering – ikke bare embeddings.
Start med spørgsmålet retrieval skal løse
Definér hvilke opgaver der kræver intern viden, hvilke dokumenter der er autoritative, og hvordan et svar skal kunne spores tilbage til kilder.
Chunk efter mening og struktur
Bevar overskrift, dokument-id, dato, rettigheder og kilde-URL som metadata. Chunk-størrelse bør vælges ud fra dokumenttypen og de spørgsmål, brugeren faktisk stiller.
Filtrér før semantisk søgning
Brug tenant-, rolle-, dato- og dokumenttypefiltre før eller sammen med vector search. Retrieval må ikke blive en genvej uden om rettigheder.
Mål retrieval og svar hver for sig
Et dårligt svar kan skyldes, at den rigtige kilde aldrig blev hentet. Evaluer derfor recall/relevans i retrieval separat fra kvaliteten af den endelige generering.
Case: svar kun ud fra den gældende produktpolitik
En agent skal besvare spørgsmål om returregler. Retrieval filtrerer først på land, produkttype og gældende dato, derefter finder den relevante passage. Svaret viser den konkrete kilde. Et gammelt dokument med høj semantisk lighed må ikke vinde over den aktuelle politik.
Byg et lille retrieval-testset
Tag ti realistiske spørgsmål og marker på forhånd hvilket dokument og hvilken passage der bør findes. Test retrieval før du vurderer selve LLM-svaret.
Kontrol: fandt systemet den rigtige evidens?
- Finder retrieval den rigtige kilde før modellen svarer?
- Respekterer metadatafiltre adgang, dato og tenant?
- Kan et svar spores til den passage, der faktisk understøtter påstanden?
RAG fejler ofte før modellen ser dokumentet
Hvis den relevante passage ikke bliver hentet, kan selv en stærk model ikke svare grounded. Mål derfor retrieval separat: ligger den korrekte passage i top-k? Filtrerer metadata den rigtige version? Er chunks store nok til at bevare mening, men små nok til præcis søgning?
Til politikker og procedurer bør versionsdato og gyldighed være metadata, så agenten ikke blander gammel og ny vejledning. Returnér kildereferencer sammen med passagerne.
Først derefter evaluerer du svaret: brugte modellen faktisk evidensen, og markerede den manglende information korrekt?
Design retrieval ud fra spørgsmålstyper – ikke dokumentmappen
Start med 20 realistiske spørgsmål og marker, hvilken kilde der bør besvare hver. Først derefter giver det mening at beslutte chunking, metadata og søgemetode. Ellers optimerer du embeddings uden at vide, hvad “god retrieval” betyder.
Hybrid søgning kan løse forskellige slags match
Semantisk søgning er stærk, når brugeren formulerer sig anderledes end dokumentet. Nøjagtige identifikatorer, produktkoder eller lovhenvisninger kan derimod have brug for keyword/lexical match. Mange løsninger kombinerer signalerne og reranker derefter resultaterne.
Kildeautoritet og aktualitet skal være data
Gem version, gyldighedsdato, dokumentejer og eventuelle supersedes-relationer. Når to passager er semantisk relevante, skal den gældende regel kunne vinde over en gammel kopi.
Fallback er en del af RAG-designet
Definér hvornår evidensen er for svag eller modstridende. Agenten kan så returnere “jeg fandt ikke et tilstrækkeligt grundlag” eller sende spørgsmålet til et menneske frem for at udfylde hullet med generel modelviden.