Active Prompting

Active Prompting er en udvælgelsesmetode, ikke en formulering. Du kører modellen på en pulje spørgsmål uden facit, måler hvor usikker den er på hvert enkelt, og sender kun de mest usikre videre til menneskelig annotation. De annoterede svar bliver derefter til few-shot eksempler i den prompt, du bruger i produktion.

Forskellen til almindelig Few-Shot CoT ligger i, hvordan eksemplerne findes. Ved Few-Shot CoT vælger du selv fire til otte eksempler, typisk dem der virker repræsentative eller er nemme at skrive. Active Prompting overlader udvælgelsen til data: modellens egen usikkerhed peger på, hvor eksemplerne mangler.

Self-consistency er den nærmeste nabo på måleteknikken. Der sampler du flere svar på det samme spørgsmål og stemmer om resultatet ved inferens. Active Prompting bruger den samme sampling, men kaster afstemningen væk og beholder kun uenigheden som signal. Automatic Prompting genererer eksempler eller instruktioner uden mennesker i loopet, hvor Active Prompting netop insisterer på menneskelig annotation, blot på færre og bedre valgte punkter.

Few-shot eksempler fungerer som betingning. De begrænser hvilke output-mønstre der er sandsynlige, og de viser hvilket format og hvilken opløsning svaret skal have. Eksempler på opgaver, modellen allerede løser stabilt, tilføjer ingen ny begrænsning, fordi fordelingen af mulige svar i forvejen er smal.

Høj uenighed mellem samplede svar er derimod et tegn på, at sandsynlighedsmassen er spredt over flere konkurrerende løsninger. Ofte skyldes det, at spørgsmålet er tvetydigt, eller at to gyldige konventioner støder sammen, som med den botaniske og den kulinariske definition af en tomat. Et annoteret eksempel netop dér gør det eksplicit, hvilken konvention der gælder, og fjerner konkurrencen mellem mønstrene.

Gevinsten spreder sig ud over de udvalgte spørgsmål, fordi eksemplerne sjældent er isolerede tilfælde. Et edge case dækker typisk en hel kategori af lignende tvetydigheder, og betingningen gælder for hele den kategori.

Usikkerhedsmålet er den svageste del af kæden. Logprob-baseret confidence er dårligt kalibreret på mange opgaver, og flere API'er eksponerer den slet ikke. Self-consistency som mål kræver mange samples per spørgsmål og bliver dyrt, før du overhovedet har annoteret noget. Måler du usikkerheden forkert, annoterer du støj og betaler fuld pris for det.

Høj uenighed betyder heller ikke altid, at opgaven er svær. Den kan lige så godt betyde, at spørgsmålet er dårligt formuleret, eller at prompten mangler en definition. Så er den rigtige rettelse en klarere instruktion, ikke et dyrt annoteret eksempel. Active Prompting kan skjule det problem ved at lappe hvert symptom for sig.

Med reasoning-modeller som Claude Opus 5, GPT-5.6 Sol og Gemini 3.1 Pro er en del af effekten allerede indbygget. De producerer selv mellemregninger og markerer ofte tvetydigheder eksplicit, hvilket gør few-shot CoT mindre afgørende for standardopgaver. Teknikken beholder værdi ved domænekonventioner, modellen ikke kan gætte sig til, som interne kategoriseringsregler eller virksomhedsspecifik terminologi. Til rene formatproblemer er en præcis instruktion billigere end en annotationspipeline.

Er datasættet lille, giver hele apparatet ikke mening. Under nogle hundrede spørgsmål er det hurtigere at annotere bredt end at bygge en pipeline til at vælge de rigtige tyve.

Effekten er kun synlig, hvis du har et fast holdout-sæt, der ikke indgår i udvælgelsen. Ellers måler du, om eksemplerne hjælper på de spørgsmål, de er hentet fra, hvilket de næsten altid gør.

Antallet af eksempler har desuden et loft. Flere eksempler fylder context window og kan trække output mod eksemplernes overflade i stedet for deres logik. Når nye annoteringer holder op med at flytte holdout-scoren, er det usikkerhedsmålet eller opgavedefinitionen, der skal justeres, ikke mængden af eksempler.