Complexity-Based Prompting

Complexity-Based Prompting genererer flere uafhængige reasoning chains til det samme spørgsmål og vælger derefter den mest komplekse som endeligt svar. Kompleksitet måles typisk som antal eksplicitte ræsonneringstrin, antal tokens i selve udledningen eller en kombination. Udvælgelsen sker på formen af ræsonnementet, ikke på indholdet.

Forskellen til Self-Consistency er kriteriet. Self-Consistency genererer også flere chains, men stemmer om det endelige svar og vælger det, flest chains er nået frem til. Complexity-Based ser i stedet på vejen dertil og antager, at den længste udledning oftere er den rigtige.

Forskellen til almindelig Chain-of-Thought er antallet af forsøg. Chain-of-Thought producerer én udledning og accepterer den. Her produceres tre til fem, og der lægges et udvælgelseslag ovenpå. Tree-of-Thought adskiller sig ved at forgrene og evaluere undervejs, mens Complexity-Based lader hver chain køre færdig og først sammenligner bagefter.

En sprogmodel forudsiger tokens sekventielt. Når en udledning indeholder flere mellemtrin, bliver hvert efterfølgende token betinget af mere eksplicit information i context window. Et mellemresultat, der er skrevet ud, kan bruges direkte i næste trin i stedet for at skulle udledes implicit i ét spring.

Korte svar springer ofte led over. Sætningen om, at solen skinner mere om sommeren, indeholder ingen af de faktorer, der faktisk forklarer temperaturforskellen. Længere kæder tvinger de mellemliggende størrelser frem som tekst, og fejl bliver lettere at undgå, fordi hvert trin er mindre.

Med temperature omkring 0.7 spreder de genererede chains sig i længde og struktur. Korrelationen mellem antal trin og korrekthed er statistisk, ikke kausal, men den er stærk nok på flertrinsopgaver til at fungere som udvælgelseskriterium. Effekten aftager, når opgaven kun kræver ét eller to trin.

På faktaopslag og simple opgaver er teknikken direkte skadelig. Et spørgsmål om en hovedstad eller en dato har ét korrekt svar, og den længste chain vil ofte være den, hvor modellen har konstrueret irrelevant kontekst omkring svaret. Længden bliver et mål for udenomssnak.

Kriteriet kan heller ikke skelne mellem grundig udledning og udførlig fejl. En chain, der bygger videre på en forkert præmis i mange trin, scorer højere end en kort og korrekt chain. Det giver falsk tryghed, fordi outputtet ser velbegrundet ud. Kombination med Self-Consistency dæmper problemet, men fjerner det ikke.

Nyere reasoning-modeller som Claude Opus 5, GPT-5.6 Sol og Gemini 3.1 Pro producerer allerede intern flertrinsudledning uden at blive bedt om det. Her giver eksplicit generering af flere chains ofte kun marginal gevinst til flere gange prisen. Teknikken har fortsat værdi på mindre modeller som GPT-5 nano, Claude Haiku 4.5 og Gemini 3.7 Flash, hvor udledningen ikke sker af sig selv.

Token count er den simpleste metrik, men også den mest manipulerbare. En model kan producere lange, indholdsløse passager, der scorer højt uden at indeholde flere trin. Optælling af eksplicitte trin, for eksempel nummererede led eller sætninger med kausal markering, er mere robust.

En øvre grænse er nødvendig. Chains, der er markant længere end de øvrige, er typisk tilfælde hvor modellen er kørt fast i gentagelser. Sortér dem fra før udvælgelsen, i stedet for at lade dem vinde automatisk.

Hvilken metrik der virker, afhænger af domænet. Matematiske opgaver har naturlige trin at tælle. Åbne forklaringsopgaver har det ikke, og her giver en hybrid mellem kompleksitet og modellens egen confidence-vurdering ofte et mere stabilt valg.