Active Prompting

Advanced

Advanced Reasoning

Active Prompting identificerer automatisk de mest usikre eller vanskelige eksempler i et dataset og beder mennesker om at annotere disse. Modellen bruger derefter disse high-value eksempler i few-shot prompts.

Eksempel

Prompt:

1. Kør modellen på 100 spørgsmål
2. Identificer de 20 hvor modellen er mest usikker (lav confidence eller inkonsistente svar)

Eksempel usikkert spørgsmål:
'Er en tomat en frugt eller grøntsag?'
- Svar A: Frugt (botanisk definition)
- Svar B: Grøntsag (kulinarisk definition)  
- Uncertainty: HØJ

3. Få menneskelig annotation:
'Botanisk er tomater frugter, men bruges kulinarisk som grøntsager. Kontekst afgør svaret.'

4. Brug dette high-value eksempel i future prompts:
'Ligesom tomater (frugter botanisk, grøntsager kulinarisk), kan ting have forskellige klassifikationer afhængig af kontekst...'

Output:

Forbedrede few-shot prompts baseret på vanskelige cases...

Hvornår skal du bruge denne teknik?

→Når du har stort unlabeled dataset
→For at optimere annoterings-budget
→Til kontinuerlig forbedring af prompts
→Ved domæner med edge cases
→Når initial accuracy ikke er god nok

Fordele

✓Maksimerer værdi af menneskelig annotation
✓Fokuserer på vanskelige cases
✓Forbedrer accuracy på hele spektret
✓Data-drevet prompt forbedring
✓Reducer annotation omkostninger

Ulemper

!Kræver initial model runs
!Behov for menneskelig annotation
!Kompleks pipeline
!Computationally expensive
!Svært at måle uncertainty korrekt

Tips & Best Practices

💡Brug confidence scores eller self-consistency til at måle uncertainty
💡Start med 20-50 usikre eksempler
💡Få multiple annotations for kritiske cases
💡Iterer: re-run efter tilføjelse af nye eksempler
💡Kombiner med Few-Shot CoT
💡Track improvement metrics over iterations
💡Overvej cost-benefit vs. pure manual annotation

Relaterede Teknikker

Few Shot Cot Self Consistency Automatic Prompting

← Tilbage til alle teknikker