Top-P Sampling (Nucleus)
IntermediateIntermediate Prompting
Top-P (nucleus sampling) er en alternativ metode til temperature for at kontrollere variation. I stedet for at justere randomness, vælger modellen fra de top P% mest sandsynlige tokens (f.eks. top-p=0.9 = top 90%).
Eksempel
Prompt:
Næste ord efter 'Katten sad på' Top-P = 1.0 (alle muligheder): Muligheder: måtten (40%), stolen (15%), bordet (10%), taget (8%), græsset (5%)... Top-P = 0.5 (top 50%): Kun: måtten (40%), stolen (15%) - mere fokuseret output Top-P = 0.1 (top 10%): Næsten altid: måtten (40%) - højst sandsynligt output
Output:
Hvornår skal du bruge denne teknik?
- →Når temperature ikke giver ønsket kontrol
- →For mere dynamisk variation end temperature
- →Til kreativ skrivning der skal være coherent
- →Kombiner med lav temperature for finere kontrol
- →Ved lange tekster hvor konsistens er vigtig
Fordele
- ✓Mere naturlig variation end temperature
- ✓Undgår helt usandsynlige ord
- ✓Adaptiv - tilpasser sig kontekst
- ✓God til lang tekst generering
- ✓Bedre coherence ved kreative opgaver
Ulemper
- !Mindre intuitiv end temperature
- !Kan være svært at forudsige output
- !Interagerer komplekst med temperature
- !Ikke alle APIs dokumenterer det godt
Tips & Best Practices
- 💡Brug 0.9-0.95 for balanceret kvalitet
- 💡Kombiner med temperature=0.7 for kreativitet
- 💡Sænk til 0.5 for mere fokuseret output
- 💡Undgå at bruge både lav temperature OG lav top-p
- 💡Test med forskellige værdier for din use case
- 💡Dokumenter hvad der virker for forskellige opgaver