Alpaca

Alpaca var Stanfords forsøg på at vise, at instruction tuning ikke krævede store ressourcer. Udgangspunktet var Metas Llama, og oven på den blev der finetunet på 52.000 instruktionseksempler genereret med GPT-3.5. Resultatet var en model, der fulgte instruktioner på engelsk i stedet for blot at fortsætte en tekst.

Det interessante var metoden mere end modellen. Fremgangsmåden med at lade en stærkere model generere træningsdata til en mindre blev demonstreret offentligt og dokumenteret, så andre kunne gentage den. I månederne efter udgivelsen i marts 2023 kom en lang række projekter, der byggede videre på samme opskrift.

Teknisk arbejder Alpaca med et context window på 2.048 tokens og findes i varianter på 7B og 13B parametre. Den er gratis, men licensen tillader kun ikke-kommerciel forskningsbrug, fordi både basismodellen og de genererede data er bundet af restriktioner.

Basismodellen er den største begrænsning. Llama-generationen bag Alpaca er afløst af flere senere generationer, der er trænet på mere data og med bedre metoder, og forbedringen i basismodellen slår direkte igennem i alt, hvad en finetunet variant kan.

Context window er en anden faktor. To tusind tokens rækker til korte samtaler og enkeltstående opgaver, men ikke til at arbejde med længere dokumenter, kodefiler eller RAG-opsætninger med flere hentede tekststykker. Nyere åbne modeller i samme størrelsesorden håndterer betydeligt længere input.

Selve instruction tuningen er også blevet mere raffineret. Datasættet på 52.000 eksempler var lille og maskingenereret uden systematisk kvalitetskontrol, og modellen hallucinerer villigt. Senere modeller kombinerer større og bedre kuraterede instruktionsdatasæt med præferenceoptimering, hvilket giver mere stabile svar. Alpaca vedligeholdes ikke aktivt.

Til praktisk brug er svaret reelt nej. Vil du køre en lille open source-model lokalt, findes der nyere modeller i samme størrelsesklasse med bedre kvalitet, længere context window og licenser, der også tillader kommerciel brug.

Den har fortsat en plads i undervisning og forskningshistorie. Datasættet og træningsopskriften er velbeskrevet og lille nok til, at du kan gennemgå den i detaljer, og det gør Alpaca brugbar som eksempel, når instruction tuning skal forklares eller reproduceres.

Betragt den som et referencepunkt frem for et værktøj. Alpaca markerer det tidspunkt, hvor instruction tuning af åbne modeller blev tilgængeligt for akademiske budgetter, og den betydning ændrer sig ikke, selvom modellen selv er forældet.