Llama 2

Llama 2 udkom 18. juli 2023 som Metas åbne familie af sprogmodeller i tre størrelser: 7B, 13B og 70B parametre. Modellen blev trænet på 2 billioner tokens offentligt tilgængelige data og har et context window på 4.096 tokens. Licensen tillod kommerciel brug, hvilket adskilte den fra forgængeren.

Betydningen lå især i tilgængeligheden. Indtil da var de stærkeste modeller enten lukkede API-tjenester eller åbne modeller med licenser, der udelukkede kommerciel anvendelse. Llama 2 gav virksomheder og forskere en model, de kunne hente ned, køre på egen hardware og finjustere uden at sende data til en ekstern udbyder.

Modellen blev udgangspunkt for et stort økosystem af derivater. Kvantiserede varianter, instruktionsjusterede versioner og domænespecifikke fine-tunes fulgte hurtigt, og værktøjer til lokal inference blev bygget op omkring formatet. Meget af den praksis, der i dag er standard for lokale sprogmodeller, blev formet i den periode.

Senere generationer af åbne modeller er blevet trænet på større og bedre kurateret datamængder, og på arkitekturer, der udnytter parametrene mere effektivt. Resultatet er, at nyere modeller i mindre størrelser ofte løser opgaver, som tidligere krævede de største Llama 2-varianter.

Context window er det tydeligste tekniske skel. 4.096 tokens rækker til korte samtaler og enkeltdokumenter, men ikke til lange kodebaser, omfattende RAG-opsætninger eller arbejde med flere dokumenter ad gangen. Nyere åbne modeller arbejder med markant længere kontekst.

Dertil kommer sprogdækning og modalitet. Llama 2 er primært trænet på engelsk, og dansk output er svagt sammenlignet med nyere flersprogede modeller. Modellen er ren tekst, mens billed- og lydinput er blevet almindeligt i senere generationer. Instruktionsfølge, værktøjskald og struktureret output er også områder, hvor efterfølgerne er tydeligt stærkere.

Til produktionsbrug er svaret reelt nej. Meta har selv udgivet flere nyere Llama-generationer under sammenlignelige vilkår, og der findes andre åbne modeller i samme størrelsesklasser. Vælger du Llama 2 til et nyt projekt i dag, får du dårligere resultater uden at spare noget.

Der er stadig et argument i forskning. Llama 2 er grundigt dokumenteret, bredt undersøgt i litteraturen og indgår som referencepunkt i mange studier af fine-tuning, alignment og fortolkning af modeller. Skal et resultat reproduceres eller sammenlignes med tidligere arbejde, giver det mening at bruge netop den model.

En tredje situation er eksisterende installationer. Kører en fine-tuned Llama 2 stabilt i en lukket infrastruktur og løser sin opgave, er der ingen akut grund til at rive den ned. Men ved næste større ændring bør du regne migration til en nyere model med i overvejelserne.