Llama 3

Llama 3 udkom 18. april 2024 og var Metas fortsættelse af en serie åbne vægte, som andre kunne hente ned og køre selv. Modellen kom i flere størrelser, og trænings­grundlaget var over 15 billioner tokens. Konteksvinduet er 8.192 tokens.

Betydningen lå i, at en model med frit tilgængelige vægte kunne bruges til opgaver, der indtil da typisk krævede et betalt API. Tekstgenerering, kodegenerering, opsummering og oversættelse fungerede godt nok til reel produktion. For organisationer med krav om at data ikke forlader egne servere, var det et praktisk alternativ frem for et principielt.

Llama 3 var også et udgangspunkt for fine-tuning. Fordi vægtene var tilgængelige, opstod der hurtigt et økosystem af tilpassede varianter, kvantiserede versioner og værktøjer til lokal inference. Meget af den infrastruktur, som senere åbne modeller nyder godt af, blev formet omkring denne generation.

Den mest mærkbare begrænsning i dag er kontekstvinduet. Senere modeller, både åbne og lukkede, arbejder med langt større vinduer, og det ændrer hvilke opgaver der overhovedet er mulige. Analyse af lange dokumenter, store kodebaser og omfattende RAG-opsætninger er svære at få til at fungere inden for 8.192 tokens.

Llama 3 er heller ikke multimodal. Den behandler tekst, og billeder, lyd eller video ligger uden for modellens rækkevidde. Nyere generationer behandler flere modaliteter i samme model, og det er blevet en forventning frem for en ekstrafunktion.

Hertil kommer generelle fremskridt i instruktionsfølge, reasoning og værktøjsbrug. Senere modeller er bedre til at holde sig til et format, til at kalde funktioner og til at arbejde i flere trin uden at miste tråden. Meta har selv udsendt nyere Llama-generationer, og de er udbyderens aktuelle valg.

Ja, men en snæver en. Fordi vægtene er frit tilgængelige og de mindre varianter kan køre på beskeden hardware, er Llama 3 stadig brugbar til lokale opsætninger, undervisning og eksperimenter, hvor du ikke vil sende data ud af huset. De mindste modeller kører på udstyr, hvor nyere og større modeller ikke er en mulighed.

Modellen har også værdi i forskning. Den er veldokumenteret og bredt brugt, og det gør den til et rimeligt referencepunkt, når du sammenligner fine-tuning-metoder eller måler effekten af en ændring over tid.

Til nye produktionssystemer er svaret derimod nej. Det korte kontekstvindue og den manglende multimodalitet er svære at arbejde udenom, og nyere åbne modeller med samme licensmodel dækker de samme behov bedre. Vælg Llama 3 hvis du har en konkret grund til netop den model, ikke som standardvalg.