Llama 3.2

Llama 3.2

MetaÆldre generation

Llama 3.2 er Meta's nyeste generation af open source modeller med native multimodal capabilities. Serien inkluderer små modeller (1B, 3B) til edge devices og medium modeller (11B, 90B) med vision support.

Foto: Andrew Neel / Unsplash

1B, 3B, 11B, 90B parametre

Parametre

128K

Kontekst

$0

Input/1K

$0

Output/1K

Hvad modellen var

Llama 3.2 udkom 25. september 2024 og var Metas forsøg på at dække to yderpunkter i samme serie. I den lette ende stod 1B og 3B, tænkt til at køre lokalt på telefoner, laptops og indlejret hardware. I den tunge ende stod 11B og 90B, som var de første Llama-modeller med indbygget billedforståelse.

Det var udgivelsen, der gjorde vision til noget, du kunne køre på egen maskine uden at kalde ud til en ekstern API. Kombinationen af åbne vægte, kommerciel brugsret og et kontekstvindue på 128.000 tokens gjorde serien til et naturligt udgangspunkt for lokale opsætninger og for fine-tuning på egne data.

Træningsdata rækker frem til december 2023. Modellerne er gratis at hente og bruge, men kræver at du selv står for hosting, kvantisering og inference-opsætning.

Hvorfor den er blevet overhalet

Udviklingen siden efteråret 2024 har især flyttet sig på instruktionsfølge og reasoning. Nyere modeller i samme størrelsesklasse løser flertrinsopgaver mere stabilt og falder sjældnere ud af formatet, når du beder om struktureret output.

Multimodalitet er samtidig blevet mere integreret. Hvor Llama 3.2 lagde vision oven på en tekstmodel i de to største varianter, er nyere generationer typisk trænet multimodalt fra bunden og håndterer billeder, dokumenter og blandede input mere ensartet.

Dertil kommer to praktiske forhold. Cutoff i december 2023 betyder, at modellen ikke kender nyere hændelser, biblioteker eller API'er, og at du skal kompensere med RAG eller kontekst. Og dansk var kun delvist understøttet fra start, hvor senere åbne modeller generelt klarer nordiske sprog bedre.

Har den stadig en rolle

Ja, men en snæver en. De små varianter er fortsat brugbare, hvis du eksperimenterer med on-device inference, kvantisering eller edge-hardware med lidt hukommelse, og hvis opgaven er afgrænset. Til klassifikation, simpel ekstraktion og faste skabeloner er forskellen til nyere modeller mindre mærkbar.

I forskning og undervisning har serien også værdi som referencepunkt. Vægtene er frit tilgængelige, arkitekturen er veldokumenteret, og mange publicerede resultater bruger den som baseline, hvilket gør reproduktion lettere.

Til nye produktionsprojekter er svaret derimod nej. Der findes nyere åbne modeller med samme licensvilkår, nyere træningsdata og bedre resultater på tilsvarende hardware. Vælger du Llama 3.2 i dag, bør det være fordi noget konkret binder dig til netop den model, ikke fordi den er det bedste udgangspunkt.

Capabilities

Opgaver

TekstgenereringBilledforståelse (11B, 90B)KodegenereringOn-device AI (1B, 3B)ReasoningMultimodal analyseEdge deploymentMatematik

Sprog Support

EngelskTyskFranskItalienskPortugisiskHindiSpanskThailandsk+2 flere

Styrker

  • ✓Open source og gratis
  • ✓Native multimodal (11B, 90B)
  • ✓Edge-optimized små modeller
  • ✓128K kontekstvindue
  • ✓Kommercielt anvendelig
  • ✓Kan køre on-device
  • ✓Stærk vision performance
  • ✓Quantization-friendly

Begrænsninger

  • !Små modeller har begrænsede capabilities
  • !Vision kun i 11B og 90B
  • !Ikke så kraftfuld som Llama 3.1 405B
  • !Kræver teknisk setup

Use Cases

→Edge AI applikationer
→On-device chatbots
→Multimodal analyse
→Billedforståelse lokalt
→Mobile AI assistenter
→IoT devices
→Privacy-first applikationer
→Custom vision tasks

Benchmarks

73%
MMLU
82.8%
HellaSwag
72%
HumanEval
82.4%
GSM8K

Tekniske Detaljer

Release Dato
25.9.2024
Provider
Meta
Parametre
1B, 3B, 11B, 90B parametre
Kontekstvindue
128,000 tokens
Træningsdata
Data frem til december 2023