Meta AI

Meta AI adskiller sig fra de fleste andre udbydere ved ikke primært at sælge adgang til en model. Llama-modellerne udgives til download, og du henter vægtene og kører dem selv. Det gør Meta til en modelleverandør snarere end en platformsudbyder.

Målgruppen er derfor teams, der selv kan drive infrastruktur, eller som køber hosting hos tredjepart. Det gælder typisk organisationer med krav om, at data ikke forlader egne systemer, forskningsmiljøer og virksomheder, der vil finjustere en model til et snævert domæne.

Tilgangen er også et andet forhold til leverandøren. Hos en lukket udbyder får du et endpoint, der kan ændre sig. Med Llama får du en fil, der ligger stille, indtil du selv beslutter at opgradere. Til gengæld overtager du hele driftsansvaret.

Den hurtigste vej ind går gennem et lokalt værktøj, der pakker download, kvantisering og en simpel server sammen. Du kan have en mindre model kørende på en almindelig udviklermaskine på kort tid og teste, om kvaliteten rækker til opgaven. Det er en god måde at afklare kravene, før du beslutter noget om hardware.

Næste skridt er sværere. Til produktion skal du vælge en inference-server, dimensionere GPU-kapacitet, håndtere batching og sætte overvågning op. Der findes ikke et indbygget rate limit eller en færdig fakturering, så kvoter og misbrugsbeskyttelse skal du selv bygge.

De fleste inference-servere eksponerer et API, der ligner OpenAI's format. Det gør det overkommeligt at flytte eksisterende kode over. Friktionen ligger sjældent i API-kaldene og næsten altid i drift: modelvægte fylder, opstartstid er mærkbar, og context window koster hukommelse per samtidig bruger.

Fine-tuning er et reelt argument for Llama. Du kan træne videre på egne data uden at sende dem til en ekstern part, og økosystemet omkring træning og kvantisering er velbeskrevet. Regn dog med, at datakvalitet og evaluering fylder mere end selve træningen.

Licensen er ikke en klassisk open source-licens, selvom modellerne omtales som open source. Der er vilkår knyttet til brugen, og dem bør du læse igennem, hvis du bygger et kommercielt produkt. Meta kan desuden ændre vilkårene for fremtidige udgivelser, selvom en model du allerede har hentet, ikke forsvinder.

Datahåndtering er den stærkeste grund til at vælge denne vej. Kører du modellen i eget datacenter eller hos en europæisk hostingudbyder, forlader prompts og svar aldrig din egen kontrol. Det forenkler både databehandleraftaler og vurderinger efter GDPR betydeligt.

Lock-in flytter sig i stedet til infrastrukturen. Har du bygget en tung pipeline omkring en bestemt inference-stak og hardware, er den investering ikke gratis at forlade. Bindingen er blot teknisk i stedet for kontraktuel.

En kommerciel API-udbyder passer bedre, hvis dit team er lille, hvis du har brug for multimodale funktioner, eller hvis du vil undgå at drive GPU-kapacitet. Vejer datakontrol, forudsigelige omkostninger ved høj volumen eller muligheden for domænetilpasning tungere, er Llama det mere oplagte valg.