Grok-1

Grok-1 var xAI's første store sprogmodel og udkom 4. november 2023. Den var bygget som en Mixture-of-Experts-model med 314 milliarder parametre og et context window på 8.192 tokens. Træningsdata gik frem til tredje kvartal 2023 og omfattede indhold fra X.

Modellen markerede xAI's indtræden som selvstændig aktør blandt udbyderne af frontier-modeller. Det mest bemærkelsesværdige var, at vægtene senere blev frigivet offentligt. Få aktører havde på det tidspunkt udgivet en model af den størrelsesorden til fri brug.

Grok-1 var også et forsøg på at give en sprogmodel en genkendelig tone. Svarene var mere direkte og mindre filtrerede end hos de fleste konkurrenter, og koblingen til X gav adgang til aktuelt indhold uden separat søgeopsætning. Modellen håndterer tekstgenerering, kode, reasoning og analyse på engelsk og en række europæiske sprog, med begrænset dansk.

Udviklingen siden slutningen af 2023 har flyttet flere ting på én gang. Context windows er vokset markant, så modeller i dag kan arbejde med hele dokumentsamlinger eller kodebaser i én prompt. Grok-1's vindue er lille målt efter nutidens praksis.

Samtidig er instruction following, værktøjsbrug og struktureret output blevet langt mere pålideligt. Nyere modeller kalder funktioner, arbejder i agent-loops og håndterer billeder. Grok-1 er en ren tekstmodel uden den infrastruktur omkring sig.

Effektiviteten er også ændret. Nyere modeller leverer mere kvalitet per parameter og per krone i inference, og xAI har selv udsendt flere Grok-generationer efter denne. Dokumentationen og økosystemet omkring Grok-1 er tilsvarende tyndt sammenlignet med senere udgivelser.

I praktisk brug er svaret reelt nej. En MoE-model med 314 milliarder parametre kræver betydelig hardware at hoste, og du får mindre ud af den end af nyere åbne modeller, der kører på langt mindre. Prisen er nul for vægtene, men ikke for driften.

I forskning er billedet lidt anderledes. Vægtene er offentligt tilgængelige, og modellen er et brugbart studieobjekt, hvis du arbejder med MoE-arkitektur, routing eller sammenligninger mellem generationer af åbne modeller. Den fungerer også som et konkret referencepunkt for, hvor niveauet lå i slutningen af 2023.

Skal du bruge Grok-personligheden eller adgangen til aktuelt indhold fra X i dag, ligger det i xAI's nyere modeller. Grok-1 er værd at kende af historiske grunde, ikke som et valg til produktion.