StableLM

StableLM udkom 19. april 2023 og var Stability AI's første forsøg på at overføre den åbne udgivelsesmodel fra billedgenerering til sprogmodeller. Udgivelsen faldt i en periode hvor flere aktører åbnede vægte til fri afbenyttelse, og hvor spørgsmålet om hvem der kontrollerer sprogmodeller var til aktiv debat.

Modellen kom i varianter på 3B og 7B parametre med et context window på 4.096 tokens. Træningen byggede på 1,5 billioner tokens fra blandede kilder, og materialet var primært engelsk. Vægtene blev udgivet under CC BY-SA-4.0, hvilket gjorde det muligt at hente, køre og ændre modellen uden aftale med udbyderen.

Betydningen lå mindre i ydeevnen end i tilgængeligheden. Størrelserne var små nok til at køre lokalt på almindeligt udstyr, og det gav studerende, hobbyister og forskere adgang til at arbejde direkte med en sprogmodel i stedet for kun at kalde et API.

Feltet flyttede sig hurtigt efter foråret 2023. Senere åbne modeller i samme størrelsesklasse blev trænet på bedre kurateret data og med mere gennemarbejdede opskrifter, og de leverer markant mere brugbare svar per parameter.

Context window voksede også kraftigt i de følgende generationer. Fire tusinde tokens rækker til korte samtaler og enkeltdokumenter, men ikke til de arbejdsgange med lange dokumenter og RAG-opsætninger som senere er blevet normale.

Instruktionsfølgning og robusthed er det tredje område. StableLM blev udgivet før den bølge af finjustering på instruktions- og præferencedata der gjorde små modeller nogenlunde pålidelige som assistenter. Den er tilbøjelig til at afspore i længere dialoger og til hallucination på faktaspørgsmål.

Dertil kommer sprogdækning. Modellen er trænet med engelsk som hovedsprog og er ikke et rimeligt valg til dansk.

Til praktisk brug er svaret reelt nej. Der findes nyere åbne modeller i samme størrelsesorden med fri licens, og de er bedre på stort set alle parametre der betyder noget for et produkt eller et undervisningsforløb.

Den begrænsede rolle der er tilbage, ligger i forskning og dokumentation. Hvis du undersøger hvordan åbne sprogmodeller udviklede sig i 2023, eller sammenligner træningsopskrifter over tid, er StableLM et konkret referencepunkt med frit tilgængelige vægte.

Vælger du alligevel at køre den, så gør det med klare forventninger. Modellen er brugbar til at demonstrere hvordan inference fungerer lokalt, ikke til opgaver hvor svarets kvalitet har konsekvenser.