Qwen 2

Qwen 2 udkom 6. juni 2024 og var Alibabas dengang nyeste generation af åbne sprogmodeller. Familien spændte fra 0,5B til 72B parametre, så den samme arkitektur kunne bruges både på små enheder og på servere med flere GPU'er. Modellerne blev udgivet med en licens der tillader kommerciel brug.

Træningen byggede på 7T tokens med tydelig vægt på kinesisk, og det prægede profilen. Qwen 2 var på udgivelsestidspunktet et af de stærkeste åbne valg til kinesisk tekst, og den klarede sig også godt på kodning og matematisk problemløsning. Context window på 32.768 tokens rakte til lange dokumenter og større kodefiler.

Betydningen lå især i, at en stor kinesisk udbyder lagde en komplet modelfamilie åbent frem. Det gav udviklere uden for Alibabas eget økosystem adgang til vægtene og mulighed for fine-tuning og lokal inference.

Qwen-serien er siden blevet opdateret flere gange, og hver generation har flyttet både kvalitet og brugbarhed. De nyere modeller håndterer længere kontekst, følger instruktioner mere præcist og er trænet på større og bedre filtrerede datamængder.

Samtidig er hele feltet af åbne modeller rykket. Reasoning-orienteret træning, bedre værktøjskald og mere stabil struktureret output er blevet standard i modeller udgivet efter Qwen 2. En model fra midten af 2024 mangler typisk de dele, eller har dem i en tidlig og mindre pålidelig form.

Økosystemet omkring modellerne har også ændret sig. Nyere Qwen-versioner er bedre understøttet i de gængse inference-servere og quantiseringsformater, mens ældre vægte gradvist får mindre opmærksomhed i værktøjskæden.

For nye projekter er svaret reelt nej. Der findes nyere Qwen-modeller i sammenlignelige størrelser, de er lige så frit tilgængelige, og de er bedre på stort set alle de opgaver Qwen 2 blev brugt til. Vælger du Qwen 2 i dag, betaler du samme hostingomkostning for et svagere resultat.

Der er to undtagelser. Den ene er forskning, hvor du sammenligner generationer eller reproducerer resultater fra artikler der brugte netop disse vægte. Den anden er systemer der allerede kører stabilt på Qwen 2, hvor en fine-tunet variant er valideret og en opgradering kræver ny evaluering.

De helt små varianter på 0,5B og 1,5B har historisk interesse som tidlige eksempler på brugbare modeller til begrænset hardware. Også her er nyere modeller i samme størrelsesklasse dog det bedre udgangspunkt.