Vicuna

Vicuna blev udgivet af LMSYS den 30. marts 2023 som en fine-tuned udgave af Llama. Træningen byggede på 70.000 samtaler delt af brugere via ShareGPT. Formålet var at vise, at en instruktionsfølgende chatbot kunne bygges oven på en åben basismodel med et forholdsvis lille datasæt.

Modellen kom i tre størrelser: 7B, 13B og 33B parametre. Den blev udgivet med et context window på 2.048 tokens og var rettet mod dialog, spørgsmål og svar samt almindelig tekstgenerering, primært på engelsk.

Betydningen lå i timingen. LMSYS beskrev Vicuna som en model, der nåede omkring 90 procent af ChatGPT-kvalitet, målt med en dommermodel. Den vurdering var metodisk usikker og blev diskuteret bredt, men den satte gang i en bølge af åbne chatmodeller finetuned på samtaledata. Vicuna blev samtidig et fast referencepunkt i forskning og i tidlige sammenligninger af open source-modeller.

Basismodellen er kernen i problemet. Vicuna arver egenskaberne fra første generation af Llama, og senere basismodeller er trænet på større og bedre kurateret data med mere gennemarbejdede træningsopskrifter. Forskellen mærkes i ræsonnement, kodning og evnen til at følge sammensatte instruktioner.

Context window er den anden begrænsning. 2.048 tokens rækker til korte samtaler, men ikke til lange dokumenter, omfattende RAG-opsætninger eller agent-lignende arbejdsgange. Nyere åbne modeller håndterer langt længere input som standard.

Fine-tuning-metoden er også overhalet. Vicuna byggede på supervised fine-tuning af indsamlede ChatGPT-samtaler. Senere modeller kombinerer større instruktionsdatasæt med præferenceoptimering, hvilket giver mere stabile svar og færre tilfælde af tydelig hallucination. Dertil kommer, at nutidens åbne modeller i samme størrelsesklasse typisk er flersprogede, mens Vicuna er koncentreret om engelsk.

Licensforholdene trak også ned. Vægtene blev distribueret som deltaer oven på Llama, og den oprindelige Llama-licens begrænsede kommerciel brug.

Til praktisk brug er svaret reelt nej. Hvis du vil køre en model lokalt på begrænset hardware, findes der nyere åbne modeller i tilsvarende parameterstørrelser, som er bedre på stort set alle parametre og har friere licenser. Der er ingen opgavetype, hvor Vicuna er det oplagte valg i dag.

Den historiske og forskningsmæssige rolle er en anden sag. Vicuna optræder som baseline i mange artikler fra 2023, og hvis du skal reproducere eller efterprøve de resultater, er modellen stadig relevant. Den er også et brugbart studieobjekt, hvis du vil forstå, hvordan instruction tuning på delte samtaler påvirker en basismodels adfærd.

Betragt den derfor som et referencepunkt i udviklingen af åbne chatmodeller, ikke som et værktøj du sætter i produktion.