Command R

Command R udkom 11. marts 2024 som Cohere's bud på en model bygget til virksomhedsbrug frem for til chat i almindelighed. Med 35B parametre lå den i en mellemklasse, hvor formålet var at køre store mængder dokumenter igennem uden at prisen løb løbsk. Træningsdata rakte frem til 2023.

Det centrale designvalg var retrieval. Modellen tog imod en samling hentede dokumenter og svarede med henvisninger til, hvilke passager svaret byggede på. Den slags grounding var på det tidspunkt noget, mange udviklere selv skulle bygge oven på en generisk model med prompt-teknik og efterbehandling.

Dertil kom et context window på 128.000 tokens og struktureret tool use. Tilsammen gjorde det Command R til en model, du kunne sætte ind i en RAG-pipeline uden at opfinde hele lagkagen selv. Prisen på 0,0005 USD per 1K input-tokens og 0,0015 USD per 1K output-tokens gjorde det realistisk at køre store dokumentmængder i produktion.

Udviklingen siden 2024 har flyttet sig på flere fronter samtidig. Nyere modeller er blevet markant bedre til flertrins-ræsonnement, og de holder styr på lange instruktioner og komplekse værktøjskæder på en måde, som denne generation ikke gør stabilt.

Samtidig er specialiseringen blevet mindre værd. Citationer, grounding og function calling er nu standardfunktioner i de fleste kommercielle modeller, ofte med bedre formatkontrol. Det, der i 2024 var et differentierende træk, er blevet en basisegenskab.

Prisbilledet er også forskudt. Nyere modeller i den lette ende leverer bedre kvalitet til lavere eller sammenlignelig pris, og lange kontekstvinduer er ikke længere noget, du vælger en model på. Endelig er vidensgrænsen i 2023 mærkbar i praksis, når du spørger om noget uden for de dokumenter, du selv leverer.

For nye projekter er svaret reelt nej. Cohere har efterfølgende udgivet nyere modeller i samme familie, og der er ikke nogen opgave, hvor Command R er det åbenlyse valg frem for dem.

Der er to undtagelser, der er værd at nævne. Hvis du har en eksisterende integration, der kører stabilt på Command R, er der ingen akut grund til at rive den ned, så længe modellen er tilgængelig hos udbyderen. Og vægtene findes offentligt, hvilket gør modellen brugbar til forskning og til lokal kørsel, hvor du har brug for at kontrollere hele stakken.

Uden for de tilfælde hører Command R primært hjemme som et historisk referencepunkt. Den viser, hvordan RAG gik fra at være en teknik, du byggede selv, til at være noget en model gjorde indbygget.