Embed v3

Embed v3 blev udgivet 2. november 2023 og var Coheres daværende topmodel til embeddings. Den omsætter tekst til vektorer, som du kan bruge til at måle lighed i betydning. Den genererer ikke tekst selv, og den skal derfor altid indgå i et større system.

Modellen kom på et tidspunkt, hvor RAG var ved at blive den almindelige måde at koble sprogmodeller til egne data på. Kvaliteten af embedding-laget afgør, hvilke tekststykker der overhovedet når frem til den genererende model. Embed v3 gjorde det praktisk at bygge det lag på tværs af mange sprog, herunder dansk, uden en separat model per sprog.

Prisen på 0,0001 USD per 1K tokens gjorde det økonomisk overkommeligt at indeksere store dokumentsamlinger. Grænsen på 512 tokens per input betød til gengæld, at du skulle chunke længere tekster, før du sendte dem ind.

Udviklingen i embeddingmodeller er siden gået i flere retninger på én gang. Nyere modeller håndterer længere input, så du kan indeksere større tekstblokke uden at skære dem i småstykker først. Det mindsker tabet af sammenhæng mellem chunks og reducerer behovet for komplicerede chunking-strategier.

Den flersprogede kvalitet er også blevet bedre, særligt for sprog med begrænset træningsmateriale. Samtidig understøtter flere nyere modeller billeder og dokumentlayout i samme vektorrum, så du kan søge i skannede sider og tabeller. Det kan Embed v3 ikke.

Cohere har siden udsendt nyere generationer af Embed, og v3 er markeret som legacy. Den fungerer teknisk, men den er ikke udbyderens anbefalede valg til nye projekter.

For nye systemer er svaret reelt nej. Modellen er lukket og kun tilgængelig via API, så den har ikke den rolle i forskning eller på begrænset lokal hardware, som ældre open source-modeller kan have.

Der er én praktisk undtagelse, og det er eksisterende indeks. Vektorer fra forskellige embeddingmodeller kan ikke sammenlignes indbyrdes, så et skift kræver, at du genberegner embeddings for hele din samling. Har du et stort korpus i drift, kan det være rationelt at blive på Embed v3, indtil en migrering alligevel skal planlægges.

Bygger du fra bunden, bør du starte på en nuværende generation. Omkostningen ved at vælge rigtigt fra begyndelsen er lavere end ved at reindeksere alt senere.