Cohere

Cohere blev grundlagt i 2019 og har hovedkvarter i Toronto. Platformen er bygget til virksomheder, der skal have sprogmodeller ind i eksisterende systemer, ikke til forbrugerprodukter. Målgruppen er typisk teams med krav til datahåndtering, driftsstabilitet og kontraktforhold.

Det, der skiller tilgangen ud, er vægten på retrieval frem for chat. Hvor de fleste udbydere sælger en generel assistent, er Cohere bygget op omkring byggeblokke til søgning: en embedding-model, en rerank-model og generative Command-modeller, der er tunet til at svare ud fra fremsøgte dokumenter.

Det gør udbyderen mest relevant, hvis din opgave er at gøre en stor intern dokumentmængde søgbar og besvarbar. Skal du bygge et bredt forbrugerprodukt med tale, billeder og lange værktøjskæder, er katalogget smallere end hos de største udbydere. Aya-modellerne og den flersprogede profil betyder til gengæld, at dansk og andre mindre sprog ikke er en eftertanke.

Du kommer i gang med en API-nøgle og et af de officielle SDK'er til Python eller TypeScript. Alt ligger bag et RESTful API, så du kan også kalde direkte med HTTP, hvis dit sprog ikke er dækket. Dokumentationen er skrevet til udviklere, der allerede ved, hvad et embedding er.

En typisk opbygning følger tre trin. Du embedder dine dokumenter og lægger vektorerne i en vector database, henter kandidater ved forespørgsel, kører dem gennem Rerank og sender de bedste videre til en Command-model med streaming til brugeren. Hvert trin kan bruges alene, så du kan starte med kun at forbedre søgningen i et system, du allerede har.

Friktionen ligger sjældent i selve API'et. Den ligger i, at der er færre blogindlæg, kodeeksempler og Stack Overflow-svar end for de store udbydere. Du skal oftere læse den officielle dokumentation grundigt frem for at kopiere et færdigt mønster. Chunking, metadata og evaluering af søgekvalitet er stadig dit eget arbejde.

Den tungeste binding er ikke det generative kald, men dine embeddings. Skifter du embedding-model, skal hele dit indeks bygges om, og det kan tage tid og koste ved store dokumentsamlinger. Planlæg for det fra start, og gem de rå dokumenter et sted, du selv kontrollerer.

Rerank er nemmere at udskifte, men det er også det trin, der ofte giver den største kvalitetsforbedring. Bygger du din evaluering op omkring det, skal du måle igen, hvis du skifter.

På datasiden ligger hovedkvarteret uden for EU, så afklar konkret, hvor inference kører, og få databehandleraftale og eventuelle regionsvalg på plads, før du sender persondata gennem systemet. Har du krav om, at data ikke forlader egen infrastruktur, skal du tage den dialog tidligt, fordi den slags opsætninger normalt hører under en enterprise-aftale.

En anden udbyder passer bedre, hvis du laver et lille sideprojekt, har brug for multimodal input eller et stort økosystem af færdige integrationer. Til semantisk søgning og RAG i en virksomhedskontekst er argumentet omvendt stærkt.