Perplexity (pplx-70b-online)

pplx-70b-online blev udgivet i januar 2024 og var Perplexitys forsøg på at bygge søgning direkte ind i selve modellen i stedet for at lægge den udenpå. Den byggede på Llama med 70B parametre, men blev serveret sammen med et lag af real-time web search. Svarene blev genereret ud fra hentede kilder, ikke kun ud fra træningsdata.

Det var en tydelig markering på et tidspunkt, hvor de fleste sprogmodeller havde en fast cutoff-dato og ingen adgang til nettet. Kombinationen af generering og kildehenvisning gjorde det muligt at kontrollere, hvor et udsagn kom fra. For opgaver om aktuelle begivenheder var det en praktisk forskel, ikke en teoretisk.

Modellen tilbød desuden søgning gennem et almindeligt API til en pris på 0,001 USD per 1K tokens for både input og output. Det gjorde det muligt at bygge research-værktøjer uden selv at drive en søgeindeks-integration. Context window var 4.096 tokens, hvilket satte en klar grænse for, hvor meget hentet materiale der kunne indgå i ét svar.

Udviklingen siden 2024 har gjort søgning til en standardfunktion frem for et særkende. Både Perplexity selv og de fleste større udbydere tilbyder nu modeller med indbygget eller værktøjsbaseret webadgang, og retrieval er blevet en normal del af almindelige API-opsætninger.

Samtidig er basismodellerne blevet markant bedre. Nyere generationer håndterer længere kontekst, følger instruktioner mere præcist og er bedre til at vurdere modstridende kilder mod hinanden. Det lille context window i pplx-70b-online er den mest mærkbare begrænsning i dag, fordi moderne research-arbejdsgange typisk indebærer, at flere lange dokumenter læses i samme forespørgsel.

Hertil kommer, at værktøjskald og agent-lignende arbejdsgange er blevet mere modne. En nyere model kan søge flere gange, justere sin søgning undervejs og selv beslutte, hvornår materialet er tilstrækkeligt. Den slags iterativ adfærd lå uden for det, denne generation var bygget til.

Reelt nej, ikke som produktionsvalg. Perplexity har afløst online-modellerne med nyere navne i deres API, og der er ingen opgave, hvor pplx-70b-online løser noget bedre end de aktuelle alternativer. Det begrænsede context window alene gør den uegnet til de research-opgaver, den ellers var designet til.

Den har fortsat interesse som referencepunkt. Modellen er et af de tidlige eksempler på, at søgning blev integreret i selve produktet frem for overladt til brugeren, og den viser, hvordan citeret svargenerering blev normaliseret. Hvis du beskriver udviklingen af RAG og søgende sprogmodeller, hører den med i historikken.

Skal du bygge noget i dag, så vælg en aktuel model med søgeadgang. Er formålet at forstå, hvordan feltet bevægede sig i 2024, er den værd at kende.