PaLM 2

PaLM 2 blev offentliggjort af Google den 10. maj 2023 og var virksomhedens hovedmodel frem til Gemini-serien. Den afløste den oprindelige PaLM og blev grundlaget for de Google-produkter der på det tidspunkt brugte generativ tekst, blandt andet Bard og en række API-tilbud til udviklere.

Modellen har 340 milliarder parametre og et context window på 8.000 tokens. Den er trænet på multilingual og multi-domain data og dækker over 100 sprog, herunder dansk. Den håndterer tekstgenerering, kodegenerering, reasoning og oversættelse.

Betydningen lå især i bredden. PaLM 2 viste at én model kunne levere brugbare resultater på tværs af mange sprog og opgavetyper, uden at der skulle trænes separate modeller til hvert formål. Det var en af de modeller der gjorde flersproget arbejde til en standardforventning frem for en specialdisciplin.

Google erstattede PaLM 2 med Gemini-serien, og udviklingen siden 2023 har flyttet sig på flere fronter samtidigt. Context windows er vokset betydeligt, hvilket ændrer hvad der overhovedet kan lægges ind i en enkelt prompt. Med 8.000 tokens skal længere dokumenter opdeles eller behandles gennem RAG, hvor nyere modeller kan tage hele materialet ind på én gang.

Multimodalitet er den anden store forskel. PaLM 2 arbejder med tekst, mens senere generationer er bygget til billeder, lyd og i nogle tilfælde video fra bunden af. Dertil kommer funktioner som function calling, struktureret output og værktøjsbrug, som er blevet forventet infrastruktur i moderne API'er.

Kvaliteten i reasoning og kodegenerering er også forbedret gennem bedre træningsdata og efterbehandling. Det er en gradvis udvikling snarere end et enkelt spring, men samlet set løser nyere modeller flere opgaver korrekt i første forsøg.

Nej, ikke i praksis. PaLM 2 er en lukket model uden vægte til download, så den kan hverken køres lokalt eller bruges til forskning i modellens indre. Den eneste adgang går gennem Googles tjenester, og der er Gemini-modellerne det aktuelle valg.

Hvis du har eksisterende systemer bygget på PaLM 2-API'et, er migrering til Gemini det naturlige næste skridt. Prisen på 0,0005 USD per 1.000 input-tokens og 0,0015 USD per 1.000 output-tokens var konkurrencedygtig i sin tid, men prisniveauet i markedet har flyttet sig siden.

Den historiske interesse er reel nok. PaLM 2 dokumenterer et punkt i udviklingen hvor flersproget dækning og reasoning i samme model blev normalt, og den forklarer en del af hvordan Gemini-arkitekturen er tænkt. Til produktion bør du vælge noget nyere.