OpenAI o1-mini

OpenAI o1-mini udkom 12. september 2024 som den lille udgave af OpenAIs første reasoning-modeller. Ideen bag serien var at lade modellen bruge ekstra beregning på at tænke sig frem til et svar før den svarer, i stedet for at producere output i ét træk. o1-mini var den billige indgang til den arbejdsmåde.

Modellen var snævert rettet mod STEM. Kodegenerering, debugging, matematik og trinvis teknisk problemløsning var det den var trænet og indrettet til, og den havde en mindre bred almenviden end de større søskendemodeller. Til gengæld var svartiden og prisen lavere, hvilket gjorde det praktisk at bruge reasoning på opgaver hvor det tidligere var for dyrt.

Teknisk har den et context window på 128.000 tokens og træningsdata frem til oktober 2023. Parameterantallet er ikke offentliggjort. Prisen var 0,003 USD per 1.000 input-tokens og 0,012 USD per 1.000 output-tokens, og en del af de fakturerede output-tokens gik til modellens interne ræsonnement, som du ikke fik at se.

Reasoning-modeller udviklede sig hurtigt efter 2024. Senere generationer blev bedre til at fordele deres tænketid efter opgavens sværhedsgrad, og de blev mere stabile på lange kæder af mellemregninger, hvor o1-mini oftere mister tråden.

Samtidig blev de tidlige begrænsninger i platformen ryddet af vejen. o1-mini understøtter ikke function calling, og det gør den svær at bruge i agent-opsætninger og værktøjskald, som er blevet standard i nyere modeller. Multimodalitet, struktureret output og streaming kom også først ordentligt på plads i de efterfølgende generationer.

Prisniveauet er den sidste faktor. Omkostningen per token faldt markant i årene efter, så argumentet om at o1-mini var den billige vej til reasoning holder ikke længere. Nyere små modeller leverer mere for mindre.

Reelt nej, ikke til nyt arbejde. Modellen er lukket og hostet, så du kan ikke køre den lokalt eller studere vægtene, og de argumenter der holder liv i ældre open source-modeller gælder derfor ikke her. Til produktionsbrug er der ingen opgavetype hvor o1-mini er det oplagte valg i dag.

Den eneste praktiske grund til at røre den er kontinuitet. Har du et system med prompts og evalueringer der er finjusteret til netop denne model, kan det give mening at lade det køre til en migrering er planlagt. Vær opmærksom på at OpenAI har udfaset o1-mini i API'et, så den plan bør ikke udskydes.

Historisk er modellen stadig interessant. Den markerer det punkt hvor test-time compute gik fra forskningsidé til noget du kunne købe per token.