Microsoft: Phi 4

Microsoft Phi 4 is een tekstmodel van Microsoft, uitgebracht op 10 januari 2025 en op api14 geïdentificeerd als microsoft/phi-4. Het komt van Microsoft Research, de groep achter de Phi-familie, en de provider beschrijft het als een model met 14 miljard parameters dat is gebouwd om goed te presteren op complexe redeneertaken en tegelijk efficiënt te werken in situaties met beperkt geheugen of waar snelle reacties nodig zijn. Het valt in de categorie tekst, dus het is gericht op taalwerk en niet op afbeeldingen of audio.

Het model accepteert tekstinvoer en retourneert tekstuitvoer. Het heeft een contextvenster van 16.384 tokens en een maximale uitvoer van 14.745 tokens, met een kennisafsluitdatum van 30 juni 2024. De ondersteunde aanvraagparameters zijn frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k en top_p. Die combinatie dekt de gebruikelijke sampling-besturing plus gestructureerde uitvoer, wat belangrijk is als je wilt dat het antwoord aan een schema voldoet in plaats van als vrije tekst binnenkomt.

Die mogelijkheden wijzen op een paar praktische toepassingen. Redeneerintensieve prompts zoals meerstapsanalyse, wiskundige problemen en logische vragen zijn de aangegeven focus, dus het past bij taken waarbij het model tussentijdse stappen moet doorlopen voordat het antwoordt. Omdat het is ontworpen om efficiënt te draaien met beperkt geheugen en snel te reageren, past het ook bij latency-gevoelige of resource-beperkte implementaties, waaronder lokale of zelf-gehoste opstellingen waar een kleiner model de voorkeur heeft boven een zeer groot model. Gestructureerde uitvoer en response_format maken het bruikbaar voor extractie en classificatie, waarbij je JSON of een andere gedefinieerde vorm terug wilt krijgen. De context van 16.384 tokens ondersteunt redelijk lange invoer zoals documenten, transcripties of codebestanden, hoewel het geen long-context-model is.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id microsoft/phi-4. Richt je bestaande OpenAI-client op de api14 base URL, houd de chat completions-stijl van aanvragen aan en stel het model-veld in op dat id. Je kunt alle hierboven genoemde parameters in de request body doorgeven, dus temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format en structured_outputs zijn allemaal beschikbaar om het antwoord af te stemmen of te beperken.

De belangrijkste beperking om in gedachten te houden is het contextvenster. Met 16.384 tokens, met maximaal 14.745 tokens uitvoer, is het een goede match voor gerichte prompts en middelgrote documenten, maar als je invoer een grote codebase, een lang boek of een lange gespreksgeschiedenis is, zal een model met een grotere context je beter van dienst zijn. De kennisafsluitdatum van 30 juni 2024 betekent ook dat het model geen weet heeft van gebeurtenissen na die datum, dus alles wat tijdsgevoelig is, moet in de prompt worden aangeleverd.