Microsoft: Phi 4

Microsoft Phi 4 to model tekstowy od Microsoftu, wydany 10 stycznia 2025 i identyfikowany w api14 jako microsoft/phi-4. Pochodzi z Microsoft Research, grupy stojącej za rodziną Phi, a dostawca opisuje go jako model o 14 miliardach parametrów zbudowany tak, aby dobrze radzić sobie ze złożonymi zadaniami rozumowania, jednocześnie działając wydajnie w sytuacjach z ograniczoną pamięcią lub tam, gdzie potrzebne są szybkie odpowiedzi. Należy do kategorii tekstowej, więc jest przeznaczony do pracy z językiem, a nie z obrazami czy dźwiękiem.

Model przyjmuje dane wejściowe w formie tekstu i zwraca dane wyjściowe w formie tekstu. Ma okno kontekstu wynoszące 16 384 tokeny i maksymalną długość odpowiedzi 14 745 tokenów, a jego data odcięcia wiedzy to 30 czerwca 2024. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k oraz top_p. Ten zestaw obejmuje typowe mechanizmy kontroli próbkowania oraz ustrukturyzowane dane wyjściowe, co ma znaczenie, jeśli odpowiedź musi być zgodna ze schematem, a nie mieć formę dowolnego tekstu.

Te możliwości wskazują na kilka praktycznych zastosowań. Zapytania wymagające intensywnego rozumowania, takie jak analiza wieloetapowa, zadania matematyczne i pytania logiczne, są głównym obszarem zastosowania, więc model nadaje się do zadań, w których musi przejść przez kroki pośrednie przed udzieleniem odpowiedzi. Ponieważ został zaprojektowany do wydajnego działania przy ograniczonej pamięci i szybkiego odpowiadania, pasuje również do wdrożeń wrażliwych na opóźnienia lub o ograniczonych zasobach, w tym do konfiguracji lokalnych lub hostowanych samodzielnie, gdzie mniejszy model jest lepszy niż bardzo duży. Ustrukturyzowane dane wyjściowe i response_format czynią go użytecznym do ekstrakcji i klasyfikacji, gdy potrzebny jest JSON lub inny zdefiniowany format. Kontekst 16 384 tokenów obsługuje średnio długie dane wejściowe, takie jak dokumenty, transkrypcje lub pliki kodu, choć nie jest to model o długim kontekście.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu microsoft/phi-4. Skieruj istniejącego klienta OpenAI na bazowy adres URL api14, zachowaj styl żądania chat completions i ustaw pole model na ten identyfikator. W treści żądania możesz przekazać dowolny z parametrów wymienionych powyżej, więc temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format oraz structured_outputs są dostępne, aby dostroić lub ograniczyć odpowiedź.

Głównym ograniczeniem, o którym trzeba pamiętać, jest okno kontekstu. Przy 16 384 tokenach, z maksymalnie 14 745 tokenami odpowiedzi, dobrze sprawdza się w przypadku skupionych zapytań i średniej długości dokumentów, ale jeśli dane wejściowe to duża baza kodu, długa książka lub obszerna historia rozmowy, lepiej posłuży Ci model z większym kontekstem. Data odcięcia wiedzy 30 czerwca 2024 oznacza również, że model nie ma świadomości zdarzeń po tej dacie, więc wszystko, co zależy od czasu, musi zostać dostarczone w zapytaniu.