OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch), OpenAI tarafından sunulan bir metin üretim modelidir ve burada openai/gpt-4o:batch model kimliğiyle sunulmaktadır. GPT-4o ailesine aittir; buradaki "o" harfi "omni" anlamına gelir ve OpenAI bunu hem metin hem de görüntü girdilerini destekleyip metin çıktısı üreten bir model olarak tanımlar. Batch varyantı, aynı temel modelin etkileşimli bir iş akışı yerine bir batch iş akışı üzerinden sunulmasıdır; bu da onu acil yanıt gerektirmeyen işler için uygun hale getirir.

Yetenekler açısından model, girdi olarak metin, görüntü ve dosya kabul eder ve yalnızca metin döndürür. 128.000 token bağlam penceresine sahiptir ve tek bir yanıtta en fazla 16.384 token üretebilir. Bilgi kesim tarihi 31 Ekim 2023'tür; dolayısıyla bu tarihten sonraki her şey modelin kendi eğitiminden değil, prompttan veya bir araçtan gelmelidir. Desteklenen istek parametreleri arasında temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs ve top_logprobs ile birlikte response_format, structured_outputs, tools, tool_choice, prediction ve web_search_options bulunur.

Bu yetenekler oldukça geniş bir pratik kullanım kümesine işaret eder. Metinle birlikte görüntü ve dosya iletilebildiği için model; belge inceleme, taranmış veya PDF materyalinden çıkarım yapma ve aksi halde daha küçük bir bağlam penceresini aşacak uzun raporların özetlenmesi için uygundur. 128.000 tokenlık pencere ayrıca büyük kod tabanlarını, uzun transkriptleri veya çok belgeli kümeleri tek bir istekte analiz etmeyi makul kılar. Araç çağırma ve yapılandırılmış çıktılar, modelin makine tarafından okunabilir JSON döndürmesi veya harici fonksiyonları çağırması gereken ardışık düzenler için onu bir aday haline getirir; batch yolu ise toplu sınıflandırma, içerik etiketleme veya büyük bir korpus genelinde özet üretme gibi çevrimdışı işlere uygundur.

api14 üzerinden çağırmak, diğer herhangi bir OpenAI uyumlu uç noktayla aynı şekilde çalışır. model alanı openai/gpt-4o:batch olarak ayarlanmış şekilde chat completions rotasına bir istek gönderirsiniz ve istek gövdesinde yukarıda listelenen parametrelerden herhangi birini iletebilirsiniz. Uç nokta OpenAI şemasını izlediği için mevcut OpenAI istemci kütüphaneleri ve SDK'ları genellikle değişiklik yapılmadan çalışır ve modeller arasında geçiş yapmak genellikle model kimliğini değiştirmekten ibarettir.

Akılda tutulması gereken bir nokta, 31 Ekim 2023 olan bilgi kesim tarihidir; bu, sonraki olaylarla ilgili soruların prompt aracılığıyla veya web_search_options aracılığıyla temellendirilmesi gerektiği anlamına gelir. Çıktı yalnızca metindir, dolayısıyla görüntü üretimi kapsam dışıdır. İş yükünüz batch işleme yerine eşzamanlı, düşük gecikmeli bir yanıt gerektiriyorsa, batch olmayan bir GPT-4o varyantı daha doğal bir seçim olacaktır.