OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k, OpenAI tarafından geliştirilen ve sağlayıcı tarafından 28 Ağustos 2023 tarihinde yayımlanan bir metin modelidir. GPT-3.5 ailesinde yer alır ve standart GPT-3.5 Turbo'nun uzun bağlam varyantıdır, bu modelin bağlam uzunluğunun yaklaşık dört katını sunar. Özel amaçlı değil, genel amaçlı bir dil modelidir ve temel GPT-3.5 Turbo'nun sağladığından daha fazla alana tek bir istekte ihtiyaç duyan geliştiricilere yöneliktir.

Model girdi olarak metin kabul eder ve çıktı olarak metin döndürür. Bağlam penceresi 16.385 token'dır ve maksimum çıktı 4.096 token'dır. Bilgi kesim tarihi 30 Eylül 2021'dir, dolayısıyla bu tarihten sonraki her şey eğitim verilerinin dışındadır. Daha büyük bağlam buradaki ana ayırt edici unsurdur: OpenAI bunun tek bir istekte yaklaşık 20 sayfa metni desteklediğini belirtir, bu da onu kısa bir talimat yerine çok miktarda kaynak materyal taşıyan istemler için uygun hale getirir.

Bu kapasite pratik kullanım durumlarını şekillendirir. Uzun belgeleri özetlemek, yapıştırılmış bir derlem üzerinde soruları yanıtlamak, uzun raporlardan yapılandırılmış alanlar çıkarmak ve büyük miktarda önceki diyaloğu koruması gereken çok turlu konuşmalar, 16.385 token'lık pencereye sığar. Model araçları ve yapılandırılmış çıktıları desteklediği için, modelin bir araç seçip argümanları döndürdüğü function calling tarzı iş akışları için ve response_format aracılığıyla bir JSON şemasına uyması gereken yanıtlar için de kullanılabilir. Logprobs ve top_logprobs kullanılabilir, bu da yalnızca nihai metin yerine modelin token düzeyindeki güvenini incelemeniz gerektiğinde yardımcı olur.

Modeli api14'ün OpenAI uyumlu API'si aracılığıyla "openai/gpt-3.5-turbo-16k" model id'sini kullanarak çağırırsınız. Uç nokta OpenAI chat completions şeklini izlediği için, mevcut OpenAI SDK'ları ve istemcileri yalnızca bir temel URL ve anahtar değişikliğiyle çalışır. Desteklenen istek parametreleri frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs ve top_p'dir. Seed, tekrarlanabilir örnekleme istediğinizde kullanışlıdır ve stop dizileri üretimi sınırlamanıza olanak tanır.

Taahhüt etmeden önce tartılması gereken iki kısıt vardır. Eylül 2021 bilgi kesim tarihi, bu bağlamı kendiniz sağlamadığınız sürece modelin sonraki olaylardan, kütüphanelerden veya API'lerden haberdar olmadığı anlamına gelir ve 4.096 token'lık çıktı tavanı, girdi penceresi büyük olsa bile tek bir yanıtta ne kadar üretebileceğini sınırlar. Göreviniz daha güncel bilgi, daha uzun çıktı veya görüntü girdisi gerektiriyorsa, bu model bunu kapsamaz ve api14 üzerindeki farklı bir model daha iyi bir seçim olacaktır.