Mistral: Mistral Medium 3.5 (batch)

Mistral Medium 3.5 (batch), Mistral AI tarafından geliştirilen bir metin üretim modelidir ve api14 üzerinde mistralai/mistral-medium-3-5:batch olarak tanımlanır. Bu, yoğun bir 128B talimat takip eden modeldir, yani tüm parametreleri her istekte etkindir ve bir uzman karışımı düzeni üzerinden yönlendirilmez. Batch varyantı, bu uç nokta aracılığıyla sunulan sürümdür ve model api14 üzerinde metin kategorisinde yer alır.

Model metin, görsel ve dosya girdilerini kabul eder ve yalnızca metin döndürür. Bağlam penceresi 262.144 tokendır ve maksimum çıktı uzunluğu 209.715 tokendır, böylece tek bir çağrıda çok büyük girdiler alabilir ve uzun yanıtlar üretebilir. Metinle birlikte görseller ve dosyalar da kabul edildiğinden, yazılı talimatları görsel veya belge içeriğiyle birleştiren karma istemler gönderebilirsiniz ve model yanıtını üretmeden önce tüm bunlar üzerinde akıl yürütür.

Bu yetenekler birkaç pratik kullanıma işaret eder. Büyük bağlam penceresi, aksi takdirde sonuçları parçalayıp birleştirmeniz gereken uzun belgeler, kod tabanları veya çok dosyalı girdiler üzerinde çalışmaya uygundur. Görsel girdisi, ekran görüntülerini, diyagramları veya taranmış sayfaları metin talimatlarıyla karıştıran görevler için modeli uygun hale getirir. Mistral, modeli ajan tabanlı iş akışları, kodlama ve karmaşık görevler için tasarlanmış olarak tanımlar, bu nedenle araç çağırma ve yapılandırılmış üretim makul başlangıç noktalarıdır. Batch varyantı, gecikmenin en çok önemli olduğu etkileşimli sohbet yerine, birçok istek gönderip sonuçları topladığınız çevrimdışı veya verim odaklı işler için doğal bir seçimdir.

Modeli, mistralai/mistral-medium-3-5:batch model kimliğini kullanarak api14'ün OpenAI uyumlu API'si aracılığıyla çağırırsınız. Uç nokta frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools ve top_p parametrelerini destekler. Pratikte bu, örneklemeyi temperature, top_p ve iki ceza parametresiyle kontrol edebileceğiniz, çıktıyı max_tokens ile sınırlayabileceğiniz, rastgeleliği seed ile sabitleyebileceğiniz ve durdurma dizilerini tanımlayabileceğiniz anlamına gelir. Yapılandırılmış işler için response_format ve structured_outputs yanıtın biçimini kısıtlamanıza olanak tanır; tools ve tool_choice işlev çağırmayı destekler ve reasoning parametreleri modelin ne kadar içsel akıl yürütme sergilediğini veya gerçekleştirdiğini ayarlamanıza izin verir.

Dikkate alınması gereken bir nokta batch tanımlamasıdır. Uygulamanız düşük gecikmeli, sıra sıra yanıtlar gerektiriyorsa, batch olmayan bir model muhtemelen daha uygun olacaktır ve yalnızca metin girdisi ve çıktısına ihtiyaç duyuyorsanız da aynısı geçerlidir, çünkü görsel ve dosya kipliği kullanılmadan kalır. 262.144 tokenlık bağlam ve 209.715 tokenlık çıktı tavanı cömerttir, ancak yine de sonludur, bu nedenle aşırı büyük derlemeler çağrılar arasında bölünmeyi gerektirebilir. Bu sınırlar içinde model, tek bir uç noktadan uzun bağlamlı metin işlerini, çok kipli istemleri, kodlamayı ve araç güdümlü ajan akışlarını kapsar.