Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0, Amazon tarafından sunulan ve Nova model ailesinin bir parçası olan yalnızca metin tabanlı bir modeldir. Amazon bu modeli 5 Aralık 2024 tarihinde yayımlamıştır ve model, bu ailedeki en düşük gecikme süreli seçenek olarak konumlandırılmıştır. Girdi ve çıktı modalitelerinin her ikisi de metin olduğundan, çok modlu girdi veya çıktı yerine hızlı metin yanıtlarına ihtiyaç duyan geliştiricileri hedefler.

Model, metin istemlerini kabul eder ve metin tamamlamaları döndürür. 128.000 token bağlam penceresine sahiptir; bu, tek bir istekte uzun belgeleri, genişletilmiş konuşmaları veya büyük referans malzemesi gruplarını tutmak için yeterlidir. Maksimum çıktısı 5.120 token olduğundan, ne kadar girdi gönderirseniz gönderin yanıtlar bu uzunlukla sınırlıdır. Bilgi kesim tarihi 31 Ekim 2024'tür; bu, bu tarihten sonraki her şeyin modelin eğitim sırasında öğrendiklerinin dışında olduğu anlamına gelir. Her iki yönde de görüntü, ses veya video desteği yoktur.

Yalnızca metin tabanlı olması ve düşük gecikme için ayarlanmış olması nedeniyle Nova Micro 1.0, hızın derin akıl yürütmeden daha önemli olduğu işlere uygundur. Tipik kullanımlar arasında hızlı yanıtlara ihtiyaç duyan sohbet asistanları ve müşteri destek botları, gelen metnin sınıflandırılması ve yönlendirilmesi, bağlam penceresine sığan uzun belgelerin özetlenmesi, yapılandırılmamış metinden yapılandırılmış alanların çıkarılması ve hafif içerik üretimi yer alır. 128.000 token bağlam ile 5.120 token çıktı üst sınırının birleşimi, getirilen pasajları isteme yapıştırıp kısa ve dayanaklı bir yanıt istediğiniz erişim artırımlı üretim için de uygundur. Araç çağırma kullanılabilir, böylece modelin hangi aracı çağıracağına karar verdiği ajan tarzı iş akışlarında işlev çağrılarını yönlendirebilir.

Modeli api14'ün OpenAI uyumlu API'si üzerinden "amazon/nova-micro-v1" model kimliğiyle çağırırsınız. Arayüz OpenAI sohbet tamamlamaları biçimini izlediğinden, mevcut bir OpenAI istemcisini api14'ün temel URL'sine yönlendirip model alanını değiştirebilirsiniz; isteğinizde başka bir yapısal değişiklik gerekmez. Desteklenen istek parametreleri max_tokens, stop, temperature, tools, top_k ve top_p'dir. Yanıt uzunluğunu 5.120 token çıktı sınırı içinde sınırlamak için max_tokens, üretimi seçilen bir dizide durdurmak için stop, örnekleme rastgeleliğini denetlemek için temperature ile birlikte top_p veya top_k ve modelin çağırabileceği işlevleri bildirmek için tools kullanın.

Bu modeli seçerken kısıtları göz önünde bulundurun. Yalnızca metin işler, bu nedenle görüntü veya ses içeren görevler farklı bir model gerektirir. 5.120 token çıktı üst sınırı çok uzun tek yanıtları dışlar ve Ekim 2024 bilgi kesim tarihi, istemde siz sağlamadıkça yakın tarihli olayların kapsanmadığı anlamına gelir. Bir görev daha ağır akıl yürütmeye veya çok modlu girdiye bağlıysa, katalogdaki başka bir model büyük olasılıkla daha iyi bir seçenektir.