Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct är en textgenereringsmodell från Nous Research, släppt den 16 augusti 2024. Det är en generalistisk språkmodell byggd som en uppgradering av Hermes 2, där leverantören beskriver förbättringar inom agentiska förmågor, rollspel, resonemang, flerturskonversation och lång kontextsammanhang. Modell-id:t på api14 är nousresearch/hermes-3-llama-3.1-405b.

Modellen tar emot textinmatning och returnerar textutmatning, så den passar standardarbetsbelastningar av chatt- och completion-typ. Den har ett kontextfönster på 131 072 tokens och en maximal utmatning på 16 384 tokens, vilket innebär att du kan skicka mycket långa prompter, dokument eller konversationshistorik och fortfarande lämna utrymme för ett omfattande svar. Dess kunskapsgräns är den 31 december 2023, så allt efter det datumet ligger utanför vad den lärde sig under träningen.

På grund av den långa kontexten och betoningen på flerturskonversation och agentiskt beteende passar modellen uppgifter som frågesvar på långa dokument, sammanfattning eller extrahering från stora indata, upprätthållande av sammanhängande dialog över många turer, och byggande av verktygsanvändande eller flerstegsagenter. Förbättringarna inom rollspel och resonemang gör den också till ett rimligt val för karaktärsdriven chatt, strukturerad brainstorming och uppgifter där modellen måste följa en persona eller en detaljerad instruktionsuppsättning under en lång session.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t nousresearch/hermes-3-llama-3.1-405b, vilket innebär att befintliga OpenAI-SDK:er och klienter fungerar med endast bas-URL och nyckel ändrade. De begärandeparametrar den stöder är frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k och top_p. Förekomsten av response_format och structured_outputs är användbar när du behöver JSON eller schemformad utmatning i stället för fritext, och seed hjälper när du vill ha mer reproducerbara genereringar.

Tänk på taket för utmatning: 16 384 tokens är generöst för de flesta chattsvar men inte för att generera mycket långa dokument i ett enda anrop, så planera uppdelning om du behöver mer. Kunskapsgränsen den 31 december 2023 innebär också att tidskänsliga frågor behöver hämtning eller färsk kontext som tillhandahålls i prompten. Om din arbetsbelastning är enbart text och ryms inom dessa gränser är denna modell ett enkelt val; om du behöver bild- eller ljudinmatning skulle du behöva en annan modell, eftersom denna endast hanterar text.