Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct är en textgenereringsmodell från Nous Research, byggd på Llama 3.1 70B basen. Det är den tredje generationen av Hermes-linjen, och Nous beskriver den som en generalistisk språkmodell med förbättringar över Hermes 2, inklusive avancerade agentiska förmågor, bättre rollspel, resonemang, flerturskonversation och lång kontextsammanhang. Modellen släpptes av leverantören den 18 augusti 2024, och dess kunskapsavbrott är 31 december 2023.

Modellen accepterar textinmatning och returnerar textutmatning, så det är en ren språkmodell utan bild- eller ljudhantering. Dess kontextfönster är 131 072 tokens, vilket är tillräckligt stort för att rymma långa dokument, utökade konversationer eller stora kodfiler i en enda begäran. Den maximala utmatningen är 16 384 tokens, så svar kan vara långa, men de är begränsade väl under indatakontextens storlek. Eftersom kontexten är lång och modellen är trimmad för sammanhang över den, kan den användas för uppgifter där tidigare delar av en konversation eller ett dokument behöver förbli relevanta många turer senare.

Dessa förmågor pekar mot några praktiska användningar. Agentiska arbetsflöden är en uttalad styrka, så verktygsanrop och orkestrering av uppgifter i flera steg är rimliga användningsområden. Förbättringarna inom rollspel och flerturskonversation passar chattassistenter, karaktärsdrivna applikationer och interaktiva upplevelser som behöver konsekvent persona och minne över en lång session. Resonemang och lång kontextsammanhang gör den användbar för dokumentfrågor och svar, sammanfattning av långt material och kodassistans där en hel fil eller ett avsnitt av ett arkiv måste beaktas samtidigt. Strukturerade utdata stöds också, vilket hjälper när modellen måste returnera data i en fast form för nedströms parsning.

Du anropar modellen genom api14:s OpenAI-kompatibla API med modell-id "nousresearch/hermes-3-llama-3.1-70b". Eftersom slutpunkten följer OpenAI chat completions-formatet fungerar befintliga OpenAI SDK:er och klienter med endast en ändring av bas-URL och nyckel. De begärandeparametrar som stöds är frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k och top_p. Parametern seed möjliggör reproducerbar sampling, och structured_outputs begränsar genereringen till ett definierat schema. Observera att min_p, repetition_penalty och top_k inte är en del av standarduppsättningen av OpenAI-parametrar, så kontrollera att din klient skickar dem vidare i stället för att släppa okända fält.

De främsta begränsningarna att ha i åtanke är in- och utmatning endast för text, taket på 16 384 tokens för utmatning och kunskapsavbrottet den 31 december 2023, så allt efter det datumet ligger utanför modellens träningsdata. Om din uppgift är beroende av bild- eller ljudinmatning kommer denna modell inte att passa, och du skulle behöva en multimodell modell i stället. För arbete som ryms inom text och de angivna kontext- och utmatningsgränserna är Hermes 3 70B Instruct ett enkelt val genom api14-gatewayen.