OpenAI: GPT-4

O GPT-4 é um modelo de texto da OpenAI, listado na api14 sob o id de modelo openai/gpt-4. Ele está na categoria de texto e é descrito pelo fornecedor como o modelo de linguagem de grande escala carro-chefe da OpenAI, construído para resolver problemas difíceis com maior precisão do que modelos anteriores, através de conhecimento geral mais amplo e raciocínio avançado. A data de lançamento do fornecedor é 2023-05-28, e o corte de conhecimento do modelo é 2021-09-30.

Na api14 o modelo aceita entrada de texto e devolve saída de texto. Tem um comprimento de contexto de 8191 tokens e um máximo de saída de 4096 tokens. Os parâmetros de pedido suportados incluem temperature, top_p, frequency_penalty, presence_penalty, stop, seed, logit_bias, logprobs, top_logprobs, max_tokens, max_completion_tokens, response_format, structured_outputs, tools e tool_choice. Essa combinação cobre controlos de amostragem, comportamento quase determinístico via seed, inspeção ao nível do token através de logprobs, e chamadas de funções através dos parâmetros tools.

Os usos práticos decorrem dessas capacidades. Raciocínio geral e resposta a perguntas com forte componente de conhecimento encaixam nos pontos fortes declarados do modelo. Prompts mais longos são viáveis dentro do contexto de 8191 tokens, pelo que sumarização de documentos, redação de vários parágrafos, extração e reescrita são tarefas razoáveis, desde que a entrada mais a saída pedida caibam na janela. Como tools e tool_choice são suportados, o modelo pode ser usado como o passo de raciocínio num agente ou fluxo de trabalho que chama funções externas. Saídas estruturadas e response_format ajudam quando precisa de resultados legíveis por máquina em vez de prosa livre, e logprobs ou top_logprobs são úteis quando quer inspecionar quão confiante o modelo estava em cada token, por exemplo em pipelines de classificação ou avaliação.

Chamá-lo através da api14 funciona da mesma forma que qualquer outro endpoint compatível com OpenAI. Envie um pedido de chat completions para o gateway com o campo model definido como openai/gpt-4, e passe os parâmetros escolhidos no corpo do pedido. Como a API é compatível com OpenAI, as bibliotecas de cliente OpenAI existentes e o código podem normalmente ser apontados para a api14 alterando o URL base e a chave de API, sem outras alterações à forma do pedido. Pode definir temperature e top_p para amostragem, max_tokens ou max_completion_tokens para limitar a resposta, sequências stop para terminar a geração mais cedo, e seed quando quer saídas mais repetíveis. Para uso de ferramentas, forneça tools e opcionalmente tool_choice; para resultados estruturados, use response_format ou structured_outputs.

Vale a pena ter em conta alguns limites. A janela de contexto de 8191 tokens é modesta para os padrões atuais, pelo que documentos muito longos ou conversas longas de vários turnos podem precisar de fragmentação ou corte. O corte de conhecimento de 2021-09-30 significa que o modelo não tem conhecimento de eventos posteriores a essa data, pelo que qualquer coisa sensível ao tempo deve ser fornecida no prompt ou obtida através de ferramentas. A entrada é apenas texto, pelo que imagens e áudio estão fora do âmbito aqui. Se a sua tarefa depende de um contexto muito maior, conhecimento mais recente, ou entrada não textual, um modelo diferente na api14 é provavelmente mais adequado.