Relace: Relace Search

Relace Search é um modelo de texto da Relace, listado em api14 sob o id de modelo relace/relace-search. Ele está na categoria de texto e é construído em torno da exploração de bases de código, em vez de conversa geral. Segundo o fornecedor, o modelo usa 4 a 12 ferramentas view_file e grep em paralelo para explorar uma base de código e devolver os ficheiros relevantes para um pedido do utilizador. Isso coloca-o no espaço de recuperação, mas com uma abordagem agêntica em vez do padrão de embeddings e pesquisa vetorial usado pelo RAG.

O modelo recebe texto como entrada e devolve texto como saída. Tem uma janela de contexto de 256.000 tokens e uma saída máxima de 128.000 tokens, o que é suficientemente generoso para conter uma grande quantidade de material de origem juntamente com o pedido e ainda deixar espaço para uma resposta substancial. Os parâmetros de pedido suportados são max_tokens, response_format, seed, stop, temperature, tool_choice, tools e top_p. A presença de tools e tool_choice é consistente com o seu design orientado a ferramentas: espera-se que o modelo chame view_file e grep como parte da produção da sua resposta.

Os usos práticos decorrem desse design. Se estás a construir um assistente de programação, um agente que responde a perguntas sobre um repositório, ou um pipeline que precisa de localizar os ficheiros relevantes para um pedido de alteração, o Relace Search destina-se a essa tarefa. Em vez de incorporar uma base de código e esperar que a pesquisa por similaridade faça surgir os chunks certos, deixas o modelo decidir que ficheiros abrir e que padrões pesquisar com grep, e depois devolver os ficheiros relevantes. Também se adequa a fluxos de trabalho em que um passo a jusante precisa de uma lista reduzida de ficheiros em vez de um patch final, como triagem, integração num repositório desconhecido, ou definição de âmbito antes de uma edição.

Chamas-lo através da API compatível com OpenAI da api14 usando o id de modelo relace/relace-search. Como a interface segue a forma das chat completions da OpenAI, envias um pedido com o campo model definido para esse id e as tuas mensagens, e podes passar qualquer um dos parâmetros suportados: max_tokens, response_format, seed, stop, temperature, tool_choice, tools e top_p. Se o teu código existente já tem como alvo um endpoint compatível com OpenAI, mudar para este modelo é largamente uma questão de alterar a string do modelo e, quando relevante, fornecer definições de ferramentas.

Uma coisa a ponderar é o âmbito. A descrição do fornecedor enquadra o modelo em torno da exploração de bases de código com view_file e grep, pelo que tarefas que nada têm a ver com localizar ficheiros num repositório podem ser melhor servidas por um modelo de texto de uso geral. Se precisares de entrada de imagem ou áudio, este modelo não a aceita, uma vez que tanto a entrada como a saída são apenas texto.