LiquidAI: LFM2.5-24B-A2B

LiquidAI: LFM2.5-24B-A2B는 LiquidAI의 텍스트 모델입니다. 총 24B 파라미터와 2.45B 활성 파라미터를 가진 mixture-of-experts 추론 모델입니다. 제공자는 이 모델이 항상 답변 전에 추론하며, 도구를 호출하는 에이전트를 위해 만들어졌다고 설명합니다. 텍스트 카테고리에 속하므로 텍스트를 입력받아 텍스트를 출력합니다.

이 모델은 텍스트 입력을 받아 텍스트 출력을 생성하며, 컨텍스트 윈도우는 128,000 토큰이고 최대 출력은 8,192 토큰입니다. 추론 모델이므로 답변을 생성하기 전에 추론을 거치며, include_reasoning과 reasoning 파라미터로 응답에서 그 추론이 처리되는 방식을 제어할 수 있습니다. 또한 tools와 tool_choice 파라미터를 통한 도구 사용을 지원하며, 출력 형태를 제한하기 위한 structured outputs와 response_format도 지원합니다. 샘플링 동작은 temperature, top_k, min_p, frequency_penalty, presence_penalty, repetition_penalty, seed, stop으로 조정할 수 있고, 토큰 수준 확률이 필요하면 logprobs와 top_logprobs를 사용할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도를 가리킵니다. 도구 호출 에이전트가 가장 명확한 적합 용도인데, 이 모델은 추론한 뒤 도구를 호출하도록 설계되어 조회, 함수 호출, 단계 연결이 필요한 워크플로에 알맞습니다. 구조화된 출력은 문서에서 필드를 추출하거나 다른 시스템에 입력되는 기계 판독 가능 결과를 반환하는 데 합리적인 선택입니다. 128,000 토큰 컨텍스트 윈도우는 대형 문서, 긴 대화 기록, 상당한 크기의 코드 파일 같은 긴 입력을 지원하며, 추론 단계는 다단계 분석이나 계획처럼 답변 전에 문제를 검토하는 것이 도움이 되는 작업에 유용합니다.

모델은 모델 id "liquid/lfm-2.5-24b-a2b"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 요청은 OpenAI chat completions 형식을 따르므로 기존 OpenAI SDK와 클라이언트는 base URL과 모델 id만 바꾸면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, include_reasoning, logprobs, max_completion_tokens, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs입니다.

출력 상한을 염두에 두세요. 응답은 8,192 토큰으로 제한되므로 매우 긴 단일 답변이 필요한 작업은 호출을 나눠서 처리해야 할 수 있습니다. 이 모델은 텍스트 전용이므로 입력에 이미지나 오디오가 포함되면 다른 모델이 필요합니다. 추론과 도구 호출이 가치를 더하지 않는 단순한 대량 텍스트 생성에는 더 단순한 모델이 더 저렴하고 빠를 수 있지만, 에이전트 스타일 작업과 구조화된 추출 작업에는 이 모델의 기능 구성이 잘 맞습니다.