Moondream: Moondream 3.1은 Moondream이 만들었고, Reflection: Beam 1.0 501B A23B는 Reflection이 만들었습니다. 둘 다 api14에 텍스트 카테고리로 등록되어 있으므로, 특수 목적 단일 시스템이 아니라 범용 언어 모델입니다. 이름은 두 모델의 형태에 대해 알려줍니다. Moondream 3.1은 A2B 활성 파라미터 방식을 사용하는 9B 모델이고, Beam 1.0은 A23B 활성 파라미터를 사용하는 501B 모델입니다. 실제로 이는 Moondream이 더 작고 가벼운 옵션이며 Beam이 훨씬 더 큰 옵션이라는 뜻이고, 지연 시간과 처리량을 생각할 때 염두에 둘 만합니다.
가장 명확한 기능적 차이는 각 모델이 받는 입력과 할 수 있는 일에 있습니다. Moondream 3.1은 텍스트와 이미지 입력을 모두 받고 텍스트를 반환하므로, 둘 중 이미지를 볼 수 있는 유일한 모델입니다. Beam 1.0은 텍스트만 받습니다. 컨텍스트에서는 Beam이 훨씬 더 큽니다. Moondream 3.1은 32,000 토큰을 제공하고, Beam 1.0은 1,048,576 토큰을 제공하므로, 매우 긴 문서나 긴 대화 기록을 전달해야 한다면 Beam이 그것을 담을 수 있는 모델입니다. Beam은 또한 훨씬 더 넓은 요청 파라미터 집합을 노출합니다. 여기에는 tools, tool choice, structured outputs, response format, logprobs, top logprobs, logit bias, seed, stop, frequency 및 presence penalties, repetition penalty, min p, top k, reasoning effort가 포함됩니다. Moondream이 지원하는 파라미터는 더 좁습니다. include reasoning, max completion tokens, max tokens, reasoning, temperature, top p입니다. 따라서 도구 호출과 구조화된 출력은 Beam 전용이고, 추론 지원은 둘 다 있지만 그 부분에서 기록된 의미 있는 차이는 없습니다.
둘 중 하나를 고를 때는 입력 유형부터 시작하세요. 작업에 이미지, 스크린샷, 다이어그램 또는 텍스트와 함께 시각적 입력이 포함된다면 Moondream 3.1이 여기서 유일한 옵션이며, 그것으로 결정됩니다. 작업이 순수 텍스트라면 다음 질문은 길이와 구조입니다. 매우 긴 입력이나 청크로 나누지 않고 단일 호출 안에 넣어야 하는 것은 훨씬 더 큰 컨텍스트 창 때문에 Beam 1.0을 가리킵니다. 모델이 도구를 호출하거나, 특정 형식으로 구조화된 출력을 반환하거나, logprobs와 세밀한 샘플링 제어를 제공해야 한다면 역시 Beam이 그러한 파라미터를 지원하는 모델입니다. Moondream 3.1은 단순한 텍스트 생성을 위한 더 작은 모델을 원하거나 비전이 필요하고, 32,000 토큰 컨텍스트와 더 작은 파라미터 범위 안에서 작업해도 괜찮을 때 더 잘 맞습니다.
api14를 통해 어느 모델을 호출하든 방식은 같습니다. API가 OpenAI 호환되기 때문입니다. 기존 OpenAI 클라이언트를 api14 base URL로 지정하고, 평소의 chat completions 요청을 보내고, model 필드를 원하는 id로 설정하세요. Moondream을 사용하려면 model id를 "moondream/moondream3.1-9b-a2b"로 설정하세요. Beam을 사용하려면 "reflection/beam-1.0-501b-a23b"로 설정하세요. 요청 본문의 다른 모든 것은 같은 형태로 유지되므로, 둘 사이를 전환하는 것은 model id를 한 줄 바꾸는 것과, 둘 중 하나만 지원하는 파라미터를 사용하는 경우 그 파라미터를 더하는 것입니다. 도구나 구조화된 출력을 사용한다면 그것들은 Beam에 속한다는 점을 기억하세요. 따라서 그것들에 의존하는 요청은 변경 없이 Moondream으로 그대로 옮겨지지 않습니다.
다른 모델이 더 나은 경우도 여전히 있습니다. 워크로드가 텍스트 전용이고 짧으며 도구, 구조화된 출력 또는 거대한 컨텍스트가 필요 없다면 Moondream 3.1이 더 가벼운 호출이고 입력과 출력 모두에서 더 저렴합니다. Beam은 긴 컨텍스트, 도구 및 구조화된 출력 지원, 또는 더 넓은 샘플링 및 스코어링 파라미터가 필요할 때 더 나은 선택이며, 입력과 출력 모두에서 둘 중 더 저렴하기도 하므로 비용만으로 Moondream 쪽으로 밀리지는 않습니다. 실제 트레이드오프는 기능과 컨텍스트 대 Moondream만 이미지를 볼 수 있다는 사실입니다.