Amazon: Nova Lite 1.0

Amazon Nova Lite 1.0은 2024년 12월 5일에 출시된 Amazon의 텍스트 생성 모델입니다. Amazon의 Nova 모델 제품군에 속하며 멀티모달 작업을 위한 빠르고 저렴한 옵션으로 자리매김하고 있습니다. 이 모델은 api14에서 amazon/nova-lite-v1로 식별되며, Amazon이 개발자이자 제공자입니다.

이 모델은 텍스트와 이미지 입력을 받아 텍스트 출력을 생성합니다. 컨텍스트 윈도우는 300,000 토큰으로, 매우 긴 문서, 긴 대화 또는 대량의 이미지와 텍스트 모음을 단일 요청으로 처리할 수 있습니다. 최대 출력은 5,120 토큰이므로 입력이 큰 경우에도 응답 크기가 제한됩니다. 지식 컷오프는 2024년 10월 31일이며, 이는 해당 날짜 이후의 이벤트에 대한 정보가 프롬프트에 제공되지 않는 한 모델이 이를 알지 못한다는 의미입니다. Amazon은 이 모델을 이미지, 비디오, 텍스트 입력을 빠르게 처리하여 텍스트 출력을 생성하는 데 중점을 둔 모델로 설명하므로, 멀티모달 입력에서의 속도가 설계의 핵심입니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 이미지와 텍스트를 모두 읽기 때문에 이미지 내용을 설명하거나 요약하기, 스크린샷이나 스캔한 문서에서 정보 추출하기, 그림과 서면 지침이 혼합된 질문에 답하기 같은 작업에 적합합니다. 300,000 토큰 컨텍스트는 긴 보고서, 장시간의 채팅 기록 또는 더 작은 윈도우에 들어가지 않을 자료 묶음에 활용할 수 있습니다. 5,120 토큰 출력 상한은 한 번의 호출로 매우 긴 문서를 생성하는 것보다 요약, 답변, 분류 및 짧은 생성 문단에 더 적합하다는 의미입니다. 이미지를 보고 텍스트로 답해야 하는 어시스턴트를 만드는 개발자나 대량의 혼합 입력을 빠르게 처리해야 하는 파이프라인이 자연스러운 사용자층입니다.

이 모델은 모델 id amazon/nova-lite-v1을 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 형식을 따르므로 기존 OpenAI 클라이언트 라이브러리와 요청 형태는 일반적으로 모델 이름만 바꾸면 작동합니다. 지원되는 요청 파라미터는 max_tokens, stop, temperature, tools, top_k, top_p입니다. tools 파라미터는 함수 또는 도구 호출이 가능하다는 의미이므로, 외부 함수를 언제 호출할지 스스로 결정하는 에이전트 스타일 구성에서 모델을 사용할 수 있습니다. temperature, top_k, top_p는 샘플링을 제어하며, stop은 생성을 종료하는 시퀀스를 정의하고 max_tokens는 응답 길이를 제한합니다.

확정하기 전에 고려할 만한 몇 가지 제한이 있습니다. 출력은 5,120 토큰으로 제한되므로 매우 긴 단일 응답이 필요하다면 출력 한도가 더 높은 모델이 더 적합할 수 있습니다. 2024년 10월 31일 지식 컷오프는 이후 이벤트에 대한 질문에 관련 컨텍스트를 프롬프트에 포함해야 한다는 의미입니다. 이 모델은 텍스트만 출력하므로 이미지를 생성할 수 없습니다. 작업이 순전히 텍스트이고 이미지 입력이나 매우 큰 컨텍스트의 이점이 없다면 더 단순한 텍스트 전용 모델로 충분할 수 있습니다.