NVIDIA/Model-Optimizer

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

양자화, 가지치기, 증류와 추측 디코딩을 제공하는 모델 최적화 라이브러리입니다. 추론 프레임워크용 최적화 체크포인트를 내보냅니다.

ATF에 주는 도움

Harness의 AI 실행을 뒷받침할 추론 인프라에서 모델 최적화 선택지를 비교할 때 참고할 수 있습니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

• Low-Zi-Hong/ESP32s3-LLM-Cluster
  ESP32-S3 노드 7개와 1.58비트 양자화를 사용하는 분산 언어 모델 추론 프로젝트입니다. 주 노드는 토큰화와 임베딩을 맡고 SPI로 연결된 노드들이 모델 계층을 처리합니다.
• Taichu-AI/ZDTaichu5.0-9B
  텍스트, 이미지, 영상을 지원하며 시각 이해, 공간 추론, 에이전트 도구 사용, 체화 AI 연구를 다루는 멀티모달 모델입니다. Qwen3.5-9B 언어 모델과 C-RADIOv4-H 시각 인코더를 결합합니다.
• Niko1221/Strata
  NVIDIA GPU가 있는 Windows와 Linux PC에서 Qwen3.8-Flash-Next를 실행하는 로컬 추론 엔진입니다. 저장소는 OpenAI 및 Anthropic 호환 로컬 API와 선택적인 이미지 입력을 설명합니다.
• mizorewww/laya-coreml
  Laya의 구조화된 판단 모델을 Apple Core ML과 Neural Engine으로 옮긴 저장소입니다. 토큰을 만들지 않고 기기에서 실행하며, 속도와 에너지 측정값과 Snake 데모를 함께 공개했습니다.
• firelex/jeff
  Qwen3.5와 Gemma 4를 미세 조정한 분류 모델입니다. 자연어로 설명한 상황과 선택지를 받아 텍스트 생성 없이 선택지별 확률을 반환합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.