magnitudedev/magnitude

출처
GitHub
처음 오른 날
분야
모델 추론
GitHub 별 수
5,717
주 언어
Rust
웹사이트
magnitude.dev (새 탭에서 열림)

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

magnitudedev/magnitude

무엇을 하나

사용자 하드웨어에서 커널을 컴파일하고 조정하는 에이전트용 추론 엔진입니다. Apple Silicon, NVIDIA, AMD 또는 CPU에서 공개 모델을 실행하며 데스크톱 앱과 CLI로 기존 에이전트에 연결합니다.

ATF에 주는 도움

Harness의 실행 백엔드 후보로 로컬 추론과 에이전트 연결 방식을 비교해 볼 수 있습니다. 하드웨어별 조정과 세션 간 접두사 캐시 공유가 비교 항목입니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

  • ProjectDMX/DMI
    LLM 추론과 학습 중 내부 상태를 살펴보는 분리형 비동기 관측 백엔드입니다. HuggingFace, vLLM, Megatron-LM 연동을 제공하는 연구 미리보기 단계이며 API는 바뀔 수 있습니다.
  • ninjahawk/livenerf
    출시 후 모델 능력의 변화를 추적하는 장기 벤치마크입니다. 고정한 프롬프트, CLI 버전, 채점 기준과 보관한 원시 로그를 사용합니다.
  • deepopen-com/deepopen
    Laya 기반의 다국어 구조화 의사결정 엔진입니다. 토큰을 차례로 생성하지 않고 한 번의 순전파로 여러 차원을 분류합니다.
  • basetenlabs/baseten-switch
    지원하는 코딩 실행기의 요청을 기본 제공자와 Baseten 모델 사이에서 전환하는 로컬 macOS 앱과 게이트웨이입니다. 전체 전환 스위치와 클라이언트별 모델 설정을 제공하며 베타 단계입니다.
  • firelex/jeff
    Qwen3.5와 Gemma 4를 미세 조정한 분류 모델입니다. 자연어로 설명한 상황과 선택지를 받아 텍스트 생성 없이 선택지별 확률을 반환합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.

GitHub에서 보기 (새 탭에서 열림)