FlashML-org/FreeToken

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

GPU, CPU, 메모리에 작업을 나눠 대형 open-weight MoE 모델을 개인 하드웨어에서 돌리는 serving 엔진입니다. 코딩 agent가 연결할 수 있도록 Anthropic, OpenAI 호환 API를 제공합니다.

ATF에 주는 도움

Harness가 일을 넘기는 Claude Code, Codex 같은 executor가 호환 API로 부를 수 있는 로컬 모델 서버라는 점에서 비교해 볼 만합니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

• sgl-project/sglang
  LLM과 멀티모달 모델을 서빙하는 프레임워크입니다. DeepSeek, Qwen, Llama, GLM 같은 공개 모델을 서빙하고, 이미지와 영상 생성용 diffusion 모델도 다룹니다.
• cactus-compute/needle
  Needle 2는 tool calling, 기기 조작, 구조화된 정보 추출을 위한 45M 파라미터 공개 모델로, 14MB 엔진 하나에 들어갑니다. Python 패키지는 추론, LoRA fine-tuning, 내보내기를 지원하며, tool 호출을 신뢰도 점수와 함께 JSON으로 돌려줍니다.
• jingyaogong/minimind
  약 64M 파라미터의 작은 언어 모델을 PyTorch 기본 기능으로 처음부터 구현한 교육용 프로젝트입니다. 코드는 pretraining, SFT, LoRA, RLHF, tool use, distillation 같은 학습 전 과정을 다룹니다.
• unslothai/unsloth
  Unsloth는 LLM, diffusion, embedding, 오디오 모델을 실행하고 학습시키는 데스크톱 앱이며 GGUF와 MLX 형식을 지원합니다. 로컬 모델을 Claude Code, Codex, MCP와 함께 쓸 수 있고 웹 검색과 RAG도 제공합니다.
• experientiallabs/experiential
  호스팅 모델, BYOK 모델, 로컬 모델을 하나의 OpenAI 호환 API로 묶는 오픈소스 gateway입니다. 사용자와 agent별로 쓸 수 있는 모델과 지출 한도를 정하고, 실제 운영 트래픽으로 맞춤 router나 모델을 만들 수 있습니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.