drumih/turbo-fieldfare

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

Apple Silicon Mac에서 Gemma 4 26B-A4B 모델을 약 2 GB RAM으로 돌리는 Swift와 Metal 기반 runtime입니다. 공유 코어와 KV cache만 메모리에 두고, 필요한 expert만 SSD에서 스트리밍합니다.

ATF에 주는 도움

우리 제품과는 느슨하게만 관련이 있고, Apple Silicon Mac을 대상으로 합니다. 그래도 메모리가 적은 장비에서 큰 모델을 돌리는 방법에 대해 AX 컨설팅에서 참고할 수 있습니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

• MoonshotAI/Kimi-K3
  Kimi K3는 전체 파라미터 2.8T, 활성 파라미터 104B인 open-weight 멀티모달 Mixture-of-Experts 모델이며, 1백만 token context window를 지원합니다. 텍스트, 이미지, 영상을 이해하고, 긴 시간이 걸리는 coding, 지식 업무, 추론을 목표로 합니다.
• lidge-jun/opencodex
  opencodex는 Codex의 Responses API를 다른 공급자의 형식으로 바꿔 주는 로컬 proxy로, streaming과 tool call도 함께 변환합니다. 이를 통해 Codex, Claude Code, Claude Desktop, Grok Build에서 Gemini, DeepSeek, Ollama 모델 같은 모델을 쓸 수 있습니다.
• lyogavin/airllm
  AirLLM은 모델 레이어를 하나씩 차례로 불러와 대형 언어 모델 추론에 필요한 GPU 메모리를 줄입니다. 양자화, 증류, 프루닝 없이 70B 모델을 4GB GPU 한 장에서 돌릴 수 있고, 학습 기능도 추가됐습니다.
• Robbyant/lingbot-map
  스트리밍 방식으로 3D 복원을 하는 feed-forward 모델입니다. Geometric Context Transformer가 anchor context, 자세 기준 창, 궤적 memory를 써서 긴 프레임 시퀀스에서 생기는 드리프트를 바로잡습니다.
• FareedKhan-dev/kimi-k3-in-c
  GPU, BLAS, 프레임워크 없이 CPU 하나에서 Kimi K3 추론을 돌리는 이식성 있는 C99 엔진이며, 모델을 디스크에서 읽어 옵니다. README는 최대 메모리 사용량이 8.24 GB이고 RAM을 늘리면 속도만 빨라진다고 적고 있습니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.