wici-ai/inferssd

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

InferSSD는 RAM이나 GPU 메모리에 전부 넣기 어려운 MoE 모델을 SSD에서 읽어 실행하는 로컬 추론 엔진입니다. 모델 자체가 아니라 llama.cpp를 확장한 실행 도구이며 지원하는 GGUF 가중치와 사용자 요청을 입력받아 생성 결과를 반환합니다. 모델이 토큰마다 고른 전문가 가중치를 SSD에서 읽고 RAM 캐시에 두며 환경에 따라 CPU와 GPU 경로를 사용합니다. 브라우저 채팅과 OpenAI 호환 API를 제공해 외부 클라이언트를 연결할 수 있습니다. 가중치는 따로 내려받아야 하고 모델별로 큰 SSD 공간과 실행 중 작업 메모리가 필요합니다. 공식 문서는 Apple Silicon의 Metal과 Linux CUDA 환경을 설명하며 소스 빌드에는 Python과 C/C++ 도구 등이 필요합니다. Windows는 README 상단에 진행 중이라고 표시되지만 본문에는 Windows 11 패키지도 있어 실제 릴리스의 지원 백엔드를 별도로 확인해야 합니다. 모든 모델이나 하드웨어를 지원한다고 볼 수 없으며 속도는 SSD, 캐시와 요청 조건에 따라 달라집니다. 네트워크에 공개하는 API에는 인증이 없으므로 접근 통제가 필요하고 모델 가중치의 라이선스는 엔진과 별개입니다. 게시된 처리량만으로 답변 품질이나 우리 장비의 성능을 보장하지 않습니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

• canivel/dynolab
  Dyno Lab은 로컬 모델의 동작을 관찰하고 가설을 시험하는 Apple Silicon용 연구 작업 앱입니다. 연구자는 질문과 프롬프트, 모델과 실험 설정을 입력해 응답, 활성화 측정값과 저장된 실험 자료를 얻습니다. 실행 요청을 살펴보는 화면, 연구 노트와 비교 실험, 선형 프로브와 작은 희소 오토인코더 작업을 제공합니다. 설치 앱에는 Python과 MLX가 포함되지만 모델 가중치는 별도로 받아 실행해야 합니다. 시작 환경은 Apple Silicon과 macOS 14 이상이며 큰 GGUF 모델을 위한 Windows NVIDIA 작업자 연결은 실험적 GPU 풀 기능입니다. 이미 적재된 모델의 활성화를 측정하는 방식과 별도 모델 사본을 띄우는 실험은 메모리 요구가 다릅니다. Python SDK, HTTP API와 로컬 stdio MCP 브리지를 제공하지만 MCP만 시작해도 모델이나 실험이 자동 실행되는 것은 아닙니다. 실험 결과는 로컬에 보관되지만 연결한 외부 어시스턴트가 읽은 결과를 제공자에게 보낼 수 있어 노출 범위를 확인해야 합니다. 활성화 크기와 모델이 출력한 생각은 안전성 인증이나 내부 추론의 충실한 설명이 아닙니다. 공식 자료도 탐색적 실험과 검증된 안전 감시기를 구분합니다.
• huawei-csl/MACaQ
  MACaQ는 지원 모델의 가중치와 일부 실행 방식의 활성값을 낮은 정밀도로 바꿔 로컬 추론에 필요한 자원을 줄이려는 보정 기반 양자화 도구입니다. 원본 모델 파일과 모델에 맞는 보정용 텍스트, 프롬프트, 조건 이미지를 입력으로 받아 작은 GGUF 또는 safetensors 모델 파일과 처리 설정을 남깁니다. 확인한 일반 텍스트 모델 경로는 활성값 통계로 가중치의 크기를 조정하고, 블록 Hadamard 변환으로 값의 분포를 바꾼 뒤 저비트 양자화와 코드북 보정을 수행합니다. 텍스트, 확산 생성, 음성 모델에 별도 연결 코드가 마련되어 있으므로 모델에 독립적이라는 표현을 모든 구조가 자동으로 지원된다는 뜻으로 이해해서는 안 됩니다. llama.cpp 경로는 가중치를 2비트, 3비트, 4비트로 저장하고, 다른 경로는 가중치와 활성값을 각각 4비트로 쓰는 W4A4 등을 제공하지만 일부 구성 요소는 높은 정밀도로 유지합니다. 변환을 포함한 일반 GGUF 경로는 함께 제공되는 실행기를 사용하고, MACaQ-R은 일부 MoE 모델의 기존 저장 형식을 유지하면서 가중치 코드를 보정해 일반 llama.cpp에서 사용할 수 있도록 설명되어 있습니다. 준비에는 실행 방식별 의존성, 일치하는 원본 가중치, 보정 자료, 작업용 저장 공간이 필요하며, 지침은 Python 3.12와 vLLM용 Linux를 명시하고 llama.cpp에는 CPU 경로도 제공합니다. 저장한 모델을 다시 불러올 때 보정을 반복하지는 않지만 실행기 호환성과 원본 모델의 라이선스는 여전히 확인해야 하며, 확산 모델 지침은 한 커뮤니티 음원 모델 파일의 라이선스가 불명확하다고 밝힙니다. README에 메모리, 속도, 모델 품질 수치가 제시되어 있으나 이번 조사에서 재현하지 않았으므로 다른 모델과 장비와 업무에서도 같은 결과가 난다고 단정할 수 없습니다.
• Generated-Computers/Locals
  여러 에이전트의 요청을 Apple Silicon Mac에서 처리하도록 만든 로컬 언어 모델 실행 서버입니다. 모델 가중치 자체가 아니라 MLX 계열 모델을 불러와 배치 처리와 프롬프트 캐시를 제공하는 실행 계층입니다. 대화와 도구 정의를 API 입력으로 받고 응답 텍스트, 도구 호출과 구조화된 JSON을 반환합니다. OpenAI 호환 요청뿐 아니라 Anthropic Messages와 Ollama 형식의 일부 요청도 변환해 처리합니다. 시작하려면 Apple Silicon M1 이상과 macOS 14 이상, 선택한 모델이 들어갈 메모리와 최초 모델 다운로드가 필요합니다. 기존 앱을 쓰려면 서버 주소와 모델 설정 또는 제공되는 실행 연결을 별도로 지정해야 합니다. 모델은 한 번에 하나를 실행하며 GGUF 파일을 그대로 사용하는 서버는 아닙니다. 제작자가 제시한 가속 수치는 특정 기기와 동시 요청 조건의 결과이며 단일 요청, 긴 입력이나 다른 양자화 형식에서는 효과가 달라집니다. 기본은 인증 없는 로컬 연결이므로 외부 공개에 주의해야 하고 Ollama 임베딩 API나 이미지 이해 등 모든 원래 서비스 기능을 대체하지는 않습니다.
• SheepSeb/tinyworldformer
  tinyworldformer는 Raspberry Pi Pico 2 W에서 두 신경망으로 작은 게임을 생성하고 플레이하는 실험입니다. 환경 예측 모델은 토큰 격자 형태의 현재 화면과 행동을 받아 다음 화면과 보상을 예측합니다. 별도의 행동 모델은 생성된 화면에서 뽑은 특징을 읽고 다음 행동을 고르며 보드에서 일반 게임 엔진을 조작하는 방식이 아닙니다. 환경 예측 모델은 하나의 트랜스포머 블록을 여러 번 재사용하고 공이나 플레이어를 하나만 놓는 등의 출력 규칙을 더합니다. Python과 PyTorch로 학습하며 양자화 오차를 반영한 학습과 내보내기를 거쳐 마이크로컨트롤러, 호스트, WebAssembly용 int8 Rust 추론 엔진을 만듭니다. 학습은 제공된 작은 게임에서 기록한 상태 전이로 시작하며 보드에서는 새 강화학습 행동 모델을 한 전이씩 학습하는 기능을 선택할 수 있습니다. 행동 모델이 예측 환경의 오류를 이용할 수 있으므로 평가 코드는 생성된 전이를 원래 게임 규칙과 대조합니다. 범용 영상 환경 예측 모델이나 산업 시뮬레이터가 아니며 README는 실제 Pico의 초당 화면 수를 측정하지 않았다고 밝히고 확인한 파일 목록과 패키지 설정에서도 저장소 라이선스를 찾지 못했습니다.
• skyzh/tiny-llm
  tiny-llm은 로컬 언어 모델 추론의 내부를 이해하려는 시스템 엔지니어를 위한 실습 과정입니다. Qwen3 모델 가중치와 토큰으로 바꾼 대화를 입력받아 어텐션, 샘플링, 반복 생성을 거쳐 텍스트를 만듭니다. 학습자는 MLX 배열, Python, C++, Metal로 연산을 구현하고 MLX를 정확도 확인 기준과 성능 비교 대상으로 사용합니다. 이후 과정에서는 과거 어텐션의 키와 값을 보관하는 KV 캐시를 연속 배치와 페이지 단위 메모리 관리에 연결합니다. 4주차에는 JSON 행동을 검사하고 변경 전에 승인을 받으며 관찰 가능한 결과를 기록하는 교육용 코딩 에이전트를 다룹니다. 학습자 패키지에는 미완성 실습이 있으며 완성된 참조 구현과 구분됩니다. 지원하는 기본 실행 환경은 지정된 Python 의존성, Xcode, 네이티브 확장 빌드 도구를 갖춘 Apple Silicon Mac입니다. 운영용 격리 환경이나 영속적인 트랜잭션 시스템은 아니며 실제 모델용 에이전트 명령이 뒤쪽의 모든 재개 및 분기 기능을 함께 실행하는 것도 아닙니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.