bojieli/ai-infra-book

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

하드웨어 제약과 모델 구조에서 출발해 LLM 추론과 학습 시스템 설계를 정량적으로 따져 보는 중국어 오픈소스 책입니다. 저장소에는 본문 전체, PDF, 계산 도구와 실험 자료가 들어 있습니다.

ATF에 주는 도움

모델 지연 시간과 비용이 왜 달라지는지 이해하는 배경 자료로, Harness에서 실행 도구를 고를 때 참고할 수 있습니다. 재사용할 소프트웨어가 아니라 책입니다.

라이선스

Apache-2.0 허용 범위가 넓고 특허 사용 허락이 포함됩니다. 상업적 이용이 가능하며 고지 문구를 유지하고 변경 사실을 밝혀야 합니다.

같은 분야 저장소

• modelscope/ms-cookbook
  ModelScope Cookbook은 open-source 모델로 실제 애플리케이션을 만드는 방법을 다루는 공개 가이드입니다. 모델 선택, 추론, fine-tuning, 평가, RAG, agent를 다루고, 기업 지식 Q&A와 고객 상담 품질 분석 같은 실행 가능한 예제를 담고 있습니다.
• experientiallabs/experiential
  호스팅 모델, BYOK 모델, 로컬 모델을 하나의 OpenAI 호환 API로 묶는 오픈소스 gateway입니다. 사용자와 agent별로 쓸 수 있는 모델과 지출 한도를 정하고, 실제 운영 트래픽으로 맞춤 router나 모델을 만들 수 있습니다.
• vinnylarouge/jevlike
  Jevlike는 텍스트 하나와 바뀌는 텍스트 선택지 목록을 받아, 한 번의 계산으로 선택지마다 확률을 하나씩 돌려주는 독립 스타터 모델입니다. 데모에서는 같은 방식으로 Doom 컨트롤러 버튼과 체스 수를 고릅니다.
• jingyaogong/minimind
  약 64M 파라미터의 작은 언어 모델을 PyTorch 기본 기능으로 처음부터 구현한 교육용 프로젝트입니다. 코드는 pretraining, SFT, LoRA, RLHF, tool use, distillation 같은 학습 전 과정을 다룹니다.
• PrismML-Eng/Bonsai-demo
  GPU나 CPU에서 Bonsai 언어 모델을 로컬로 실행하는 데모입니다. Bonsai 2 데모는 시각 입력, 도구 호출, MCP 서버 지원을 포함합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.