karpathy/nanochat

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

GPU 노드 한 대에서 자신만의 chat LLM을 학습하고 대화해 볼 수 있는 작은 코드베이스로, tokenization, pretraining, finetuning, 평가, 추론을 모두 다룹니다. depth 설정 하나로 나머지 하이퍼파라미터가 정해집니다.

ATF에 주는 도움

관련은 약합니다. Harness executor 뒤에 있는 언어 모델이 어떻게 학습되고 평가되는지 이해하는 공부 자료로 참고할 수 있지만, 가져다 쓸 구성 요소는 아닙니다.

라이선스

MIT 허용 범위가 넓습니다. 저작권 표시를 유지하면 상업적 이용과 수정이 가능합니다.

같은 분야 저장소

• jundot/omlx
  Apple Silicon Mac용 로컬 LLM 추론 서버로, macOS 메뉴 막대에서 관리합니다. continuous batching을 쓰고 KV cache를 메모리와 SSD에 나눠 두어 지난 context를 여러 요청에서 다시 씁니다.
• maderix/ANE
  역공학으로 알아낸 비공개 API를 써서 Apple Neural Engine에서 직접 신경망을 학습시키는 연구용 개념 증명입니다. CoreML 학습 API, Metal, GPU를 쓰지 않으며, 작성자는 유지보수되는 프레임워크가 아니라고 밝힙니다.
• TheTom/turboquant_plus
  TurboQuant+는 PolarQuant와 Walsh-Hadamard 회전으로 transformer의 KV cache를 압축하는 TurboQuant 연구 구현입니다. Python 참조 구현, 검증 논문, benchmark 데이터를 담고 있습니다.
• AlexsJones/llmfit
  llmfit은 컴퓨터의 CPU, RAM, GPU, VRAM을 확인해 그 장비에서 돌릴 수 있는 오픈소스 LLM과 양자화 방식을 추천합니다. 터미널 UI, 웹 대시보드, REST API를 제공하고, 로컬에서 실제 초당 토큰 수를 측정하는 벤치마크도 할 수 있습니다.
• google-ai-edge/gallery
  기기 안에서 도는 생성형 AI 사례를 보여 주는 앱입니다. 모바일 기기에서 오픈소스 모델을 오프라인으로 직접 써 볼 수 있습니다. thinking mode가 있는 채팅과 Wikipedia 같은 tool을 더하는 agent skill이 들어 있습니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.