microsoft/BitNet

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

bitnet.cpp는 1비트 LLM을 위한 공식 추론 프레임워크로, CPU와 GPU용 최적화 kernel을 제공합니다. 1비트 embedding 모델과 이를 변환하고 실행하는 가이드도 공개했습니다.

ATF에 주는 도움

고객 현장이 이미 가진 CPU 서버에서 언어 모델이나 embedding 모델을 돌려야 할 때 AX consulting에서 비교해 볼 만합니다. 1비트 embedding 모델은 사양이 낮은 장비에서 Company Brain 검색을 구성할 때도 참고할 수 있습니다.

라이선스

MIT 허용 범위가 넓습니다. 저작권 표시를 유지하면 상업적 이용과 수정이 가능합니다.

같은 분야 저장소

• RunanywhereAI/runanywhere-sdks
  하나의 C++ 코어를 공유하는 SDK 모음으로, LLM, 비전, 음성, voice agent, embedding, RAG, 이미지 생성을 휴대폰, 브라우저, 데스크톱, 서버에서 로컬로 실행합니다. capability registry가 각 호출을 기기 안의 엔진으로 보냅니다.
• Lordog/dive-into-llms
  상하이교통대학 강의에서 나온 무료 중국어 LLM 실습 튜토리얼 시리즈입니다. fine-tuning과 배포, prompt와 chain of thought, 지식 편집, 수학 추론, GUI agent, alignment를 슬라이드, 설명서, notebook으로 다룹니다.
• p-e-w/heretic
  directional ablation 기법으로 transformer 언어 모델에서 safety alignment에 따른 거절 동작을 없애는 CLI 도구입니다. Optuna 기반 optimizer가 거절을 줄이면서 원래 모델에서 크게 벗어나지 않는 파라미터를 찾습니다.
• deepseek-ai/Engram
  Engram은 대형 언어 모델의 conditional memory를 다룬 논문의 공식 구현입니다. N-gram embedding을 상수 시간에 조회할 수 있게 개선한 모듈로 정적 memory를 꺼내 hidden state와 합치며, Mixture-of-Experts를 보완합니다.
• AlexsJones/llmfit
  llmfit은 컴퓨터의 CPU, RAM, GPU, VRAM을 확인해 그 장비에서 돌릴 수 있는 오픈소스 LLM과 양자화 방식을 추천합니다. 터미널 UI, 웹 대시보드, REST API를 제공하고, 로컬에서 실제 초당 토큰 수를 측정하는 벤치마크도 할 수 있습니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.