AlexsJones/llmfit

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

llmfit은 컴퓨터의 CPU, RAM, GPU, VRAM을 확인해 그 장비에서 돌릴 수 있는 오픈소스 LLM과 양자화 방식을 추천합니다. 터미널 UI, 웹 대시보드, REST API를 제공하고, 로컬에서 실제 초당 토큰 수를 측정하는 벤치마크도 할 수 있습니다.

ATF에 주는 도움

AX consulting에서 고객 현장 장비로 어떤 오픈소스 LLM을 돌릴 수 있는지 확인할 때 참고할 수 있습니다.

라이선스

MIT 허용 범위가 넓습니다. 저작권 표시를 유지하면 상업적 이용과 수정이 가능합니다.

같은 분야 저장소

• maderix/ANE
  역공학으로 알아낸 비공개 API를 써서 Apple Neural Engine에서 직접 신경망을 학습시키는 연구용 개념 증명입니다. CoreML 학습 API, Metal, GPU를 쓰지 않으며, 작성자는 유지보수되는 프레임워크가 아니라고 밝힙니다.
• p-e-w/heretic
  directional ablation 기법으로 transformer 언어 모델에서 safety alignment에 따른 거절 동작을 없애는 CLI 도구입니다. Optuna 기반 optimizer가 거절을 줄이면서 원래 모델에서 크게 벗어나지 않는 파라미터를 찾습니다.
• karpathy/nanochat
  GPU 노드 한 대에서 자신만의 chat LLM을 학습하고 대화해 볼 수 있는 작은 코드베이스로, tokenization, pretraining, finetuning, 평가, 추론을 모두 다룹니다. depth 설정 하나로 나머지 하이퍼파라미터가 정해집니다.
• RunanywhereAI/runanywhere-sdks
  하나의 C++ 코어를 공유하는 SDK 모음으로, LLM, 비전, 음성, voice agent, embedding, RAG, 이미지 생성을 휴대폰, 브라우저, 데스크톱, 서버에서 로컬로 실행합니다. capability registry가 각 호출을 기기 안의 엔진으로 보냅니다.
• jundot/omlx
  Apple Silicon Mac용 로컬 LLM 추론 서버로, macOS 메뉴 막대에서 관리합니다. continuous batching을 쓰고 KV cache를 메모리와 SSD에 나눠 두어 지난 context를 여러 요청에서 다시 씁니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.