karpathy/nanochat

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

GPUノード1台で独自のchat LLMを学習して対話できる小さなコードベースで、tokenization、pretraining、finetuning、評価、推論をすべて扱います。depth設定一つで残りのハイパーパラメータが決まります。

ATFへの役立ち方

関連は弱いです。Harnessのexecutorの背後にある言語モデルがどのように学習、評価されるかを理解する学習資料として参考になりますが、流用する部品ではありません。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• jundot/omlx
  Apple Silicon搭載Mac向けのローカルLLM推論サーバーで、macOSのメニューバーから管理します。continuous batchingを使い、KV cacheをメモリとSSDに分けて保持し、過去のcontextを複数のリクエストで再利用します。
• maderix/ANE
  リバースエンジニアリングで得た非公開APIを使い、Apple Neural Engine上で直接ニューラルネットワークを学習させる研究用の概念実証です。CoreMLの学習API、Metal、GPUは使わず、作者は保守されるフレームワークではないと明言しています。
• TheTom/turboquant_plus
  TurboQuant+は、PolarQuantとWalsh-Hadamard回転でtransformerのKV cacheを圧縮するTurboQuantの研究実装です。Pythonの参照実装、検証論文、benchmarkデータを収めています。
• AlexsJones/llmfit
  llmfitはマシンのCPU、RAM、GPU、VRAMを調べ、その環境で動かせるオープンソースLLMと量子化形式を推奨します。ターミナルUI、Webダッシュボード、REST APIを備え、ローカルで実際の毎秒トークン数を測るベンチマークもできます。
• google-ai-edge/gallery
  端末上で動く生成AIの事例を紹介し、モバイル端末でオープンソースモデルをオフラインのまま試せるアプリです。thinking modeを備えたチャットと、Wikipediaなどのtoolを加えるagent skillが含まれます。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。