jundot/omlx

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

Apple Silicon搭載Mac向けのローカルLLM推論サーバーで、macOSのメニューバーから管理します。continuous batchingを使い、KV cacheをメモリとSSDに分けて保持し、過去のcontextを複数のリクエストで再利用します。

ATFへの役立ち方

Harnessがローカルで動かすモデルに作業を渡す場合、比較する価値があります。リクエスト間でKV cacheを再利用する方式は、contextが変わる長いagentセッションの参考になります。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• TheTom/turboquant_plus
  TurboQuant+は、PolarQuantとWalsh-Hadamard回転でtransformerのKV cacheを圧縮するTurboQuantの研究実装です。Pythonの参照実装、検証論文、benchmarkデータを収めています。
• karpathy/nanochat
  GPUノード1台で独自のchat LLMを学習して対話できる小さなコードベースで、tokenization、pretraining、finetuning、評価、推論をすべて扱います。depth設定一つで残りのハイパーパラメータが決まります。
• google-ai-edge/gallery
  端末上で動く生成AIの事例を紹介し、モバイル端末でオープンソースモデルをオフラインのまま試せるアプリです。thinking modeを備えたチャットと、Wikipediaなどのtoolを加えるagent skillが含まれます。
• maderix/ANE
  リバースエンジニアリングで得た非公開APIを使い、Apple Neural Engine上で直接ニューラルネットワークを学習させる研究用の概念実証です。CoreMLの学習API、Metal、GPUは使わず、作者は保守されるフレームワークではないと明言しています。
• shiyu-coder/Kronos
  Kronosは、金融のローソク足(K-line)データで事前学習したdecoder-onlyのfoundation modelファミリーです。tokenizerが価格と出来高の系列を離散tokenに変換し、それで学習したTransformerを予測などの定量タスクに使います。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。