maderix/ANE

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

リバースエンジニアリングで得た非公開APIを使い、Apple Neural Engine上で直接ニューラルネットワークを学習させる研究用の概念実証です。CoreMLの学習API、Metal、GPUは使わず、作者は保守されるフレームワークではないと明言しています。

ATFへの役立ち方

私たちの製品とは関係がありません。ランキングに入ったため掲載しています。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• karpathy/nanochat
  GPUノード1台で独自のchat LLMを学習して対話できる小さなコードベースで、tokenization、pretraining、finetuning、評価、推論をすべて扱います。depth設定一つで残りのハイパーパラメータが決まります。
• AlexsJones/llmfit
  llmfitはマシンのCPU、RAM、GPU、VRAMを調べ、その環境で動かせるオープンソースLLMと量子化形式を推奨します。ターミナルUI、Webダッシュボード、REST APIを備え、ローカルで実際の毎秒トークン数を測るベンチマークもできます。
• jundot/omlx
  Apple Silicon搭載Mac向けのローカルLLM推論サーバーで、macOSのメニューバーから管理します。continuous batchingを使い、KV cacheをメモリとSSDに分けて保持し、過去のcontextを複数のリクエストで再利用します。
• p-e-w/heretic
  directional ablationにより、transformer言語モデルからsafety alignmentによる拒否動作を取り除くCLIツールです。Optunaベースのoptimizerが、拒否を減らしつつ元のモデルから大きく離れないパラメータを探します。
• TheTom/turboquant_plus
  TurboQuant+は、PolarQuantとWalsh-Hadamard回転でtransformerのKV cacheを圧縮するTurboQuantの研究実装です。Pythonの参照実装、検証論文、benchmarkデータを収めています。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。