cactus-compute/needle

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

Needle 2は、tool calling、デバイス操作、構造化抽出のための45Mパラメータの公開モデルで、14MBの単一エンジンに収まっています。Pythonパッケージは推論、LoRAファインチューニング、エクスポートを扱い、tool呼び出しを信頼度スコア付きのJSONで返します。

ATFへの役立ち方

信頼度のしきい値を上回れば実行し、下回ればエスカレーションする方式は、Harnessで結果を受け入れるかエスカレーションするかを検討する際の参考になり得ます。それ以外は私たちの製品との関係は薄いです。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• FlashML-org/FreeToken
  GPU、CPU、メモリに処理を分担させ、大規模なopen-weightのMoEモデルを個人のハードウェアで動かすservingエンジンです。コーディングagentが接続できるよう、AnthropicとOpenAI互換のAPIを提供します。
• unslothai/unsloth
  Unslothは、LLM、拡散、埋め込み、音声モデルを実行し学習させるデスクトップアプリで、GGUFとMLX形式に対応します。ローカルモデルをClaude Code、Codex、MCPと組み合わせて使え、ウェブ検索とRAGも備えます。
• sgl-project/sglang
  大規模言語モデルとマルチモーダルモデルのためのサービングフレームワークです。DeepSeek、Qwen、Llama、GLMなどの公開モデルを提供でき、画像や動画生成向けのdiffusionモデルも扱います。
• FareedKhan-dev/kimi-k3-in-c
  GPU、BLAS、フレームワークなしで、1つのCPU上でKimi K3の推論を動かす移植性のあるC99エンジンで、モデルをディスクから読み込みます。READMEでは、ピークメモリ使用量が8.24 GBで、RAMを増やすと速度だけが上がると書かれています。
• jingyaogong/minimind
  約64Mパラメータの小さな言語モデルを、PyTorchの基本機能でゼロから実装した教育用プロジェクトです。コードはpretraining、SFT、LoRA、RLHF、tool use、distillationなど学習の全工程を扱います。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。