Generated-Computers/Locals

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

複数エージェントの要求をApple Silicon Macで処理するローカル言語モデルサーバーです。モデルの重みそのものではなく、MLX系モデルを読み込み、バッチ処理とプロンプトキャッシュを提供する実行層です。会話とツール定義をAPIから受け取り、文章、ツール呼び出し、構造化JSONを返します。OpenAI互換に加え、Anthropic MessagesやOllama形式の対応要求を変換します。Apple Silicon M1以上、macOS 14以上、選択モデルに必要なメモリーと初回ダウンロードが必要です。既存アプリにはサーバーとモデルの設定、または提供される起動接続を別途指定します。一度に実行するモデルは一つで、GGUFをそのまま扱うサーバーではありません。高速化の数値は作者による特定機器と同時実行条件の結果で、単一要求、長い入力、他の量子化方式では変わります。既定のローカル接続に認証はないため外部公開に注意が必要で、Ollamaの埋め込みや画像理解など全機能を置き換えるものではありません。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• SheepSeb/tinyworldformer
  tinyworldformerは、Raspberry Pi Pico 2 W上で二つのニューラルネットワークにより小さなゲームを生成して遊ぶ実験です。環境予測モデルはトークン格子の現在画面と行動を入力とし、次の画面と報酬を予測します。別の行動モデルが生成画面から抽出した特徴を読み、次の行動を選ぶため、基板上の通常のゲームエンジンを操作する方式ではありません。環境予測モデルは一つのTransformerブロックを繰り返し使い、ボールやプレイヤーを一つだけ配置するなどの出力規則を加えます。PythonとPyTorchで学習し、量子化誤差を考慮した学習とエクスポートを通して、マイクロコントローラー、ホスト、WebAssembly向けのint8 Rust推論エンジンを作ります。学習は付属の小さなゲームで記録した状態遷移から始め、基板上で新しい強化学習の行動モデルを一遷移ずつ学習させることも選べます。行動モデルが予測環境の誤りを利用できるため、評価コードは生成した遷移を元のゲーム規則と照合します。汎用の動画世界モデルや産業シミュレーターではなく、READMEでは実機Picoのフレームレートは未測定とされ、確認したファイル一覧とパッケージ設定にもリポジトリのライセンスは見当たりませんでした。
• skyzh/tiny-llm
  tiny-llmは、ローカル言語モデル推論の内部を理解したいシステムエンジニア向けの実習教材です。Qwen3のモデル重みとトークン化した会話を入力とし、注意計算、サンプリング、反復生成を通してテキストを出力します。学習者はMLX配列、Python、C++、Metalで演算を実装し、MLXを正しさの基準と性能比較の対象にします。その後、過去の注意計算のキーと値を保持するKVキャッシュを、連続バッチ処理とページ単位のメモリ管理に結び付けます。第4週ではJSONの行動を検証し、変更前に承認を得て、観測可能な結果を記録する教育用コーディングエージェントを扱います。学習者用パッケージには未完成の演習があり、完成した参照実装とは別です。標準の対応環境は、指定のPython依存関係、Xcode、ネイティブ拡張のビルドツールを備えたApple Silicon Macです。本番用の隔離環境や永続的なトランザクションシステムではなく、実モデル用のエージェントコマンドが後半の再開機能や分岐機能をすべて統合するわけでもありません。
• Fractal-Compute-Orchestrations/FractalWorkspace
  FractalWorkspaceは、PythonサーバーとAndroid端末の計算クライアントをまとめる親ワークスペースと構成資料集です。READMEは、学習タスクを分配して返却チェックポイントを集約する流れと、モデル層を複数端末へ分ける推論を説明しています。入力はモデル、データ断片、端末登録、資源予算で、結果として集約モデル更新や推論出力を示しています。確認したサブモジュール設定はFractalCoreとFractalAndroidを分離しており、親リポジトリだけで計算サービスが稼働するわけではありません。文書上はPython、Androidビルドツール、対応端末、Firestoreを有効にしたFirebaseプロジェクト、サーバーとクライアントの設定が必要です。電池と温度の制限、タスクID、顧客別隔離はシステム契約として説明されていますが、今回の調査では構成部品コードの一貫した実装を検証していません。プライバシー説明はモデルとデータ片のダウンロードを示す図より広いため、元データが絶対に移動しないと仮定せず実際の経路を確認する必要があります。ライセンスは商用制限付きソース公開で、別途許可のない企業内部利用も制限しており、自由に導入できるオープンソース基盤ではありません。
• deepseek-ai/DeepInfer
  DeepInferはDeepSeekモデルの大規模推論用フレームワークで、公開版は完成したオンラインサービスではなくオフライン推論を提供します。モデル運用者がプロンプトとチェックポイントを入力すると、生成トークンとテキストを得られます。明記された対応モデルはDeepSeek-V4.1-Flashで、例にはテキストと画像の入力があります。最適化カーネル、データ並列とエキスパート並列、ドラフトトークンの検証、非同期スケジューリングで処理を構成します。正規表現、JSONスキーマ、文法による出力制約も提供します。Linux、Python 3.12、GCC 13以上とNVIDIA SM100またはHuawei Ascend 950が必要で、それぞれCUDA 13またはCANN 9.2を使います。開始用の例はHugging Faceから重みを取得するか、ローカルのチェックポイントを使います。完全なサービスにはKVキャッシュ機構、処理段階の分離、複製間の負荷分散が別途必要で、公開ベンチマークを一般PCの結果とみなすことはできません。
• deepseek-ai/deepseek-recipe
  deepseek-recipeは複数のAI API形式とDeepSeek推論基盤をつなぐRustライブラリーとPythonバインディング集です。Messages、Chat Completions、Responsesの要求を共通会話形式に変え、モデル用プロンプトとトークン入力に変換します。基盤の出力を各プロトコルの完成応答やストリーミングイベントへ戻す処理もあります。ツール定義、生成設定、構造化出力情報を扱いますが、実推論、ツール実行、HTTP転送は呼び出し側が提供します。Python 3.10以上に対応し、画像処理ではOpenCV設定とモデル別対応を確認する必要があります。DeepSeek V4は画像非対応で、V4.1の画像入力経路とは異なります。FastAPIの例は実モデルではなく固定回答の模擬推論を使います。例には認証とプライベートネットワーク宛て画像取得の遮断がないため、導入だけで公開運用サービスにはならず、出力制約の実際の強制も基盤側の責任です。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。