Vibra-Ingenn/Janus

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

gguf modelを自分の計算機で動かす単一のGo実行ファイルです。llama.cppを使いAMD、Intel、NVIDIAのグラフィックスのVulkanで動かし、無い場合はCPUで動かし、OpenAIと同じ形のAPIでchat completionsとmodelsを公開します。再起動せずにmodelを入れ替え、推論部分を別の項目に分け、chat templateをgguf情報から読み取ります。PythonやDockerは必要ありません。

ATFへの役立ち方

HarnessはAI作業のために外部の実行環境をつなぎますが、データを外に出せないため工場内の計算機で終える必要がある作業もあります。単一の実行ファイルで自前のハードウェア上でOpenAI形式のAPIに応答する方式は、そうした場合を検討するときに比較してみる価値があります。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• magnitudedev/magnitude
  ユーザーのハードウェア上でカーネルをコンパイルして調整するエージェント向け推論エンジンです。Apple Silicon、NVIDIA、AMDまたはCPUで公開モデルを実行し、デスクトップアプリとCLIから既存のエージェントに接続します。
• ProjectDMX/DMI
  LLMの推論と学習中の内部状態を確認する、分離型の非同期観測バックエンドです。HuggingFace、vLLM、Megatron-LMとの連携を提供する研究プレビュー段階で、APIは変更される可能性があります。
• ninjahawk/livenerf
  公開後のモデル能力の変化を追跡する長期ベンチマークです。固定したプロンプト、CLIバージョン、採点基準、保存した生ログを使います。
• deepopen-com/deepopen
  Layaを基盤とする多言語の構造化意思決定エンジンです。トークンを順に生成せず、1回の順伝播で複数の次元を分類します。
• basetenlabs/baseten-switch
  対応するコーディング実行器の要求を標準プロバイダーとBasetenモデルの間で切り替えるローカルmacOSアプリとゲートウェイです。全体の切り替えとクライアント別モデル設定を提供し、ベータ段階です。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。