Tejas-TA/predikit
- 출처
- GitHub
- 처음 오른 날
- 분야
- 모델 추론
- GitHub 별 수
- 696
- 주 언어
- Python
외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나
predikit은 학습된 머신러닝 모델을 언어 모델 에이전트가 호출할 수 있는 형식 검증 도구로 제공하는 Python 라이브러리입니다. 개발자가 학습된 모델, Pydantic 입력 정의, 도구 설명, 결과 이름을 지정합니다. 라이브러리는 들어온 값을 검증하고 모델 특성에 맞춰 정렬한 뒤 예측을 실행해 이름이 붙은 결과 사전을 돌려줍니다. OpenAI 방식 도구 호출 규격, LangChain 도구, 일반 Python 함수를 만들며 여러 도구를 등록부로 묶습니다. 여러 모델의 결과를 모으거나 평균과 투표로 합칠 수 있고 가중치를 주는 방식도 제공합니다. 예측 확률이 있는 분류 모델은 신뢰도 기준에 따라 경고, 오류, 대체 도구 호출을 선택하며 비동기 호출은 별도 스레드에서 예측을 실행합니다. 선택 연동은 MLflow나 Snowflake의 모델을 불러오고 MCP 서버로 등록부를 공개하며, 기본 모델 지원은 scikit-learn 호환 추정기와 XGBoost를 대상으로 합니다. 특성 이름은 학습 열과 같아야 하고 이름 없는 배열은 필드 순서에 의존하며, 이 라이브러리가 모델을 학습하거나 확률 보정과 새로운 업무에서의 예측 타당성을 보장하지는 않습니다.
라이선스
MIT 허용 범위가 넓습니다. 저작권 표시를 유지하면 상업적 이용과 수정이 가능합니다.
같은 분야 저장소
- NVlabs/motionbricks
MotionBricks는 최근 자세와 지정한 목표 자세 사이를 잇는 짧은 사람 또는 휴머노이드 기준 동작을 생성합니다. 짧은 전환을 이어 긴 움직임을 만들려는 애니메이션과 로봇 시뮬레이션 개발자를 대상으로 합니다. 최근 자세 네 개와 목표 자세 한 개에서 네 개를 받아 초당 30개 자세를 기준으로 동작과 발 접촉 예측값을 반환합니다. 문서의 구조는 몸통 기준점의 경로와 시간 예측, 가려진 동작 기호 예측, 기호를 연속 동작으로 복원하는 처리로 나뉩니다. 확인한 생성 코드는 자세 개수와 출력 공간을 검사하고 화면 없는 예제는 생성한 마지막 자세를 다음 호출의 입력으로 사용합니다. SOMA와 Unitree G1 사전 학습 모델, 동작과 장면 편집기, Warp와 Newton 및 TensorRT 기반 Python 실행 환경을 제공합니다. 기본 실행 환경에는 NVIDIA GPU가 필요하며 README의 Windows와 Linux RTX 4090 시험 설명이 모든 장비의 호환성을 보장하지는 않습니다. 문장과 장면 형상은 모델 입력이 아니고 실제 로봇의 안전에는 별도 제어와 검증이 필요하며 코드, 문서, 모델 가중치, 예제 동작의 라이선스도 서로 다릅니다. - affifuddin-hazam/ghost-infer
ghost-infer는 GGUF라는 모델 파일 형식과 대화 입력을 받아 로컬에서 답변을 생성하는 Rust 기반 언어 모델 실행기입니다. 여러 사용자의 요청을 묶어 처리하는 서버보다 개인 사용자가 보유한 컴퓨터에서 모델을 사용하는 상황에 초점을 둡니다. 명령줄과 대화 화면을 제공하고, OpenAI 형식의 채팅 API로 답변을 스트리밍하거나 도구 호출 정보를 반환합니다. 도구 호출 정보는 실행 요청을 나타내며, 외부 Harness가 이 API를 사용할 때는 자체 실행 흐름과 도구를 제공해야 합니다. 일부 전문가만 선택해 계산하는 MoE 모델에서는 공통 계산을 GPU에 두고 전문가 가중치를 RAM과 GPU 캐시에 나누며, 나머지 계산을 CPU가 맡습니다. Windows 10 또는 11을 지원하며, GPU 실행에는 지원되는 NVIDIA 카드와 드라이버가 필요하고 소스 빌드에는 NVRTC라는 GPU 코드 컴파일 라이브러리도 필요합니다. 설치 프로그램은 필요한 컴파일 라이브러리를 포함하며, 기존 모델 파일을 사용하거나 모델을 내려받아 시작할 수 있어 핵심 추론에 외부 유료 모델 API가 필수는 아닙니다. 요청은 한 번에 하나씩 처리하며, 지원하는 모델 구조와 파일 형식에 제한이 있고 이미지 입력과 요청당 여러 답변 생성은 지원하지 않습니다. - wici-ai/inferssd
InferSSD는 RAM이나 GPU 메모리에 전부 넣기 어려운 MoE 모델을 SSD에서 읽어 실행하는 로컬 추론 엔진입니다. 모델 자체가 아니라 llama.cpp를 확장한 실행 도구이며 지원하는 GGUF 가중치와 사용자 요청을 입력받아 생성 결과를 반환합니다. 모델이 토큰마다 고른 전문가 가중치를 SSD에서 읽고 RAM 캐시에 두며 환경에 따라 CPU와 GPU 경로를 사용합니다. 브라우저 채팅과 OpenAI 호환 API를 제공해 외부 클라이언트를 연결할 수 있습니다. 가중치는 따로 내려받아야 하고 모델별로 큰 SSD 공간과 실행 중 작업 메모리가 필요합니다. 공식 문서는 Apple Silicon의 Metal과 Linux CUDA 환경을 설명하며 소스 빌드에는 Python과 C/C++ 도구 등이 필요합니다. Windows는 README 상단에 진행 중이라고 표시되지만 본문에는 Windows 11 패키지도 있어 실제 릴리스의 지원 백엔드를 별도로 확인해야 합니다. 모든 모델이나 하드웨어를 지원한다고 볼 수 없으며 속도는 SSD, 캐시와 요청 조건에 따라 달라집니다. 네트워크에 공개하는 API에는 인증이 없으므로 접근 통제가 필요하고 모델 가중치의 라이선스는 엔진과 별개입니다. 게시된 처리량만으로 답변 품질이나 우리 장비의 성능을 보장하지 않습니다. - canivel/dynolab
Dyno Lab은 로컬 모델의 동작을 관찰하고 가설을 시험하는 Apple Silicon용 연구 작업 앱입니다. 연구자는 질문과 프롬프트, 모델과 실험 설정을 입력해 응답, 활성화 측정값과 저장된 실험 자료를 얻습니다. 실행 요청을 살펴보는 화면, 연구 노트와 비교 실험, 선형 프로브와 작은 희소 오토인코더 작업을 제공합니다. 설치 앱에는 Python과 MLX가 포함되지만 모델 가중치는 별도로 받아 실행해야 합니다. 시작 환경은 Apple Silicon과 macOS 14 이상이며 큰 GGUF 모델을 위한 Windows NVIDIA 작업자 연결은 실험적 GPU 풀 기능입니다. 이미 적재된 모델의 활성화를 측정하는 방식과 별도 모델 사본을 띄우는 실험은 메모리 요구가 다릅니다. Python SDK, HTTP API와 로컬 stdio MCP 브리지를 제공하지만 MCP만 시작해도 모델이나 실험이 자동 실행되는 것은 아닙니다. 실험 결과는 로컬에 보관되지만 연결한 외부 어시스턴트가 읽은 결과를 제공자에게 보낼 수 있어 노출 범위를 확인해야 합니다. 활성화 크기와 모델이 출력한 생각은 안전성 인증이나 내부 추론의 충실한 설명이 아닙니다. 공식 자료도 탐색적 실험과 검증된 안전 감시기를 구분합니다. - huawei-csl/MACaQ
MACaQ는 지원 모델의 가중치와 일부 실행 방식의 활성값을 낮은 정밀도로 바꿔 로컬 추론에 필요한 자원을 줄이려는 보정 기반 양자화 도구입니다. 원본 모델 파일과 모델에 맞는 보정용 텍스트, 프롬프트, 조건 이미지를 입력으로 받아 작은 GGUF 또는 safetensors 모델 파일과 처리 설정을 남깁니다. 확인한 일반 텍스트 모델 경로는 활성값 통계로 가중치의 크기를 조정하고, 블록 Hadamard 변환으로 값의 분포를 바꾼 뒤 저비트 양자화와 코드북 보정을 수행합니다. 텍스트, 확산 생성, 음성 모델에 별도 연결 코드가 마련되어 있으므로 모델에 독립적이라는 표현을 모든 구조가 자동으로 지원된다는 뜻으로 이해해서는 안 됩니다. llama.cpp 경로는 가중치를 2비트, 3비트, 4비트로 저장하고, 다른 경로는 가중치와 활성값을 각각 4비트로 쓰는 W4A4 등을 제공하지만 일부 구성 요소는 높은 정밀도로 유지합니다. 변환을 포함한 일반 GGUF 경로는 함께 제공되는 실행기를 사용하고, MACaQ-R은 일부 MoE 모델의 기존 저장 형식을 유지하면서 가중치 코드를 보정해 일반 llama.cpp에서 사용할 수 있도록 설명되어 있습니다. 준비에는 실행 방식별 의존성, 일치하는 원본 가중치, 보정 자료, 작업용 저장 공간이 필요하며, 지침은 Python 3.12와 vLLM용 Linux를 명시하고 llama.cpp에는 CPU 경로도 제공합니다. 저장한 모델을 다시 불러올 때 보정을 반복하지는 않지만 실행기 호환성과 원본 모델의 라이선스는 여전히 확인해야 하며, 확산 모델 지침은 한 커뮤니티 음원 모델 파일의 라이선스가 불명확하다고 밝힙니다. README에 메모리, 속도, 모델 품질 수치가 제시되어 있으나 이번 조사에서 재현하지 않았으므로 다른 모델과 장비와 업무에서도 같은 결과가 난다고 단정할 수 없습니다.
Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.