Program-as-Weights: A Programming Paradigm for Fuzzy Functions

자연어 설명을 LoRA 가중치로 컴파일하는 'Program-as-Weights' 패러다임. 0.6B 모델이 32B급 성능을 로컬에서 달성.

LLM API에 의존하던 퍼지 함수(로그 필터링, JSON 수리, 의도 랭킹 등)를 자연어 명세에서 컴팩트한 LoRA 가중치로 컴파일하는 Program-as-Weights(PAW) 패러다임을 제안한다. 4B Qwen3 컴파일러가 10M 예제(FuzzyBench)로 학습되어, 0.6B Qwen3 인터프리터용 PEFT 어댑터를 생성한다. 결과적으로 0.6B 모델이 32B 직접 프롬프팅과 동등한 성능(73.78% vs 68.70%)을 내면서도 추론 메모리는 1/50, MacBook M3에서 30 tok/s로 로컬 실행된다.

핵심 요약

• 자연어 명세 → 의사 프로그램(텍스트) + LoRA 가중치(연속)의 하이브리드 '신경 프로그램'으로 컴파일하는 새로운 패러다임 제안
• FuzzyBench-10M: 29개 주제 버전, 800+ 카테고리, 1000만 예제의 퍼지 함수 데이터셋 공개
• 0.6B 인터프리터 + PAW 프로그램이 Qwen3-32B 직접 프롬프팅을 정확도로 능가 (73.78% vs 68.70%)
• MacBook M3에서 양자화 시 430MB 공유 베이스 + 23MB/함수 LoRA로 30 tok/s 오프라인 실행
• 비전-언어 모델로 컴파일러만 교체하면 이미지 조건부 퍼지 태스크로 확장 가능
• 컴파일된 프로그램은 버전 관리, 패키지 매니저 배포, Python/JS 2줄 API 호출이 가능한 재사용 가능 artifact

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.