Interpretable weight-space programming builds transparent transformers and brain encoding models
- 발행일
- 출처
- arXiv
- 논문 번호
- 1471
- 분야
- Interpretability
- arXiv 번호
- 2611.18114
이 논문은 LLM 에이전트가 학습 없이 신경망 가중치를 직접 코드로 작성해 해석 가능하면서 예측력 높은 모델을 만드는 방법을 제안했다.
이 논문은 한마디로 에이전트가 역전파 학습 없이 가중치를 손으로 프로그래밍하는 해석 가능 모델 제작 방법 iWSP 를 소개한다. 에이전트는 평가 점수만 보고 반복 수정하며 사람이 읽을 수 있는 계산 구조를 만든다. 알고리즘 과제에서는 13개 전 과제에서 정확도 100% 를 달성했다. 뇌 활동 예측에서는 시각, 언어, 청각 영역에서 해석 가능한 기존 모델보다 나은 성적을 보였다.
핵심 요약
- iWSP 는 에이전트가 가중치를 코드로 직접 쓰게 하고 학습을 금지해 사람이 읽을 수 있는 모델을 반복 수정하게 만들었다.
- 13개 알고리즘 과제에서 모든 실행이 검증 집합과 숨은 집합에서 정확도 100% 를 달성했다.
- 정확도 100% 에 도달한 가장 작은 모델은 Opus 실행에서 중앙값 166 개 파라미터였다.
- 시각 피질 예측에서 NSD 데이터셋의 초기 시각 영역에서 iWSP 는 0.443 으로 최고 기존 해석 모델의 0.400 을 앞섰다.
- 언어 fMRI 에서 iWSP 는 성능이 0.067 에서 0.104 로 뛰는 지점을 추적해 스캔 시작과 끝의 타이밍 혼란 변수를 찾아냈다.
- 청각 ECoG 에서 iWSP 단독은 0.074 로 Whisper 의 0.082 에 못 미쳤지만 합치면 0.070 에서 0.075 로 성능이 올랐다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.