Agentic-imodels: Evolving agentic interpretability tools via autoresearch

Microsoft Research는 예측 정확도와 해석가능성 모두에 최적화된 머신러닝 모델을 AI 에이전트가 자율적으로 발견하고 개선하는 자가 연구 프레임워크 AGENTIC-IMODELS를 개발했다.

Microsoft Research는 예측 정확도와 해석가능성 모두에 최적화된 머신러닝 모델을 AI 에이전트가 자율적으로 발견하고 개선하는 자가 연구 프레임워크 AGENTIC-IMODELS를 개발했다. 이 시스템은 데이터 분석 과제에서 기존 AI 에이전트의 분석 성능을 향상시키는 모델을 생성하여, BLADE 벤치마크에서 평균 점수를 최대 72.5%까지 끌어올린다.

핵심 요약

• 기존의 해석가능 머신러닝(IML) 도구는 인간의 해석을 위해 설계되어, AI 에이전트가 안정적으로 파싱하고 활용하기 어려운 출력(예: 시각화)을 산출한다.
• 이 불일치는 자율 에이전트 데이터 과학(ADS) 시스템에서 신뢰할 수 없는 분석과 가려진 추론과 비효율적 워크플로로 이어진다.
• 에이전트 해석가능성에 대한 자동화되고 모델 비종속적인 지표가 부재하여 AI 중심 해석가능성 도구의 개발을 저해한다.
• 에이전트 기반 자가 연구 루프는 예측 성능과 새로운 LLM 채점 해석가능성 점수로부터의 피드백에 기반하여 Python 모델 구현을 반복적으로 수정한다.
• 모델의 문자열 표현으로부터 모델에 대해 추론하는 LLM의 능력을 200개의 개별 자동화 테스트를 사용해 정량화하는 새로운 '에이전트 해석가능성 점수'를 도입한다.
• 이 프레임워크는 높은 예측 성능(65개 데이터셋 전반의 순위화된 RMSE)과 높은 에이전트 해석가능성 점수(LLM 테스트 통과율)라는 결합된 목표에 맞춰 모델을 최적화한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.