The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search
- 발행일
- 출처
- arXiv
- 논문 번호
- 1476
- 분야
- AI / Agents
- arXiv 번호
- 2611.19037
약한 LLM 비평가가 AutoML 탐색을 비평가 없는 무작위 탐색보다 못하게 만들 수 있음을 4군 감사로 측정했다.
이 논문은 한마디로 LLM 비평가가 탐색을 도울 수도 있지만 약한 비평가는 탐색 바닥 아래로 성적을 끌어내릴 수 있음을 보였다. 저자들은 비평가 없음, 무작위 피드백, 실제 비평가, 오라클의 4군 감사를 같은 예산으로 돌리는 프로토콜을 만들었다. 단순한 8B 비평가는 표 데이터셋 8개 중 7개에서 바닥 아래로 떨어졌고 최악은 0.245 AUC 손실이었다. 결함 주입 실험으로 무작위 오류는 거의 공짜이고 방향성 오류만 비싸다는 조건 q(m−1) > β를 유도했다.
핵심 요약
- 비평가 없음, 무작위 피드백, 실제 비평가, 오라클의 4군 감사를 같은 예산과 같은 후보 공간에서 돌리는 프로토콜을 만들었다.
- 단순한 8B 비평가가 이진 표 데이터셋 8개 중 7개에서 비평가 없는 바닥보다 낮은 성적을 냈다.
- 최악의 사례인 ADULT에서 손실은 0.245 AUC에 달했다.
- 결함 주입 실험에서 무작위 오류는 거의 공짜였고 체계적으로 잘못된 방향의 오류는 유효 탐색 기회를 소모했다.
- 이상화된 모델에서 비평가가 도움이 되려면 q(m−1) > β 조건이 필요하다는 결론을 얻었다.
- 검증 게이트와 학습된 탐지기가 평균 손실을 줄였지만 모든 데이터셋에서 바닥 보장은 이루어지지 않았다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.