The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search

발행일
출처
arXiv
논문 번호
1476
분야
AI / Agents
arXiv 번호
2611.19037

약한 LLM 비평가가 AutoML 탐색을 비평가 없는 무작위 탐색보다 못하게 만들 수 있음을 4군 감사로 측정했다.

이 논문은 한마디로 LLM 비평가가 탐색을 도울 수도 있지만 약한 비평가는 탐색 바닥 아래로 성적을 끌어내릴 수 있음을 보였다. 저자들은 비평가 없음, 무작위 피드백, 실제 비평가, 오라클의 4군 감사를 같은 예산으로 돌리는 프로토콜을 만들었다. 단순한 8B 비평가는 표 데이터셋 8개 중 7개에서 바닥 아래로 떨어졌고 최악은 0.245 AUC 손실이었다. 결함 주입 실험으로 무작위 오류는 거의 공짜이고 방향성 오류만 비싸다는 조건 q(m−1) > β를 유도했다.

핵심 요약

  • 비평가 없음, 무작위 피드백, 실제 비평가, 오라클의 4군 감사를 같은 예산과 같은 후보 공간에서 돌리는 프로토콜을 만들었다.
  • 단순한 8B 비평가가 이진 표 데이터셋 8개 중 7개에서 비평가 없는 바닥보다 낮은 성적을 냈다.
  • 최악의 사례인 ADULT에서 손실은 0.245 AUC에 달했다.
  • 결함 주입 실험에서 무작위 오류는 거의 공짜였고 체계적으로 잘못된 방향의 오류는 유효 탐색 기회를 소모했다.
  • 이상화된 모델에서 비평가가 도움이 되려면 q(m−1) > β 조건이 필요하다는 결론을 얻었다.
  • 검증 게이트와 학습된 탐지기가 평균 손실을 줄였지만 모든 데이터셋에서 바닥 보장은 이루어지지 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)