Implicit Minor Detection from Multi-Turn Dialogue in High-Risk AI Interactions: A Constrained Self-Evolving LLM Harness

이 논문은 고정 LLM 위에 버전 관리되는 Harness와 Maker-Checker 검토를 얹어, 약한 신호만으로 미성년자 추론을 안전하게 수행하는 프레임워크를 만들었다.

이 논문은 한마디로 강한 신원 정보 없이 대화에서 미성년자 가능성을 추정하는 고위험 과제를 제약된 하니스로 푼 방법이다. 시스템은 언제 추론을 시작할지 정하는 트리거, 대화에 묶인 구조화 증거, 검증 관문을 통과해야 하는 하니스 버전 관리로 구성된다. 8,328건 중국어 다중 턴 대화 기준에서 같은 LLM 직접 추론보다 평균 정밀도와 F1을 각각 7.60, 6.37 포인트 올렸다.

핵심 요약

• 이 논문은 계정이나 얼굴 같은 강한 신원 정보 없이 여러 차례 대화의 약한 단서만으로 현재 화자가 미성년자일 가능성을 추정하는 문제를 정식화했다.
• 저자는 고정 LLM과 버전 관리되는 Harness, Maker-Checker 검토로 이루어진 제약 프레임워크를 제안했고, 하니스가 추론 시점과 증거 표현, 출력 검증을 통제한다.
• 결정적 근거는 현재 대화에서 찾을 수 있는 짧은 인용이나 거의 그대로인 구절이어야 하고, 다른 사람 회상이나 인용문은 화자 판단 근거로 쓰지 못하게 막았다.
• 하니스 개선은 검증 데이터에서 관문 조건을 통과한 후보만 승격하고 통과 못 하면 이전 버전을 유지해, 한 번의 수정이 기존 정답을 망치는 퇴행을 막았다.
• 중국어 8,328건 다중 턴 대화 기준에서 같은 LLM 패밀리 직접 추론보다 평균 정밀도를 7.60 포인트, 미성년 클래스 F1을 6.37 포인트 올렸다.
• 50명 참가자 난제 연구에서 사람 평균 정확도는 72.6%였지만 경계 사례에서는 54.8%로 떨어져, 어려운 사례는 사람도 판단을 다툰다고 보았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.