Beyond Benchmark Accuracy: A Diagnostic Test for LLM Chemical Prediction

이 논문은 대상 분자의 정체성을 감춘 채 출발 분자와 구조 변경만 주는 진단으로, LLM 화학 예측의 높은 점수가 구조-성질 추론에서 나오는지 검사했다.

이 논문은 한마디로 LLM 화학 예측에서 대상 분자 정보를 가리고 출발 분자와 구조 변경만 줘 예측을 진단하는 틀을 제안한 연구다. 기존 벤치마크는 대상 분자 이름이나 SMILES를 직접 주어서, 암기한 지식인지 구조-성질 추론인지 구분하기 어렵다. 저자는 여섯 과제에서 출발 분자의 출처 라벨만 바꿔도 예측이 체계적으로 흔들리는 것을 보였다. 이는 높은 벤치마크 점수가 신뢰할 만한 구조-성질 추론 능력을 뜻하지 않는다는 결론으로 이어진다.

핵심 요약

• 대상 분자의 이름이나 SMILES를 주지 않고 출발 분자 구조와 자연어 구조 변경 설명만으로 여섯 화학 예측 과제를 새로 구성했다.
• 구조 재구성 검증에서 네 모델 모두 카이럴 과제는 100% 정확도로 대상 구조를 복원했고, 전체 범위는 86.05%에서 100%였다.
• 출발 분자와 대상의 라벨이 일치하는 집단이 성적이 더 좋았고, 참 라벨을 명시하자 24개 모델-과제 조합 중 22개에서 그 격차가 커졌다.
• 출발 라벨만 거짓으로 바꿨을 때 이진 분류에서 Claude-Opus-4.8 예측의 91.2%가 거짓 라벨 쪽으로 바뀌었고 수율 예측에서는 61.2%에서 98.0%의 예측이 같은 방향으로 움직였다.
• NOSE와 RDKit 같은 도구의 증거를 덧붙이자 대상 관련 증거가 있는 과제에서는 다섯 모델 모두 성적이 올랐고, 커버리지가 부족한 과제에서는 제한적 향상이나 하락도 나타났다.
• 결론적으로 높은 벤치마크 점수만으로 LLM이 신뢰할 만한 구조-성질 추론 능력을 가졌다고 보기 어렵다고 저자가 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.