The Hidden Methodological Layer: Uncovering Threats to Validity in LLM-Assisted Empirical Software Engineering
- 발행일
- 출처
- arXiv
- 논문 번호
- 1480
- 분야
- Software Engineering
- arXiv 번호
- 2611.20033
LLM을 쓴 실증 소프트웨어 공학 연구에서 타당성 위협이 절반 이상 보고되지 않는 실태를 밝히고 숨은 방법론 층 개념을 제안했다.
이 논문은 한마디로 LLM이 실증 연구 과정에 들어가며 생기는 숨은 방법론 층이 타당성을 어떻게 위협하는지 체계 문헌 조사로 분석했다. 본연구 50편의 LLM 보조 과제 69개를 다시 분석했다. 그 결과 과제 30개(43.5%)만 LLM 관련 타당성 위협을 명시적으로 보고했다. 분류 오류, 프롬프트 의존 해석, 평가자 편향 같은 반복 위협을 분류하고 고전 타당성 차원에 연결했다.
핵심 요약
- 본연구 50편의 LLM 보조 연구 과제 69개를 다시 분석했다.
- 과제 69개 중 30개(43.5%)만 LLM 관련 타당성 위협을 명시적으로 보고했다.
- 자동화 범주에서는 42개 중 22개(52.4%)가 위협을 보고해 가장 보고율이 높았다.
- 증거 구축 위협이 19건으로 가장 많았고 그중 LLM 분류·표식 오류가 10건이었다.
- 저자들은 프롬프트, 모델 설정, 상호작용 절차, 검증 절차를 연구 방법의 일부로 공개해야 한다고 주장했다.
- 분석 코퍼스에서 ChatGPT 사용이 38건으로 가장 많았다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.