The Hidden Methodological Layer: Uncovering Threats to Validity in LLM-Assisted Empirical Software Engineering

발행일
출처
arXiv
논문 번호
1480
분야
Software Engineering
arXiv 번호
2611.20033

LLM을 쓴 실증 소프트웨어 공학 연구에서 타당성 위협이 절반 이상 보고되지 않는 실태를 밝히고 숨은 방법론 층 개념을 제안했다.

이 논문은 한마디로 LLM이 실증 연구 과정에 들어가며 생기는 숨은 방법론 층이 타당성을 어떻게 위협하는지 체계 문헌 조사로 분석했다. 본연구 50편의 LLM 보조 과제 69개를 다시 분석했다. 그 결과 과제 30개(43.5%)만 LLM 관련 타당성 위협을 명시적으로 보고했다. 분류 오류, 프롬프트 의존 해석, 평가자 편향 같은 반복 위협을 분류하고 고전 타당성 차원에 연결했다.

핵심 요약

  • 본연구 50편의 LLM 보조 연구 과제 69개를 다시 분석했다.
  • 과제 69개 중 30개(43.5%)만 LLM 관련 타당성 위협을 명시적으로 보고했다.
  • 자동화 범주에서는 42개 중 22개(52.4%)가 위협을 보고해 가장 보고율이 높았다.
  • 증거 구축 위협이 19건으로 가장 많았고 그중 LLM 분류·표식 오류가 10건이었다.
  • 저자들은 프롬프트, 모델 설정, 상호작용 절차, 검증 절차를 연구 방법의 일부로 공개해야 한다고 주장했다.
  • 분석 코퍼스에서 ChatGPT 사용이 38건으로 가장 많았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)