LAB-Bench: Measuring Capabilities of Language Models for Biology Research

이 논문은 언어 모델의 실제 생물학 연구 능력을 잴 benchmark가 부족하다는 문제를, 문헌, 그림, 데이터베이스, 서열, protocol, cloning을 묻는 객관식 문제 2,457개와 사람 전문가 baseline으로 다뤘다.

이 논문은 한마디로 생물학 연구 실무 능력을 재는 객관식 benchmark인 LAB-Bench(Language Agent Biology Benchmark)를 낸 논문이다. 8개 category의 문제를 저자와 계약 전문가가 손으로 쓰거나 script로 만들었고, 문제마다 정보 부족 보기를 넣어 모델이 모를 때 답을 거절하는지도 본다. tool 없이 푼 상용 모델과 open-source 모델 7개는 대부분의 category에서 PhD(박사 학위) 수준 사람 전문가보다 낮았고, 사람에 가장 가까웠던 task는 표 해석 문제인 TableQA였다. 저자들은 그럴듯한 오답 보기를 만드는 일이 정확한 평가의 핵심이라고 밝혔다.

핵심 요약

• 문제: 과학 분야 benchmark는 대부분 교과서식 지식을 기억해 답하는 문제를 내고, 특정 분야의 실제 연구 일을 해내는 능력을 재는 benchmark는 드물다. 저자들은 생물학 연구를 돕는 AI 시스템을 만들려면 문헌 조회, protocol 문제 해결, 서열 조작 같은 실무 능력을 재는 benchmark가 먼저 필요하다고 본다.
• 입력과 출력: 이 논문은 생물학 연구 실무를 객관식 문제 2,457개로 재는 benchmark이자 dataset이다. 모델은 문헌, 그림, 표, 데이터베이스, DNA(데옥시리보핵산)와 단백질 서열, protocol, cloning 상황에 대한 질문과 보기를 받아 정답 글자 하나를 내고, 모든 문제에는 정보가 부족해 답할 수 없다는 보기가 하나 더 붙는다.
• 방법: LitQA2(문헌 질의응답), SuppQA(보충 자료 질의응답), FigQA(그림 질의응답), TableQA(표 질의응답), ProtocolQA(protocol 문제 해결), CloningScenarios(실제 cloning 작업 상황 문제)는 저자와 계약한 생물학 전문가가 손으로 만들었고, SeqQA(서열 질의응답)와 DbQA(데이터베이스 질의응답)의 하위 task는 대부분 script로 만들었다. 점수는 accuracy(전체 문제 중 정답), precision(답한 문제 중 정답), coverage(답한 문제의 비율) 셋으로 잰다. 각 하위 task의 약 80%는 Hugging Face dataset으로 공개하고, 20%는 학습 데이터 오염을 감시하려고 비공개로 둔다.
• 구현: Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku, Gemini 1.5 Pro, GPT-4o, GPT-4-turbo, Llama 3 70B Instruct를 tool 없이 API로 불러 0-shot(예시 없이) chain-of-thought prompt로 풀게 했고, 모델마다 세 번 실행한 평균을 냈다. Llama 3 70B는 vision 기능이 없어 FigQA와 TableQA 평가에서 빠졌고, CloningScenarios는 41문제 가운데 prompt 길이에 맞는 25문제만 풀었다. 사람 baseline은 PhD 수준 생물학 연구자들이 전체 문제의 69%를 20문제에서 140문제짜리 quiz로 풀어 만들었고, 이들은 인터넷과 DNA 서열 software를 쓸 수 있었다.
• 결과: 사람 전문가가 대부분의 category에서 모델을 앞섰고, 모델이 사람에 가장 가까운 TableQA에서는 Claude 3.5 Sonnet이 accuracy 0.83(사람 0.84)과 precision 0.90(사람 0.87)을 냈다. LitQA2에서는 주요 frontier 모델들이 답을 자주 거절해 Claude 3.5 Sonnet의 accuracy가 0.06에 그쳤고, FigQA에서는 Claude 3.5 Sonnet을 뺀 모든 모델의 precision이 무작위에 가까웠다. CloningScenarios의 accuracy는 사람이 0.60, 가장 높은 모델(Claude 3.5 Sonnet과 GPT-4o)이 0.28이었다.
• 한계: 저자들은 그럴듯한 오답 보기를 만들기 어렵고, 성능 좋은 모델일수록 추론 대신 오답을 지우고 추측하는 방식으로 점수를 올리는 것으로 보인다고 밝혔다. 작은 규모로 열린 답 형식으로 바꿔 본 CloningScenarios 10문제에서 Claude 3.5 Sonnet과 GPT-4o의 accuracy는 둘 다 0.20이었다. 사람만 tool을 쓸 수 있었던 비교라는 점을 저자들도 짚었고, CloningScenarios는 문제당 10분에서 60분이 걸려 사람 baseline이 낮게 잡혔을 수 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.