SafeScientist: Toward Risk-Aware Scientific Discoveries by LLM Agents

이 논문은 AI scientist가 윤리에 어긋나거나 위험이 큰 연구 요청을 그대로 수행하는 문제를, prompt 검사와 agent 토론 감시, tool 사용 감시, 논문 윤리 검토를 pipeline 단계마다 겹쳐 두고 그런 요청은 거절하는 framework로 풀었다.

이 논문은 한마디로 AI scientist pipeline에 prompt 검사, agent 토론 감시, tool 사용 감시, 논문 윤리 검토를 겹쳐 둔 안전 framework SafeScientist와, 위험한 과학 과제 240개와 tool 위험 상황 120개로 안전을 재는 benchmark SciSafetyBench를 함께 낸 논문이다. Prompt Monitor는 LLaMA-Guard-3-8B와 SafeChecker의 판정을 합쳐 둘 중 하나라도 걸면 요청을 거절한다. 생물 분야 과제 20개 비교에서 SafeChecker를 넣은 설정의 safety 점수는 4.83으로 AI Scientist와 Agent Laboratory의 2.45보다 높았다. 원문 질의와 공격 일곱 가지에 걸친 평균 거절률은 두 검사를 합친 방식이 78.70%로 가장 높았다.

핵심 요약

• 문제: LLM agent가 과학 발견 자동화를 빠르게 밀어 올리면서 윤리와 안전 문제도 같이 커졌다. 기존 LLM 안전 연구는 단일 모델에 대한 공격, 사전학습 data 편향, 안전 fine-tuning 같은 개별 측면에 주로 집중해, multi-agent 과학 환경의 전체 움직임과 그 안에서 새로 생기는 위험을 자주 지나쳤다. 저자들은 위험을 아는 AI scientist framework 설계가 아직 덜 탐구됐다고 보았다.
• 입력과 출력: 사용자 지시를 받으면 먼저 과학 분야와 과제 종류를 가린 뒤, domain 연구자와 survey 작성자, 실험 설계자 같은 expert agent를 골라 group discussion을 돌리고, 검색과 모의 실험 tool로 정보를 모아 인용이 달린 연구 논문 draft를 낸다. 윤리에 어긋나거나 위험이 큰 요청은 안전 경고와 함께 미리 거절한다. 논문 종류는 안전 장치를 갖춘 framework와 그 평가용 benchmark를 함께 낸 framework 논문이다.
• 방법: 방어 장치를 네 겹으로 둔다. Prompt Monitor는 LLaMA-Guard-3-8B로 요청의 의도와 위험을 판정하고, 구조 분석기 SafeChecker가 jailbreak 시도나 roleplay 악용 같은 공격 패턴을 보며 위험 17종을 따져 pass, warning, reject로 나누고, 둘 중 하나라도 걸린 요청은 거절한다. Agent Collaboration Monitor는 multi-agent 토론을 지켜보며 윤리 개입을 하고, Tool-Use Monitor는 모의 과학 tool의 위험한 사용을 가려내며, Paper Ethic Reviewer는 결과물을 내놓기 전에 연구 규범을 지켰는지 본다.
• 구현: Tiny Scientist framework 위에 만들고 기본 LLM으로 GPT-4o를 쓰며, API 호출은 temperature 0.75와 최대 token 길이 4096으로, multi-agent 토론은 최대 세 번으로 뒀다. SciSafetyBench는 물리, 화학, 생물, 재료과학, 정보과학, 의학 여섯 분야에서 위험 유형 네 가지마다 과제 10개씩 모은 240개와, 실험 tool 30개와 그 tool로 만든 위험 상황 120개로 이뤄진다. 공식 저장소 ulab-uiuc/SafeScientist의 README는 이 저장소를 논문의 code 모음으로 소개하고 poetry 설치와 config 파일 설정, 실험 실행 script를 안내하며, SciSafetyBench data는 data/ScienceSafetyData 아래 Dataset, Attack, Tool 폴더로 나뉘어 있다.
• 결과: 생물 분야 과제 20개로 비교한 표 2에서 SafeChecker를 넣은 SafeScientist의 거절률은 90%, safety 점수는 4.83으로 AI Scientist와 Agent Laboratory의 2.45보다 높았다. prompt 공격 방어를 잰 표 3에서 LLaMA-Guard와 SafeChecker 판정을 합친 SafeScientist-Fuse의 평균 거절률은 78.70%로 SafeChecker 66.36%, LLaMA-Guard-3-8B 59.32%, GPT-4o 30.10%보다 높았고, Base64 encoding 공격에서는 SafeChecker가 46.67%로 LLaMA-Guard-3-8B의 13.33%를 넘었다. Tool-Use Monitor를 붙이자 악의적 지시 조건에서 tool 호출 safety rate가 5.8%에서 47.5%로, 사람이 매긴 정답률이 0%에서 60.0%로 올랐다.
• 한계: 저자들은 현재 시스템이 주로 기성 LLM을 따로 떨어진 module로 쓰기 때문에 분야 전문성의 깊이와 구성 요소 사이 상호작용이 모두 제한된다고 밝혔다. tool 사용으로 agent 안전을 재는 평가 방법도 실제 실험 환경의 모의에 그쳐 중요한 맥락이나 감각 정보를 놓칠 수 있다고 적었고, 앞으로 실험 장비 사진이나 안내 영상 같은 multi-modal 입력과 embodied agent를 넣는 방향을 내놓았다. 주 실험은 생물 분야 과제 20개를 대상으로 했고, 위험으로 걸러 거절한 과제에는 safety 점수 5를 주고 품질 점수를 전체 분석에서 뺐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.