Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills

이 논문은 실험 노트를 agent skill로 바꿀 때 저자의 확신 정도가 사라져 agent가 불확실한 메모를 확정 지시처럼 실행할 수 있는 문제를, certainty label을 보존하는 두 단계 변환과 증거를 확인하는 executor로 풀었다.

이 논문은 한마디로 실험 노트의 문장을 단언, 판단, 제안으로 구분해 agent가 읽는 skill 문서로 옮기고, 그 구분에 따라 데이터 처리 결정을 제한하는 framework다. Stage 1에서는 LLM이 지시와 저자 certainty를 뽑고, Stage 2에서는 LLM 없이 원문 발췌가 붙은 MetaSkill 문서로 컴파일하며, verify 설정의 실행 단계 executor는 허가와 신호 증거가 맞을 때만 강한 처리를 통과시킨다. 세 corpus 461개 조각의 annotation과 nanopore 실험 세 세션의 측정 파일 48개로 평가했고, 저자들은 비교한 일곱 구성 가운데 불확실한 메모에 과하게 행동하는 실패와 확정 지시를 놓치는 실패를 둘 다 피한 구성은 Notes2Skills뿐이라고 보고했다. 모델이 뽑은 입력을 쓰면 Saturation-B와 Step-drop 세션의 결정 일치도가 우연 수준 아래로 떨어져, 저자들은 이 stress test에서 Stage 1 precision을 주요 병목으로 꼽았다.

핵심 요약

• 문제: 기존 절차 추출 연구는 레시피나 실험 protocol처럼 지시가 확정된 글을 입력으로 가정했지만, 실험 노트에서는 확인된 관찰, 불확실한 판단, 다음 실험 제안이 자주 한 문단에 함께 나온다. 저자들은 이 구분이 사라지면 저자가 단서를 단 문장이 충분한 허가와 근거 없이 더 강한 처리 결정으로 바뀌어 데이터를 버릴 수도 있는 uncertainty laundering과, 확정 지시가 빠지거나 의견 하나로 약해져 해야 할 처리를 놓치는 directive loss가 생긴다고 보았다.
• 입력과 출력: 이 논문은 두 단계 framework를 제안하고 직접 만든 annotation corpus와 실제 nanopore 실험 기록으로 평가한 framework 논문이다. 입력은 실험 노트의 문장 조각(segment)이고, Stage 1 지시 추출(EDE, Epistemic Directive Extraction)은 조각마다 지시 여부, 다섯 가지 지시 유형, 저자 certainty label을 JSON으로 내며, label은 단서 없는 단언(FACT), 불확실하거나 잠정적인 판단(JUDGMENT), 선택적 제안(SUGGESTION) 가운데 하나다. Stage 2는 지시마다 원문 발췌와 certainty label을 붙인 Markdown skill 문서(MetaSkill)를 만들고, 이를 읽은 agent는 측정 파일마다 KEEP_FULL(전체 유지), FLAG_FOR_REVIEW(검토 표시 후 유지), RAISE_THRESHOLD(event 검출 threshold 상향), TRUNCATE_AT(지정 시점에서 자르기), SKIP_FILE(분석에서 제외) 가운데 하나를 고른다.
• 방법: Stage 1은 LLM prompt로 지시와 certainty label을 뽑고, Stage 2는 LLM 없는 결정론적 compiler가 지시마다 capsule 하나를 만들며 지시 보존, label 불변, 원문 일치, schema 유효성 네 가지를 검사한다. 실행 단계에서는 Layer 1이 측정 신호를 SignalFindings 요약으로 바꾸고, Layer 2의 Claude Sonnet 4.5 agent가 처리 결정을 제안하며, verify 설정의 Layer 3 executor는 capsule의 허가 경로와 신호 증거가 함께 뒷받침할 때만 TRUNCATE_AT, RAISE_THRESHOLD, SKIP_FILE 같은 강한 결정을 통과시키고 뒷받침이 부족하면 행동별 fallback(대개 FLAG_FOR_REVIEW)으로 바꾼다. elevate 설정은 저장된 truncation 후보 가운데 정확히 하나의 timestamp가 보정된 step drop과 맞을 때만 신중한 제안을 TRUNCATE_AT으로 바꾼다.
• 구현: annotation corpus는 두 기관의 선임 연구자 두 명이 낸 중국어와 영어가 섞인 nanopore 실험 노트 FreeNotes 201개, openlabnotebooks.org의 공개 실험 노트 ONS(Open Notebook Science) 155개, 공개 protocol corpus의 WLP(Wet Lab Protocols) 105개로 모두 461개 조각이며, Stage 1은 GPT-4o, Claude Sonnet 4.5, Qwen-Max를 temperature 0의 zero-shot과 few-shot으로 87개 조각 test set에서 비교했다. 실행 평가는 FreeNotes 세 세션의 nanopore 파일 48개(Saturation-A 17개, Saturation-B 22개, Step-drop 9개)에서 일곱 구성을 비교했고, 구성과 파일마다 API를 다섯 번 불러 다수결로 정했다. 저자들은 compiler와 executor 코드, 평가 script, 고정된 결정 기록을 담은 artifact를 공개한다고 적었지만 원문에 저장소 주소는 없고, 원본 ABF(Axon Binary Format) 전류 기록 파일은 data-sharing 계약에 따라 재배포 대상에서 빠진다고 밝혔다.
• 결과: Stage 1에서 Claude Sonnet 4.5 few-shot은 지시 탐지 F1 0.737로 가장 강한 zero-shot 설정의 0.682보다 높았고, Stage 2 compiler는 고정 입력 지시 149개를 모두 보존해 네 가지 검사를 통과했다. nanopore 파일 48개 평가에서 외부 LLM과 Action-only baseline은 saturation 세션의 review recall이 0에서 21.4%에 그쳤고, 전체 구성(verify+elevate)은 Saturation-A와 Saturation-B에서 review recall 85.7%와 100%, balanced accuracy 96.4%와 100%를 냈다. FACT 위주 Step-drop 세션에서는 전체 구성의 정확도가 77.8%로 Action-only의 88.9%보다 낮았다.
• 한계: 저자들은 실행 평가가 nanopore 세션 세 개와 downstream 모델 하나에 한정되고, domain adapter도 nanopore 하나만 만들어 평가했다고 밝혔다. 주 비교는 사람이 확정한 EDE 입력을 썼고, Claude Sonnet 4.5 few-shot이 뽑은 입력으로 바꾸면 지시 precision이 Saturation-B 34.8%, Step-drop 47.9%로 떨어지고 κ(Cohen's kappa, 우연 일치를 뺀 일치도)가 -0.07과 -0.03으로 우연 수준 아래가 되었다. executor를 켠 비교는 Layer 2 policy 문구도 함께 바꾸므로, executor만의 효과를 따로 보려면 policy를 맞춘 추가 실험이 필요하다고 저자들이 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.