DiagramBank: A Quality-Audited Dataset of Scientific Schematic Diagrams with Multi-Level Document Context

이 논문은 기존 과학 그림 자료가 다이어그램을 plot, 사진과 자주 섞고 본문 문맥을 드물게 남기는 문제를, OpenReview AI/ML 논문에서 CLIP 분류와 여러 단계의 VLM(이미지와 글을 함께 다루는 모델) 판정으로 고른 다이어그램 57,100개에 논문과 그림 문맥을 붙인 데이터셋으로 풀었다.

이 논문은 한마디로 AI/ML 논문의 schematic 다이어그램을 문서 문맥과 함께 모은 품질 검사 데이터셋 DiagramBank를 낸 연구다. ICLR, ICML, NeurIPS, TMLR 논문에서 뽑은 그림을 CLIP 1차 분류와 VLM 단계별 판정(cascade)으로 걸러 다이어그램 57,100개를 남겼다. 사람이 층화 표본 500개를 blind로 검사해 release precision(남긴 레코드 가운데 실제 schematic 다이어그램의 비율)을 93.67%로 추정했다. 저자들은 retrieval과 그림 작성 예시를 방법 주장 대신 자료 사용 예로 둔다.

핵심 요약

• 문제: 논문 속 schematic 다이어그램은 방법, workflow, 시스템 구조를 전하지만, 기존 과학 그림 데이터셋은 이를 대개 plot, 스크린샷, 사진과 섞어 두고 그림을 설명하는 본문 문단을 자주 빠뜨린다. 저자들은 schematic 그림을 가려내고 논문과 그림 문맥, 출처, 필터링 불확실성을 함께 담은 자료가 필요하다고 본다.
• 입력과 출력: 데이터셋(dataset) 논문이고, 저자들은 기여를 자료 자체로 한정한다. 입력은 OpenReview에 올라온 AI/ML 학회 논문 PDF와 메타데이터이고, 출력은 schematic 다이어그램 57,100개의 레코드다. 레코드마다 그림 이미지, 논문 제목, 초록, 캡션, 그 그림을 인용한 본문 문단, 학회와 연도, 출처, 필터링 라벨이 붙는다.
• 방법: OpenReview Python API로 PDF와 메타데이터를 모으고, PDFFigures 2.0으로 그림과 캡션을, PyMuPDF로 그림 번호를 인용한 본문 문단을 뽑는다. OpenCLIP ViT-B/32가 그림을 diagram, plot, photo, other로 먼저 나누고, VLM cascade에서 작은 VLM judge 두 개의 투표와 큰 VLM의 확인으로 최종 다이어그램을 고른다. CLIP이 diagram으로 본 후보는 다수결 경로로, CLIP 신뢰도 0.70 미만의 non-diagram 후보는 rescue 경로로 들어간다.
• 구현: 관계형 데이터는 DuckDB로 관리하고, 레코드를 비정규화해 그림마다 제목, 초록, 캡션, 문맥, 품질 라벨, 출처를 직접 갖게 했다. 공개 자료는 cascade 필터 release와 함께 CLIP 전체 view, CLIP 신뢰도 0.85 이상 view를 둔다. 공식 저장소 README는 Hugging Face에서 data.jsonl, FAISS index, DuckDB를 받는 download 스크립트와 제목, 초록, 캡션으로 비슷한 다이어그램을 찾는 demo notebook을 안내하고, reproduce 스크립트는 OpenReview 수집부터 1단계 CLIP 분류까지 다룬다고 적었다.
• 결과: cascade 필터 release에서 층화 표본 500개를 사람이 blind로 검사한 결과 precision은 93.67%(95% 신뢰구간 90.11에서 97.22)로 추정됐고, 주된 오류는 스크린샷이나 사진 같은 그림이 섞이는 경우였다. CLIP view 검사에서 threshold 0.85의 precision은 94.4%였고, threshold를 0.50에서 0.90으로 올리면 precision은 64.0%에서 96.0%로 오르고 retention(필터를 통과해 남는 비율)은 100%에서 55.7%로 줄었다. 20개 질의 retrieval 점검에서 Precision@10(검색 상위 10개 가운데 VLM judge가 관련 있다고 본 다이어그램의 비율)은 계층형 검색 78.0%, 캡션 검색 81.0%였다.
• 한계: 저자들은 자동 PDF 파싱, 그림 분류, 문맥 추출에 기대기 때문에 캡션이 불완전하거나 본문 인용 문단이 빠지거나 다이어그램과 plot이 잘못 분류된 레코드가 있을 수 있다고 밝혔다. release는 precision 위주라 신뢰도가 낮은 쓸 만한 다이어그램을 뺄 수 있고, 범위가 접근 가능한 OpenReview 학회와 연도로 한정돼 최근 AI/ML 관행 쪽으로 치우칠 수 있다. retrieval 점검은 20개 질의 규모의 sanity check이고 그림 작성 사례는 정성 예시이며, VLM judge 모델 이름은 release 문서에 둔다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.