Vib2Mol: from vibrational spectra to molecular structures-a unified deep learning framework

이 논문은 적외선(IR)과 Raman 진동 스펙트럼에서 분자 구조를 찾을 때 database 검색 방법과 database 없이 생성하는 방법이 나뉘어 있던 문제를, 검색과 생성을 한 encoder-decoder Transformer로 묶고 matching module로 후보 순위를 다시 매기는 Vib2Mol로 풀었다.

이 논문은 한마디로 IR과 Raman 스펙트럼에서 분자 구조를 찾는 검색과 생성을 한 모델로 처리하는 deep learning framework다. 정렬 단계에서 스펙트럼과 SMILES(분자 구조를 한 줄 문자열로 적는 표기법) embedding을 contrastive learning으로 맞추고, 생성 단계에서 masked language modeling과 language modeling을 함께 학습해 스펙트럼 검색, 구조 검색, 조건부 생성, de novo 생성 네 과제를 다룬다. 이론 benchmark 3개와 실험 benchmark 2개에서 저자들은 화학식을 함께 넣은 설정으로 비교 모델보다 높거나 비슷한 Recall@1(1순위 후보가 정답인 비율)을 보고했고, 반응 생성물 예측과 펩타이드 서열 추정은 주로 계산 스펙트럼으로 시험하되 펩타이드는 직접 측정한 Raman 스펙트럼으로도 평가했다. 이론 스펙트럼보다 실험 스펙트럼에서 정답률이 크게 낮았다.

핵심 요약

• 문제: 사람 개입 없는 closed-loop 실험에서는 측정한 스펙트럼으로 분자 구조를 밝혀야 다음 실험을 정할 수 있다. 기존 deep learning 방법은 대부분 database 검색과 생성 가운데 하나만 하며, 검색은 실험으로 확보한 스펙트럼-구조 쌍이 화학 공간보다 훨씬 적어 database 밖 화합물에서 큰 한계에 부딪히고, 생성은 한 가지 분광법이 분자 구조의 일부만 보여 줘서 어렵다. 저자들은 두 방식이 서로를 보완할 수 있는데도 이 연결이 쓰이지 않았다고 본다.
• 입력과 출력: 입력은 1024 점으로 맞춘 IR 또는 Raman 스펙트럼(둘 다도 가능)이고, 상황에 따라 화학식, 일부만 아는 구조, 후보 분자 database를 더 준다. 출력은 SMILES로 쓴 분자 구조이며, 스펙트럼끼리 검색, 스펙트럼에서 구조 검색, 일부 구조를 채우는 조건부 생성, 구조 전체를 만드는 de novo 생성 네 과제를 한 모델이 맡는다. 논문 종류는 모델을 제안하고 공개 데이터와 직접 계산한 스펙트럼으로 만든 benchmark에서 평가한 방법 논문이다.
• 방법: encoder-decoder Transformer를 정렬 단계와 생성 단계로 나눠 학습한다. 정렬 단계는 contrastive learning으로 같은 분자의 스펙트럼 embedding과 구조 embedding을 가깝게 하고, 아주 비슷한 hard negative 쌍으로 matching loss를 학습시키며, 생성 단계는 SMILES token의 45%를 가리고 맞히는 MLM(masked language modeling, 조건부 생성)과 왼쪽부터 다음 token을 예측하는 LM(language modeling, de novo 생성)을 decoder를 공유해 함께 학습한다. 추론에서는 embedding 유사도로 후보를 찾은 뒤 matching module로 다시 순위를 매기는 coarse-to-fine retrieval과, beam search로 만든 후보를 화학식이 있으면 화학식으로 거른 뒤 matching module로 고르는 generate-then-rerank를 쓴다.
• 구현: 스펙트럼은 크기 8 convolution으로 128개 patch로 자르고, patch와 SMILES token을 768차원 벡터로 바꿔 6층 Transformer encoder에 넣는다. 평가에는 이론 benchmark 3개(QM9S, VB-Mols, VB-GEOM)와 실험 benchmark 2개(SDBS, NIST-IR)에서 이론 스펙트럼 662,668개와 실험 스펙트럼 17,774개를 썼고, 직접 만든 ViBench 스펙트럼은 별도 언급이 없으면 Gaussian 09 프로그램의 DFT(밀도 범함수 이론) 계산으로 얻었다. 공식 저장소 README 기준으로 GitHub 저장소에는 학습 code와 추론 script가 있고 ViBench dataset과 checkpoint는 Hugging Face에 있으며, README는 IR, Raman, IR+Raman을 한 모델로 받는 Vib2Mol-MMM을 기본 모델로 권하고 논문 재현용 modality별 checkpoint를 유지한다고 적는다.
• 결과: 화학식을 함께 넣었을 때 spectrum-structure retrieval의 Recall@1은 QM9S에서 Raman 98.11%, IR 96.63%로 분자 conformation을 추가 입력으로 쓰는 SMEN(97.89%, 97.04%)과 비슷했고, 실험 benchmark에서는 NIST-IR 83.54%, SDBS-IR 86.17%, SDBS-Raman 90.43%로 vibraCLIP보다 높았다. 화학식을 함께 넣은 de novo 생성은 QM9S와 VB-Mols에서 2위 모델보다 10% 이상 높았고(VB-Mols Raman 86.74%), multimodal 변형 Vib2Mol-MM이 SDBS 실험 스펙트럼을 질의로 PubChem 분자 80,368,968개와 SDBS를 합친 후보에서 찾을 때도 Recall@1은 30.60%였다. 반응물과 생성물이 섞인 계산 Raman 스펙트럼에서 기본 모델은 retrieval 74.29%, 생성 36.81%로 떨어졌고, 혼합 스펙트럼용으로 학습한 Vib2Mol-RXN은 97.51%와 56.64%를 냈다.
• 한계: 이론 스펙트럼과 실험 스펙트럼 사이 성능 차이가 크고(저자들은 측정 조건 차이, 빠진 스펙트럼 구간, 적은 표본 수를 원인으로 들었다), 실험 펩타이드 Raman 표본 29개의 5-fold 검증에서 de novo 생성 평균 Recall@1은 13.34%였다. 다환 방향족 탄화수소(PAH) 치환기 예측에서 조건부 생성의 가중 평균 Recall@1은 98.95%였지만, 저자들은 '<mask>' 표시가 채울 글자 수를 드러내 이 정확도가 실제보다 높게 나올 수 있다고 밝혔다. SMILES 기반 분자 encoder라 고분자나 광물 같은 비분자 계에는 적용 범위가 좁고, 반응 혼합 스펙트럼은 분자별 Raman 산란 단면적 차이를 무시하고 수율대로 섞어 만든 계산 스펙트럼이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.