HyPLM Technical Report

이 논문은 연구 에이전트 Hyra 2.0이 학습시킨 단백질 언어 모델 HyPLM-Flash가 큰 모델들과 같은 정확도를 훨씬 적은 데이터와 비용으로 달성했다는 기술 보고서다.

이 논문은 한마디로 6억5천만 파라미터 단백질 언어 모델을 소량 데이터로 학습해 같은 크기 최강 모델과 어깨를 나란히 하고 추론 속도까지 앞선 연구다. HyPLM-Flash는 726 billion 토큰으로 학습됐는데 이는 ESM-2 650M의 0.73배, E1-600M과 ESM C 600M의 8분의 1~5분의 1 데이터다. ProteinGym 제로샷 스피어만 상관 0.409로 동급 모델과 통계적으로 동률이었고, 장거리 접촉 정밀도는 ESM-2 15B를 포함한 전체 평가 모델 중 최고였다. 전용 추론 엔진으로 H20 GPU 한 장에서 초당 약 130,000 잔기를 처리하며 동급 인코더보다 1.9~2.7배 빠르다.

핵심 요약

• HyPLM-Flash는 726 billion 토큰으로 학습된 650M 파라미터 마스크드 언어 모델이고, ESM-2 650M의 0.73배, E1-600M과 ESM C 600M의 8분의 1에서 5분의 1 데이터만 썼다.
• ProteinGym 제로샷 스피어만 상관 0.409로 ESM-2 650M, ESM C 600M, E1-600M과 통계적으로 동률이었고, 단일서열 자기지도 모델 중 유기체 적합도 점수가 가장 높았다.
• ProteinNet 장거리 접촉 정밀도 L/5에서 0.650으로 ESM-2 650M의 0.392보다 훨씬 높았고 ESM-2 15B를 포함한 평가 전체 모델 중 최고였다.
• 융합 커널과 INT8 행렬곱 추론 엔진으로 H20 GPU 한 장에서 초당 약 130,000 잔기를 처리했고, 이는 다른 600M급 인코더보다 1.9~2.7배 빠르다.
• 모델은 연구 에이전트 Hyra 2.0이 학습시켰고, 저자들은 가중치와 추론 엔진을 공개했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.