In-Context Multiple Instance Learning

합성 데이터로 사전학습한 in-context learner가 소수 라벨로 다중 인스턴스 학습을 수행한다.

이 논문은 Perceiver 스타일 아키텍처의 in-context learner를 합성 데이터로 사전학습해, 소수 라벨 가방만으로 새로운 다중 인스턴스 학습(MIL) 태스크를 해결하는 방법을 제안한다. 추론 시 단일 forward pass로 분류가 이루어지며 기울기 업데이트가 필요 없다. 가방 구조 데이터를 위한 여러 합성 데이터 생성기를 조사하고, 이들이 상호 보완적 귀납 편향을 포착함을 발견했다. 혼합 생성기로 사전학습한 모델은 12개 MIL 벤치마크에서 평균 최고 성능을 달성하며, 태스크별 학습이 필요한 지도 학습 기준선을 능가한다.

핵심 요약

• 합성 데이터로 사전학습한 in-context learner가 소수 라벨로 MIL 태스크를 해결한다.
• 추론 시 단일 forward pass로 분류하며 기울기 업데이트가 필요 없다.
• 가방 구조 데이터를 위한 다양한 합성 데이터 생성기를 제안하고 분석한다.
• 서로 다른 생성기가 상호 보완적 귀납 편향을 포착한다.
• 혼합 생성기 사전학습 모델이 12개 MIL 벤치마크에서 지도 학습 기준선을 능가한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.