Qwen-Audio-VAE Technical Report

Qwen팀의 오디오 VAE. 12.5Hz 저비트레이트, 32분 오디오를 541ms에 인코딩하는 고효율 연속 오디오 자동인코더. 500만 시간 데이터로 학습.

Qwen-Audio-VAE는 확장 가능한 범용 오디오 생성을 위해 설계된 12.5Hz 저비트레이트 연속 오디오 자동인코더로, 고품질 복원과 콤팩트 잠재 표현, 고처리량 인코딩을 동시에 달성한다. 비대칭 인코더-디코더, window Transformer, latency-aware 인코더 가지치기를 결합해 32분 오디오를 541ms에 인코딩하며(3.62배 가속), 500만 시간의 다영역 오디오로 학습해 음성·음악·효과음 전 영역에서 강건한 복원 품질을 보인다.

핵심 요약

• 12.5Hz 저비트레이트 잠재 공간으로 다운스트림 DiT 훈련 비용 절감
• 비대칭 encoder-decoder + latency-aware encoder pruning으로 32분 인코딩 541ms (3.62× 가속)
• 500만 시간 다영역 오디오로 학습하여 음성·음악·효과음 도메인 일반화
• 4개 판별자(multi-period, multi-res STFT, multi-scale STFT, sub-band CQT)로 적대적 감독
• LibriSpeech, AudioCaps, SongDescriber 공개 벤치마크에서 도메인 간 강건한 복원 품질
• 기존 최고 VAE 대비 STFT 거리 SI-SDR 등에서 우수한 성능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.