Neural Computers

Meta AI와 KAUST 연구진이 Neural Computer(NC)를 소개한다. 단일 신경망이 계산, 메모리, 입출력을 학습된 런타임 상태로 통합하는 컴퓨팅 패러다임이다.

Meta AI와 KAUST 연구진이 Neural Computer(NC)를 소개한다. 단일 신경망이 계산, 메모리, 입출력을 학습된 런타임 상태로 통합하는 컴퓨팅 패러다임이다. 초기 프로토타입은 기초적인 입출력 정렬과 단기 지평 제어 프리미티브가 명령줄 및 그래픽 사용자 인터페이스 환경에서 화면 프레임, 명령, 사용자 행동으로부터 직접 학습될 수 있음을 보여준다.

핵심 요약

• 전통적인 컴퓨터, AI 에이전트, 월드 모델은 흔히 계산, 메모리, 입출력을 별개의 하드웨어나 소프트웨어 모듈, 또는 외부 실행 환경으로 분절한다.
• 기존 시스템은 명시적이고 사람이 설계한 명령어 집합에 의존하는데, 이는 고차원적이고 통계적이며 전역적으로 결합된 처리를 요구하는 영역에서 경직될 수 있다.
• 기존 AI 에이전트는 대개 실행 가능한 상태를 컴퓨터 자체로 내재화하기보다 외부 실행 환경을 매개한다.
• 이 논문은 신경망 자체가 계산, 메모리, 입출력을 잠재 런타임 상태 안에 내재화함으로써 능동적인 컴퓨터 역할을 하는 Neural Computer(NC)를 제안한다.
• NC는 명령과 사용자 행동에 기반해 화면 프레임을 롤아웃할 수 있는 비디오 모델로 구현되며, 명령줄 인터페이스(CLI)와 그래픽 사용자 인터페이스(GUI) 환경의 입출력 트레이스에서 직접 학습된다.
• 방법론은 diffusion transformer, VAE, 그리고 행동 주입과 커서 감독을 위한 특화 기법을 사용해 인터페이스별 프로토타입인 NC-CLIGen과 NC-GUIWorld를 개발하는 것을 포함한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.