aDSL: Agentic 3D Creation via Joint Agent-Program Design

3D 모델링 언어를 LLM이 잘하는 관계 추론 중심으로 재설계하고 계획-실행-비판 에이전트 루프와 함께 쓰면 프로그램 기반 3D 생성이 안정해진다는 연구다.

이 논문은 한마디로 LLM 에이전트가 3D 모양을 코드로 만들 때 자주 실패하는 이유를 언어 설계와 에이전트 설계의 불일치로 진단하고 둘을 함께 다시 설계해 해결했다. 좌표 대신 A를 B 위에 놓기 같은 관계 연산자를 쓰는 에이전트 친화 언어 aDSL을 만들었다. 계획-실행-비판 반복 루프가 실행 오류와 제약 위반을 자동으로 고친다. 텍스트와 이미지로부터 모양 만들기 과제에서 기존 LLM 기반 방법을 앞서며 관절 물체, 장면 생성, 형상 편집으로 확장된다.

핵심 요약

• LLM은 다리가 정확히 어느 좌표에 있는지 같은 수치 지정은 자주 틀리지만 의자 다리는 좌석 아래 네 모서리 같은 구조 추론은 잘한다는 관찰에서 출발했다.
• aDSL은 조합성과 공간 관계 연산을 강조해 에이전트가 낮은 수준의 수치를 직접 다루지 않게 한다.
• 자기 수정 루프를 끄면 시각 질문 점수가 61.53으로 떨어지고 실행 성공률도 하락해 반복 검증이 필수임을 확인했다.
• 계획 단계를 빼면 평균 수정 라운드가 4.25에서 5.58로 늘어 구조 분해가 효율을 좌우한다.
• 대화형 프론트엔드 연동(OpenClaw 시연 포함)으로 반복 편집이 가능하고 외부 고화질 생성기와 결합해 구조 보존과 디테일 강화를 같이 얻었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.