BE-CTDE: Blockchain-Enabled Multi-Agent Reinforcement Learning with Anomaly Detection and Token Economics

이 논문은 다중 에이전트 강화학습 훈련에서 나쁜 행동을 감지만 하고 끝내지 않고, 토큰 잔액으로 실제 학습 기여도를 줄여버리는 블록체인 기반 관리 계층을 만든 문제를 풀었다.

이 논문은 한마디로 블록체인을 훈련 관리 계층으로 써서, 행동 검증 결과가 토큰 경제로 이어지고 토큰 잔액이 정책 업데이트 가중치를 결정하는 닫힌 고리를 만든 논문이다. 연구진은 BE-CTDE 라는 프레임워크를 제안하고, 완벽한 탐지 없이도 악성 에이전트가 유한한 기대 시간 안에 훈련에서 제외된다는 조건부 이론 보장을 보였다. 다중 에이전트 경로 찾기 실험에서 공격 상황 성공률이 최고 수준 기준 SCRIMP 보다 크게 높았고 충돌률도 낮았다.

핵심 요약

• 연구진은 기록만 남기던 블록체인을, 행동 증거가 학습 영향력을 바꾸는 능동 훈련 관리 계층으로 바꾸는 BE-CTDE 를 제안했다.
• 행동 검증기가 실행 궤적과 정책 추천을 비교해 깃발을 만들고, 깃발이 슬래싱과 소각, 보상, 보상금을 함께 쓰는 토큰 계정을 움직인다.
• 완벽한 탐지가 필요 없음을 보였고, 조건부 탐지 확률이 1/3 을 넘으면 악성 에이전트가 유한한 기대 시간 안에 훈련에서 제외된다.
• 경로 찾기 실험에서 공격 상황 성공률이 최고 수준 기준 SCRIMP 보다 크게 높았고, 적이 다수일 때도 그랬다.
• 충돌률은 경제 결과 없는 탐지보다 최대 35%, 일반 스테이크 슬래싱보다 최대 43% 낮았고, 에이전트 8개 설정에서는 모든 장애물 밀도에서 100% 성공률을 기록했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.