PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00233v1cs.AI

강건함은 곧 현저함이다: 정보가 있는 적대자가 최적의 신호를 현저성 극으로 이동시킨다

Robust Is Salient: An Informed Adversary Moves the Optimal Signal onto the Salience Pole

제한된 신호 전달(signalling) 채널의 청중을 정보가 있는 적대자(informed adversary)와 공유할 때, 진실을 가장 잘 보호하는 신호는 진실을 가장 잘 묘사하는 신호다. 108개의 확인용 항목에서, 적대자에 강건한 최적점은 이전 연구의 현저성 극(salience pole)과 정확히 일치한다. 200,000개 항목 풀 전체에서 둘은 2,748개 항목에서만 차이를 보이며, 이는 이전 연구의 현저성-베이즈(salience-to-Bayes) 좌표가 정의되지 않는 지점과 정확히 일치한다. 정의된 영역에서는 베이지안 식별(Bayesian discrimination)에서 현저성으로 완전히 이동함으로써 강건성을 달성한다. 우리는 이를 강제 선택 과제('디셉션: 홍콩 살인사건'에서 추상화됨)에 적대자를 도입하여 입증한다. 적대자는 목표를 알고 신호를 관찰하며, 설득 예산(persuasion budget) $β$를 사용하여 가장 강력한 오답을 주장한다. $β$가 증가함에 따라 최적의 신호는 사후확률 극대화(posterior-maximizing) 선택지에서 마진 극대화(margin-maximizing) 선택지로 이동하며, $β= 0$일 때 게임은 청자 온도(listener temperature) $τ= 1$을 갖는 원래의 오라클 모델을 재현한다. 이러한 효과는 실재한다. 풀의 18.2%는 유한한 예산 하에서 최적점이 이동하며, 각 항목의 임계 예산은 정확하다. 이 우연의 일치는 실증적 평가를 구조적으로 제한한다. 두 가지 적대자 프레이밍은 정확한 무효과 비율 대비 108개 항목 중 30~77개에서 7개 언어 모델의 선택 항목을 변경한다. 그러나 두 선택지가 동일하기 때문에, 어떠한 측정으로도 이러한 이동이 적대자 인식(adversary-aware) 최적점을 향한 것인지 아니면 현저성을 향한 것인지 판별할 수 없다. 이는 무효과 결과(null result)가 아니라 구조적 한계다. 진단 검사는 저렴하다. 적대자 인식을 평가하기 전에, 평가 항목에서 강건한 목표가 휴리스틱 목표와 일치하는지 확인하라.

arXiv:2607.13576v1cs.LG

베이지안 설득을 위한 구조화 강화학습: 지능형 상호작용 주행에의 적용

Structured Reinforcement Learning for Bayesian Persuasion : Application to Intelligent Interactive Driving

실시간 교통 데이터를 갖춘 지능형 선행 차량이 연결된 차량들의 경로 선택을 조율하는 상호작용 주행은 동적 교통 관리를 위한 유망한 접근법을 제공한다. 의사결정의 조율이라는 과제를 해결하기 위해, 본 논문은 베이지안 설득(Bayesian persuasion)의 전략적 정보 공개 프레임워크를 고려한다. 여기서 주체(principal, 선행 차량)는 신호(signal)를 이용해 전방 실시간 교통 상황 등의 정보를 선택적으로 공개함으로써, 에이전트(연결된 차량)의 부분 관측 가능한 순차적 의사결정을 자신의 목표에 부합하도록 이끌고자 한다. 그러나 에이전트가 장기 보상을 극대화하기 위해 장기적 관점으로 대응함에 따라, 주체의 신호 전략 설계는 계산적으로 어려워진다. 본 논문은 장기적 관점의 에이전트를 설득할 수 있는 계산 효율적인 신호 전략을 합성하기 위한 온라인 구조화 강화학습 프레임워크를 제안한다. 본 논문의 주요 기여는 다음과 같다: (i) 근사적 최적 대응(approximate best response)을 갖는 단조(monotonic) 에이전트에 대해, 더 빠른 온라인 학습을 위한 구조화 정책 학습 알고리즘 MAPL을 제안하고, (ii) 단조 에이전트에 대해 주체의 Q 함수가 초모듈(supermodular) 구조를 갖기 위한 충분 조건을 식별하고, (iii) 주체의 신호 전략의 설득력(persuasiveness)을 보장하기 위한 충분 조건을 식별하고, (iv) 주체(Principal)를 위한 초모듈 Q 학습(SQP)을 제안하며, 이는 주체의 행동 가치(action value)의 초모듈 구조를 활용하여 단조 학습 에이전트를 설득할 수 있는 계산 효율적인 신호 전략을 합성하고, (v) 차선 선택을 위한 베이지안 설득형 주행의 실시간 적용을 고려한 수치 분석을 통해, 제안 방법이 기존 신호 전략 설계 방법론과 비교하여 선행 차량과 연결된 차량 모두의 이동 보상 최적화에 있어 30% 더 비용 효율적임을 보여준다.