PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24098v1cs.CV

A$^2$Safe: 안전하고 효과적인 시각적 질의응답을 위한 반사실적 증거 정렬 적응형 에이전트 협업

A$^2$Safe: Counterfactual Evidence-Aligned Adaptive Agent Collaboration for Safe and Effective Visual Question Answering

멀티모달 대규모 언어 모델(MLLM)을 활용한 시각적 질의응답(VQA)은 안전하고 효과적인 응답을 생성할 뿐만 아니라, 위험을 결정하는 멀티모달 증거에 안전성 결정을 그라운딩(grounding)하는 것을 요구합니다. 최근의 안전성 정렬(safety-alignment) 방법들은 거부 행동과 맥락적 위험 인식을 개선하지만, 특히 개별적으로는 무해한 이미지와 질문 콘텐츠 간의 상호작용에서 위험이 발생하는 경우 올바른 안전성 결과가 여전히 피상적인 텍스트 또는 시각적 상관관계에 의존할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 안전하고 효과적인 VQA를 위한 반사실적 증거 정렬 적응형 에이전트 협업 프레임워크인 A$^2$Safe를 제안합니다. A$^2$Safe는 근거 기반 안전 증거 보드(Grounded Safety Evidence Board)를 통해 국소화된 시각적 관측, 텍스트 의도, 교차 모달 위험 관계를 구성하여 안전성 결정의 근거를 명시적으로 만듭니다. 반사실적 안전 증거 정렬은 안전과 무관한 변화에 대해서는 불변성을 강제하는 한편, 위험에 결정적인 증거가 최소한으로 변경될 때는 적절한 안전 상태 및 응답 모드 전환을 요구합니다. 그 결과로 도출된 증거 상태는 적응형 협업을 더욱 지원하여, 그라운딩된 증거가 충분할 때는 직접 답변을 가능하게 하고 증거가 위험하거나 불확실하거나 상충할 때는 정책 비판(policy critique) 및 응답 수정을 호출합니다. 상호 보완적인 안전 필수(safety-critical) 및 일반 VQA 프로토콜 하에서, A$^2$Safe는 95.72의 SIUO 안전 점수를 달성하고 MOSSBench에서의 무해한 거부율을 14.67%로 낮추며, 27.8%의 토큰 오버헤드로 78.34의 평균 일반 VQA 점수를 유지합니다. 이러한 결과는 안전하고 효과적인 멀티모달 질의응답을 위한 반사실적 증거 정렬 적응형 협업을 뒷받침합니다.

arXiv:2606.27443v2cs.AI

다중 에이전트 LLM 팀에서 성격 구성은 언제 중요한가?

When Does Personality Composition Matter for Multi-Agent LLM Teams?

성격 프롬프팅(personality prompting)은 대규모 언어 모델(LLM)의 의사소통 방식을 형성하지만, 이러한 행동 변화가 객관적 과제 결과에 영향을 미치는지는 아직 충분히 탐구되지 않았다. 선행 연구에 따르면 낮은 친화성(agreeableness)으로 프롬프트된 에이전트는 적대적 언어를 생성하고, 높은 친화성으로 프롬프트된 에이전트는 협력적으로 변하지만, 의사소통 스타일과 과제 성능 간의 관계는 여러 도메인에 걸쳐 체계적으로 검토되지 않았다. 본 연구에서는 구조화된 코딩, 개방형 연구 협업, 경쟁적 협상의 세 가지 과제 도메인에서 frontier LLM의 성격 특성을 조작하여, 성격 구성이 다중 에이전트 팀 성능에 중요한지를 조사한다. 성격 효과는 과제 구조에 크게 의존함을 밝혔다. 코딩 과제에서는 낮은 친화성이 큰 의사소통 변화를 유발하지만, 마일스톤 달성에는 거의 영향을 미치지 않는다. 개방형 협업과 협상에서는 동일한 조작이 성능을 상당히 저하시킨다. 다중 에이전트 시스템 설계에 대한 함의와 성격 조작의 한계를 논의한다.