스스로 정정하고 나의 신뢰를 지켜라: 자기 수정과 사회적 연결이 소셜 챗봇의 신뢰성을 형성하는 방식
Correct Yourself, Keep My Trust: How Self-Correction and Social Connection Shape Credibility in Social Chatbots
한국어 초록
소셜 챗봇은 실수를 저지르며, 이때 어떻게 회복하느냐에 따라 사용자가 다시 신뢰를 보낼지가 결정됩니다. 소셜 챗봇은 일상생활에 점점 더 깊이 스며들고 있지만, 여전히 설득력은 있으나 부정확한 정보를 생성할 위험이 존재합니다. 사용자와 구축하는 사회적 연결(social connection)로 인해 이러한 오류는 특히 더 중대한 결과를 초래합니다. 우리는 웹페이지 정정, 동일한 소셜 챗봇에 의한 자기 수정(self-correction), 전문가 챗봇에 의한 수정이라는 세 가지 오류 수정 전략을 비교하는 피험자 간 실험(N=120)을 수행했습니다. 실험 결과는 두 가지 핵심 사실을 밝혀냈습니다. 첫째, 세 가지 전략 모두 오류를 동등하게 잘 수정했지만, 자기 수정(self-correction)만이 챗봇의 신뢰성을 훼손하지 않고 이를 달성했습니다. 참가자들은 외부 소스에 의해 오류가 수정된 챗봇보다 스스로 오류를 수정한 챗봇의 신뢰도와 인식된 전문성을 유의미하게 더 높게 평가했습니다. 둘째, 사회적 매력과 자기 노출(self-disclosure)을 통해 측정된 사용자와 챗봇 간의 사회적 연결 강도는 챗봇이 스스로 수정한 경우에만 신념 변화의 정도를 유의미하게 예측했습니다. 수정을 외부 소스에 위임할 경우 이러한 연결고리가 완전히 단절되었습니다. 이러한 발견은 소셜 챗봇이 수정을 외부에 위임하기보다 스스로 실수를 수정해야 함을 시사합니다. 또한, 사회적 연결에 투자하는 것은 단순한 디자인 특징(feature)이 아니라 수정 효과를 증폭하는 기능적 메커니즘임을 나타냅니다. 우리는 자체 오류를 효과적으로 해결하면서 장기적인 신뢰성을 유지하는 챗봇을 설계하기 위한 시사점을 논의합니다.
원문 초록
When social chatbots make mistakes, and they do, how they recover determines whether users trust them again. Social chatbots are increasingly integrated into everyday life, yet they remain prone to generating convincing but inaccurate information. The social connection they build with users makes such errors particularly consequential. We conducted a between-subjects experiment (N=120) comparing three error correction strategies: a webpage retraction, self-correction by the same social chatbot, and correction by an expert chatbot. Our results reveal two key findings. First, all three strategies corrected the error equally well, but only self-correction did so without damaging the chatbot's credibility: participants rated self-correcting chatbots significantly higher in both trustworthiness and perceived expertise than chatbots whose errors were corrected by external sources. Second, the strength of the user's social connection with the chatbot, measured through social attraction and self-disclosure, significantly predicted the magnitude of belief change, but only when the chatbot corrected itself. Outsourcing corrections to an external source severed this link entirely. These findings suggest that social chatbots should correct their own mistakes rather than outsource corrections, and that investing in social connection is a functional mechanism that amplifies correction effectiveness, not merely a design feature. We discuss implications for designing chatbots that maintain long-term credibility while effectively addressing their own errors.
요약
소셜 챗봇의 오류를 웹페이지 정정, 자기 수정(self-correction), 전문가 챗봇 수정 세 가지 방식으로 비교한 피험자 간 실험(N=120)에서, 세 전략 모두 오류 수정 효과는 비슷했지만 자기 수정만이 챗봇의 신뢰도와 인식된 전문성을 유지했습니다. 사용자와 챗봇 간 사회적 연결 강도는 챗봇이 스스로 수정할 때만 신념 변화를 예측했고, 외부 수정은 이 효과를 끊었습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19286v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자기회귀 생성에서 자기수정 맹점의 스펙트럼적 기원
Spectral Origins of the Self-Correction Blind Spot in Autoregressive Generation
대규모 자기회귀 언어 모델은 자기수정 맹점(self-correction blind spot)을 보인다: 동일한 오류라도 외부 출처로 귀인될 경우 안정적으로 수정하지만, 자신의 출력에 있는 동일한 오류는 수정하지 못한다. 선행 연구들은 제어된 오류 주입, 오류-깊이 분해, 강화학습(RL) 기반 검증자-수정자 학습, 내재적 자기 검증 등을 통해 이 현상을 경험적으로 기록했지만, 토큰 생성이 해당 오류 탐지 능력을 억제하는 이유에 대한 형식적 모델, 수정 마커에 대한 정량적 활성화 조건, 강화학습 기반 자기수정의 수렴 보장은 제시하지 못했다. 우리는 자기회귀 생성에서의 자기수정에 관한 스펙트럼-대수적 이론인 SPARC로 이러한 공백을 해소한다. 오류 전파 연산자를 잔차 스트림(residual stream) 위 단계별 어텐션 야코비안의 곱으로 정의하고, 맹점은 이 연산자의 스펙트럼 반지름(spectral radius)이 1 이상인 경우에만 발생함을 증명한다. 스펙트럼 반지름의 함수로 주어지는, 수정 마커가 초과해야 하는 엄밀한 활성화 임계값을 도출하여, 단순한 "Wait" 마커로 관측된 맹점 89.3% 감소를 재현한다. 나아가, 검증자-수정자 결합 행렬의 스펙트럼 노름(spectral norm)이 1 미만인 경우에만 RL 기반 검증자-수정자 학습이 샘플 수의 제곱근 대비 결합 강도의 제곱에 비례하는 속도로 수렴함을 증명하고, 이 기준이 잔차 스트림 자기회귀 모달리티 전반에 걸쳐 불변하여 텍스트 대규모 언어 모델(LLM)과 자기회귀 이미지 및 비디오 생성을 통합함을 증명한다. 네 가지 백본과 시각적 자기회귀 프로브에 걸친 실험이 모든 정리를 검증하며, 스펙트럼 예측값은 측정된 맹점 비율과 3.2% RMSE 이내에서 일치한다.
One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
World-Model Collapse as a Phase Transition
생성형 AI 워크플로우에서의 특권과 기밀성
Privilege and confidentiality in generative AI workflows
생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.