arXiv:2607.00001v1 cs.AI

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

Max Kanwal, Caryn Tran

제출 2026-04-01

원문 초록

Most approaches to AI alignment treat human preferences as fixed targets to be inferred and optimized. This assumption conflicts with extensive empirical evidence showing that preferences are layered, dynamic, and constructed through interaction--particularly with adaptive technologies. As AI systems become more persistent, personalized, and socially embedded, they increasingly participate in shaping what people attend to, value, and endorse over time. We introduce Constructive Alignment, a paradigm that reframes alignment as a control problem over evolving human preference trajectories rather than static preference satisfaction. Drawing on behavioral economics, psychology, and constructivist social theory, we model preferences as layered state variables that evolve under interaction with AI systems. We formalize this view using a control-theoretic framework in which system actions and interaction design jointly influence both world states and human evaluative states. We argue that alignment is not primarily about controlling AI behavior, but about regulating how AI systems influence the evolution of human preferences--ensuring that value trajectories remain coherent, reflectively endorsed, epistemically grounded, bounded against manipulation, and empowering under uncertainty. Alignment thus becomes a problem of governing long-term value formation rather than simply satisfying static preferences.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.00001v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00163v1cs.HC공통 태그 Decision Making, human-ai interaction

AI가 재단실을 떠날 때: 대규모 언어 모델(LLM) 조언자가 복잡한 문제 해결에 남기는 영향 측정

When the AI Leaves the Tailorshop: Measuring What an LLM Advisor Leaves Behind in Complex Problem Solving

복잡한 문제 해결은 효과적으로 행동하는 것과 시스템의 작동 방식을 이해하는 것에 달려 있습니다. AI의 조언은 이러한 결과들을 불균등하게 지원할 수 있습니다. 사전 등록된 두 건의 실험에서 대규모 언어 모델(LLM) 조언자의 지원을 받거나 받지 않은 상태로 시뮬레이션 의류 공장을 관리하는 참가자들을 비교했습니다. 연구 전반에서 AI 지원을 받은 참가자들은 더 적은 노력으로 더 높은 자신감과 이해도를 보고했습니다. 첫 번째 연구(N=200)에서 AI 지원은 기업 가치를 높였으나 예측 정확도에서는 감지 가능한 차이를 만들어내지 못했습니다. 지원이 중단된 후, 이전에 지원을 받았던 참가자들은 이전 선택을 반복하는 것을 기준으로 점수를 매겼을 때는 통제군보다 우수한 성과를 보였으나 기본 설정을 기준으로 했을 때는 그렇지 않았습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 지원 없는 상태에서의 성과가 더 우수할 것으로 예측되었습니다. 두 번째 연구(N=198)에서 AI 지원을 받은 참가자들은 파산 빈도가 낮았으며 사전 등록된 분석에서 약간의 지식 우위를 보였는데, 이는 주로 지급 능력을 유지한 것과 관련이 있었습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 더 높은 지식을 보일 것으로 예측되었습니다. 응용 인간-AI 상호작용(HAI) 평가는 AI 지원을 통해 달성한 성과뿐만 아니라 사용자의 이해도와 독립적인 역량도 함께 평가해야 합니다.

arXiv:2607.21558v1cs.AI공통 태그 Decision Making, ai alignment

아부를 넘어서: LLM 도덕적 추론에서의 구조화된 저항과 순응

Beyond Sycophancy: Structured Resistance and Compliance in LLM Moral Reasoning

다른 이로부터 배울 수 있으면서도 단순히 굴복하지 않는, 사회적으로 보정된(socially calibrated) 대규모 언어 모델(LLM)을 구축하려면 아부(sycophancy)를 일차원적인 실패 모드로 줄이는 것만으로는 충분하지 않다. 모델은 다른 이의 관점을 수용해야 할 때와 근거 있는(well-grounded) 도덕적 판단을 유지해야 할 때를 구분해야 한다. 우리는 이러한 구분을 지배하는 더 넓은 저항-순응(resistance-compliance) 과정을 연구한다. 세 가지 연구를 통해, 모델의 판단 수정이 인간 사회 심리학의 고전적 현상과 평행하는 세 가지 차원을 따라 구조화되어 있음을 보인다: 들어오는 관점과 모델의 초기 입장 사이의 거리, 해당 관점의 출처 귀속(source attribution), 이를 뒷받침하는 연대(coalition) 구조. 모델은 일반적으로 가까운 입장에 더 수용적이고, 자신의 이전 판단으로 제시된 관점에 더 크게 영향을 받으며, 집단 압력에 서로 다르게 반응한다. 이러한 발견은 아부를 사회적 영향에 의해 형성되는 더 넓은 판단 갱신(judgment-updating) 과정의 한 표현으로 재해석한다. 우리의 프레임워크는 건설적인 신념 수정(belief revision)과 아부적 순응(sycophantic compliance)을 구분할 수 있는 원칙적 기반을 제공하여, 도덕적으로 중요한 상호작용에서 더 나은 정렬(alignment)을 지원한다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.