Skin-in-the-Game: Decision Making via Multi-Stakeholder Alignment in LLMs
원문 초록
Large Language Models (LLMs) have shown remarkable capabilities in tasks such as summarization, arithmetic reasoning, and question answering. However, they encounter significant challenges in the domain of moral reasoning and ethical decision-making, especially in complex scenarios with multiple stakeholders. This paper introduces the Skin-in-the-Game (SKIG) framework, aimed at enhancing moral reasoning in LLMs by exploring decisions' consequences from multiple stakeholder perspectives. Central to SKIG's mechanism is simulating accountability for actions, which, alongside empathy exercises and risk assessment, is pivotal to its effectiveness. We validate SKIG's performance across various moral reasoning benchmarks with proprietary and opensource LLMs, and investigate its crucial components through extensive ablation analyses.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
추론이 아닌 결정 학습: 저차원 활성화 스티어링을 통한 매개변수 효율적 결정 연산자
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
동결된(frozen) 언어 모델에 스킬을 주입하는 데는 현재 백만 개의 매개변수와 강화학습 파이프라인이 소요됩니다. 본 연구에서는 행동 복제(behavior cloning)로 학습되어 이 비용을 약 2단계(orders of magnitude)가량 낮추는 시스템-1(System-1) 결정 연산자인 DecSteer를 소개합니다. 기본 연산자는 33만(330K) 개의 매개변수를 사용하여 강화학습으로 학습된 133만(1.33M) 개 매개변수의 연산자와 동등하거나 그 이상의 성능을 달성하는 동시에, 정확도 손실 없이 3,685개 토큰의 숙고 과정을 6개 토큰의 결정으로 압축합니다. 기존에 발표된 가장 강력한 스킬 연산자의 1/58 수준인 2만 3천(23K) 개 매개변수를 가진 랭크-4(rank-4) 변형은 SearchQA에 충분하며, 더 높은 랭크가 여전히 도움이 되는 LiveMath에서도 충분한 수준에 근접합니다. 동일한 방식이 5가지 태스크와 3가지 백본 전반에 전이되며, 학습 후 수개월 뒤에 공개된 LiveMath 문제에서도 분포 외(out-of-distribution) 성능 향상이 유지됩니다. 이전 연구와의 성능 격차 원인은 학습 가능성(trainability)에 있으며, 이는 초기화와 아키텍처에 의해 함께 결정됩니다. 이전 연산자들의 초기화는 첫 최적화 단계에서 두 대형 인수 행렬의 그래디언트를 0으로 만드는 반면, 공유된 저차원 백본 내부에서 영점 초기화(zero-initialized)된 본 연구의 출력 투영은 즉시 그래디언트를 수신하며, 이는 그래디언트 흐름 탐침(gradient-flow probe)을 통해 직접 확인됩니다. 이러한 성능 향상은 사고의 연쇄(Chain-of-Thought) 압축에 의한 것이 아닙니다. LiveMath의 57점 중 23점은 기본 모델의 Best-of-8 샘플링을 능가하며, 로짓 렌즈(logit-lens) 탐침을 통해 연산자가 답을 조기에 작성하는 것이 아니라 모델의 기존 후반부 층 경로를 따라 답을 증폭한다는 것을 보여줍니다. 성능 이득은 13개의 기본 모델-태스크 쌍에 걸쳐 기본 모델의 개선 여지(headroom)를 따르며, 스킬들은 추론 시점에 더하고, 보간하고, 핫스왑할 수 있는 대략적인 선형 연산자로 결합됩니다.
동적 추론을 위한 수정 인지 독립 에이전트 그래프
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.
범용 프랙털 자연어 의사결정 맵: 이종 도메인 전반의 실시간 엣지 트리아지
Universal Fractal Natural Language Decision Map: Real-Time Edge Triage Across Heterogeneous Domains
대규모 언어 모델(LLM)을 런타임 운영 트리아지에 배치하면 지나친 지연(>100–500 ms), 높은 VRAM 요구(>4–8 GB), 과도한 에너지 소모가 발생한다. Mandelbrot Fractal Neural Synthesis(Dagli et al., 2026)를 확장하여, 본 논문은 werr 머신 네이티브 엣지 반사(reflex) 런타임과 프로덕션 answerr 플랫폼(https://answerr.me)을 통해 구현한 Universal Fractal Natural Language Decision Map을 제시한다. 저장된 가중치 텐서 없이(VRAM 0 Bytes) 전적으로 동작하는 이 엔진은 Mandelbrot 집합의 카오틱 경계를 따라 24바이트 좌표 시드를 동적으로 변조하고 4분면 탈출 동역학을 평가하여 결정론적 의사결정—noul(Boolean), choice(범주형), score(서열형)—을 합성한다. 생물학적 System-One 반사 아크에서 영감을 받아, 엔진은 다음을 도입한다: (i) 도메인 투영기 Phi_D를 갖춘 Auto-Seed Router로 선형 베이스라인 대비 +28.8% 정확도 향상; (ii) 토큰 엔트로피와 음성학적 스펙트럼 밀도에 기반한 정보 이론적 음향 감쇠 필터(Information-Theoretic Acoustic Damping Filter)로 프롬프트 인젝션에 격리(실증 우회 0.0%; 95% Wilson CI: [0.0%, 30.8%])하면서 탈출 반복을 45.8% 가지치기(처리량 2.5배 가속, 지연 3.31 ms); (iii) O(1) 지수 이동 평균(EMA, alpha=0.03)과 분면 위상 회전을 사용하는 Organic Dynamic Calibration 프레임워크로 위치 바이어스 제거. 베어 메탈 인프라(api.answerr.me:4431)에서 1,150건 이상 검증된 의사결정(3,200건 이상 질문)에 대해 벤치마크하고 독립 JevBench 스위트에서 세계 1위(81.65%)를 기록한 이 프레임워크는 92.6% 매크로 정확도(95% CI: [90.8%, 94.1%])와 7.08 ms 중앙값 CPU 지연을 달성한다. OpenAI 호환 API(/v1/chat/completions)를 제공하며 마이크로컨트롤러와 32바이트 EVM 스마트 계약에서의 실현 가능성을 보여준다.
ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크
ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI
연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.
효과적이고 효율적인 체화 탐험을 위한 능동적 공간 검사
Active Spatial Inspection for Effective and Efficient Embodied Exploration
높은 작업 성공률과 효율성을 달성하는 것은 체화 탐험(Embodied Exploration)에서 핵심적인 목표로 남아 있다. 기존 프레임워크는 일반적으로 공간적으로 조악하고 간접적인 암시적 단서 및 방향 평가를 통해 에이전트(Agent) 행동을 유도하지만, 이러한 설계는 단서의 충분성과 추가 검사(inspection)의 필요성을 판단하는 데 어려움을 겪어 조기 종료나 과도한 지속으로 이어지고, 결과적으로 작업 성공률과 효율성을 저하시킬 수 있다. 본 연구는 공간적으로 명시적인 관점에서 체화 탐험을 재고하고, 근거 기반 지각(evidence-grounded perception)과 노출 정보 기반 이동(exposure-informed movement)을 결합하여 공간적으로 해상된 의사결정 패러다임을 확립하는 공간 검사 기반 능동 탐험(spatial-inspection-guided ACtive Exploration, ACE) 프레임워크를 제안한다. 근거 기반 지각은 세밀한 위치 추정(localization)과 집중적 검증(verification)을 통합하여 암시적 단서를 정확하고 결정적인 시각적 근거로 전환함으로써 추론적 타당성을 강화한다. 노출 정보 기반 이동은 전향적 우선순위화(prospective prioritization)와 후향적 억제(retrospective suppression)를 통해 방향 판단을 촉진하며, 효율적인 공간적 진행을 위해 유망한 방향을 선택한다. ACE는 조기 종료를 방지하는 것과 불필요한 지속을 피하는 것 사이의 긴장 관계를 완화한다. 광범위한 실험을 통해 ACE가 기존 최신(state-of-the-art) 베이스라인 대비 내비게이션(navigation) 작업 성공률을 18.0% 향상시키고, 질의응답(question answering)을 위한 탐험 효율성을 10.3% 향상시켜 효과적이고 효율적인 체화 탐험을 진전시킨다는 것을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.