arXiv:2607.05680v1 cs.CY

정확성을 넘어서: 법적으로 올바르지만 사회적으로 논쟁적인 기계의 법률 조언을 인간이 평가하는 방식

Beyond Accuracy: How Humans Evaluate Legally Correct but Socially Controversial Legal Advice from Machines

Benjamin Minhao Chen, Zhiyu Li

제출 2026-07-06

한국어 초록

AI 시스템이 법률 조언을 제공하는 데 점점 더 많이 활용됨에 따라, 일반인이 알고리즘의 안내를 수용하는지—특히 그 조언이 법적으로는 옳지만 사회적으로 논쟁적인 경우—에 대한 의문이 제기되고 있다. 본 연구는 중국 본토 성인 3,348명을 대상으로 한 사전 등록 설문 실험을 보고한다. 이 실험에서는 동일한 법률 조언이 AI 시스템 또는 인간 변호사에게 귀속될 때, 그리고 추론 과정이 함께 제공될 때와 그렇지 않을 때 사람들이 조언을 어떻게 평가하는지를 살펴보았다. 알고리즘 혐오(algorithm aversion)에 대한 기존 예측과 달리, AI 시스템에 귀속된 조언은 지각된 합리성에 순 효과가 없었다. 그러나 매개 분석(mediation analyses)은 이 영가설 결과의 이면에 상반된 심리적 경로가 존재함을 밝혀냈다. AI에 귀속된 조언은 더 객관적으로 인식되어 지각된 합리성을 높이는 반면, 덜 포괄적이고 특수한 상황에 덜 주의를 기울이는 것으로 인식되어 지각된 합리성을 낮추었다. 반면, 법률적 추론을 제공하는 것은 출처와 무관하게 지각된 합리성을 실질적으로 높였으며, 이는 주로 객관성 인식을 향상시킴으로써 나타났다. 정성적 응답 결과 역시 법률 조언 평가에서 객관성과 맥락적 민감성 사이의 이러한 긴장을 뒷받침한다. 이러한 결과들은 AI 법률 조언자에 대한 대중의 반응이 자동화에 대한 경직된 태도에 의해 형성되는 것이 아니라, 경쟁하는 규범적 기대들 간의 균형 조정에 의해 형성됨을 시사한다. 본 연구의 결과는 알고리즘 혐오 이론 및 규범적으로 민감한 영역에서의 AI 추천 시스템 설계에 함의를 제공한다.

원문 초록

AI systems are increasingly used to provide legal advice, raising questions about whether laypeople accept guidance from algorithms--especially when that advice is legally correct but socially controversial. We report a preregistered survey experiment with 3,348 adults in mainland China examining how people evaluate identical legal advice when it is attributed either to an AI system or to a human lawyer, and when it is accompanied by reasoning or not. Contrary to expectations of algorithm aversion, attribution to an AI system has no net effect on perceived reasonableness. However, mediation analyses reveal opposing psychological pathways underlying this null result. AI-attributed advice is perceived as more objective, which increases perceived reasonableness, but also as less comprehensive and less attentive to special circumstances, which decreases perceived reasonableness. By contrast, providing legal reasoning substantially increases perceived reasonableness regardless of source, largely by enhancing perceptions of objectivity. Qualitative responses corroborate this tension between objectivity and contextual sensitivity in evaluations of legal advice. Together, these findings suggest that public responses to AI legal advisors are shaped not by rigid attitudes toward automation, but by the balancing of competing normative expectations. The results have implications for theories of algorithm aversion and the design of AI recommendation systems in normatively salient domains.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05680v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02070v3cs.AI공통 태그 Causal Inference, Large Language Model

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.02254v1cs.LG공통 태그 Causal Inference, Large Language Model

대규모 언어 모델을 통한 해석적 구조 모델링의 한계 극복

Overcoming Challenges of Interpretive Structural Modeling with Large Language Models

해석적 구조 모델링(Interpretive Structural Modeling, ISM)은 다기준 의사결정을 위한 대표적인 방법론이다. 다른 방법론 대비 ISM의 강점은 인과 관계를 모델링하는 능력, 요인의 이진 척도, 그리고 이를 통해 도출되는 계층적 표현에 있다. 전통적으로 모델링 과정은 합의가 도출될 때까지 주제별 전문가(SME)와의 반복적인 상호작용을 통해 수행된다. 그러나 이러한 과정은 지루하고 노동 집약적이며, 무엇보다도 수백 개의 변수를 다루는 연구로 ISM을 확장하는 데 한계가 있다. 대규모 언어 모델(LLM)을 불완전한 전문가로 활용하는 기존의 인과 그래프 탐색 연구를 바탕으로, 본 연구는 ISM을 위한 통합적 LLM-ISM 접근 방식을 탐구한다. 쌍별(pairwise), k-wise, 행별(rowwise), 전체 그래프(full graph) 탐색 방법론을 비교 및 평가하였다. 그 결과, ISM을 위한 인과 그래프 탐색 방법론 중 행별(SHD=160, F1-score=0.77) 및 전체 그래프 방식(SHD=135, F1-score=0.73)을 활용했을 때 가장 우수한 성능을 보이는 것으로 나타났다.

arXiv:2610.02303v1cs.LG공통 태그 Fairness, Large Language Model

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.02594v1cs.LG공통 태그 Causal Inference, Large Language Model

인과성이 의미론적 간극을 메우는 방법

How Causality Bridges the Semantic Gap

수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.

arXiv:2610.02968v1cs.AI공통 태그 Recommendation Systems, Large Language Model

단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명

Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation

대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.

arXiv:2610.02979v1cs.AI공통 태그 Recommendation Systems, Large Language Model

RASPER: EHR 결과 예측을 위한 임상 기록의 보상 정렬 요약

RASPER: Reward-Aligned Summarization of Clinical Notes for EHR Outcome Prediction

전자의무기록(EHR)의 비정형 퇴원 요약지는 종종 정형화된 의료 코드와 상호보완적인 신호를 지니며, 표준화된 코호트 수준의 코드만으로는 포착할 수 없는 환자별 근거를 담고 있습니다. 그러나 이러한 임상 기록 내 근거는 특정 임상 예측을 염두에 두고 작성되지 않은 길고 노이즈가 많은 텍스트 속에 묻혀 있는 경우가 많습니다. 요약은 직관적인 해결책이지만, 결과 예측보다는 유창성에 맞춰 조정된 일반적인 요약은 그럴듯하지만 정보성이 없는 세부 사항을 유지하면서 결정적인 근거를 일상적으로 누락합니다. 이를 위해 본 논문에서는 다운스트림 임상 작업에 맞춰 임상 기록 요약을 직접 최적화하는 EHR 예측용 보상 정렬 요약기인 RASPER를 제안합니다. RASPER는 미세조정 가능한 대규모 언어 모델(LLM) 기반 요약기를 활용하여 퇴원 요약지에서 작업 관련 근거를 추출하고, 다운스트림 예측기의 손실(loss)에서 도출된 보상(reward)을 사용하여 예측 피드백 기반 강화학습(reinforcement learning)으로 이를 학습합니다. 요약기를 그라운딩하기 위해 종단적 인코더가 정형 코드를 소프트 프롬프트로 변환하여 각 환자의 임상적 맥락을 임상 기록 요약에 반영합니다. 최종적인 멀티모달 예측 품질에 보상을 제공함으로써, RASPER는 요약기가 정형 코드로 포착된 정보를 중복하기보다는 이를 보완하는 환자별 근거를 유지하도록 유도합니다. RASPER는 MIMIC-III 및 MIMIC-IV 전반에서 재입원 예측과 약물 추천 모두에 대해 강력한 베이스라인을 일관되게 능가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.