arXiv:2606.06694v1 cs.LG

알고리즘적 판단의 지리학: 주택 검색에서의 LLM 중개자, 장소 정체성, 그리고 인종적 유도

The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search

Hana Samad, Trung Lam, Christoph Mügge-Durum, Michael Akinwumi

제출 2026-06-04

한국어 초록

대규모 언어 모델(LLM)은 대화형 인터페이스 내에 매물 플랫폼을 통합함으로써 주택 검색에서 중개 역할을 빠르게 수행하고 있으며, 도시 환경 내에서 정보, 검색, 추천에 대한 접근을 중개하고 있습니다. 우리는 4개 미국 도시에 걸쳐 7개의 오픈 가중치 및 폐쇄형 소스 LLM에 대한 행동 감사를 수행하여 LLM 내 인종적 유도에 대한 기존 연구를 확장했습니다. 이 과정에서 라이프스타일 선호 맥락을 점진적으로 추가하고 공정 주택 쌍대 테스트(paired-testing) 방법론을 반영하는 3가지 반복적 프롬프트 조건에 걸쳐 위치 추천을 테스트했습니다. 우리는 유도가 주로 정적 속성이라기보다는 모델의 해석적 재량에서 비롯된 창발적 행동임을 발견했습니다. 유도는 사용자의 정체성, 선호 표현, 그리고 모델이 특정 도시의 장소, 선호, 기회에 대해 학습한 표현을 내면화한 공간적 논리, 그리고 다양한 유형의 사용자가 이에 관련하는 방식 간의 상호작용 결과로 발생합니다. 유도가 존재했지만, 평가된 조건 전반에서 그 방향이나 규모가 균일하지는 않았습니다. 선호 조건부 테스트는 기준선 조건에 비해 유도 행동을 나타내는 모델의 수를 종종 증가시키거나 재구성했으며, 이는 LLM이 사용자의 인종적 정체성에 따라 동일한 주택 선호의 의미를 다르게 해석할 수 있음을 시사합니다. 우리의 연구 결과는 또한 도시가 장소 기반 부문에서의 LLM 평가를 위한 중립적 테스트 단위가 아니며, 하나의 지역 시장에서 얻은 결과가 다른 시장으로 일반화된다고 가정할 수 없음을 보여줍니다. 공간적 접근을 중개하는 AI 도구를 도입하면서 공정 주택에 대한 법적 및 제도적 약속이 훼손되지 않도록 하려면 주택 부문에 지역 및 도메인 전문성이 필요할 것입니다.

원문 초록

Large language models (LLMs) are rapidly assuming an intermediary role in housing search through the integration of listing platforms within conversational interfaces, mediating access to information, search, and recommendations within urban settings. We expand on prior work on racial steering in LLMs by conducting a behavioral audit of seven open-weight and closed-source LLMs across four U.S. cities, testing location recommendations across three iterative prompting conditions that progressively add lifestyle preference context and reflect fair housing paired-testing methodologies. We find that steering is an emergent behavior of the model's interpretive license rather than primarily a static property. Steering results from the interaction of a user's identity, preference articulation, and the spatial logic that a model has internalized about learned representations of place, preference, and opportunity in a given city, and how different types of users relate to it. While steering was present, it was not uniform in direction or magnitude across evaluated conditions. Preference-conditioned testing often increased or reconfigured the number of models that exhibited steering behaviors relative to baseline conditions, suggesting that LLMs may interpret what the same housing preference means differently depending on the racial identity of the user. Our findings also demonstrate that the city is not a neutral testing unit for LLM evaluation in place-based sectors, and results from one local market cannot be assumed to generalize to another. Local and domain expertise will be required in the housing sector to ensure that legal and institutional commitments to fair housing are not undermined while adopting AI tools that mediate spatial access.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06694v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02303v1cs.LG공통 태그 Fairness, Large Language Model

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.02968v1cs.AI공통 태그 Recommendation Systems, Large Language Model

단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명

Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation

대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.

arXiv:2610.02979v1cs.AI공통 태그 Recommendation Systems, Large Language Model

RASPER: EHR 결과 예측을 위한 임상 기록의 보상 정렬 요약

RASPER: Reward-Aligned Summarization of Clinical Notes for EHR Outcome Prediction

전자의무기록(EHR)의 비정형 퇴원 요약지는 종종 정형화된 의료 코드와 상호보완적인 신호를 지니며, 표준화된 코호트 수준의 코드만으로는 포착할 수 없는 환자별 근거를 담고 있습니다. 그러나 이러한 임상 기록 내 근거는 특정 임상 예측을 염두에 두고 작성되지 않은 길고 노이즈가 많은 텍스트 속에 묻혀 있는 경우가 많습니다. 요약은 직관적인 해결책이지만, 결과 예측보다는 유창성에 맞춰 조정된 일반적인 요약은 그럴듯하지만 정보성이 없는 세부 사항을 유지하면서 결정적인 근거를 일상적으로 누락합니다. 이를 위해 본 논문에서는 다운스트림 임상 작업에 맞춰 임상 기록 요약을 직접 최적화하는 EHR 예측용 보상 정렬 요약기인 RASPER를 제안합니다. RASPER는 미세조정 가능한 대규모 언어 모델(LLM) 기반 요약기를 활용하여 퇴원 요약지에서 작업 관련 근거를 추출하고, 다운스트림 예측기의 손실(loss)에서 도출된 보상(reward)을 사용하여 예측 피드백 기반 강화학습(reinforcement learning)으로 이를 학습합니다. 요약기를 그라운딩하기 위해 종단적 인코더가 정형 코드를 소프트 프롬프트로 변환하여 각 환자의 임상적 맥락을 임상 기록 요약에 반영합니다. 최종적인 멀티모달 예측 품질에 보상을 제공함으로써, RASPER는 요약기가 정형 코드로 포착된 정보를 중복하기보다는 이를 보완하는 환자별 근거를 유지하도록 유도합니다. RASPER는 MIMIC-III 및 MIMIC-IV 전반에서 재입원 예측과 약물 추천 모두에 대해 강력한 베이스라인을 일관되게 능가합니다.

arXiv:2610.00185v1cs.CY공통 태그 Fairness, algorithmic bias

학위가 없는 백인 남성이 대규모 언어 모델로부터 가장 낮은 평가를 받는다

White Men Without Degrees Receive the Lowest Ratings from Large Language Models

신용, 채용, 임대 지원서에 대한 통제된 대규모 언어 모델(LLM) 평가에서 학사 학위가 없는 백인 남성이 성별·인종·학력으로 나뉜 8개 집단 중 가장 낮은 평균 평가를 받는 것으로 나타났다. 본 연구는 12개 개발 그룹의 18개 모델을 대상으로 전요인 비네트(full-factorial vignette) 실험을 수행하였으며, 각 환경 내에서 명시된 재정적 또는 직업적 상황을 일정하게 유지하면서 성별, 인종, 연령, 시민권 여부, 학력을 변화시켰다. 각 모델은 환경당 32개의 프로필 전체를 10회씩 평가하여 총 17,280건의 평가 결과를 산출하였다. 모델, 연령, 시민권 여부를 통틀어 평균을 냈을 때, 학위가 없는 백인 남성에 대한 평가는 0-100점 척도 기준으로 신용 75.87점, 채용 92.71점, 임대 주택 86.62점으로 8개 집단 중 가장 낮았다. 반면 학위가 있는 흑인 여성이 가장 높은 평균 평가를 받았으며, 각각 2.94점, 3.66점, 3.56점의 격차를 보였다. 개별 속성 효과를 살펴보면 세 가지 환경 모두에서 여성, 흑인 지원자, 학위 소지자에게 유리하게 작용했다. 학위가 없는 백인 남성은 54개의 모델-시나리오 조합 중 46개(85.2%)에서 가장 낮거나 두 번째로 낮은 평균 점수를 기록했다. 이러한 양상은 학위가 없는 백인 남성 집단에서 심화되는 경제적·건강상 취약성에 대한 기존 실증 결과와 연결되며, 광범위한 인종 또는 성별 범주에 의해 불이익이 가려질 수 있는 집단을 부각한다.

arXiv:2610.01963v1cs.AI공통 태그 Fairness, Large Language Model

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.