누구의 정답인가? 인간 중심 AI에서 모호성의 수용
Whose Ground Truth? Embracing Ambiguity in Human-Centered AI
한국어 초록
AI 시스템이 점차 사람과 상호작용하고 사람에 관한 결정을 내리게 됨에 따라, 인간의 해석을 이해하는 것은 인간 중심 AI(Human-Centered AI) 개발에서 중요한 부분이 되고 있습니다. 기존의 머신러닝 및 AI 시스템은 단 하나의 명확한 정답(ground truth)이 존재한다는 가정하에 주로 개발되어 왔으며, 인간의 어노테이션(annotation) 편차는 집계를 통해 해결되거나 노이즈로 처리되곤 했습니다. 그러나 많은 인간 중심 과제에서 인간의 해석은 본질적으로 모호하며, 동일한 입력에 대한 여러 해석이 동시에 타당하고 유효할 수 있습니다. 이러한 모호성을 단일 타깃으로 축소하는 것은 인간의 인식, 판단 및 경험의 다양성에 대한 유의미한 정보를 간과할 위험이 있습니다. 본 포지션 논문(position paper)에서는 유의미한 모호성과 어노테이션 노이즈를 구별하면서, 타당한 인간 판단의 해석 공간을 모델링하는 방향으로의 전환을 촉구합니다. 우리는 이러한 관점이 AI 시스템의 표현, 학습(training), 평가(evaluation), 배포 및 거버넌스 방식을 이끌어야 하며, 인간 해석의 다양성을 더 잘 반영하는 보다 인간 중심적인 AI를 뒷받침해야 한다고 주장합니다.
원문 초록
As AI systems increasingly interact with people and make decisions about them, understanding human interpretations becomes an important part of developing human-centered AI. Conventional machine learning and AI systems are largely developed under the assumption that a single definitive ground truth exists, with variability in human annotations often resolved through aggregation or treated as noise. However, for many human-centered tasks, human interpretation is inherently ambiguous, and multiple interpretations of the same input may be simultaneously reasonable and valid. Reducing such ambiguity to a single target risks overlooking meaningful information about the diversity of human perception, judgment, and experience. In this position paper, we call for a shift towards modeling the interpretation space of plausible human judgments, while distinguishing meaningful ambiguity from annotation noise. We argue that this perspective should guide how AI systems are represented, learned, evaluated, deployed, and governed, supporting more human-centered AI that better reflects the diversity of human interpretation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹
Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics
공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.
FMOPF: AC 최적 전력 흐름을 위한 제약 인식 상호작용 사전 기반 잠재 플로우 매칭
FMOPF: Latent Flow Matching with Constraint-Aware Interaction Priors for AC Optimal Power Flow
AC 최적 전력 흐름(OPF)은 비선형 전력 평형 제약 하에서 최소 비용 발전 배치를 결정하며, 전력 시장 운영에서 하루에 수천 번 풀린다. 부하 조건에서 OPF 해법으로의 직접 매핑을 학습하면 이 계산을 가속할 수 있지만, 재생에너지 침투가 심화되면서 단일 최적 배치만으로는 더 이상 충분하지 않다. 운영자는 위험 정량화, 민감도 분석, 다목적 트레이드오프 평가를 위해 실행 가능한 근최적 해법 분포의 특성화가 필요하다. 지도 학습 신경망은 빠른 점 예측을 제공하지만 이 조건부 분포를 포착할 수 없다. 확산 기반 생성 모델은 원칙적으로 다양한 해법을 샘플링할 수 있지만, 원시 상태 공간에서 동작하는 기존 방법은 해법 품질이 저하되고 중간 규모 시스템 이상으로 확장하지 못한다. 우리는 근본 원인을 단일 모델 내에서 두 가지 서로 다른 과제가 혼재된 것으로 확인했다. 고차원 OPF 해법 매니폴드를 압축하는 것이 한 과제이고, 부하에서 그 매니폴드로의 조건부 매핑을 학습하는 것이 또 다른 과제이다. 본 논문은 잠재 플로우 매칭(latent flow matching)을 통해 압축과 생성을 분리하고, Constraint-Aware Interaction Prior Network를 통해 부하-상태 결합을 명시적으로 모델링함으로써 이러한 혼재를 해소하는 프레임워크인 FMOPF를 제안한다. 4개 IEEE 테스트 시스템에서의 실험은 FMOPF가 가장 효과적인 Newton-Raphson 웜 스타트(warm start)를 제공하고, 생성 방법 중 최저 꼬리 위험(tail risk)을 달성하며, 완전한 실행 가능성을 유지하면서 수백 개 버스(bus) 규모 시스템까지 확장 가능한 최초의 방법임을 보여준다. Ablation 연구는 잠재 생성 파이프라인이 물리적 실행 가능성의 필요 조건이며, 상호작용 사전(prior)이 후단 꼬리 위험 제어기로 기능함을 확인한다.
수중 매니퓰레이터용 오일 충전 전기 관절 시스템의 주변압 보상 및 강건 위치 제어
Ambient pressure compensation and robust position control of oil-filled electric joint systems for underwater manipulators
전기 관절 시스템은 수중 매니퓰레이터의 구동, 드라이브 및 제어에 있어 중요한 구성 요소이다. 수중 환경에서 작동할 때 관절은 큰 주변압을 받는다. 이를 견디기 위해 주변압 보상 방법이 일반적으로 사용되지만, 가압된 오일은 밀봉 문제뿐 아니라 관절 동역학 모델에 대한 파라미터 불확실성 및 알려지지 않은 외란을 야기한다. 이러한 문제를 해결하기 위해 본 연구는 수중 오일 충전 전기 관절을 위한 설계 프레임워크를 제안한다. 주변압 보상 모듈의 동역학을 분석하고, 내부 유압 오일을 밀봉하기 위해 관절 구조를 최적화한다. 오일 충전 관절의 불확실성 동역학 모델을 수립하고, 구조화 특이값 합성(structured singular value synthesis, μ-합성)에 기반한 강건 위치 제어기를 설계한다. 실험 결과는 제안 방법의 타당성을 검증한다.
RareLens: 분기하는 대규모 언어 모델 추론 정렬을 통한 종단 간 희귀질환 진료
RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning
희귀질환은 전체 인구의 추정 3.5%에서 5.9%에 영향을 미치지만, 70% 이상의 환자가 오진되며 많은 환자가 진단에 이르기까지 수년간 평가를 겪는다. 이는 초기 증상이 비특이적이고 관련 전문성이 부족하며 불균등하게 분포되어 있기 때문이다. 인공지능이 지원을 제공할 수 있지만, 기존 시스템은 진료의 고립된 단계, 주로 진단만 다룬다. 이들은 일반적으로 후속 검사 결과에 의존하며, 모델 간 변동성을 제거해야 할 노이즈로 취급한다. 여기서 우리는 이러한 변동성을 활용하여 희귀질환 전체 궤적에 걸친 임상 의사결정을 지원하는 시스템 RareLens를 제시한다. 이질적인 대규모 언어 모델들이 동일한 사례를 평가할 때, 분기하면서도 상호 보완적인 추론을 생성하며, RareLens는 이를 각 단계에서 단일한 수렴적이고 실행 가능한 결정으로 정렬하고 보정한다. 네 개의 조율된 모듈이 초진 위험 선별, 진단, 치료 계획 및 예후를 수행한다. 33개 Orphanet 카테고리 전체와 7,000개 이상의 질환에 걸친 157,525건의 실제 사례로 구성된 실세계 데이터셋 RareBench에서 개발 및 평가되었으며, RareLens는 GPT-5, DeepSeek-R1, Claude-3.7-Sonnet, Gemini-2.5-Pro를 포함한 테스트된 모든 최신 프론티어 모델을 각 단계에서 능가했다. 선별에서 0.917의 곡선 아래 면적(AUC)을, 진단과 치료에서 각각 65.5% 및 89.8%의 top-1 정확도를 달성했다. 1,287건의 사례와 23명의 의사에 걸친 외부 연구에서, 자율 RareLens와 RareLens 보조를 받은 의사 모두 무 보조 의사보다 상당히 우수한 성능을 보였다. 이러한 결과는 단일 모델의 스케일링보다 분기하는 모델 추론의 정렬이 고불확실성 임상 의사결정을 위한 일반화 가능한 전략을 제공함을 나타낸다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026 Trustworthy AI for Good Workshop