누구를 위한 공정성인가? AI 바이어스 연구의 구조적 집중화
Whose fairness? Structural concentration in AI bias research
한국어 초록
인공지능은 의료, 법률, 공공 서비스 등 중요한 의사결정을 점점 더 많이 매개하고 있으며, 이 분야는 바이어스를 측정하고 완화하기 위한 방대한 방법론으로 대응해왔다. 그러나 이 방법론의 토대를 이루는 공정성 정의, 벤치마크, 바이어스 제거 프레임워크는 그 구성이 한 번도 규명된 적 없는 연구 커뮤니티에 의해 생산되면서도 보편적인 것으로 취급되고 있다. 본 연구는 AI 바이어스 연구가 구조적으로 집중되어 있으며, 이 집중이 지리적으로 나머지 분야가 의존하는 바로 그 영역에서 가장 심하다는 것을 보인다. 5개의 주제 영역에 걸친 692편의 논문을 계량서지학적 분석과 의미론적 클러스터링을 결합하여 분석한 결과, 연구 활동이 소수의 국가, 기관, 저자에 의해 지배되고 있음을 발견했다. 미국은 모든 영역에서, 특히 4개의 의미론적 클러스터 전반에 걸쳐 의미 있는 대표성을 지닌 가장 크고 가장 많이 인용되는 영역인 일반 공정성 및 바이어스 완화 분야에서 출판 실적과 협력 네트워크를 주도하고 있다. 저소득 및 중소득 국가들은 커뮤니티와 그 협력 네트워크에서 대체로 부재하며, 인용 영향력은 극도로 편중되어 있어(중앙값 = 9, 평균 = 93.5), 소수의 논문이 이 분야를 불균형적으로 형성하고 있음을 나타낸다. 일반 공정성 영역이 응용 분야에서 적용하는 정의와 벤치마크를 제공하기 때문에, 이 근본적인 영역에서의 연구 노력 집중은 AI 바이어스 연구 전반으로 전파된다. 이는 좁은 맥락에서 개발·검증된 완화 방법이 AI가 실제로 배포되는 모든 집단과 환경에 일반화되지 않을 수 있다는 우려를 제기한다. 본 연구는 이 분야의 구조를 지속적으로 모니터링하기 위한 인터랙티브 아틀라스를 제공한다.
원문 초록
Artificial intelligence increasingly mediates consequential decisions in healthcare, law, and public services, and the field has responded with an extensive methodology for measuring and mitigating bias. Yet the fairness definitions, benchmarks, and debiasing frameworks on which this methodology rests are treated as universal while being produced by a research community whose composition has never been characterized. We show that the AI bias research are structurally concentrated, and that this concentration is greatest, geographically, in precisely the domain the rest of the field inherits from. Analyzing 692 publications spanning five thematic domains, combining bibliometric analysis with semantic clustering, we find that research activity is dominated by a small set of countries, institutions, and authors, with the United States leading publication output and collaboration networks across every domain and most strongly in general fairness and bias mitigation, the largest, most-cited domain with meaningful representation across all four semantic clusters. Low- and middle-income countries remain largely absent from the community and its collaboration networks, and citation influence is highly skewed (median = 9; mean =93.5 ), indicating that a small fraction of publications disproportionately shapes the field. Because the general-fairness domain supplies the definitions and benchmarks that application areas apply, concentration of research effort in this foundational domain propagates across AI bias research as a whole - raising the concern that mitigation methods developed and validated within a narrow set of contexts may not generalize to all populations and settings where AI is deployed. We provide an interactive atlas for continuous monitoring of the field's structure.
요약
AI 편향(bias) 연구 분야가 구조적으로 집중되어 있음을 계량서지학적 분석과 의미론적 클러스터링으로 분석한 연구로, 692편의 논문을 분석한 결과 미국이 모든 영역에서 출판 및 협력 네트워크를 압도적으로 주도하며 저소득·중소득 국가는 거의 부재함을 밝혔다. 특히 공정성 정의와 벤치마크를 공급하는 핵심 영역인 일반 공정성 및 편향 완화 도메인에서 연구 집중도가 가장 높아, 좁은 맥락에서 개발된 완화 방법이 보편적인 것으로 잘못 적용될 위험성을 제기한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.05574v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정
PowerBench: Measuring Language Model Bias in Power-shifting Requests
언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.
CuBEs: 문화적 맥락을 고려한 행동 평가와 문화 불가지론적 LLM 판정자의 한계
CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges
아첨(sycophancy), 자기 선호(self-preference), 또는 과신(over-confidence)과 같은 대규모 언어 모델(LLM)의 행동 발생 여부와 트리거를 평가하는 것은 실제 환경에서의 모델 배포 위험을 예측하는 데 매우 중요합니다. 그러나 기존의 맥락적 행동 평가는 일반적으로 문화적 맥락을 무시하므로, 점점 더 글로벌화되는 사용자층 전반에 걸친 일반화 가능성이 제한됩니다. 이러한 격차를 해소하기 위해, 다양한 사용자 문화에 걸친 응답 패턴을 탐색하는 문화적 맥락 고려 행동 평가 프레임워크인 CuBEs를 제안합니다. 먼저 자동화된 테스트 파이프라인을 확장하여 행동 테스트 시나리오와 후속 평가에 문화적 맥락을 주입합니다. 12개의 서로 다른 문화권에 걸쳐 미묘한 행동 이해 차원을 포착하는 인간 라벨링 데이터셋을 구축하여 이 파이프라인의 문화적 적응성을 평가합니다. 구축한 데이터셋은 획일적인 판정으로는 포착할 수 없는 상당한 비교문화적 차이를 보여줍니다. 13개의 오픈소스 및 폐쇄형 LLM을 평가한 결과, 평가 시나리오에 문화적 맥락성(cultural situatedness)을 도입하면 행동의 발현 양상에 상당한 차이가 발생함을 확인했습니다. 예를 들어 정치적 바이어스를 테스트하는 기준선 실험에서는 미국 내 보수-진보 간의 분열과 같이 국지화된 서구적 정치 차원만을 포착하는 반면, 비서구권의 문화적 맥락을 고려한 평가에서는 종교적 및 식민지적 정치 문제와 같은 완전히 다른 바이어스 축이 드러납니다. 이러한 연구 결과는 표준적이고 문화 불가지론적인 평가가 이러한 변화를 포착하지 못함을 보여주며, 글로벌 배포를 위해 문화적 맥락을 고려한 행동 테스트가 필수적임을 강조합니다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
A Survey on Performance Metrics for Object-Detection Algorithms
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.