(Im)possibility of Collective Intelligence
원문 초록
Modern applications of AI involve training and deploying machine learning models across heterogeneous and potentially massive environments. Emerging diversity of data not only brings about new possibilities to advance AI systems, but also restricts the extent to which information can be shared across environments due to pressing concerns such as privacy, security, and equity. Based on a novel characterization of learning algorithms as choice correspondences on a hypothesis space, this work provides a minimum requirement in terms of intuitive and reasonable axioms under which the only rational learning algorithm in heterogeneous environments is an empirical risk minimization (ERM) that unilaterally learns from a single environment without information sharing across environments. Our (im)possibility result underscores the fundamental trade-off that any algorithms will face in order to achieve Collective Intelligence (CI), i.e., the ability to learn across heterogeneous environments. Ultimately, collective learning in heterogeneous environments are inherently hard because, in critical areas of machine learning such as out-of-distribution generalization, federated/collaborative learning, algorithmic fairness, and multi-modal learning, it can be infeasible to make meaningful comparisons of model predictive performance across environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.
텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습
Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation
텍스트-이미지(T2I) 모델은 사실적이고 프롬프트에 부합하는 이미지를 생성하지만, 동일한 프롬프트에 대한 샘플은 시각적으로 구별되는 소수의 모드만을 포괄하는 경우가 많다. 인물 중심 프롬프트에서는 이러한 다양성 부족이 인구통계학적 편향을 반영하거나 증폭할 수 있다. 본 논문은 대표적 다양성을 목표 모드 포괄도, 즉 샘플 집합이 색상이나 인지된 인종 범주와 같은 사전 정의된 모드를 얼마나 잘 포괄하는가로 정식화한다. 이어서 다축 max@K 목적함수를 최적화하여 확산 T2I 모델의 포괄도를 개선하는 강화학습 후학습 방법인 MultiMaxPO를 제안한다. 각 샘플에 모드별 점수가 하나씩 주어졌을 때, 다축 max@K는 각 모드에 대해 샘플 전체의 최댓값을 취한 뒤 이 최댓값들을 합산한다. 따라서 샘플은 해당 모드의 최댓값을 높일 때만 그 모드에 대한 보상을 받으므로, 서로 다른 샘플이 서로 다른 모드에 대해 보상받는다. 이러한 보상 할당을 합성 가우시안 혼합과, 픽셀 기반 색상 보상을 사용한 Stable Diffusion 3.5 Medium에서 검증한 뒤, 인지된 외형 공정성에 적용한다. 보류된 프롬프트와 세 가지 자동 평가기에서 MultiMaxPO는 기본 모델 대비 공정성 점수를 Stable Diffusion 3.5 Medium에서 0.22–0.36, FLUX.1-dev에서 0.07–0.19만큼 향상시키고, 동일 조건의 강화학습 기준선을 능가하며, 이미지 품질과 텍스트 정렬을 유지한다. 코드는 https://github.com/KuOnoda/multi-axis-maxk 에서 확인할 수 있다.
FedPCD: 우선순위 제약 기반 연합 집계
FedPCD: Priority-Constrained Federated Aggregation
연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
종단적 생애 궤적을 활용한 LLM 에이전트의 정체성 본질주의 완화
Mitigating Identity Essentialism in LLM Agents with Longitudinal Life Trajectories
대규모 언어 모델(LLM)은 사회적 시뮬레이션을 위한 확장 가능한 접근법을 제공하지만, 그 신뢰성은 에이전트(agent)를 어떻게 구축하느냐에 달려 있습니다. 기존 방법론은 인구 수준의 패턴을 부분적으로 재현할 수 있지만, 인간다운 다양성을 포착하지 못하는 경우가 많습니다. 본 연구의 분석에 따르면, 정적 프로필 기반 에이전트는 인간보다 더 강한 인구통계학적 분리와 집단 내 압축을 나타내며, 이는 정체성 본질주의(identity essentialism)와 일치하는 패턴입니다. 즉, 인구통계학적 레이블로 인해 모델이 집단 평균 성향을 개인의 고유한 특성으로 취급하게 되어 집단 내 응답을 동질화할 수 있습니다. 우리는 이러한 한계가 두 가지 관련 요인, 즉 희소하고 정적인 에이전트 표현 방식과 경험을 지속적으로 통합하는 프롬프트(prompt) 전용 메모리의 제한된 능력에서 기인한다고 주장합니다. 상보적 메모리 시스템에서 영감을 받아, 우리는 구조화된 생애 사건 검색과 경험 통합을 위한 에이전트별 매개변수 메모리를 결합한 종단적 메모리 프레임워크인 LifeMem을 제안합니다. 세 가지 LLM을 대상으로 Understanding Society 데이터셋에서 수행한 실험 결과, LifeMem은 응답 분포, 전체 및 집단 내 다양성, 생애 단계에 걸친 개인 내 응답 변화 패턴 측면에서 인간 데이터와의 정렬(alignment)을 향상시키는 것으로 나타났습니다. 이러한 결과는 더욱 신뢰할 수 있고 동적으로 진화하는 사회적 에이전트를 구축하는 데 있어 종단적 생애 사건 메모리가 갖는 가치를 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.