arXiv:2305.12709

Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis

Seraphina Goldfarb-Tarrant, Björn Ross, Adam Lopez

제출 2023-05-22

원문 초록

Sentiment analysis (SA) systems are widely deployed in many of the world's languages, and there is well-documented evidence of demographic bias in these systems. In languages beyond English, scarcer training data is often supplemented with transfer learning using pre-trained models, including multilingual models trained on other languages. In some cases, even supervision data comes from other languages. Does cross-lingual transfer also import new biases? To answer this question, we use counterfactual evaluation to test whether gender or racial biases are imported when using cross-lingual transfer, compared to a monolingual transfer setting. Across five languages, we find that systems using cross-lingual transfer usually become more biased than their monolingual counterparts. We also find racial biases to be much more prevalent than gender biases. To spur further research on this topic, we release the sentiment models we used for this study, and the intermediate checkpoints throughout training, yielding 1,525 distinct models; we also release our evaluation code.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Sentiment Analysis, Transfer Learning

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.03827v2cs.CL공통 태그 Transfer Learning, Cross-Lingual Transfer

점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이

The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer

유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.

arXiv:2610.03367v1cs.AI공통 태그 Transfer Learning, Cross-Lingual Transfer

다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?

Multilingual GSM-Symbolic: What determines capability transfer across languages?

한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.

arXiv:2609.23352v1cs.CV공통 태그 Transfer Learning, counterfactual

BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

arXiv:2609.24172v1cs.CV공통 태그 Transfer Learning, counterfactual

LegendBench: 반사실적 개입을 통한 범례 이해 진단 벤치마크

LegendBench: A Diagnostic Benchmark for Legend Understanding with Counterfactual Interventions

범례(legend)는 차트 이해의 핵심 요소로, 신뢰할 수 있는 해석을 위해서는 범례 항목을 그에 대응하는 시각적 마크와 올바르게 결합해야 합니다. 비전-언어 모델(VLM)이 차트 이해에 점점 더 많이 적용되고 있지만, 이들의 범례 이해 능력은 종합 정확도로는 제대로 진단되지 않습니다. 종합 정확도는 피상적인 지름길(shortcut)에 의해 충족될 수 있으며, 범례 특화 오류를 다른 추론 실패와 혼동할 수 있기 때문입니다. 세밀한 진단과 통제된 테스트를 가능하게 하기 위해, 본 논문에서는 목적 지향적인 범례 중심 테스트 케이스를 생성하는 모수적 벤치마크이자 생성 파이프라인인 LegendBench를 소개합니다. LegendBench는 (1) 오류 위치를 특정하기 위해 범례 파싱, 범례 그라운딩(grounding), 범례 조건부 추론, 범례 인식 기권(abstention)을 아우르는 역량-작업 분류 체계와 (2) 모델의 불변성(invariance)과 민감도를 탐색하기 위해 통제된 범례 개입 하에서 각 기본 차트로부터 여러 변형을 생성하는 반사실적 그룹 생성을 제공합니다. LegendBench를 활용하여 범용 VLM과 특화된 차트 모델을 모두 평가하고 이들의 역량 프로파일을 생성한 결과, 신뢰할 수 있는 범례-마크 결합과 반사실적 일관성에서 지속적인 병목 현상이 나타남을 확인했습니다. 이어 이러한 역량 프로파일을 바탕으로 목표 지향적 미세조정(fine-tuning)을 수행하여, 병목 현상에 특화된 개입이 국소적인 역량 격차를 효과적으로 해소하고 보지 못한 데이터에도 일반화될 수 있음을 입증합니다. 나아가 본 논문의 반사실적 설계를 활용해 인코딩 채널 효과, 범례 순서 지름길, 다양한 가시성 조건에서의 기권 등을 분석하는 세밀한 진단 실험을 수행합니다.

arXiv:2609.24879v1cs.CV공통 태그 Transfer Learning, counterfactual

파운데이션 이미지 모델 특화를 통한 흉부 X-ray 반사실적 생성

Generating Chest X-Ray Counterfactuals by Specialising Foundation Image Models

반사실적(counterfactual) 이미지 생성은 소급적·가상적 시나리오에서 대상이 어떻게 보였을지에 대한 질문에 답한다. 최근 방법들은知覚 품질, 정체성 보존, 근본 인과 모델에 대한 충실도를 개선했지만, 주석 데이터 부족, 데이터셋 간 분포 이동(distribution shift), 사전학습된 생성 모델과 반사실적 추론(inference)에 필요한 모델 간 불일치로 인해 의료 분야에서의 채택이 제한된다. 우리는 분포 이동 하에서 사전학습된 비인과 생성 모델을 인과 메커니즘으로 적응시키는 데이터 및 매개변수 효율적 프레임워크인 특화(specialisation)를 제안한다. 이 프레임워크에 기반하여 잠재 flow matching을 사용해 RadCF라는 방사선학 반사실적 이미지 생성 모델을 학습한다. 서로 다른 데이터셋 이동, 데이터 규모, 반사실적 질문을 아우르는 세 개의 흉부 X-ray 데이터셋에서 접근법을 검증했으며, 이는 도전적이고 고도로 국소화된 개입과 연관된다. 결과는 RadCF와 특화가 데이터 및 매개변수 효율적이면서 기존 방법 대비 반사실적 타당성을 개선하고, 생성된 반사실적이 다운스트림 의료 분류기에서 shortcut learning을 탐지·완화할 수 있음을 보여준다. 코드는 https://github.com/GSK-AI/RadCF/ 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.