arXiv:2609.27682v1 cs.CV

비전-언어 문맥 내 학습에서의 성별 바이어스

Gender Bias in Vision-Language In-Context Learning

Tong Xiang, Noa Garcia, Yuta Nakashima

제출 2026-09-24

한국어 초록

문맥 내 학습(ICL)은 대규모 비전-언어 모델(LVLM)이 문맥 내 예시의 패턴을 따름으로써 과제를 수행할 수 있게 하지만, 사회적 바이어스를 증폭시킬 잠재력은 아직 충분히 탐구되지 않았다. 우리는 6가지 ICL 설정, 3가지 과제, 4개 데이터셋으로 구성된 평가 프레임워크 VL-BICLE을 통해 ICL이 LVLM의 성별 바이어스에 어떤 영향을 미치는지 체계적으로 조사한다. 6개 LVLM에 대한 실험 결과, 성별이 드러난 ICL 시연이 방향성 있는 힘으로 작용하여 교차 성별 메커니즘을 통해 모델 바이어스를 시연된 성별 쪽으로 이동시키며, 반대 성별에 대한 성능을 불균형적으로 저하시킨다. 이 효과는 이미지 캡셔닝과 대명사 예측에서는 나타나지만 시각적 질의응답(VQA)에서는 나타나지 않으며, 성별이 드러난 ICL이 바이어스에 영향을 미치는 것은 과제 출력이 성별이 드러난 언어를 포함할 때에만 해당함을 시사한다. 유사도 기반 검색(retrieval) 방법은 학습 풀의 성 불균형을 그대로 물려받으며 디바이어싱 이점을 제공하지 않고, 표준 품질 지표는 이러한 바이어스 변화를 포착하지 못한다. 이 바이어스를 완화하기 위해, 캡션은 그대로 유지한 채 문맥 내 실제 이미지를 stable diffusion 모델에서 생성한 합성 이미지로 교체한다. 이 단순한 개입은 캡션 품질을 저하시키지 않고 성별 바이어스를 줄인다.

원문 초록

In-context learning (ICL) enables large vision-language models (LVLMs) to perform tasks by following patterns from in-context examples, yet its potential to amplify societal biases remains underexplored. We systematically investigate how ICL influences gender bias in LVLMs through VL-BICLE, an evaluation framework comprising six ICL settings, three tasks, and four datasets. Our experiments on six LVLMs reveal that gendered ICL demonstrations act as a directional force, shifting model bias toward the demonstrated gender through a cross-gender mechanism that disproportionately degrades performance on the opposite gender. This effect appears in image captioning and pronoun prediction but not in visual question answering, indicating that gendered ICL influences bias only when the task output involves gendered language. Similarity-based retrieval methods inherit the training pool's gender imbalance and offer no debiasing advantage, while standard quality metrics remain blind to these bias shifts. To mitigate this bias, we replace real in-context images with synthetic ones from stable diffusion models while keeping captions unchanged. This simple intervention reduces gender bias without degrading caption quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27682v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01762v1cs.CV공통 태그 Image Captioning, Visual Question Answering

OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.

arXiv:2609.28222v1cs.CV공통 태그 Image Captioning, Visual Question Answering

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.23860v1cs.AI공통 태그 Image Captioning, Visual Question Answering

멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습

Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.

arXiv:2609.24075v1cs.CV공통 태그 Image Captioning, Visual Question Answering

악조건 속 견고한 컴퓨터 비전을 위한 쌍으로 구성된 합성 건설 현장 이미지 데이터셋

A paired synthetic construction-site image dataset for robust computer vision under adverse conditions

건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.

arXiv:2607.22546v1cs.CL공통 태그 Fairness, gender bias

GAND 설명: 성별 모호 자연 데이터 및 대조적 속성 분석 리소스

Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution

기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.

arXiv:2607.23235v1cs.CV공통 태그 Image Captioning, Visual Question Answering

참조 캡션을 넘어선 캡션 평가를 위한 재구성 기반 프레임워크

A Reconstruction-Based Framework for Caption Evaluation Beyond Reference Captions

이미지 캡셔닝(image captioning)은 비전-언어(vision-language) 연구의 핵심 과제이지만, 참조 캡션에 의존하지 않고 캡션이 이미지 의미를 얼마나 충실히 보존하는지 평가하는 문제는 아직 해결되지 않았다. 지배적인 평가 방식은 사람이 주석 단한 참조에 의존하며, 그 내용은 주석자의 의도와 캡셔닝 숙련도를 반영한다. 본 논문에서는 캡션 평가를 위한 재구성 기반 원칙을 연구한다: 캡션은 원본 이미지의 재구성을 가능하게 하는 능력만큼 좋다. 그러나 캡셔닝은 본질적으로 시각 정보를 압축하기 때문에 모든 세부 사항을 복원하는 것은 불가능하며, 재구성된 이미지와 원본 이미지 간의 픽셀 단위 비교는 실현 가능하지도 의미 있지도 않다. 캡션의 본질—근본적 목적은 이미지의 의미적 내용을 전달하는 것—에 대한 심층 분석을 통해, 우리는 수정된 원칙을 제안한다: 캡션은 원본과 의미적으로 동등한 재구성을 가능하게 하는 능력만큼 좋다. 의미적 동등성을 평가하기 위해, 우리는 다양한 하위 비전-언어 태스크에서 재구성이 원본 이미지와 일치하는지 검증하여 참조 없는(reference-free), 태스크 조건(task-conditioned) 캡션 점수를 도출한다. 우리는 구성 요소별 한계를 규명하고, 저비용 Captioning Turing Test 데이터셋(CTTD) 대리(surrogate) 방법을 도입한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.