GGSS: 생성형 비전-언어 모델의 추론 시점 디바이어싱을 위한 측지 게이트 구면 스티어링
GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models
한국어 초록
생성형 비전-언어 모델(VLM)은 인간 중심 환경에서 점점 더 많이 쓰이지만, 이미지가 인지된 인종이나 성별 같은 통제된 속성에서만 다를 때에도 인구통계학적으로 바이어스가 있는 출력을 낼 수 있다. 그러나 기존 추론 시점 디바이어서는 생성형 VLM보다는 정적 임베딩이나 CLIP류 모델을 위해 설계된 경우가 많다. 우리는 GGSS(Geodesic-Gated Spherical Steering)를 제안한다. 이는 노름을 보존하는 개입으로, 단위 초구면 위에서 반사실적 바이어스 부분공간을 찾고, 측지선 호를 따라 시각 토큰을 스티어링하며, 적응형 게이트로 인구통계학적 신호가 더 강한 토큰에 교정을 집중한다. 범주형, 쌍별, 직업-성별 바이어스 테스트 전반에 걸쳐 단일 operating-point 프로토콜 아래, 네 가지 생성형 VLM을 열 가지 적응된 추론 시점 디바이어싱 기준선 및 프롬프트 기반 완화와 비교 평가하고, 일반적인 비전-언어 능력도 측정한다. GGSS는 네 모델 모두에서 평균 바이어스가 가장 낮으며, 쌍대 순열 검정에서 네 백본 중 세 곳에서 유의하다. 동시에 MMStar 정확도는 스티어링하지 않은 기준선 대비 ±0.6%p 이내로 유지한다. 코드는 https://github.com/dukesun99/GGSS 에서 이용할 수 있다.
원문 초록
Generative vision-language models (VLMs) are increasingly used in human-centered settings, yet they can produce demographically biased outputs even when images differ only in controlled attributes such as perceived race or gender. However, existing inference-time debiasers were largely designed for static embeddings or CLIP-like models rather than generative VLMs. We propose GGSS---Geodesic-Gated Spherical Steering---a norm-preserving intervention that discovers a counterfactual bias subspace on the unit hypersphere, steers visual tokens along geodesic arcs, and uses an adaptive gate to focus correction on tokens that carry stronger demographic signal. We evaluate four generative VLMs against ten adapted inference-time debiasing baselines and prompt-based mitigation under a single operating-point protocol across categorical, pairwise, and occupation-gender bias tests, while also measuring general visual-language capability. GGSS achieves the lowest average bias on all four models, significant on three of four backbones under paired permutation tests, while preserving MMStar accuracy within +/- 0.6 p.p. of the unsteered baseline. Code is available at https://github.com/dukesun99/GGSS.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25375v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.