Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts
원문 초록
Recent studies show that traditional fairytales are rife with harmful gender biases. To help mitigate these gender biases in fairytales, this work aims to assess learned biases of language models by evaluating their robustness against gender perturbations. Specifically, we focus on Question Answering (QA) tasks in fairytales. Using counterfactual data augmentation to the FairytaleQA dataset, we evaluate model robustness against swapped gender character information, and then mitigate learned biases by introducing counterfactual gender stereotypes during training time. We additionally introduce a novel approach that utilizes the massive vocabulary of language models to support text genres beyond fairytales. Our experimental results suggest that models are sensitive to gender perturbations, with significant performance drops compared to the original testing set. However, when first fine-tuned on a counterfactual training dataset, models are less sensitive to the later introduced anti-gender stereotyped text.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.
PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧
PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue
대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.
MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅
MemoryAthena: Adaptive Routing over Latent and Generated Memories
학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.
FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹
FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics
실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.
에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습
When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain
명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.
성공은 자명하지 않다: 에이전트 평가에서 성공 출처 감사
Success Is Not Self-Explanatory: Auditing Success Provenance in Agent Evaluation
정확한 답은 에이전트가 왜 성공했는지를 숨길 수 있다. 에이전트가 평가 중에 정보 상태를 변경하면, 정확성은 의도된 추론과 답 획득을 더 이상 구분하지 못한다. 결과 증거와 노출 탐지는 성공이 획득된 목표에 의존했는지를 확립하지 못한다; 우리는 이 누락된 평가 대상을 성공 출처(success provenance)라고 부른다. AcquaBench는 네 가지 표준화된 표면에서 CLEAN, GOLD, SHAM의 매칭된 값 대체를 통해 이를 감사하며, qid-클러스터링 공동 분석을 수행한다. CLEAN은 벤치마크가 허용한 정보를 유지한다. GOLD는 정확한 목표를 이용 가능하게 한다. SHAM은 소스 구조와 노출 기회를 보존하지만 매칭된 부정확한 값으로 대체한다. GOLD에서 CLEAN을 뺀 값은 정확한 목표의 가용성에 대한 총 점수 반응을 측정한다; GOLD에서 SHAM을 뺀 값은 그 반응이 매칭된 소스 노출을 넘어 목표 정확성을 따라가는지 검증한다. D0에서 GOLD는 SHAM보다 19.1~25.9퍼센트포인트 높아, 성공이 정확한 값을 따름을 보여준다. D2에서 GOLD는 분산 충분성(distributed sufficiency) 하에서도 여전히 SHAM을 초과하지만, coloc은 더 이상 고득점 마커로 전이되지 않으며, AUROC는 0.376과 0.142이다. 따라서 행동적 의존(behavioral dependence)은 이 프로브의 의도된 관찰 단위를 넘어 지속될 수 있다. 모델 비교에서, 뒷받침된 5.0점 CLEAN 점수 격차는 순위 역전(rank inversion)을 확립하지 않은 채 원시 GOLD 차이 -0.6점으로 압축된다. 에이전트 벤치마크는 평가된 정보 상태가 성공을 뒷받침했는지 여부와 함께 성공을 보고해야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.