arXiv:2402.01981

Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes

Isabel O. Gallegos, Ryan A. Rossi, Joe Barrow, Md Mehrab Tanjim, Tong Yu, Hanieh Deilamsalehy, Ruiyi Zhang, Sungchul Kim, Franck Dernoncourt

제출 2024-02-03

원문 초록

Large language models (LLMs) have shown remarkable advances in language generation and understanding but are also prone to exhibiting harmful social biases. While recognition of these behaviors has generated an abundance of bias mitigation techniques, most require modifications to the training data, model parameters, or decoding strategy, which may be infeasible without access to a trainable model. In this work, we leverage the zero-shot capabilities of LLMs to reduce stereotyping in a technique we introduce as zero-shot self-debiasing. With two approaches, self-debiasing via explanation and self-debiasing via reprompting, we show that self-debiasing can significantly reduce the degree of stereotyping across nine different social groups while relying only on the LLM itself and a simple prompt, with explanations correctly identifying invalid assumptions and reprompting delivering the greatest reductions in bias. We hope this work opens inquiry into other zero-shot techniques for bias mitigation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28245v1cs.CL공통 태그 Zero-Shot Learning, Text Generation

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2609.24881v1cs.AI공통 태그 Zero-Shot Learning, Text Generation

Pinocchio: 블랙박스 언어 모델을 위한 빠른 불확실성 추정

Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models

대규모 언어 모델(LLM)을 활용하는 중대한 의사결정 응용 분야에서 실무자는 정확한 LLM뿐만 아니라 예측에 대한 불확실성 추정(uncertainty estimate)도 필요로 합니다. 기존의 LLM 불확실성 추정 방식은 모델이 출력하는 로그 확률(log-probability)에 접근할 수 있거나 미세조정(fine-tuning) 권한이 있어야 합니다. 그러나 다수의 산업용 LLM 제품은 비공개 소스 API 모델을 사용하며, GPT와 같은 많은 API 모델은 로그 확률을 반환하지 않고 미세조정을 허용하지 않을 수도 있습니다. 본 논문에서는 블랙박스 API 모델의 응답 정확도를 추정하는 외부 캘리브레이터(calibrator)인 Pinocchio를 소개합니다. 7개 LLM의 응답으로 공동 학습된 Pinocchio는 동일한 모델들의 홀드아웃(held-out) 응답에 대한 정확도 예측에서 0.862 AUROC를 달성하며, 8개 기관의 13개 미확인 모델에 대해서도 제로샷(zero-shot) 전이 성능을 보여줍니다. 본 모델은 불확실성 추정을 생성하기 위해 단 한 번의 순전파(forward pass)만 필요로 하며, 대상 모델의 로짓(logits), 가중치, 내부 상태에 대한 접근을 전혀 요구하지 않습니다. 경량 텍스트 전용 0.8B 체크포인트는 가장 큰 모델의 AUROC와 대등한 성능을 보입니다. 단 두 줄의 추가 코드만으로 기존 저장소에 불확실성 추정을 추가할 수 있는 코드를 공개합니다.

arXiv:2607.21010v1cs.AI공통 태그 Zero-Shot Learning, Text Generation

제로샷 요약 재검토: LLM 요약기의 신뢰성에 대한 실증적 조사

Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers

제로샷 요약(zero-shot summarization)에서 대규모 언어 모델(LLM)을 사용하면 일관되고 유창한 요약을 생성함으로써 추상적 요약(abstractive summarization) 과제를 크게 발전시켰다. 그러나 대규모 언어 모델의 내재적 확률성(stochasticity)은 LLM이 생성한 요약의 안정성(stability)과 신뢰성(trustworthiness)에 대한 우려를 제기한다. 학생과 연구자가 복잡한 학술 자료를 제로샷 방식으로 요약하는 교육 환경에서 LLM 생성 요약이 확산되면서 이 문제는 점점 더 중요해지고 있다. 우리는 생성된 요약의 안정성을 기반으로 LLM 요약기를 벤치마킹하기 위한 새로운 2단계 진단 프로토콜을 제안한다. 하위 수준에서는 통제된 환경에서 생성된 여러 LLM 요약에 대해 문서 수준(document-level) 안정성 분석을 수행하고 안정성 계수(stability coefficient)를 계산한다. 각 생성 요약은 원본 문서와의 의미적·사실적 정렬(alignment)에 대해 점수화되며, 이를 통해 둘 이상의 차원에서 안정성을 추정할 수 있다. 상위 수준에서는 코퍼스(corpus)에서 추출한 계층화 표본(stratified sample) 문서들의 관측값을 통합하여 LLM 요약기의 안정성 지수(stability index)를 추정하는데, 이는 해당 요약기의 신뢰성에 대한 대리 지표(proxy)이다. 세 가지 LLM 요약기에 대해 세 가지 문서 장르(genre)에서 수행한 실증 조사 결과, 요약 평가 지표(summary evaluation metrics) 전반에 걸쳐 LLM 간 생성 수준(generation-level) 변동성(variability)에 통계적으로 유의미한 차이가 있음을 밝혔다. 본 연구는 LLM 요약에서 안정성 문제를 증거 기반으로 인식함으로써 LLM 요약 연구를 발전시키고, 견고하고(robust) 신뢰할 수 있으며(reliable) 신뢰할 만한(trustworthy) LLM 요약기 개발을 향한 추가 연구를 촉진한다.

arXiv:2609.07780v3cs.CV공통 태그 Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.24743v4cs.CV공통 태그 Text Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.