모든 프론티어 대규모 언어 모델(LLM)은 응답 드리프트(response drift)—전문가가 검증한 참조에서 벗어난 출력을 생성하는 현상—를 보이지만, 이 드리프트의 크기와 구조는 체계적인 인간 평가를 통해 아직 규명되지 않았다. 본 연구에서는 47명의 지리적으로 다양한 참가자가 블라인드 조건에서 10개의 프론티어 LLM에 걸친 62개의 다영역 질문을 각각 평가한 완전 교차 평가를 보고하며, 이를 통해 29,140건의 독립적 평가를 도출했다. 모든 모델은 드리프트하지만 드리프트 크기는 상당히 다르다. 여덟 모델은 통계적으로 구별할 수 없는 상한(78–81% 편차)에 수렴하는 반면, 두 모델은 더 낮은 편차(47–49%)를 달성한다. 드리프트 프로파일은 6개 영역과 62개 질문에 걸쳐 다르며, 상한에 해당하는 모델들 간의 쌍별 상관은 r = 0.85를 초과한다. 자동화된 유사도 지표는 인간 판단 분산의 2% 미만만을 설명한다. 이러한 결과는 응답 드리프트가 프론티어 LLM 전반에 보편적이며, 구조적으로 영역 및 질문에 따라 달라지고, 인간 중심 평가를 통해서만 접근 가능함을 보여준다.
평가(Evals)는 실세계 AI 애플리케이션의 배포 병목이다. 공개 벤치마크는 팀의 사용자, 맥락, 정책과 거의 일치하지 않으며, 인간 검토는 대규모로 확장하기 어렵다. 공공 부문 AI 애플리케이션 작업에서 얻은 동기에 기반하여, 본 프로젝트는 애플리케이션이 지역 정책 및 거버넌스 요구사항을 충족해야 할 때 반복적으로 마주치는 평가 과제를 다룬다. 우리는 페르소나 기반 테스트 생성, 맥락화된 루브릭, 신뢰성 게이트가 적용된 자동 채점을 위한 인간 검토를 연결하는 문맥적 기능 평가를 위한 통합 워크플로우인 Kaleidoscope를 제시한다. 생성된 테스트 케이스는 애플리케이션별 루브릭에 따라 채점되며, 인간 주석은 검토 가능한 레이블을 제공하고, 대규모 언어 모델(LLM) 심판(judge)은 해당 레이블과의 일치도가 설정된 임계값을 충족할 때만 채점을 자동화한다. 따라서 Kaleidoscope는 제품 팀을 위한 실용적이고 검토 가능하며 반복적인 워크플로우이다. 우리는 4가지 조직 사용 사례에 걸친 3주 파일럿, 그리고 4개 도메인과 14개 평가 차원에 걸친 108개의 주석 Q&A 쌍에 대한 맞춤형 루브릭 심판 실험에서 얻은 초기 증거를 보고한다. 결과는 end-to-end로 신뢰할 수 있는 자동 채점에 유용한 특징들을 보여준다.
이중 용도 생물학 어시스턴트에 대한 안전성 평가는 종종 기본 모델 역량, 거부(refusal) 행동, 또는 jailbreak 성공을 측정한다. 이러한 지표들은 배포 관점의 질문을 놓친다. 고정된 기본 모델에서 사용자가 실제로 경험하는 접근 조건(access condition)이 무해한(benign) 유틸리티와 유해한 실행 가능한(harmful actionable) 지원을 어떻게 바꾸는가? 본 연구는 안전장치 조건부 uplift(safeguard-conditioned uplift)를 제안하며, 이는 인간 판단 기반 유틸리티-위험 프론티어를 통해 배포된 접근 조건들을 비교하는 프로토콜이다. Claude Sonnet 4.6과 Gemini 3.5 Flash를 helpful prompting, safety prompting, 외부 safeguarded assistant 조건에서 108개 과제의 대리(surrogate) 벤치마크로 평가했으며, 핵심 주장은 잠금(lock)된 18개 과제의 held-out 분할로 제한했다. 600행의 블라인드 인간 감사(audit)에서 safeguarded assistant는 helpful prompting 대비 49개의 매칭된 응답 쌍에서 유해한 실행 가능성(harmful actionability)을 -0.063만큼 감소시켰고(bootstrap 95% 구간 [-0.117, -0.011]), 정확성(correctness)은 +0.009 변화(구간 [-0.057, +0.077])를 보였다. Adaptive, Test-B, cue-ablation, controller-기준선 검증은 측정 방법론을 뒷받침하지만 비우세(non-dominance)도 보여준다. safety prompting은 Claude에서 종종 가장 강력하고, 외부 제어(external control)는 Gemini에 더 도움이 되지만 무해한 유틸리티를 감소시킬 수 있다. 이 기여는 범용 방어가 아니다. 사용자 대면(user-facing) 접근 조건이 유틸리티-위험 프론티어를 어떻게 이동시키는지 측정하기 위한 배포 수준의 평가 대상과 학습된 위험 예산(risk-budgeted) 보정(calibration) 절차이다.
Across social and online platforms, people are increasingly exposed to AI-generated images. As a consequence, the task of distinguishing AI-generated from authentic images is becoming a central challenge for information ecosystems. While humans perform better than chance, accuracy falls short of many operational needs. Initial evidence shows that visually oriented training can improve deepfake detection but does not improve participants' ability to identify real images as real. Here, we investigate the efficacy of a brief training intervention for intelligence analysts employed by the United States government in 2024. We conducted a counterbalanced within-subject randomized experiment in which we showed participants real and AI-generated images varying in pose complexity and scene context and asked them whether each image was real or AI-generated, both before and after an expert delivered a 30-minute training that pointed out patterns in seven real and 50 AI-generated images. We collected 2,544 image-level judgments from 32 intelligence analysts. We find training increased overall accuracy by 9 percentage points (95% CI: [2.7, 15.4]) from a baseline of 72%. We find the improvement is driven by a 14.2 percentage point increase in accuracy for real images (95% CI: [0.7, 27.7]). Through a careful experimental setup that curated matched pairs of real and AI-generated images across pose complexity categories, we reveal how these trainings influence people with different levels of digital forensics and generative AI experience and identify the kind of image-based content where this training intervention appears to be most effective. Ultimately, these results provide causal evidence that a brief, structured training can improve human judgment across a diverse array of real and AI-generated images, informing organizational responses to AI-generated visual misinformation.
영어-하우사어·폰베어 저자원 기계번역(MT)에서 GPT-4o Mini, Claude Sonnet 4, Gemini 2.5 Flash, Qwen2.5-7B 등 네 대규모 언어 모델(LLM)의 번역 품질을 BLEU·chrF++·COMET 등 자동 지표와 원어민 평가로 검증한 결과, 하우사어는 수용 가능한 품질인 반면 폰베어는 낮은 품질을 보였고 모델 순위와 지표-인간 상관관계도 언어마다 크게 달랐다. BERTScore는 두 언어 모두 임베딩(embedding) 붕괴로 품질 구분력이 제한되며, 안정적 시스템 순위를 위해 최소 2,500문장 규모의 다중 지표 평가와 신경망 지표 해석상의 주의가 필요함을 보여준다.
인간의 암묵적이고 진화하는 기준을 반영하기 어려운 개방형 대화의 인간성 평가 문제를 해결하기 위해, 최소한의 인간 주석을 시드로 평가 루브릭과 사례를 공진화시키는 자가 진화 시스템 GrowLoop를 제안한다. 해당 시스템은 기존 방법보다 인간 판단과 높은 정렬을 보이며 모델의 발전과 새로운 시나리오에 지속적으로 적응할 수 있다.
의학 연구 분석에서 스킬 증강 AI 에이전트(Skill-Augmented AI Agents)가 기본 모델보다 더 높은 품질의 결과를 생성하는지 비소세포폐암 바이오마커 과제를 통해 탐색적 평가를 수행했습니다. 스킬 증강 출력이 전문가 평가에서 방향적으로 더 높은 품질을 보였으나 통계적 유의성은 없었고 신뢰성 제어가 강화된 대규모 평가의 필요성을 제시했습니다.
언어 모델에서의 아첨 현상은 일반적으로 과도한 동의나 검증으로 연구되어 왔으나, 명시적인 칭찬과 아부는 상대적으로 적은 관심을 받아왔습니다. 우리는 아첨적 칭찬이 현재의 방법으로는 신뢰성 있게 측정할 수 없는 독특한 정렬 문제라고 주장합니다. 우리는 기여 품질과 예상되는 사용자 능력에 비해 칭찬이 과도한지 측정하는 매개변수화된 프레임워크를 소개합니다. 우리는 우리의 프레임워크가 인간 주석과의 일관성 측면에서 일반적인 대규모 언어 모델(LLM) 판사보다 훨씬 뛰어난 성능을 보이며, 아첨적 칭찬이 객관적 추론 설정보다 사회적 및 해석적 영역에서 훨씬 더 빈번하게 발생함을 보여줍니다. 이러한 발견들을 종합해 볼 때, 칭찬 보정은 독특한 정렬 과제로 자리매김합니다.
관심이 증가하고 있음에도 불구하고, 대규모 언어 모델(LLM)의 개인화 능력에 대한 대부분의 평가는 합성 데이터에 의존해 왔습니다. 현재 개인화 시스템이 실제 사용자에게 얼마나 잘 작동하는지는 여전히 불분명합니다. 본 논문에서는 합성 데이터와 인간 데이터를 사용할 때 LLM 개인화 성능의 격차를 연구합니다. 우리는 개인화의 세 단계에 걸쳐 인간 대화(550개 대화)와 판단을 수집했습니다: 대화에서 사용자 속성 추출(5,949개 판단), 새로운 프롬프트와 관련 속성 매칭(11,919개), 그리고 개인화된 응답에 관련 속성 통합(1,101개). 인간 데이터를 반영하면 각 단계에서 시스템의 한계가 드러납니다. 모델은 인간 대화에서 속성을 추출하는 데 어려움을 겪고, 관련 속성에 대해 인간의 판단과 의견이 다르며, 인간이 일반적인 응답보다 낫다고 판단하지 않는 개인화된 응답을 생성합니다(비록 LLM 평가자들은 이를 더 낫다고 광범위하게 평가하지만). 우리는 첫 번째와 두 번째 단계에서 자동화된 개인화 평가를 인간 데이터에 더 가깝게 조정하는 두 가지 경량 학습 기반 개입 방법을 소개합니다. 그러나 세 번째 단계에서 우리는 학습된 보상 모델이 인간 평점과 겨우 보통 수준의 상관관계만 달성함을 발견했으며, 이는 인간과 정렬된 개인화 품질 판단을 직접 모델링하기 어렵다는 것을 시사합니다. 우리가 수집한 데이터는 모델이 인간이 유용하다고 느끼는 방식으로 사용자 정보를 추출, 선택 및 통합해야 하는지를 연구하기 위한 기초를 제공합니다.
인과 학습 문헌에서 오랫동안 확인된 바와 같이, 성인은 여러 원인이 동시에 존재해야 효과가 발생하는 연접(conjunctive) 인과 규칙을 식별하는 데 어려움을 겪는 반면, 분리(disjunctive) 설정에서는 더 나은 성과를 보인다. 그러나 이러한 '연접 결함(conjunctive handicap)'의 대부분의 실증은 학습자가 증거 생성을 통제할 수 없는, 제한된 증거를 가진 수동적 관찰 패러다임에 의존한다. 본 논문은 성인에게 능동적 탐험을 통해 주체성(agency)이 부여될 때 이 바이어스가 지속되는지 묻는다. 수정된 'blicket detector' 과제를 사용하여, 성인 참가자들은 연접 또는 분리 규칙 구조 하에서 인과 객체를 식별하기 위해 자유롭게 개입했다. 능동적 탐험은 성인의 연접 인과 추론을 상당히 향상시키지만, 연접 규칙은 여전히 분리 규칙보다 추론에 더 많은 검사가 필요함을 보인다. 또한 동일한 설정에서 인간의 수행을 다양한 대규모 언어 모델(LLM)과 비교한다. 일부 최신(state-of-the-art) 모델은 가설 추론 정확도에서 인간 수준의 성능에 근접하지만, 종종 덜 효율적인 탐험 전략과 유사한 연접-분리 성능 격차를 보인다.