기계론적 해석가능성(mechanistic interpretability)의 서킷(circuit) 프레임워크는 특정 동작의 인과적 원인이 되는 모델 컴포넌트의 희소 하위 그래프를 식별하는 것을 목표로 하며, 일반적으로 필요성과 충분성을 측정하여 평가합니다. 그러나 이러한 기준은 서킷이 모델이 과업을 수행하는 방식을 일관되게 포착하는지, 또는 해당 과업에 특이적인지(specific)에 대해서는 거의 설명하지 못합니다. 본 연구에서는 6개 과업과 5개 모델에 걸쳐 일관성(consistency)과 특이성(specificity)이라는 두 가지 특성을 조사하며, 컴포넌트 수준(어텐션 헤드 및 MLP 블록)과 개별 MLP 뉴런 수준에서 서킷을 추출합니다. 그 결과 컴포넌트 수준의 서킷은 대부분의 과업에서 높은 일관성을 보이고 인과적으로 중요하지만, 특이적이지는 않다는 점을 발견했습니다. 즉, 주어진 과업에서 자체 서킷을 절제(ablation)했을 때의 정확도 하락은 다른 과업의 서킷을 절제했을 때와 거의 비슷했습니다. 반면 뉴런 수준 서킷은 과업 간에 더 높은 특이성을 보이지만, 과업 내 일관성은 훨씬 낮았습니다. 이는 서킷의 중첩으로 설명됩니다. 컴포넌트 수준 서킷은 관련 여부와 무관하게 과업 전반에 걸쳐 대부분의 컴포넌트를 공유하지만, 뉴런 수준 서킷은 밀접하게 관련된 과업 간에만 중첩됩니다. Llama-3.2-3B의 과업 서킷이 공유하는 컴포넌트에 대한 사례 연구를 통해, 이들이 주로 MLP 블록으로 구성되어 있으며 소수의 어텐션 헤드는 범용적인 역할을 수행함을 보입니다. 전반적으로 본 연구 결과는 서킷이 모델 동작에 대한 표적화된 이해와 개입을 얼마나 뒷받침할 수 있는지에 대해 의문을 제기합니다.
백테스트 감사는 캘리브레이션(calibration) 문제입니다. 모델이 매칭된 정상(clean) 전략까지 거짓으로 결함이 있다고 표시(flag)한다면 결함 재현율(recall)이 높아도 유용하지 않습니다. 본 연구에서는 전략, 기간, 코드 스타일, 라벨, 보고 스캐폴드를 고정한 채 방법론 세부사항 단 하나만을 변경하여 결함이 있는 모든 백테스트마다 정상 대조군(clean control)을 둔 96개 항목의 쌍체(paired) 벤치마크를 구축합니다. 결정론적 평가기(deterministic scorer)는 결함 재현율, 정상 대조군 위양성(false positive), 증거 위치 파악(localization), 수정 적합성을 분리하여 측정합니다. 네 가지 텍스트 엔드포인트에서 캐시된 1,440개의 감사를 평가한 결과, 기본 DeepSeek 감사 모델은 100.0%의 폐쇄형 및 정상 인식(clean-aware) 코드 재현율을 달성했으나, 개방형 프롬프트에서는 정상 코드 대조군의 93.8%를 과도하게 결함으로 표시했으며, 재현율이 포화된 영역에서도 정상 인식 전체(all-three) 특이도(specificity)는 87.5%에 머물렀습니다. 정상 인식 경고를 제공하면 동일한 재현율을 유지하면서 DeepSeek의 코드 위양성률이 20.8%(95% CI 11.7--34.3)에서 0.0%(0.0--7.4)로 떨어지는 반면, 예산 앵커(budget anchor) 모델은 동일한 프롬프트 하에서도 여전히 48개 중 38개의 정상 대조군에 결함 표시를 남겼습니다. 재현율만을 보고할 경우 이 네 모델 중 세 모델의 순위가 동일하게 매겨지지만, 정상 대조군 비율을 함께 보고하면 이들 간의 격차는 79포인트까지 벌어집니다.
신생아 발작 감지를 위한 머신러닝 모델의 신뢰할 수 있는 평가는 임상 도입을 위해 매우 중요합니다. 현재의 관행은 일관성이 없고 편향된 지표에 의존하는 경우가 많아 모델 간 비교 가능성과 해석 가능성을 저해합니다. AI 성능에 대한 전문가 수준의 주장은 엄격한 검증 없이 제기되는 경우가 빈번하여 신뢰성에 대한 우려를 낳고 있습니다. 본 연구는 일반적인 성능 지표를 체계적으로 평가하고 신생아 발작 감지의 특정 과제에 맞춘 모범 사례를 제안하는 것을 목표로 합니다. 실제 및 합성 발작 주석을 활용하여, 다양한 클래스 불균형, 평가자 간 일치도, 평가자 수 조건에서 표준 성능 지표, 합의 전략, 인간 전문가 수준 동등성 검정을 평가했습니다. 매튜스 상관계수(Matthews correlation coefficient)와 피어슨 상관계수(Pearson's correlation coefficient)는 클래스 불균형 상황에서 성능을 반영하는 데 있어 곡선하면적(AUC)보다 우수한 성능을 보였습니다. 합의 유형은 평가자 수 및 평가자 간 일치도 수준에 민감합니다. 인간 전문가 수준 동등성 검정 중에서는 플라이스 카파(Fleiss k)를 사용하는 다중 평가자 튜링 테스트(multi-rater Turing test)가 전문가 수준의 AI 성능을 가장 잘 포착했습니다. 저자들은 (1) 최소 하나의 균형 지표, (2) 민감도, 특이도, 양성 예측도(PPV), 음성 예측도(NPV), (3) 플라이스 카파를 사용한 다중 평가자 튜링 테스트 결과, (4) 별도 검증 셋(held-out validation set)에서의 상기 항목 전체를 보고할 것을 권장합니다. 제안된 프레임워크는 신생아 발작 감지를 위한 AI 방법론에 대한 철저하고 정직한 평가를 가능하게 함으로써 임상 검증의 중요한 전제 조건을 제공합니다.
한 영역이 대상 객체와 겹치면서도 다른 클래스에 더 크게 기여할 수 있다. 고정(frozen) CLIP에서 클러스터 기반 개념 중요도(Cluster-based Concept Importance, CCI)로 선택한 영역을 검증한다. COCO와 VOC, 두 체크포인트에 걸쳐 겹침 및 평균 대비(mean-contrast) 검사를 통과한 영역 중 41.08–64.78%가 가장 강한 경쟁 클래스에 대해 실패한다. 이미지에 주석된 경쟁 클래스를 제거해도 39.69–63.64%가 여전히 실패한다. 이어 이미지당 후보 영역 8개를 모두 검증한다. 대안 영역은 COCO에서 실패 사례의 6.25–7.84%, VOC에서 27.40–31.15%에 대해 검사를 통과한다. 원래 대상 점수 하락을 $\epsilon = 0.02$ 이내로 유지할 것을 요구하면 이 비율은 0.16–0.98%로 줄어든다. 사용 가능한 영역과 대상 점수 하락 허용치가 수리(repair)를 제한하며, 허용치를 완화하면 수리 기회가 늘어난다.
목표 포즈에 부합하는 양식화된 콘텐츠를 합성하는 포즈 양식화(pose stylization)는 2D, 3D, 비디오 영역 전반에서 핵심적인 과제입니다. 3D 분야의 기존 접근 방식은 주로 2D 기반 모델을 통해 이미지 포즈를 먼저 조작한 뒤 이를 3D 표현으로 변환(lifting)하는 다단계 파이프라인에 의존합니다. 그러나 이러한 패러다임은 3D 포즈 양식화의 정밀도와 다양성을 제한합니다. 이를 해결하기 위해, 본 연구에서는 포즈 양식화와 3D 생성을 하나의 유기적인 프레임워크로 통합하는 3D 포즈 양식화의 새로운 패러다임을 제안합니다. 이러한 통합은 누적 오차 위험을 최소화하고 모델의 효율성과 효과를 향상시킵니다. 또한 2D 스켈레톤 이미지를 가이드로 사용하는 이전 연구들과 달리, 3D 공간 및 위상 관계를 더욱 정확하게 표현할 수 있는 3D 스켈레톤을 직접 활용하여 모델이 더 풍부하고 정밀한 포즈 양식화를 달성할 수 있도록 역량을 크게 향상시켰습니다. 나아가 대규모 '이미지-스켈레톤-메시' 삼중쌍(triplet) 데이터셋을 구축할 수 있는 확장 가능한 데이터 엔진을 개발하여, 모델이 동일성(identity) 보존과 기하학적 정렬을 동시에 학습할 수 있도록 했습니다. 광범위한 실험을 통해 PoseMaster가 정성적 및 정량적 지표 모두에서 최신 최고 수준(SOTA) 방법들을 크게 능가함을 입증했습니다. 생성된 3D 메시와 조건 스켈레톤 간의 엄격한 공간적 정렬 덕분에, PoseMaster는 자동 스키닝 모델과 결합할 때 애니메이션화 가능한 에셋을 직접 생성할 수 있어 자동 캐릭터 리깅에 대한 뛰어난 잠재력을 보여줍니다.
의료 스크리닝 AI 모델 평가 시 불균형 데이터, 코호트 간 성능 편차, 동일 환자의 다중 검사 결과 처리 문제를 해결하기 위해 CAT(Cohort-attention Evaluation Metrics for Tied Data)를 제안한다. CAT는 환자 수준의 집계 평가, 엔트로피 기반 코호트 분포 가중치, 코호트 가중 민감도(CATSen)·특이도(CATSpe)·조화평균 기반 균형 지표(CATMean)를 도입하여 다중 센터 암 스크리닝 데이터 검증에서 기존 지표 대비 공정하고 견고한 평가를 달성했다.
최근 대규모 언어 모델(LLM)의 발전과 광범위한 채택으로, 자연어가 소프트웨어 설계를 위한 프로그래밍 언어와 같은 형식 언어를 완전히 대체할 수 있다는 주장이 제기되고 있다. 본 포지션 논문에서 우리는 이러한 관점이 자연어의 근본적인 언어적 특성, 특히 개방형 맥락에서 과소 명시(underspecification)에 최적화되어 있다는 점을 간과한다고 주장한다. 우리는 작업 특이성(task specificity)을 중심으로 한 형식적 프레임워크를 제안하며, 이를 사용자의 구체적인 요구 사항이 주어졌을 때—가능한 모든 이미지와 같은—출력 공간에서의 불확실성을 정보 이론적으로 줄이는 것으로 정의한다. 우리는 특이성 교차 정리(specificity crossover theorem)를 증명하여, 형식적 요구 사항을 자연어로 표현하는 비용이 직접적인 형식 명세의 비용을 초과하는 임계값의 존재를 보인다. 이미지 생성, 코드 합성, 오디오 제작과 같은 다양한 모달리티에 걸친 사례 연구를 분석함으로써, 자연어는 낮은 특이성 작업에서 뛰어난 반면 형식 언어는 더 엄격한 요구 사항을 갖는 작업에서 유리함을 보여준다. 우리는 자연어와 형식 언어가 상호 보완적인 도구이며, 사용자가 특이성 스펙트럼을 넘나들 수 있게 하는 하이브리드 시스템의 개발을 주장한다.
본 논문은 귀납-통계 추론에서 통계 법칙으로부터 상충되는 예측이 도출되는 Carl Hempel의 오랜 통계적 모호성 문제를 다룬다. 이러한 예측을 피하기 위해 Carl Hempel은 추론에 사용되는 통계 법칙에 대해 최대 특이성 요건(Requirement of Maximal Specificity, RMS)을 제안했다. Wesley Salmon, Alberto Coffa, James Fetzer가 이룬 RMS 정제에 대한 분석은 최대적으로 특이한 통계 법칙에 대한 다음 정의로 이어졌다: "적절한 설명의 법칙적 전제는 설명 대상 현상의 발생 여부에 차이를 만든 모든 그리고 오직 그러한 속성들만을 명시해야 한다." 그러나 이 정의에 기초한 통계적 모호성 문제의 해법에 대한 증명은 없었다. 우리는 배경 맥락 전반에서 확률을 높이는 원인에 대한 Nancy Cartwright의 정의를 사용하고, 이어서 인과 규칙(Causal Rules)이라는 개념을 도입한다. 그다음 통계적으로 관련 있는 모든 정보를 통합하여 이러한 인과 규칙을 점진적으로 정제하는 특수한 의미론적 확률적 추론 절차를 정의한다. 이 절차는 최대적으로 특이한 인과 관계(Maximally Specific Causal Relationships, MSCR)를 산출하며, 우리는 이로부터 도출된 예측이 일관됨을 (정리 1에서) 증명한다. 이를 통해 통계적 모호성 문제가 해결된다. 의미론적 확률적 추론 절차는 확률적 인과 학습 시스템을 제공하며, Causal AI 및 Causal Machine Learning과 같은 새로운 분야에서 활용될 수 있다. 이들은 근본적으로 복잡한 시스템 내 인과 관계를 이해하기 위한 도구로서 인과 추론을 탐구한다. RMS와 유사한 성질들은 여전히 논의 중이다. RMS와 관련된 여러 개념이 고려된다: 불변 특징 학습(invariant feature learning), 불변 인과 예측(invariant causal prediction), 허위 연관(spurious association).
크라우드소싱 레이블링에서 Dawid-Skene 모델이 평가 데이터의 분포적 특성을 포착하지 못해 학습 편향이 발생하는 문제를 해결하기 위해, 항목 응답 이론(IRT)의 난이도·변별도·추측 가능성 효과를 통합한 계층적 베이지안 측정 오차 모델을 제안한다. 적대적 평가자를 배제하는 사후 분포 제약 방식을 도입하고, 치과 X선 충치 분류와 자연어 함의 추론 데이터셋에서 사후 예측 검사 및 리브-원-아웃 교차 검증으로 모델의 우수한 적합도와 예측 정확도를 입증하였다.
말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.
보상 모델은 널리 사용되고 있음에도 불구하고, 강화학습을 형성하는 데 있어 그 역할은 제대로 이해되지 않고 있다. 보상 모델은 매력적인 가능성을 제시한다: 검증기(verifier)나 인간 평가자 없이도 응답 품질을 자동으로 추정할 수 있다는 것이다. 일반적으로 이진 점수를 생성하는 '검증 가능한 보상(verifiable rewards)'과 달리, 보상 모델은 연속적인 점수를 생성하여 응답 간의 세밀한 차이에 민감하게 반응할 수 있다. 그러나 우리는 이 명백한 강점이 심각한 약점임을 보인다: 많은 인기 있는 보상 모델들은 과민하여(oversensitive), 동등하게 좋은 응답에 서로 다른 점수를 부여한다. 이론적으로 우리는 겉보기에 완벽한 보상 모델도 매우 과민할 수 있음을 보이며, 실험적으로 이러한 과민성이 나쁜 정책(policy)으로 이어질 수 있음을 확인한다. 기존의 '보상 모델 정확도' 개념을 대신하여, 우리는 '판별 능력(discriminative ability)'과 '특이성(specificity)'(과민성의 역개념)이라는 별개의 척도를 사용한 보상 모델 평가를 제안한다. 해결책으로, 우리는 임의의 신경망 보상 모델에 몬테 카를로 드롭아웃(Monte Carlo dropout)을 적용하여 이산적인 보상 클러스터(discrete reward clusters)를 생성하는 학습 불필요(training-free) 알고리즘을 제안한다. 이론적으로 우리는 판별 능력의 손실을 최소화하면서 과민성을 줄이는 이산화(discretization)가 존재함을 증명하며, 실험적으로 통제된 환경과 자연스러운 강화학습 환경 모두에서 보상을 이산화하는 것이 원래 보상으로 학습하는 것보다 보상 해킹(reward hacking)을 줄이고 더 나은 정책을 이끌어냄을 보인다.
수치적 점수 예측을 넘어, 최근 자동 에세이 채점(automated essay scoring) 연구는 근거와 실행 가능한 조언을 제공하는 고품질 피드백 생성을 점점 더 강조하고 있습니다. 전문가 주석(annotation)의 높은 비용을 완화하기 위해, 기존 연구는 에세이 평가 모델 학습 시 일반적으로 LLM 생성 피드백에 의존해 왔습니다. 그러나 이러한 피드백은 명시적인 품질 검증(validation) 없이 사용되는 경우가 많아, 다운스트림 애플리케이션에서 노이즈가 전파되는 결과를 초래합니다. 이러한 제한 사항을 해결하기 위해, 우리는 구체성(specificity), 유용성(helpfulness), 타당성(validity)의 세 가지 교육학적 근거에 기반한 차원을 따라 LLM 생성 에세이 피드백을 평가하는 LLM 기반 프레임워크인 FeedEval을 제안합니다. FeedEval은 본 연구에서 큐레이션된 데이터셋(dataset)으로 학습된 차원별 전문 LLM 평가자를 활용하여 여러 피드백 후보를 평가하고, 다운스트림 사용을 위한 고품질 피드백을 선정합니다. ASAP++ 벤치마크(benchmark)에 대한 실험 결과, FeedEval은 인간 전문가의 판단과 밀접하게 일치하며, FeedEval을 통해 필터링된 고품질 피드백으로 학습된 에세이 채점 모델은 우수한 채점 성능을 달성함을 보여줍니다. 더불어 소형 LLM을 활용한 수정 실험을 통해, FeedEval이 식별한 고품질 피드백이 더욱 효과적인 에세이 수정으로 이어진다는 것을 확인했습니다. 우리는 코드와 큐레이션된 데이터셋을 다음 링크에서 공개합니다: https://github.com/BBeeChu/FeedEval.git.