이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.
불완전한 데이터로부터의 학습은 기계학습의 핵심 주제로, 강인성(robustness)에 관한 실용적 질문을 학습 가능성(learnability)에 관한 근본적 질문과 연결합니다. 여기서 우리는 속성 노이즈(attribute noise)를 조사합니다: 레이블은 그대로 유지하면서 손상된 입력으로부터 학습하는 것으로, 레이블 노이즈(label-noise) 대응 경우보다 분석적 관심이 상당히 덜 받아온 설정입니다. 우리는 두 가지 유형의 손상 모델을 고려합니다: 가산 노이즈(additive noise)와 대체 노이즈(replacement noise). 손상된 분류(classification) 데이터셋에서 다층 퍼셉트론(MLP)을 통한 실험을 통해, 우리는 신경망이 여전히 강인함을 유지하며, 입력이 90% 이상 손상되었을 때에도 우연 수준보다 훨씬 높은 정확도를 유지함을 발견했습니다. 이는 인간 인식 능력을 훨씬 뛰어넘는 것입니다. 이러한 강인성을 이해하기 위해, 우리는 평균장(mean-field) 영감을 받은 접근법을 사용하여 심한 손상(heavy-corruption) 영역에서 무한 너비 신경망을 분석하고 분류 결과에 대한 주요 결정 규칙을 도출했습니다: 신경망은 프로토타입 규칙인 최근접 클래스 평균(nearest-class-mean)을 구현하여, 각 테스트 포인트를 학습 세트 평균과 가장 유사한 클래스에 할당합니다. 이 주요 결정 규칙은 광범위한 MLP 아키텍처에 걸쳐 보편적이며, 모든 깊이와 넓은 범위의 활성화 함수 및 노이즈 분포에 대해 성립합니다. 동일한 중심점(centroid) 메커니즘은 우리의 실험에서 유한 너비 신경망의 동작과 밀접하게 일치하며, 개별 학습(training) 예제가 거의 신호를 전달하지 않을 때에도 학습이 성공할 수 있는 이유에 대해 해석 가능하고 분석적으로 다루기 쉬운 설명을 제공합니다.
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
이 논문은 16개 언어에 걸쳐 뉴스 기사와 토론 포럼 같은 텍스트 종류인 웹 레지스터(register)를 식별하기 위한 다국어 심층 학습 모델을 제시한다. 우리는 오픈 웹 전체를 포괄하도록 설계된 25개 레지스터의 계층적 분류 체계(taxonomy)로 주석이 달린 72,000건 이상의 문서를 포함하는 Multilingual CORE 코퍼스를 소개한다. 다중 레이블 분류(multi-label classification)를 사용하여, 우리의 최고 성능 모델은 언어 전체에 걸쳐 평균 79%의 F1 점수를 달성하였으며, 이는 더 단순한 분류 체계를 사용한 기존 연구들과 비슷하거나 이를 상회하는 수준이다. 이는 복잡한 레지스터 체계에서도 다국어 규모로 모델이 우수한 성능을 낼 수 있음을 보여준다. 그러나 우리는 모든 모델과 설정에서 일관된 성능 상한(ceiling)을 관찰하였다. 레이블이 불확실한 문서를 데이터 가지치기를 통해 제거하면 성능이 90% F1 이상으로 향상되는데, 이는 이러한 상한이 모델의 한계가 아니라 웹 레지스터에 내재한 모호성에서 비롯됨을 시사한다. 여러 레지스터가 혼합된 하이브리드 텍스트를 분석한 결과, 주된 어려움은 하이브리드 텍스트 자체를 분류하는 데 있는 것이 아니라 하이브리드 문서와 비(非)하이브리드 문서를 구별하는 데 있는 것으로 나타났다. 다국어 모델은 특히 학습 데이터가 제한된 언어에서 단일 언어 모델보다 일관되게 더 우수한 성능을 보인다. 학습에 사용되지 않은 언어에 대한 제로샷(zero-shot) 성능은 평균 7% 하락하지만, 언어에 따라 3~8%로 편차가 있으며, 이는 레지스터가 언어 간에 특징을 공유하면서도 언어별 고유한 특성 또한 유지함을 나타낸다.
텍스트-이미지(T2I) 모델은 주로 요청된 콘텐츠의 생성 여부를 측정하는 벤치마크로 평가되지만, 이러한 벤치마크는 "빨간색이 아닌 컵"을 생성하는 것과 같이 부정 제약 조건을 충족하는 상보적 능력을 대체로 간과합니다. 부정 측정은 긍정 기반 벤치마크에서는 직면하지 않는 과제를 제기하며 신중한 프롬프트(prompt) 및 평가(evaluation) 설계를 필요로 합니다. 본 연구에서는 두 가지 속성 유형과 네 가지 관계 범주를 다루는 4,800개의 프롬프트로 구성된 벤치마크인 NegT2IBench를 소개합니다. 프롬프트는 극성(polarity)에 따라 구성되며, 충족되어야 하는 긍정 진술과 충족되어서는 안 되는 부정 진술의 개수가 각각 0개에서 2개까지 주어집니다. 두 요소를 독립적으로 변화시킴으로써 부정의 효과와 프롬프트 복잡성의 효과를 분리합니다. 본 연구의 검출기 기반 채점은 재현 가능하고 감사 가능하며 어떤 요구 사항이 실패했는지 정확히 짚어냅니다. 3명의 작업자 라벨이 부여된 600개의 이미지에서, 최대 30배 더 큰 비전-언어(vision-language) 평가자만큼이나 인간과 가깝게 일치하면서도 GPU 메모리는 일부만 사용합니다. 11개의 T2I 모델과 211,200개의 이미지 전반에서 9개 모델이 단일 긍정 진술보다 단일 부정 진술에서 더 낮은 점수를 기록했습니다. 진술별 채점 분석 결과 색상에서 성능 손실(loss)이 가장 컸고 근접성에서는 거의 0에 가까웠으며, 실패한 진술의 41.5%는 프롬프트가 금지한 대상을 정확히 렌더링한 것으로 나타났습니다. 프롬프트가 요구하는 것을 렌더링하는 것과 금지하는 것을 배제하는 것은 종합적인 구성 점수로는 구별할 수 없는 별개의 능력입니다. NegT2IBench는 후자를 직접 측정하여 부정 실패를 진단하고 이를 극복하는 방법을 개발하기 위한 통제된 테스트베드를 제공합니다.
효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.
정적 중요도 점수는 시각적 증거를 단일 순위로 압축하지만, 하나의 단서가 관측된 뒤에는 남은 증거의 가치가 바뀔 수 있다. 우리는 색상, 형태, 질감 증거를 독립적으로 노출할 수 있고 획득 상태에 걸쳐 조건부 한계 효용(conditional marginal utility)을 측정할 수 있는 통제된 구성적 시각 탐색에서 이러한 가능성을 연구한다. 800개 장면에 대한 홀드아웃 검증에서, 동결된 OpenCLIP과 SigLIP은 순서 변화를 유도하도록 설계된 후보 중첩 영역에 집중되고, 두 가지 증거 누적 구성과 10개의 동등한 쿼리 표현 전반에서 지속되며, 쿼리-장면 교란(query-scene derangement) 하에서는 거의 무작위 수준의 동작으로 붕괴하는 견고한 상태 의존적 순위 역전을 보인다. 1,200개 장면에 대한 후속 역할 균형(role-balanced) 추적 연구에서는 초기에 강한 속성, 중복을 유발하는 속성, 비교 속성의 추상적 역할을 순환시킨다. 잔여 속성-정체성 효과가 남아 있긴 하지만, 양성-음성 역전 대비(positive-minus-negative reversal contrast)는 24개의 모든 역할 순열, 백본 및 증거 모드 셀 전반에서 양의 값을 유지한다. 나아가 우리는 측정된 재계획 기회와 전향적 예측 가능성을 구분한다. 첫 행동 일치 유틸리티 분석은 남은 증거의 순위를 재조정할 상당한 기회가 있음을 보여주지만, 사후(posterior) 기반 또는 획득 임베딩 상태 표현을 사용하는 경량 예측기는 역할 균형 벤치마크에서 적합한 정적 대조군 대비 획득 상태 정보의 견고한 점진적 이점을 확립하지 못한다. 종합하면, 이러한 결과는 이 통제된 설정에서 조건부 시각적 증거 유틸리티가 신뢰할 수 있을 정도로 상태 의존적임을 보여주는 동시에, 변화하는 유틸리티의 존재와 그러한 변화가 학습된 선택기에 의해 전향적으로 예측 가능하다는 더 강한 주장을 분리한다.
검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM)에 외부 지식을 제공하지만, 대규모 지식 그래프로 확장할 때 효율성과 정확도 간의 상충 관계(trade-off)로 인해 어려움을 겪습니다. 기존 접근법은 종종 단일 그래프 검색에 의존하여 단순한 질의에는 불필요한 지연 시간을 초래하고 복잡한 다단계(multi-hop) 질문에 대해서는 분절된 추론을 야기합니다. 이러한 문제를 해결하기 위해, 본 논문은 질문 주도형 의미론적 그래프 분할 및 협력적 하위 그래프 검색을 통해 이러한 한계를 극복하는 다중 에이전트 RAG 프레임워크인 SPLIT-RAG를 제안합니다. 이 혁신적인 프레임워크는 먼저 연결된 정보의 의미론적 분할(Semantic Partitioning of Linked Information)을 생성한 다음, 유형별로 특화된 지식 베이스를 사용하여 다중 에이전트 RAG를 달성합니다. 속성 인지형 그래프 분할을 통해 지식 그래프를 의미론적으로 일관된 하위 그래프로 분할하여 하위 그래프가 다양한 질의 유형과 일치하도록 보장하는 한편, 분할된 하위 그래프에 경량 LLM 에이전트를 할당하고 검색 중에는 관련 파티션만 활성화함으로써 탐색 공간을 줄이고 효율성을 높입니다. 마지막으로, 계층적 병합 모듈이 논리적 검증을 통해 하위 그래프에서 도출된 답변 간의 불일치를 해결합니다. 광범위한 실험적 검증 결과는 기존 접근법과 비교하여 상당한 성능 향상을 입증합니다.
전자 의료 기록(Electronic Healthcare Records, EHR)을 활용한 자동화된 임상 의사결정에서의 바이어스는 환자 치료 및 치료 결과에 상당한 격차를 초래한다. 기존 접근법은 주로 단일 속성에서 기인하는 바이어스 완화 전략에 초점을 맞춰, 인종, 성별, 민족 등 다양한 인구통계학적 교차로 형성된 교차성 하위군(intersectional subgroups)을 간과해 왔다. 단일 속성 완화 전략을 교차성 하위군에 그대로 적용하는 것은 이러 하위군 간 분포와 바이어스 패턴의 차이로 인해 통계적으로 무의미해진다. EHR의 다중모달적 특성—텍스트, 시계열, 표 형식 데이터, 이벤트, 이미지 등 다양한 출처의 데이터 조합—은 소수 집단에 대한 영향이 모달리티마다 달라질 수 있어 복잡성을 한 층 더 더한다. 본 논문에서는 MIMIC-Eye1과 MIMIC-IV ED 등 광범위한 다중모달 데이터셋을 구축하여 예측에서 잠재적 교차성 바이어스를 발굴하는 초기 단계를 밟고, 교차성 하위군 수준에서의 완화를 제안한다. 우리는 다중모달 소스에서 통합 텍스트 표현을 학습하고, 사전학습된 임상 언어 모델(LM)인 MedBERT, Clinical BERT, Clinical BioBERT의 강력한 능력을 활용하여 데이터셋에서 하위 작업(downstream tasks) 수행·벤치마킹과 바이어스 평가를 수행한다. 실험 결과, 제안한 하위군별 바이어스 완화는 서로 다른 데이터셋, 하위군, 임베딩(embedding)에서 견고하게 나타나, 다중모달 환경에서 교차성 바이어스를 해소하는 데 효과적임을 보여 준다.
패션 속성 추출(fashion attribute extraction)은 일관성 없이 평가되고 있다: 결과는 서로 다른 문제를 제기하는 이미지 유형 전반에 걸쳐 단일 집계 수치로 보고되고, 이미지에 보이지 않는 필드는 일반적인 음성(negative)으로 채점되며, 데이터셋 간 어휘 불일치(vocabulary mismatch)의 영향은 인정되지만 측정되지는 않는다. 우리는 이러한 문제들을 설계상 분리하여 유지하는 4트랙 벤치마크인 MODA General Attribute Suite를 공개한다. 각 트랙(국소화된 의류 크롭(localized garment crop), 카탈로그 제품 이미지, 적용 가능성(applicability)을 고려한 전신 사진, 제품 텍스트)은 각각 고정된(frozen) 테스트 세트, 입력 계약(input contract), 지표(metric), 누출 단위(leakage unit)를 가지며, 트랙 간에는 결코 평균을 내지 않는다. 프로토콜은 레이블을 보지 않는(label-blind) 예측, 레이블을 공개하기 전 예측 파일의 SHA-256 커밋(commitment), 폐쇄 실패형(fail-closed) 채점기, 그리고 각 트랙의 고유한 누출 단위에서의 10,000-샘플 페어드 클러스터 부트스트랩(paired cluster bootstrap)을 요구한다; 승급(promotion)에는 유리한 평균이 아니라 모든 트랙에서 양의 구간(positive interval)이 요구된다.
우리는 채점기(scorer), 분할 빌더(split builder), 주요 결과에 포함된 모든 이미지 트랙 시스템과 성능이 뒤처진 실행(run)에 대해서도 해시를 포함한 자체 예측 파일, 그리고 4개 트랙 중 3개에 대한 MODA_NER(V) 모델 체크포인트를 공개한다. 텍스트 모델은 배포되지 않으나 그 벤치마크는 배포된다. 우리는 기준선(baseline) 결과, 이를 개선하지 못한 6가지 개입(intervention), 그리고 근거의 한계를 보고한다.
의류 크롭(garment-crop) 트랙에서는 헤드라인 결과가 벤치마크 자체의 설계에 얼마나 의존하는지도 측정한다: 두 최상위 시스템의 순위는 필드를 마이크로 평균(micro-average)할지 매크로 평균(macro-average)할지에 따라 달라지며, 프로토콜이 판정하는 셀(cell)의 3분의 2는 어노테이션(annotation)이 전혀 없고, 적용 가능성 판단(applicability decision)을 비활성화하면 속성 마이크로 F1(micro-F1)이 0.63에서 0.27로 떨어진다. 따라서 이 점수의 대부분은 원본 레이블로는 판정할 수 없는 부재(absence) 판단에 의존하고 있다. 이 버전에서는 또한 추론(inference) 전처리 결함이 영향을 미쳤던 외부 비교의 수치 하나를 수정하였다.
준지도 이상 탐지(semi-supervised anomaly detection)는 정상 학습(training) 데이터와 다르게 보이는 모든 레코드가 잠재적인 이상치라는 원리에 기반합니다. 그러나 어떤 경우에는 높은 속성값(또는 낮은 속성값이며, 둘 다는 아님)에 해당하는 이상치에 특별히 관심을 갖기도 합니다. 거리 기반 방법(distance-based methods)을 위해, 본 논문에서는 램프 함수(ramp function)를 결합하여 이러한 단조성(monotonicity)을 고려하는 비대칭 거리 척도를 제안합니다. Isolation Forest 알고리즘에 대해서는 수정된 경로 길이(path length) 알고리즘을 제안합니다. 합성 데이터셋과 실제 데이터셋에 대한 실험을 통해, 이러한 제안 방법들이 단조 속성을 가진 데이터셋에서 이상 탐지 성능을 향상시킴을 보여줍니다.
약자-강자 일반화(Weak-to-strong generalization, W2SG)는 더 약한 교사가 생성한 라벨로 학습(training)된 강력한 학생 모델이 타깃 태스크에서 궁극적으로 교사를 능가하는 현상입니다. 본 연구에서는 브레그만 발산(Bregman divergence) 기반의 일반화된 편향-분산 분해(bias-variance decomposition)를 통해 W2SG가 어떻게 발생할 수 있는지 이론적으로 규명합니다. 우리는 학생과 교사 간의 기대 모집단 위험(expected population risk) 격차가 두 모델 사이의 기대 부적합도(expected misfit)에 의해 특징지어짐을 보입니다. 기존 부적합도 기반 분석과 달리, 우리의 이론은 학생 가설군(hypothesis class)이 볼록(convex)할 것을 요구하지 않는 등 여러 제한적인 가정을 제거합니다. 연구 결과는 학생 모델이 교사의 사후 평균(posterior mean)을 효과적으로 근사할 때 W2SG가 발생할 가능성이 더 높음을 시사합니다. 제곱 손실(squared loss)에 특화하여, 우리는 학생이 교사의 사후 평균으로 수렴(convergence)하기 위한 충분조건을 (구체적인 예시와 함께) 제시하며, 특히 학생 모델 크기를 늘리는 것이 이러한 수렴을 보장할 수 있음을 보입니다. 교차 엔트로피(cross-entropy) 손실의 경우, 분석에 따르면 학생의 예측 분포 엔트로피를 낮추는 것이 W2SG를 촉진할 수 있습니다. 또한 표준 순방향 교차 엔트로피와 달리 역방향 교차 엔트로피(reverse cross-entropy)는 교사의 예측 불확실성에 덜 민감하다는 점을 발견했습니다. 마지막으로 이러한 이론적 통찰을 실증적으로 검증하고, 역방향 교차 엔트로피를 통합하면 학생의 성능이 일관되게 향상됨을 입증합니다.
스키마 통합의 목표는, 입력 스키마 또는 테이블 집합이 주어졌을 때, 모든 입력 테이블의 개념, 속성, 관계를 일관되게 표현할 수 있는 전역적이고 통합된 스키마를 도출하는 것이다. 본 논문은 SINT-Flow를 제안한다. SINT-Flow는 다섯 개의 LLM 기반 연산자로 구성된 스키마 통합 프레임워크로, 이 연산자들을 워크플로로 결합하여 완전 자동화된 end-to-end 스키마 통합을 수행할 수 있다. 기존 접근법과 달리 SINT-Flow는 여러 엔티티 유형을 설명하는 속성을 포함하는 비정규화된 소스 테이블을 처리할 수 있다. 스키마 통합 과정에서 이러한 테이블은 별도의 엔티티별 관계로 분해된다. SINT-Flow를 평가하기 위해, 본 연구는 SINT-Bench를 도입한다. SINT-Bench는 10개의 스키마 통합 작업으로 구성된 스키마 통합 벤치마크로, 총 93개의 관계형 테이블을 포함하며, 여러 유형의 엔티티를 설명하는 테이블도 포함한다. 본 연구는 GPT-5.2와 오픈 가중치 모델 Qwen-3.6-27B를 대안 백본 모델로 사용하여 SINT-Flow를 평가한다. 이러한 모델을 사용할 때 SINT-Flow는 엔티티 유형 탐지에서 최소 96%, 속성 탐지에서 85%, 스키마 매핑에서 83%의 F1 점수를 달성한다. 또한 본 연구는 적용된 self-consistency 전략과 스키마 매칭 연산자에 검토 루프를 포함하는 것의 유용성을 입증하기 위해 ablation study를 수행한다.
기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.
CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/
객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.
특징 기여(feature-attribution) 방법은 입력 변수와 모델의 출력 간 관계에 점수를 부여하지만, 그 자체로는 명시적으로 정의된 상호작용 연산자가 중간 레이어에서 어떻게 합성되는지 특성화하지는 않는다. 우리는 내부 모델 구조에 대한 전파 기반 관점인 \emph{interior interpretability}(내부 해석 가능성)을 제안하고, 어텐션 롤아웃을 사용하여 표 형식(tabular) 트랜스포머에 이를 구현한다. 롤아웃을 특징 토큰 간 어텐션 매개 전파를 인코딩하는 행 확률적(row-stochastic) 연산자로 해석한다. 고전적인 Doeblin--Dobrushin 수축 이론을 적용함으로써, Dobrushin 계수가 작은 롤아웃 연산자가 정규화된 열 합으로 결정되는 공통 행을 갖는 rank-one 확률 행렬에 정량적으로 가깝다는 것을 보인다. 이 결과는 해당 롤아웃 전파 프로파일에 구조적 해석을 제공한다. 대사체학적(metabolomic) 나이 예측을 위해 학습된 트랜스포머에서, 측정된 롤아웃 수축은 깊이에 따라 강화된다. 학습된 모델과 무작위 초기화 모델은 서로 다른 전파 프로파일을 보이기도 하지만, 본 실험은 개별 롤아웃 순위 변수의 예측적 관련성을 입증하지는 않는다. PCA 및 SHAP에 대한 GradientExplainer 근사와의 탐색적 비교는, 높은 순위의 변수들 사이에서는 국소적 일치를 보이지만 전체 순위에 걸친 일치는 약함을 드러낸다. 따라서 어텐션 롤아웃은 여기서 완전한 트랜스포머에 대한 인과적 설명이나 충실한 기여(attribution)가 아니라, 어텐션 매개 전파의 진단 도구로 사용된다.
손가락 정맥 이미지를 이용한 연령 추정은 공개 데이터셋의 심각한 인구통계학적 편향과 성별과 같은 생리학적 교란 요인으로 인해 실용적이지 않다고 널리 여겨져 왔다. 이러한 한계를 극복하기 위해, 우리는 새로운 다중 인스턴스, 다중 과제 학습(multi-task learning) 프레임워크인 MAGE-Vein을 제안한다. 우리의 접근법은 세 손가락의 하이브리드 특징 수준(feature-level) 융합을 통해 견고한 구조적 노화 징후를 추출하여 국소 영상 노이즈를 효과적으로 억제한다. 또한 성별 분류를 동시에 최적화함으로써 네트워크가 성별 특이적 혈관 변이를 효과적으로 제거하도록 유도한다. 인구통계학적으로 균형 잡힌 402명의 피험자 데이터셋에서 평가한 결과, MAGE-Vein은 평균 절대 오차 6.12년과 상관계수 0.880을 달성한다. 우리의 결과는 손가락 정맥 모달리티의 한계에 관한 기존 합의를 뒤집을 뿐만 아니라, 이전 추정 실패가 주로 편향된 공개 데이터셋에서 기인한 인공물이었음을 보여준다. 코드는 https://github.com/gsisaoki/MAGE-Vein 에서 제공된다.
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.