PyTorchKR Papers

최신 논문

총 24,492편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2606.02883v2cs.HC

추천 시스템에서 미묘한 목표를 구현하기 위한 LLM 보조 재순위화

LLM-Assisted Reranking to Operationalize Nuanced Objectives in Recommender Systems

추천 시스템은 우리가 보는 정보를 형성하며, 필터 버블, 급진화, 양극화, 사회적 불평등에 대한 우려를 낳는다. 대규모 언어 모델(LLM)은 이러한 역학을 심화할 수 있는 더 강력한 개인화를 가능하게 하지만, 대부분의 추천 시스템은 참여도나 좁은 정확도 지표에 맞춰 조정되어 있으며 더 넓은 사회적 영향에는 거의 주의를 기울이지 않는다. 본 연구는 LLM 보조 재순위화가 개인화를 개선하면서, 이론적으로 제기되었으나 아직 실증적으로 규명되지 않은 위험인 이념적으로 부합하거나 극단적이거나 음모론적인 정치 콘텐츠에 대한 노출을 의도치 않게 증폭하는지 조사한다. 실제 YouTube 궤적을 사용하여, 임베딩 베이스라인과 함께 세 개의 모델에 대한 제로샷 프롬프팅으로 플랫폼의 사이드바 후보를 재순위화하고, 관련성, 이념적 정렬과 다양성, 음모론적 또는 극단주의적 콘텐츠에 대한 노출을 평가한다. 결과는 다음과 같다. (i) 순수한 개인화 지시 하에서 재순위화는 관련성을 개선하는 한편 이념적 노출을 좁히며, 세 모델 중 두 모델에서는 그러한 이력을 가진 사용자에게 문제적 콘텐츠를 부각시킨다. 가장 명시적으로 당파적인 요청을 거절하는 세 번째 모델은 모델별 가드레일을 시사한다. (ii) 경량의 프롬프트 수준 제약은 세 모델 모두에서 문제적 노출을 상당히 줄이며, 정규화된 재순위기는 여전히 관련성에서 플랫폼 베이스라인보다 높은 순위를 유지한다. (iii) 주제 단서와 당파 단서를 독립적으로 변화시킨 합성 실험은 둘 사이에 고정된 선호가 없음을 보여 준다. 낙태와 이민에서는 주제가 지배적이고, 주제 신호가 더 약한 선거에서는 당파성이 우세해진다. 본 결과는 위험이 큰 정치 추천에서 맥락적 뉘앙스를 구현하는 LLM의 힘을 부각하며, LLM 보조 개인화를 정확도를 넘어 평가해야 하고 프롬프트 설계를 중립적 기본값이 아닌 가치 개입적 선택으로 다루어야 할 필요성을 강조한다.

arXiv:2605.28792v3cs.AI

CaMBRAIN: 인과적 상태 공간 모델을 이용한 실시간 연속 EEG 추론

CaMBRAIN: Real-time, Continuous EEG Inference with Causal State Space Models

뇌전도(EEG)는 뇌의 전기적 활동을 모니터링하는 중요한 비침습적 방법이다. EEG는 수 초에서 수 시간까지 길이가 다양하여 기존 딥러닝 방법에 큰 어려움을 야기하는데, 이는 두 가지 주요 요인 때문이다. (1) 기존 EEG 모델은 대부분 어텐션 메커니즘에 기반하므로 시퀀스 길이가 늘어날수록 계산량이 제곱으로 증가한다. (2) 고정 길이 입력 요구 사항 때문에 원시 EEG 신호를 슬라이딩 윈도우 방식으로 처리해야 하며, 이로 인해 전체 신호에 대한 전역적 이해가 불가능하다. 이를 해결하기 위해 본 논문은 EEG 신호의 실시간 추론이 가능한 최초의 인과적 Mamba 기반 상태 공간 모델(SSM)인 CaMBRAIN을 제안하며, EEG의 인과적이고 단방향적인 특성을 고려할 때 양방향 접근법은 불필요하게 비용이 크다고 주장한다. 그러나 이러한 모델의 학습은 간단하지 않은데, 중요한 EEG 이벤트는 1초 미만의 극히 짧은 구간에 나타날 수 있으면서도 수 분에 걸친 긴 간격으로 떨어져 있을 수 있기 때문이다. 현재의 EEG 방법은 신호 재구성을 최적화하는 자기지도 목적함수를 사용하지만, 이는 스트리밍 SSM에는 적합하지 않으며 스트리밍 추론에 필요한 핵심적인 장거리 문맥을 은닉 상태가 유지하도록 명시적으로 학습시키지 못한다. 따라서 본 논문은 상태 공간 모델의 선형 시간 복잡도를 유지하면서 장거리 기억 유지와 EEG 신호에 대한 강력한 성능을 촉진하도록 특별히 설계된 다단계 자기지도 학습 파이프라인을 도입한다. CaMBRAIN은 3개의 서로 다른 EEG 데이터셋에서 기존 모델 대비 10배 이상 높은 처리량으로 최첨단(SOTA) 성능을 달성하였으며, 가변 길이 EEG 신호에 대한 장거리 연속 추론이 가능한 최초의 모델을 구현하였다.

arXiv:2605.24173v2cs.CL

인필링을 통한 확산 언어 모델의 학습 데이터 추출

Extracting Training Data from Diffusion Language Models via Infilling

대규모 언어 모델의 암기 현상은 자기회귀 모델에 자연스러운 접두사 조건부 추출을 통해서만 거의 독점적으로 연구되어 왔다. 그러나 확산 언어 모델(DLM)은 임의의 위치에서 마스킹된 토큰을 디노이징할 수 있다. 따라서 접두사만을 이용한 탐색은 DLM의 암기 현상의 한 측면만을 보여 주며 학습 데이터 추출 위험을 크게 과소평가한다. DLM에서 학습 데이터의 추출 가능성을 현실적으로 모델링하기 위해, 본 논문은 임의의 이진 마스크로 매개변수화되어 접두사 전용 탐색을 포괄하고 DLM의 양방향 귀납적 편향을 반영하는 데이터 추출 프로토콜인 인필링 추출을 도입한다. 이를 LLaDA-8B와 Dream-7B에 대해 다섯 가지 추출 방식, 세 가지 학습 파이프라인, 그리고 원문 그대로의 유출과 부분적 유출을 포괄하는 세 가지 말뭉치에 적용한 결과, 마스크의 기하학적 구조가 추출 가능성을 좌우함을 확인하였다. 가장자리 조건부 마스크는 접두사 조건부 마스크보다 최대 3배 더 많은 원문 시퀀스를 추출하며, 양방향 접근은 자기회귀 모델에서는 접근할 수 없는 경로를 연다. 특히 학습 데이터의 개인정보(PII)가 삭제된 사본을 확보한 공격자는 표적 인필링을 통해 미세 조정된 DLM에서의 PII 재현율을 접두사 조건부 추출 대비 2.5~4.5배 높일 수 있으며, 이는 규모가 동등한 자기회귀 모델과의 격차를 크게 좁히고, 이메일 주소에 대한 LLaDA의 경우에는 탐욕적 접두사 조건부 추출 하의 자기회귀 모델을 능가한다. 디코딩의 조절 가능한 매개변수는 추출 성능에 유의미한 영향을 미치며, 후속 지도 미세 조정 단계는 기존의 암기를 제거하지 못한다.

arXiv:2605.19782v2cs.AI

사전 지식인가 탐색인가? 하드웨어 인식 코드 최적화에서의 LLM 에이전트 연구

Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization

LLM 기반 발견 및 최적화 시스템은 제안-평가-수정이라는 공통 루프를 구현하며 여러 분야에 점점 더 많이 적용되고 있다. 이러한 최적화 또는 발견은 환경으로부터 받은 피드백에 대한 문맥 조건화를 통해 진행된다. 그러나 현대 LLM 에이전트의 구조가 점점 복잡해짐에 따라 어떤 구성 요소가 가장 크게 기여하는지, 그리고 이러한 탐색이 언제 어떻게 실패할 수 있는지를 평가하기 어렵다. 우리는 세 가지 통제된 실험을 통해 이 질문들에 답한다. 연구 결과는 다음과 같다. (1) 순수 블랙박스 최적화에서 LLM은 탐욕적 최적화기로 동작한다. (2) 제로샷 커널 생성에서 명시적인 입력 크기 정보를 제공해도 측정 가능한 효과가 없으며, 모델은 마치 크기 지시가 보이지 않는 것처럼 크기나 온도와 무관하게 동일한 커널 매개변수로 수렴한다. 더욱이 흔하지 않은 커널 크기에 대해 커널 최적화를 수행하도록 하면 사용한 언어와 관계없이 성능이 급격히 저하된다. (3) 피드백 루프 기반 커널 최적화에서 CUDA는 반복적 피드백 하에서 단조롭게 향상되는 반면 TVM IR은 오히려 악화되며, 이는 모델이 정보 밀도가 낮은 언어로 작업할 때 커널 최적화가 저하됨을 보여 준다. 우리의 결과는 코드 최적화 과제에서 LLM이 제공된 피드백이나 에이전트 구조보다 사전 학습된 사전 지식에 크게 의존한다는 결론을 내린다.

arXiv:2605.19049v3cs.LG

KVBuffer: 선형 어텐션을 위한 IO 인식 서빙

KVBuffer: IO-aware Serving for Linear Attention

선형 어텐션은 문맥 길이에 대해 디코딩 비용이 일정하다는 점 때문에 장문맥 추론에서 최근 큰 주목을 받고 있다. 그러나 기존 서빙 시스템은 일반적으로 매 디코딩 단계마다 큰 선형 어텐션 상태를 순환적으로 계산하고 갱신하여 선형 어텐션을 서빙한다. 상태가 토큰별 키와 값보다 훨씬 크기 때문에, 순환 디코딩은 상당한 메모리 접근을 유발하여 선형 어텐션 서빙에 비효율적이다. 본 논문에서는 선형 어텐션을 위한 IO 인식 서빙 메커니즘인 KVBuffer를 제안한다. 최근의 키와 값을 버퍼링함으로써 KVBuffer는 서빙 시스템이 더 유연하고 메모리 효율적인 방식으로 선형 어텐션 출력을 계산할 수 있게 한다. 디코딩에서는 KVBuffer가 청크 단위 계산을 가능하게 하여 상태 갱신을 미루고 일괄 적용함으로써 평균 메모리 접근과 디코딩 지연 시간을 줄인다. 추측 디코딩에서는 KVBuffer가 초안 토큰을 병렬로 검증하고 임시 상태의 저장을 피한다. 짧은 문맥에서는 KVBuffer가 선형 어텐션 상태를 생성하거나 갱신하지 않고 버퍼링된 키와 값으로부터 직접 어텐션 출력을 계산한다. 우리는 KVBuffer를 Qwen3.5 및 Nemotron-3 시리즈 모델을 대상으로 SGLang에 구현하였다. 평가 결과, KVBuffer는 배치 디코딩을 최대 1.47배 가속할 수 있으며, 초안 토큰 네 개를 검증하는 추측 디코딩에서 서빙 가능한 최대 요청 수를 5배 늘릴 수 있다.

arXiv:2605.15995v5cs.LG

경쟁하는 제약 조건이 표현 학습에 대해 드러내는 것

What competing constraints reveal about representation learning

시간적, 다중 모달, 부분 관측 데이터로부터 잠재 상태를 학습하려면 표현이 어떤 정보를 유지하고, 버리고, 조직해야 하는지에 대한 결정이 필요하다. 나는 예측 충분성, 최소성, 시간적 일관성, 관측 적합성, 교란 요인 불변성, 구조적 제약이라는 여섯 가지 상호 보완적 속성이 이러한 결정을 명확히 하는 데 도움이 된다고 주장한다. 기존의 확립된 접근법을 바탕으로, 학습 목적함수나 평가 지표 어느 쪽도 어떤 속성이 달성되었음을 보장하지 않으므로, 바람직한 표현 속성을 이를 촉진하기 위해 사용되는 목적함수 및 이를 평가하기 위해 사용되는 진단과 구분한다. 통제된 합성 실험을 통해 학습 목적함수가 예측 성능, 교란 요인 디코딩 가능성, 잠재 공간의 조직에 어떻게 영향을 미치는지 검토한다. 그 결과는 겉보기에 유리한 진단 결과와 학습된 표현에 실제로 유지된 정보 사이의 불일치, 그리고 동등한 예측 성능 하에서의 잠재 좌표 모호성을 드러내며, 상호 보완적인 평가가 해석을 개선하고 설계 선택을 이끄는 데 어떻게 기여할 수 있는지를 보여 준다. 이러한 분석들은 함께 학습된 잠재 상태를 설계, 비교, 평가하기 위한 토대를 제공한다.

arXiv:2605.14867v5cs.LG

REALM: LFP 모델링을 위한 회고적 인코더 정렬

REALM: Retrospective Encoder Alignment for LFP Modeling

스파이크 활동(spike activity)은 높은 시공간 해상도를 통해 정확한 디코딩을 지원하므로 행동 디코딩을 위한 지배적인 신경 신호로 활용되어 왔습니다. 그러나 피질 내 뇌-컴퓨터 인터페이스(iBCI)가 더 많은 채널 수와 무선 작동을 지향함에 따라, 스파이크 기록에 필요한 높은 샘플링 레이트는 상당한 전력 및 대역폭 수요를 발생시킵니다. 국소 장 전위(LFP, local field potential)는 더 뛰어난 장기적 안정성, 더 낮은 에너지 소비 및 더 낮은 대역폭 요구 사항 등 상호 보완적인 이점을 제공합니다. 그러나 LFP 기반 디코더는 종종 더 낮은 정확도를 보이며, 실시간 배포에 직접 사용할 수 없는 비인과적(non-causal) 아키텍처에 의존합니다. 본 논문에서는 인과적 LFP 행동 디코딩을 위한 회고적 지식 증류(RKD) 프레임워크인 REALM을 제안합니다. 음성 인식의 오프라인-온라인 증류에서 영감을 얻은 REALM은 사전학습된 다중 세션 양방향 LFP 교사 모델의 비인과적 표현 지식을 인과적 학생 모델로 전달합니다. 먼저 연속 마스크 오토인코딩(CMAE)을 사용하여 여러 기록 세션에 걸쳐 양방향 Mamba-2 교사 모델을 사전학습한 다음, 표현 정렬과 오토인코딩의 결합된 목적 함수를 사용하여 해당 표현을 소형 인과적 학생 모델로 증류합니다. REALM은 레이블이 없는 파이프라인과 파인튜닝 파이프라인 모두에서 비교 대상 디코더 중 가장 높은 평균 정확도를 달성하며, SOTA(최첨단) CrossModalDistill을 포함한 각 기준선 대비 통계적으로 유의미한 향상을 보여줍니다. 또한 사전학습, 지식 증류 및 디코딩 전반에 걸쳐 LFP만을 사용하면서도 CrossModalDistill에 공개된 학생 모델 파라미터의 절반 미만과 10분의 1 수준의 사전학습 시간만으로 이를 달성합니다. 이러한 결과는 인과적 LFP 전용 모델이 비인과적 다중 모달(multi-modal) 모델과 경쟁할 수 있는 디코딩 정확도를 달성할 수 있음을 보여주며, 차세대 무선 및 이식형 iBCI를 위한 실용적이고 확장 가능한 접근 방식을 제공합니다.

arXiv:2605.12646v3cs.LG

인간 정렬 하에서 AI 지원을 받아 의사결정하는 방법 학습

Learning to Decide with AI Assistance under Human-Alignment

고위험 분야에서 AI 모델이 관심 결과를 예측하여 의사결정자를 지원할 때, 예측의 신뢰도를 함께 전달해야 한다는 데에는 널리 의견이 일치한다. 그러나 경험적 증거에 따르면 의사결정자는 전달된 신뢰도만으로는 예측을 언제 신뢰해야 하는지 판단하기 어려워하는 경우가 많다. 이러한 맥락에서 최근의 이론적, 경험적 연구는 AI 지원 의사결정의 효용과, AI의 신뢰도와 의사결정자가 자신의 예측에 대해 갖는 신뢰도 사이의 정렬 정도 간에 양의 상관관계가 있음을 시사한다. 그러나 이러한 발견은 이 정렬이 반복적인 상호작용을 통해 최적의 의사결정을 학습하는 복잡도에 어느 정도 영향을 미치는지는 아직 밝히지 못한다. 본 논문에서는 이진 예측과 이진 의사결정이라는 표준적인 경우에서 이 문제를 다룬다. 먼저 이 문제가 완전한 피드백을 갖는 두 팔 온라인 맥락적 학습 문제와 동등함을 보이고, 어떤 학습자든 달성할 수 있는 기대 후회에 대해 $\Omega (\sqrt{|H| \cdot |B| \cdot T} )$의 하한을 수립한다. 여기서 $H$와 $B$는 각각 인간과 AI의 신뢰도 값의 집합을 나타낸다. 이어서 AI와 인간의 신뢰도가 완벽하게 정렬된 경우 학습자가 $O(\sqrt{|H| \cdot T\log T})$의 기대 후회를 달성할 수 있으며, $\sqrt{|H|} = O(\log T)$이고 $B$가 가산 집합일 때에는 Dvoretzky-Kiefer-Wolfowitz 부등식의 비자명한 일반화를 통해 후회 한계가 $O(\sqrt{T\log T})$로 개선됨을 보인다. 종합하면 이러한 결과는 정렬이 AI 지원 의사결정 학습의 복잡도를 줄일 수 있음을 보여 준다. 참가자들이 AI 모델의 지원을 받아 단순한 의사결정 과제를 푸는 두 가지 인간 대상 연구의 실제 데이터를 이용한 실험은, 우리의 이론적 결과가 완전한 정렬이 깨지는 경우에도 강건함을 보여 준다.

arXiv:2605.07058v2cs.CL

MedExAgent: 잡음이 있는 임상 환경에서 질문하고, 검사하고, 진단하도록 LLM 에이전트 훈련하기

MedExAgent: Training LLM Agents to Ask, Examine, and Diagnose in Noisy Clinical Environments

실제 임상 진단은 의사가 환자와의 상호작용과 의학적 검사 수행을 모두 통해 정보를 얻어야 하는 복잡한 과정이다. 또한 의사는 다양한 환자 성향에 적응해야 하며, 과정 중 언제든 발생할 수 있는 잡음이 있고 불완전한 정보에도 대응해야 한다. 그러나 의료용 LLM에 대한 기존 벤치마크와 자동 진단 방법은 이 과정을 단일 턴 질의응답, 잡음 없는 대화, 순차적 검사 수행 등으로 단순화하여, 임상 진단의 상호작용적이고 불확실한 특성을 간과한다. 본 논문은 이러한 간극을 해소하기 위해 임상 진단을 환자에게 질문하기, 도구 호출로서 의학적 검사 지시하기, 진단 내리기의 세 가지 행동 유형을 갖는 부분 관측 마르코프 결정 과정(POMDP)으로 형식화한다. 또한 7가지 환자 잡음 유형과 3가지 검사 잡음 유형으로 구성된 체계적인 잡음 모델을 도입한다. 제안한 환경을 사용하여, 우리는 두 단계 파이프라인을 통해 효과적인 진단 에이전트 \textbf{MedExAgent}를 훈련한다. 먼저 임상 면담을 위한 Calgary-Cambridge 모델에 따라 구조화한 합성 대화에 대해 지도 미세조정을 수행하고, 이어서 DAPO를 적용하여 진단 정확도, 도구 호출 품질, 그리고 금전적 비용과 환자의 불편을 포함한 검사 비용을 반영한 복합 보상을 최적화한다. 광범위한 실험과 제거 연구를 통해 MedExAgent가 비용 효율적인 검사 전략을 유지하면서도 더 큰 모델에 필적하는 진단 성능을 달성함을 보인다.

arXiv:2604.17283v2cs.CL

HorizonBench: 진화하는 선호를 반영한 장기 개인화

HorizonBench: Long-Horizon Personalization with Evolving Preferences

개인 비서는 이제 같은 사용자와 수개월 동안 대화하며, 사용자의 선호는 삶이 변함에 따라 바뀐다. 사용자가 더 이상 따르지 않는 선호를 계속 제공하는 비서는 그 사용자에게 실패한 것이다. 실제 대화에는 선호가 언제 왜 바뀌었는지가 기록되지 않으며, 기존 벤치마크는 선호를 고정하거나 사용자가 변화를 직접 말하게 하므로, 모델이 사용자가 한 말을 잊은 것인지 사용자에 대한 신념을 갱신하지 못한 것인지 구분할 수 없다. 우리는 HorizonBench와 그 데이터 생성기를 소개한다. 이는 사용자의 선호가 어떻게 변하는지를 표본 추출하고 그 순서에 따라 6개월 분량의 대화를 생성하며, 각 변화는 사용자가 새 선호를 명시하지 않은 채 언급하는 삶의 사건에 뒤따른다. 우리가 수집하여 공개하는 인간 종단 선호 데이터셋인 160명의 13주간 83,024개 평점은 삶의 사건이 선호를 얼마나 자주, 얼마나 크게 바꾸는지를 결정한다. HorizonBench는 360명의 사용자에게서 나온 4,245개의 질문을 포함하며, 선호가 바뀐 경우 이전 값이 답안 선택지 중 하나로 들어 있다. 평가한 25개의 최첨단 모델 모두 오류가 고르게 분포한다고 가정했을 때의 예측보다 더 자주 낡은 선호를 선택하였고, 최고 모델의 정확도는 52.8%에 달한다. 최신 모델 두 개는 전체 이력을 줄 때보다 관련 대화만 줄 때 점수가 더 높지 않지만, 변화를 명시한 문장 하나를 추가하면 정확도가 11~22포인트 상승하며, 검색 및 메모리 방법은 잃어버린 정확도를 회복하지 못한다. 따라서 사용자가 말한 것을 기억하는 것과 사용자가 현재 무엇을 선호하는지 아는 것은 별개의 능력이며, HorizonBench와 그 생성기, 인간 데이터셋은 두 능력에 대한 연구를 뒷받침한다.

arXiv:2604.15805v2cs.RO

WorldComposer: 일반화 가능한 로봇 학습 및 평가를 위한 디지털 사촌 기반 생성형 고충실도 시뮬레이션

WorldComposer: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation

실제 환경에서 강건한 로봇 정책을 학습하려면 다양한 데이터 증강이 필요하지만, 물리적 자산을 확보하고 환경을 재구성해야 하므로 실제 데이터 수집을 확장하는 데에는 비용이 많이 든다. 따라서 실제 장면을 시뮬레이션으로 증강하는 것이 효율적인 학습과 평가를 위한 실용적인 증강 방식이 되었다. 우리는 실제 파노라마를 고충실도의 과제 수행 가능한 시뮬레이션 환경으로 매핑하고, 장면 및 객체 변형을 통해 다양한 디지털 사촌(Digital Cousins)을 추가로 합성하는 자동화된 생성형 Real2Sim2Real 프레임워크인 WorldComposer를 제시한다. 고품질 물리 엔진 및 사실적인 자산과 결합하여, WorldComposer는 강체, 관절체, 변형 가능 객체 전반에 걸친 상호작용형 조작을 지원한다. 또한 장기 과제를 위한 일관된 대규모 환경을 구성하기 위해 다중 방 스티칭을 도입한다. 실험은 플랫폼의 충실도를 검증하는 강한 시뮬레이션-실제 상관관계를 보여 주며, 데이터 생성을 크게 확장하면 보지 못한 장면 및 객체 변형에 대한 일반화가 유의미하게 향상됨을 보여 줌으로써, 일반화 가능한 로봇 학습과 평가에서 디지털 사촌의 효과를 입증한다.

arXiv:2604.09870v3cs.LG

루프형 트랜스포머의 내부 상태로부터 인간 선호 읽어내기

Reading Human Preference from Looped Transformer Internal States

동결된 언어 모델에 같은 요청에 대한 두 개의 응답을 보여 주되, 그중 하나는 사람이 선호한 것이라고 하자. 모델의 은닉 상태에 대한 작은 프로브가 어느 쪽인지 알아낼 수 있을까? 토큰마다 층을 네 번 실행하는 모델인 Ouro-2.6B-Thinking과 Anthropic의 HH-RLHF 데이터에서 답은 그렇다이지만, 아주 약하게만 그렇다. 선형 프로브는 선호된 응답을 61.5%의 확률로 고르고, 각 응답을 별도로 점수화하는 작은 비선형 네트워크는 64.9%, 버전 1을 위해 학습된 평가기는 테스트 분할에서 64.7%에 도달한다. 이는 더 긴 응답을 고르는 것과 같은 단순한 규칙보다 분명히 낫지만 미약하다. 선호가 두 응답 사이의 비교로 저장되는지, 각 응답의 속성으로 저장되는지는 여전히 열려 있다. 선형 프로브는 이를 구분할 수 없으며, 두 응답을 함께 읽는 네트워크는 각 응답을 별도로 점수화하는 네트워크에 비해 추정 이점이 0.7포인트(95% CI 0.0~1.4)에 불과하다. 이 수치는 세 가지 통제 하에서도 유지된다. 즉 모든 쌍을 두 가지 순서로 점수화하고, 데이터를 쌍 단위로 분할하며, 프로브의 경우 두 응답이 달라지는 각 대화의 끝부분을 유지하는 것이다. 버전 1의 95.2%와 84.5%는 처음 두 통제 없이 얻은 것이어서 성립하지 않으며, 세 번째 통제 없이 얻은 버전 2의 수정된 관계형 프로브 정확도는 4~5포인트 낮게 나온 것이었다. 이 버전은 둘 모두를 대체한다.

arXiv:2603.20422v2cs.CV

PEARL: 런타임에 정의되는 개념을 이용한 개인화 스트리밍 비디오 이해

PEARL: Personalized Streaming Video Understanding with Runtime-Defined Concepts

연속적인 시각 스트림으로부터 새로운 개념을 학습하는 인간과 달리, 기존의 개인화 비전-언어 모델(VLM)은 학습 중에 미리 정의된 개념 집합을 내재화하며 정적 이미지나 오프라인 비디오에서 동작한다. 이러한 모델은 사용자가 스트림 도중에 정의한 개념을 등록하지 못하며, 그 개념이 앞서 등장했던 순간을 상기하지도 못한다. 우리는 이 과제를 개인화 스트리밍 비디오 이해(Personalized Streaming Video Understanding, PSVU)로 정식화하고, 이 과제를 위한 최초의 벤치마크인 PSVU-Bench를 소개한다. PSVU-Bench는 132개 비디오에 타임스탬프가 있는 질문을 주석으로 달았다. 개념 정의(Concept-Definition), 실시간(Real-Time), 과거 시점(Past-Time) QA는 모델에게 임의의 타임스탬프에서 개념을 등록하고, 사용자 정의 행동을 포함한 개념의 현재 상태를 인식하며, 과거 증거를 검색하도록 요구한다. 우리는 사용자 정의 개념을 보관된 비디오 클립과 분리하여 저장하고, 각 질의를 개념 설명으로 재작성하여 관련 이력을 검색하는 강력한 플러그 앤 플레이 기준선인 PEARL을 제안한다. 비디오에서 명명된 개념을 접지(grounding)하는 것은 모든 개념이 공유하는 기술이다. 따라서 공개 인터넷 비디오에 대해 검증된 개념 질문으로 구성된 학습 세트 PSVU-10K를 구축하고, 이를 이용해 PEARL의 검색기와 응답 VLM을 한 번만 학습시킨다. 테스트 시점에 정의되는 개념은 여전히 별도의 학습이 필요 없다. 학습 없이 세 가지 아키텍처에 적용했을 때, PEARL은 대응하는 오프라인 모델 대비 평균적으로 Real-Time QA를 15.05%, Past-Time QA를 12.60% 향상시키며, 세 가지 모두 두 QA 유형에서 기존 온라인 비디오 모델을 능가한다. 추가 학습을 하면 Qwen3-VL-8B 기반 PEARL은 Real-Time QA에서 8.66%, Past-Time QA에서 9.39% 더 향상되며, 모든 범주에서 성능이 개선된다. 코드, 데이터 및 모델은 https://github.com/Yuanhong-Zheng/PEARL 에서 확인할 수 있다.

arXiv:2603.19008v2cs.CL

HYPER: 증거 탐색 검색을 위한 가설 기반 계획

HYPER: Hypothesis-Guided Planning for Evidence-Seeking Retrieval

검색 증강 생성(RAG)은 외부의 비매개변수적 지식에 생성을 근거 짓게 함으로써 대규모 언어 모델(LLM)을 개선한다. 그러나 그럴듯한 대안들 중에서 진단을 고르는 것처럼 경쟁하는 가능성 사이에서 선택해야 하는 과제에서는, 주제와 관련된 문맥만으로는 최종 결정을 이끌기에 불충분한 경우가 많다. 이 문제를 해결하기 위해 우리는 RAG를 주제 지향 검색에서 증거 지향 검색으로 전환하는, 학습이 필요 없는 사전 검색 계획 프레임워크인 HYPER(Hypothesis-Guided Planning for Evidence-Seeking Retrieval)를 제안한다. HYPER는 잠정적 답변 가설을 계획의 기준점으로 사용한다. 그런 다음 검색을 세 가지 증거 역할로 분해한다. Support는 잠정 답변을 뒷받침하는 증거를 찾는다. Distinction은 경쟁하는 대안들을 구분하는 기준을 검색한다. Feature는 결정에 필요한 질문의 두드러진 특징을 근거 짓는다. 이 계획 단계는 검색을 결정 경계 근처의 증거로 유도하여, 생성기가 필요한 선택에 더 직접적으로 부합하는 문맥으로부터 답할 수 있게 한다. 단일 질의 검색이 검색 없는 사고 연쇄 프롬프팅보다 낮은 성능을 보이는 MedQA와 MMLU-Med에서, HYPER는 열 개의 기준선 중 가장 높은 평균 정확도를 달성하였으며, Simple RAG 대비 각각 5.9점과 3.6점 향상되었다. 이러한 이득은 질문당 LLM 호출 두 번을 추가하는 비용으로 MMLU-Pro의 14개 주제에도 전이된다. 코드는 https://github.com/hangeol/HypothesisRAG 에서 확인할 수 있다.

arXiv:2603.17102v3cs.CL

교차 언어 불일치를 이용한 전문가 혼합 LLM의 지식 위치 규명

Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency

최신 LLM은 언어에 따라 행동에 상당한 편차를 보이며, 예를 들어 어떤 언어에서는 사실 정보를 상기할 수 있지만 다른 언어에서는 그렇지 못하다. 이는 일반적으로 완화해야 할 문제로 연구되지만, 본 연구에서는 이러한 교차 언어 불일치를 전문가 혼합(MoE) LLM의 해석 가능성을 위한 도구로 활용할 것을 제안한다. 우리의 지식 위치 규명 프레임워크는 모델이 정보를 올바르게 상기하는 언어 집합과 실패하는 언어 집합의 라우팅을 대조한다. 이를 통해 특정 지식에 대한 답변에서 기능적 역할을 하는 모델 구성 요소를 분리할 수 있다. 본 방법은 두 단계로 진행된다. (1) 다양한 언어에 걸쳐 어려운 사실 질문으로 모델에 질의하여 "성공" 및 "실패" 활성화 버킷을 생성하고, (2) MoE 라우터 로짓에 통계적 대조 분석을 적용하여 지식에 중요한 전문가를 식별한다. 지식 질문에 답하는 데 이 소수의 전문가가 필요함을 검증하기 위해, 이들을 비활성화한 뒤 질문을 다시 한다. 6000개의 전문가 중 약 20개만 비활성화했음에도 모델이 40% 이상의 경우에서 더 이상 올바르게 답하지 못함을 확인하였다. 전반적으로 이 방법은 점점 복잡해지는 LLM을 다루기 위한 현실적이고 확장 가능한 지식 위치 규명 접근법을 제공한다.

arXiv:2603.15926v2cs.LG

인과 발견 알고리즘 전반의 경로 특이적 공정성 감사: 심부전 사례 연구

Auditing Path-Specific Fairness Across Causal Discovery Algorithms: A Heart Failure Case Study

인과 발견은 의료 데이터에 점점 더 많이 적용되고 있으며, 이때 복원된 관계는 하위 예측으로 전파되는 편향된 경로를 내포할 수 있다. 직접, 간접, 허위 효과 분해와 공정성-유용성 비율 평가를 통한 경로 특이적 공정성 분석은 편향과 이에 수반되는 예측 비용을 정량화할 수 있게 한다. 그러나 공정성 제약 하에서의 인과 발견에 대한 기존 평가는 대체로 비임상 데이터셋을 사용했고 교란 변수의 기여와 매개 변수의 기여를 구분하지 않았으므로, 발견 알고리즘의 선택이 경로 특이적 공정성을 거쳐 임상 환경에서의 유용성 상충 관계에 어떻게 전파되는지는 미해결로 남아 있다. 본 연구는 심부전 임상 기록 데이터셋에 대해 전문가가 도출한 인과 그래프 벤치마크를 구축하고, 종합 및 변수별 공정성 분해와 공정성-유용성 비율을 통해 발견 알고리즘을 추적함으로써 이 공백을 해소한다. ICA-LiNGAM은 가장 낮은 구조적 해밍 거리와 가장 높은 재현율을 달성하였고, GES는 가장 높은 정밀도를 달성하였다. 경로 특이적 효과에서는 원래 그래프와 발견된 그래프 간에 전체 인과 공정성에 대한 박출률(ejection fraction) 매개 효과가 1.2%p 차이가 났다. 이는 결국 공정성-유용성 비율의 변동으로 이어졌으며, 세밀한 평가의 필요성을 부각한다. 이러한 결과는 발견 알고리즘을 고려한 경로 특이적 공정성 평가가 임상 환경에서 중요하며 임상 위험 모델의 정기 감사에 포함되어야 함을 시사한다.

arXiv:2603.13669v3cs.CV

SHAMISA: 자기지도 무참조 영상 품질 평가를 위한 암묵적 구조적 연관성의 형상화 모델링

SHAMISA: SHAped Modeling of Implicit Structural Associations for Self-supervised No-Reference Image Quality Assessment

무참조 영상 품질 평가(No-Reference Image Quality Assessment, NR-IQA)는 원본 참조 영상 없이 지각적 품질을 추정하는 것을 목표로 한다. NR-IQA 모델을 학습하려면 비용이 많이 드는 인간의 지각 레이블이 다량으로 필요하므로 근본적인 병목에 직면한다. 본 논문에서는 명시적으로 구조화된 관계적 지도를 통해 레이블이 없는 왜곡 영상으로부터 학습하는 비대조적 자기지도 프레임워크인 SHAMISA를 제안한다. 엄격한 이진 유사도 제약을 부과하는 기존 방법과 달리, SHAMISA는 왜곡 인식적이면서 내용 민감적인 부드럽고 제어 가능한 암묵적 구조적 연관성을 형성한다. 핵심 혁신은 합성적 왜곡 엔진으로, 연속적인 매개변수 공간에서 셀 수 없이 많은 열화 계열을 생성하고, 한 번에 정확히 하나의 왜곡 요인만 변하도록 결과 영상들을 묶는다. 이러한 구성은 학습 중 표현 유사도에 대한 세밀한 제어를 가능하게 한다. 공통된 왜곡 패턴을 가진 영상들은 임베딩 공간에서 서로 가까워지고, 심각도의 변화는 구조적인 이동을 만든다. 이중 출처 관계 그래프는 사전 학습 전반에 걸쳐 알려진 열화 프로파일과 창발적 구조적 친화성을 통합한다. 이후 학습된 인코더를 고정하고 선형 회귀기와 결합한다. 합성, 실제, 교차 데이터셋 NR-IQA 벤치마크에 대한 광범위한 실험은 강력한 전반적 성능, 보고된 교차 데이터셋 비교에서의 향상된 전이, 그리고 우수한 정성적 강건성 진단 결과를 보여준다. 자기지도 사전 학습에는 IQA 의견 점수 주석이나 대조 손실이 필요하지 않다.

arXiv:2603.09145v4cs.LG

확장 기반 클래스 점진 학습을 위한 반사실적 특징 정규화

Counterfactual Feature Regularization for Expansion-Based Class-Incremental Learning

현재의 확장 기반 클래스 점진 학습(Class Incremental Learning, CIL) 방법은 기존 특징을 고정함으로써 파국적 망각을 효과적으로 완화한다. 그러나 새로운 과제로부터 학습된 이러한 과제 특화 특징은 기존 특징과 충돌할 수 있다. 인과적 관점에서 볼 때 허위 특징 상관관계가 이러한 충돌의 주된 원인이며, 이는 두 가지 범위로 나타난다. (i) 경험적 위험 최소화(ERM)에 의해 유도되어, 과제 내 허위 상관관계가 과제 특화 특징이 지름길 특징에 의존하게 만든다. 이러한 비강건 특징은 간섭에 취약하여 불가피하게 다른 과제의 특징 공간으로 이동한다. (ii) 과제 간 허위 상관관계는 과제들에 걸쳐 시각적으로 유사한 클래스 사이에 의미적 혼동을 일으킨다. 이를 해결하기 위해 본 논문에서는 CIL의 특징 확장을 유도하는 필요충분 확률(Probability of Necessity and Sufficiency, PNS) 기반 정규화 방법을 제안한다. 구체적으로, 먼저 PNS의 정의를 확장 기반 CIL로 확장하여 CPNS라 명명하며, 이는 과제 내 표현의 인과적 완전성과 과제 간 표현의 분리 가능성을 모두 정량화한다. 이어서 CPNS의 측정을 보장하기 위해 쌍둥이 네트워크 기반의 이중 범위 반사실 생성기를 도입하며, 이는 동시에 (i) 과제 내 PNS 위험을 최소화하고 과제 특화 특징의 인과적 완전성을 보장하는 과제 내 반사실 특징과, (ii) 과제 간 PNS 위험을 최소화하여 과제 간 표현의 분리 가능성을 보장하는 과제 간 간섭 특징을 생성한다. 이론적 분석은 그 신뢰성을 확인한다. 이 정규화는 확장 기반 CIL에서 특징 충돌을 완화하기 위한 플러그 앤 플레이 방법이다. 광범위한 실험은 제안 방법의 효과를 입증한다.

arXiv:2602.23276v3cs.AI

CXReasonAgent: 흉부 X선을 위한 근거 기반 진단 추론 에이전트

CXReasonAgent: Evidence-Grounded Diagnostic Reasoning Agent for Chest X-rays

흉부 X선은 흉부 진단에서 핵심적인 역할을 하며, 그 판독에는 본질적으로 다단계의 근거 기반 추론이 필요하다. 그러나 대규모 시각-언어 모델(LVLM)은 진단 근거에 충실히 기반하지 않은 그럴듯한 응답을 생성하는 경우가 많고 검증을 위한 시각적 근거를 제한적으로만 제공하며, 새로운 진단 과제를 지원하려면 비용이 많이 드는 재학습이 필요하여 임상 환경에서의 신뢰성과 적응성이 제한된다. 이러한 한계를 해결하기 위해 본 논문에서는 대규모 언어 모델(LLM)을 임상적으로 근거가 있는 진단 도구와 통합하여, 영상에서 도출된 진단 및 시각적 근거를 사용해 근거 기반 진단 추론을 수행하는 진단 에이전트 CXReasonAgent를 제시한다. 이러한 능력을 평가하기 위해 12개 진단 과제에 걸친 1,946개 대화로 구성된 다중 턴 대화 벤치마크 CXReasonDail을 도입하고, CXReasonAgent가 LVLM보다 더 충실하게 근거에 기반한 응답을 생성함을 보인다. 이러한 결과는 신뢰할 수 있고 검증 가능한 진단 추론을 가능하게 하기 위해 임상적으로 근거가 있는 진단 도구를 통합하는 것이 중요함을 강조한다. 데모는 \href{https://ttumyche.github.io/CXReasonAgent_Demo/}{여기}에서 이용할 수 있다.

arXiv:2602.15198v3cs.MA

Colosseum: 협력적 다중 에이전트 시스템에서의 담합 감사

Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems

LLM 에이전트가 자유 형식 언어로 소통하는 다중 에이전트 시스템은 복잡한 협력 과제를 해결하기 위한 정교한 조율을 가능하게 한다. 이는 에이전트 집단이 연합을 형성하여 담합함으로써 부차적 목표를 추구하고 공동 목표를 저해할 때 고유한 안전 문제를 야기한다. 본 논문에서는 다중 에이전트 환경에서 LLM 에이전트의 담합 행동을 감사하기 위한 프레임워크인 Colosseum을 제시한다. 우리는 형식적인 다중 에이전트 의사결정 프레임워크를 통해 에이전트의 협력 방식을 정립하고, 협력 최적 대비 후회(regret)를 통해 행동에서의 행동 기반 담합 행동을 측정하며 이를 통신 기반 담합 행동과 비교한다. Colosseum은 양성 설정, 다양한 연합 목표, 설득 전술, 네트워크 토폴로지 하에서 LLM 에이전트의 담합 여부를 감사할 수 있게 한다. 이어서 에이전트 간에 비밀 통신 채널을 만들어 새로운 행동 프로브를 도입하고, 대부분의 기성 모델이 이 프로브 하에서 담합 성향을 보임을 확인하며 이를 창발적 담합이라 부른다. 나아가 에이전트가 텍스트로는 담합을 계획하지만 실제로는 비담합적 행동을 선택하는 경우가 많은 '서류상 담합'을 발견하였다. Colosseum은 협력적 다중 에이전트 시스템에서 담합을 감사하는 새로운 방법을 제공하는 동시에, 담합이 어떻게 출현하는지, 무엇이 담합의 효능에 영향을 미치는지, 어떤 전략이 이를 완화할 수 있는지에 대한 관찰을 제시한다.