PyTorchKR Papers

최신 논문

총 1,112편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.15121v1cs.HC

"내가 무엇을 모르는지 모른다": 학제 간 연구에서 AI의 이점과 과제 탐구

"I don't know what I don't know": Exploring the Benefits and Challenges of AI in Interdisciplinary Research

학제 간 연구는 사회에 유익하다고 널리 평가받지만, 학문 간 경계를 잇는 연구자에게는 고유한 어려움을 안긴다. 연구 작업을 위한 AI 시스템의 이용 가능성과 사용이 급속히 늘었음에도, AI 시스템이 낯선 학문 분야에 걸친 워크플로에 어떤 영향을 미쳤는지를 다룬 연구는 거의 없다. 우리는 학제 간 연구자 대상 설문조사($N=62$)와 후속 인터뷰($N=23$)를 통해 학제 간 연구 워크플로에서 AI가 갖는 고유한 과제와 기회를 기술한다. 참가자들은 AI를 "알지 못하는 미지(unknown unknowns)"라는 일반적 과제의 해결책이자 악화 요인으로 모두 보았다. AI 시스템은 새로운 연구 분야에 대한 폭넓은 인식을 돕지만 이해했다는 착각도 줄 수 있다. 결정적으로 참가자들은 이러한 착각을 알아챌 전문성과 직관이 부족했다. 우리의 연구 결과는 학문 간 협업을 자동화하기보다 지원하고, 학습 기회의 발판을 마련하며, 자료 간 삼각검증의 경로를 포함하도록 AI 시스템을 설계하는 데 주력할 필요가 있음을 시사한다.

arXiv:2611.15242v1cs.SD

계산적 라가 인식: 이론 기반 접근

Computational Raga Recognition: A Theory-Driven Approach

힌두스탄 고전 음악에서 라가 인식은 어렵다. 라가가 사용되는 음만으로 정의되지 않기 때문이다. 라가의 정체성은 음이 강조되는 방식, 음 사이의 움직임, 그리고 특징적인 구절에도 좌우된다. 본 연구에서는 이러한 특성을 오디오 녹음에서 직접 분석하는 계산적 접근법을 개발한다. 이 방법은 녹음에서 추출한 음고를 사용하여 22 슈루티 체계에 기반한 44위치 음 틀로 표현한다. 이 표현으로부터 인도 고전 음악학에 기반한 라가 특징을 추출한다. 각 특징은 해당 라가의 참조 표현과 비교되며, 그 결과 점수들을 결합하여 전체 유사도 점수를 얻는다. 이 방법은 먼저 라가 야만(Yaman)을 사용하여 연구된 뒤 다른 라가의 녹음에서 시험된다. 계산 결과는 또한 야만에 대한 이론적 기술과 비교되어, 어떤 라가 특성이 잘 포착되고 어디에 방법의 한계가 있는지를 확인한다.

arXiv:2611.13957v1cs.CL

AVCC: 사람 벤치마크를 갖춘 턴테이킹 예측용 오디오-비주얼 대화 코퍼스

AVCC: Audio-Visual Conversation Corpus for Turn-Taking Prediction with a Human Benchmark

누가 다음에 말할지, 그리고 언제 말할지를 예측하는 것은 침묵을 기다리지 않고 차례를 주고받는 대화형 에이전트와 사회적 로봇의 전제 조건이다. 다자간 다음 화자 예측(next-speaker prediction, NSP)은 화자별 센서가 있고 각자 고유한 사건 정의를 가진 코퍼스에서 연구되어 왔다. 로봇이 가진 단일 카메라와 마이크를 다루는 공개 벤치마크는 없으며, 사람이 동일한 예측을 얼마나 잘 수행하는지와 비교된 모델도 없다. 본 연구는 단일 고정 카메라와 마이크로 녹화한 2인 및 3인 온라인 대화의 31시간 분량 오디오-비주얼 코퍼스인 AVCC를 공개 NSP 벤치마크로 전환한다. 상호 침묵 구간에서 865개의 유지(hold) 사건과 865개의 교대(shift) 사건을 포함하는 화자 분리 7개 영상 시험 분할, 전체 코퍼스에 대한 단어 수준 강제 정렬 전사, 동일한 사건에서 수집한 사람 기준 벤치마크를 추가한다. 오디오 전용 역할 상대 VAP 모델(RoleVAP)과 멀티모달 MuVAP 모델을 평가한다. 레이블, 전사, 응답별 사람 데이터, 모든 수치를 재현하는 스크립트를 공개한다.

arXiv:2611.13906v1cs.LG

사라지는 자극 혼합현실 P300 인터페이스를 이용한 목표 선택: 실현 가능성과 객체 구분형 단서 대 균일 단서 비교

Target Selection with a Disappearing-Stimulus Mixed-Reality P300 Interface: Feasibility and Object-Distinguishable Versus Uniform Cues

혼합현실(MR) P300 인터페이스는 휠체어 목적지와 같은 선택 가능한 대상을 사용자 주변 환경에 직접 등록할 수 있다. 그러나 단서가 점멸 사이에 사라지면 사용자는 더 이상 보이지 않는 의도한 목표를 기억하고 있어야 한다. 본 연구는 이러한 인터페이스가 목표 선택을 지원하는지, 그리고 각 단서에 안정적인 색-모양 정체성을 부여하면 시각적으로 균일한 구체보다 성능이 향상되는지를 시험하였다. 건강한 성인 6명이 머리 착용형 MR 디스플레이에서 5x5 행/열 과제를 각 단서 조건마다 4회 시행하였으며, EEG는 Fz, Cz, Pz에서 측정하였다. 수축 선형 판별 분석(shrinkage linear discriminant analysis)은 클래스 균형화, 하이퍼파라미터 선택, 적합 과정에서 전체 시행을 제외한 중첩 검증으로 평가하였다. 두 조건 모두 두정부의 목표 관련 양성 전위를 유발하였다. 디코딩된 셀은 제외된 48회 시행 중 18회에서 정확했으며, 이는 우연으로 기대되는 1.9회와 비교된다(이항 p < 1e-12). 또한 참가자 3명에서 개별적으로도 유의하였다. 단서 형식은 검출 가능한 차이를 만들지 않았다. 전체 목표 정확도는 두 조건 모두 9/24였고(쌍체 차이 0.0 퍼센트포인트, 95% CI [-37, 37]), 제외된 시행의 AUC는 구체 0.609, 객체 단서 0.585였다. 따라서 사라지는 자극 MR P300 선택은 엄격한 시행 수준 평가에서도 실현 가능하지만, 객체 정체성의 이점이 있다 하더라도 이번 규모의 예비 연구에서 판별하기에는 너무 작다.

arXiv:2611.14098v1cs.HC

CUVE: 시각화를 통해 지도 분류를 더 쉽게 접근할 수 있도록 만들기

CUVE: Making Supervised Classification more Accessible through Visualization

본 논문은 인간과 학습 알고리즘 모두가 해석할 수 있는 시각화를 생성함으로써 사람들이 분류기를 구축할 수 있도록 하는 인터페이스인 CUVE를 제시한다(중간 표현으로서의 시각화 접근법). 이 UI를 통해 사용자는 지도 분류기를 만들고, 분류기를 개선하는 방법과 분류기가 기능을 수행하는 방식을 시각적으로 탐색할 수 있다. 예비 연구에서는 본 프로토타입의 사용성을 조사하고 이를 전통적인 텍스트 기반 프로그래밍 인터페이스와 비교한다.

arXiv:2611.14093v1cs.HC

BODYinTRANSIT-Lab: 신체 지각과 정서 경험에서 감각 기반 변화를 연구하기 위한 멀티모달 데이터셋

BODYinTRANSIT-Lab: A Multimodal Dataset for Investigating Sensory-Driven Transformations in Body Perception and Affective Experiences

동기화된 행동 및 생리 신호를 주관적 정서 및 신체 지각 측정치와 결합한 멀티모달 데이터셋은 여전히 드물다. 이는 체화된 경험에 대한 이해와, 센서 데이터로부터 주관적 상태를 추론하는 계산 모델의 개발을 모두 제한한다. 본 논문은 발걸음 착각(Footsteps Illusion)에 대한 정서적, 지각적, 행동적 반응을 수집하여 이러한 공백을 해소하는 멀티모달 데이터셋인 BODYinTRANSIT-Lab을 소개한다. 이 폐루프 패러다임에서 참가자는 걷기 과제를 수행하면서, 지각되는 체중을 변화시키기 위해 조작된 자신의 발걸음 소리를 실시간으로 들려받는다. 이 데이터셋은 섭식장애 증상과 신체활동 수준에 따라 체계적으로 층화하여 모집한 101명의 참가자로부터 얻은 동기화된 기록으로 구성된다. BODYinTRANSIT-Lab은 전신 운동학 데이터를 근전도, 심전도, 호흡, 피부전기활동과 결합한다. 주석은 시행 중 지각된 체중 평점, 시행 후 신체 감각 및 정서 경험 평가, 3D 아바타 신체 시각화, 정량적 신체 지도를 포함하여 즉각적인 경험과 시행 후 경험을 모두 담는다. 심리적, 행동적, 인구통계학적, 사회적 측정치는 개인의 반응에 영향을 줄 수 있는 요인에 대한 추가 정보를 제공한다. 또한 걷기 운동학을 이용하여 피험자 내에서 상대적 정서가와 지각된 체중을 분류하는 딥러닝 벤치마크를 제공한다. 세션 내 세그먼트 수준 분할에서 기준 모델은 정서가에 대해 평균 균형 정확도 45.9%, 지각된 체중에 대해 44.5%를 달성하였다. BODYinTRANSIT-Lab 데이터셋은 인지신경과학 및 정서 컴퓨팅 연구를 위한 실험적으로 통제된 자원이며, 정서 인식 상호작용 시스템, 건강 및 웰빙 기술, 창의적 체화 경험 등에 응용될 가능성이 있다.

arXiv:2611.14079v1cs.CL

편향에서 위치성으로: 대규모 언어 모델을 위한 비판적 문법

From Bias to Positionality: A critical grammar for Large Language Models

편향은 기계학습 시스템이 무엇을 하는지, 그리고 우리가 이를 어떻게 대해야 하는지를 이해하는 기본적인 관점이 되었다. 편향은 근본적으로 표준으로부터의 이탈이며, 의사결정 시스템에서는 법, 보호 속성, 벤치마크, 통계적 속성 등 외부에서 표준을 제공할 수 있다. 그러나 그러한 경우에도 '편향되었다'는 말은 취해진 입장이 무엇인지 밝히지 않은 채 줄임말로 쓰이는 경우가 많은데, 이는 암묵적인 '~에 상대적으로'이다. 언어 모델의 일반적 사용에서는 어떤 것도 표준을 제공하지 않으며, 감사할 결정도 반사실적 출력도 없으므로 이러한 줄임말은 통하지 않는다. 본 논문은 무엇이든 말해지는 근거가 되는, 위치가 정해지고 분명히 표현되며 스스로 책임지고 이의를 제기할 수 있는 입장인 위치성이, 이러한 모델이 이제 우리에게 요구하는 질문, 즉 누가 어디에서 말하고 있는가에 대한 더 나은 문법이라고 주장한다. 어디에서도 말하지 않는다는 공급자들의 답과, 모든 곳에서 말한다는 매혹적인 가능성에 맞서, 모델이 말하는 것처럼 간주될 때 그것은 어딘가에서 말하고 있으며, 따라서 위치성은 모델이 책임 있는 화자가 아님에도 불구하고 모델과, 모델이 그 보증을 넘어 신뢰받는 방식을 기술할 수 있다고 논증한다. 모델의 위치성은 말뭉치, 튜닝, 시스템 프롬프트, 애플리케이션, 실시간 대화에 걸쳐 층층이 쌓이는 층상(laminar) 구조이다. 본 논문은 모델 제작자의 위치성, 제작자가 모델에 의도하는 행동, 모델이 실제로 수행하는 행동이라는 세 가지 요인 집합을 구분하고, 현재의 연구를 이 행렬 안에 위치시킨다. 이를 통해 각 층이 아래 층으로부터 무엇을 물려받는지, 그리고 그 계승이 부인되는 곳에서 어떤 단절과 붕괴가 일어나는지 부각할 수 있다. 이어서 모델이 어디에서 말하는지로 돌아가, 모델이 만들어지고, 읽히고, 책임을 지는 방식에 대한 함의를 논의한다.

arXiv:2611.14333v1cs.HC

AI가 멍청해지는 것이 아니라 우리가 까다로워지고 있다: 대규모 언어 모델 인간 평가 기준의 상승

AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models

사용자들은 ChatGPT와 같은 AI 어시스턴트가 나빠지고 있다고 자주 불평한다. 일부 버전이 바뀌는 것은 사실이지만, 인간 평가에는 검증되지 않은 두 번째 가능성이 남아 있다. 바로 평가하는 사람들이 변했을 가능성이다. 우리는 사람들이 익명의 두 대규모 언어 모델(LLM)의 답변을 비교하여 더 나은 쪽을 고르거나 둘 다 나쁘다고 답하는 공개 플랫폼인 Chatbot Arena에서 이 두 가지를 분리한다. 버전이 고정된 모델 쌍, 즉 날짜가 명시된 벤더 스냅샷과 가중치가 고정된 오픈 모델의 쌍에 대해 2023년 5월부터 2024년 8월까지 투표된 1,260,967개의 블라인드 투표를 연구한다. 변하지 않은 동일한 모델 쌍에서 "둘 다 나쁘다"라는 투표의 비율은 평균 17.1%를 기준으로 매월 1.71%p씩 상승하였고, 2024년에는 매월 1.91%p씩 상승하였다. 2023년과 2024년 모두에서 자주 관찰된 14개 쌍에서는 모두 상승하였으며, 15.5%에서 23.3%로 증가하였다. 순위는 추세를 보이지 않는다. 2024년에 더 강한 모델이 결정적 투표에서 차지하는 비율은 일정하다. 이러한 상승은 동일한 투표자 내에서, 동일한 쌍에서, 그리고 첫 기록 투표 시점을 기준으로 한 유입 코호트 전반에서 유지된다. 또한 프롬프트 통제, 모든 주요 언어, 날짜가 명시된 벤더 스냅샷, 오픈 가중치 모델, 답변 길이가 안정적인 모델, 그리고 인터페이스 변경 사이에서도 유지된다. 이 드리프트는 모델 전반에 공통적이다. 다른 모델들의 쌍으로부터 추정한 월별 효과를 적용하면 각 모델 자체의 쌍에서 이 드리프트가 제거된다. 플랫폼 전체에서 평균적인 모델은 2023년 평균 대비 78%의 점수를 얻을 것으로 기대되지만, "둘 다 나쁘다" 투표의 비율은 처음과 비슷한 수준에서 끝났다. 이 패턴은 해당 범주의 발전을 따라가는 기준에 부합하며, 따라서 제자리에 머무는 제품은 퇴보하는 것으로 평가된다. AI에 대한 절대적 판단은 변동한 반면 상대적 비교는 안정적으로 유지되었으며, 이러한 평가 드리프트는 LLM 리더보드와 모델 학습에 사용되는 인간 피드백에 중요한 의미를 갖는다.

arXiv:2611.14260v1cs.HC

Lilo: 아동의 디지털 소통을 위한 다중 에이전트 대화형 샌드박스

Lilo: A Multi-Agent Conversational Sandbox for Children's Digital Communication

아동의 또래 갈등은 어조와 타이밍이 사라진 단체 채팅에서 점점 더 많이 벌어지며, 상처를 주는 메시지는 소리 내어 말하는 것보다 보내기가 더 쉽다. 우리는 아동이 이러한 대화를 연습하여 실제 디지털 소통에서 이를 마주할 때 더 잘 대비하도록 하는 다중 에이전트 대화 시스템 Lilo를 제시한다. Lilo에서 아동은 논쟁 중인 두 AI 또래 에이전트의 대화에 참여하며, 마찬가지로 Lilo라는 이름의 멘토 캐릭터가 멈춤-생각-행동(Stop-Think-Act) 신호등을 통해 아동을 코칭한다. 9~11세 아동 28명을 대상으로 한 탐색적 연구를 통해, 아동이 Lilo의 모의 또래 갈등과 멘토의 신호등 개입에 어떻게 참여하는지 살펴보았다. 이 연구는 Lilo를 활용한 개입, 개입 전후 설문, 종료 면담으로 구성되었다. 참가자들은 Lilo와 상호작용한 후 불쾌한 메시지에 대처하는 자기효능감이 유의하게 높아졌다고 보고했다. 또한 자신이 쓴 어떤 내용도 불이익으로 돌아오지 않는다는 것을 알고 있었기 때문에 안전하게 시도해 볼 수 있다고 느꼈다.

arXiv:2611.14247v1cs.AI

인간-에이전트 협상에서 지속 학습을 통한 개인화된 정서 인식

Personalized Affective Perception via Continual Learning in Human-Agent Negotiation

인간과 협상하는 self-interested 지능형 에이전트는 비언어적 표현을 해석하고 그에 맞게 행동을 조정해야 한다. 그러나 일반적인 얼굴 정서 모델은 개인과 상황이 달라지면 성능이 저하되어 일반화 격차가 발생한다. 우리는 실시간으로 원자가-각성(valence-arousal) 인식을 개인화하기 위해 얼굴 표정 인식을 위한 상상 기반 지속 학습(Continual Learning with Imagination for Facial Expression Recognition, CLIFER)을 도입한 정서 적응형 협상 전략을 제안한다. 차등 피드백은 원자가-각성의 방향과 강도 변화를 에이전트의 목표 효용 조정으로 변환한다. 비동기 아키텍처는 실시간 상호작용 중 백그라운드에서 CLIFER를 갱신한다. 66명의 참가자가 휴머노이드 로봇과 협상한 균형 배치(counterbalanced) 피험자 내 연구에서, 지속 학습(CL)이 적용된 에이전트는 FaceChannel 기준선보다 유의하게 높은 개별 효용을 달성했으며 참가자의 양보율도 더 높게 이끌어 냈다. CL 조건은 더 넓은 출력 범위와 함께 유의하게 높은 평균 각성 추정치를 보였다. 참가자 효용과 내시 거리(Nash distance)는 조건 간에 유의하게 변하지 않았다. 이러한 결과는 지속적인 정서 개인화를 차등 피드백과 결합하는 것이 실시간 협상에서 실질적 가치가 있음을 뒷받침한다.

arXiv:2611.13669v1cs.AI

체화된 계획을 이해하기 위한 계산 프레임워크

A computational framework for understanding embodied plans

사람들의 행동을 바탕으로 그들의 계획과 목표를 추론하는 것은 인간의 사회적 상호작용에 근본적이며 협력적인 체화 인공지능에 필수적이다. 이러한 능력을 자연스러운 체화 환경에서 형식화하는 것은 오랫동안 어려운 과제였다. 본 연구에서는 다단계 장기 체화 계획에 대해 추론할 수 있는 새로운 에이전트 표현인 GenEA를 제시한다. GenEA의 핵심은 관절 신체의 개략적 생체역학과 주변 물체와의 상호작용을 결합하는 다중 수준 상태 공간으로, 로보틱스의 과제-동작 계획 프레임워크를 시뮬레이션 기반 직관 물리로 확장하여 구성한다. 이 상태 공간을 생성 모델에 내장함으로써 GenEA는 목표와 체화 계획에 대한 결합 확률 분포를 도출한다. 물체 조작과 내비게이션이라는 질적으로 구별되는 영역에 걸쳐 다양한 과제와 여러 행동 측정치를 포함하는 여러 실험에서, 우리는 GenEA가 이 결합 분포에 대한 단순한 변환만으로 인간이 체화된 계획을 추론하는 방식을 재현함을 보인다. 결정적으로 GenEA는 그럴듯한 휴리스틱, 표준 과제-동작 계획, 최첨단 비전-언어 모델을 포함한 강력한 대안 모델들을 일관되게 능가한다. 이로써 GenEA는 인간 추론과 사회 인지의 구조에 대한 새로운 관점을 제시하며, 인간과 매끄럽게 상호작용하고자 하는 체화 인공지능 시스템이 GenEA와 유사한 행동 계획 생성 모델을 채택해야 함을 시사한다.

arXiv:2611.13477v1cs.LG

시선 증강 보상 모델링을 위한 심리물리학적 주의 분포의 활용

Leveraging Psychophysical Attentional Distribution for Gaze-Augmented Reward Modeling

인간 피드백을 언어 모델에 통합하는 것은 모델 출력을 인간의 선호에 정렬하는 수단으로서 점점 더 주목받고 있으며, 인간 피드백 기반 강화학습(RLHF)은 선호 기반 정렬의 대표적인 프레임워크로 활용되고 있다. 최근 연구들은 보상 모델 학습을 위한 추가적인 지도 신호로 시선 추적(ET) 데이터를 도입하여, 보상 학습을 인간의 읽기 행동에 기반시켜 왔다. 본 연구는 이러한 접근을 바탕으로, 인간의 문자 인식에 관한 인지심리학의 확립된 발견을 활용하여 기존의 고정(fixation) 중심 모델을 확장한다. 구체적으로, 시각적 주의를 현재 시선 위치를 중심으로 한 공간적으로 점진적인 분포로 모델링하고, 이 표현을 보상 모델 학습에 통합한다. 실험 결과, 제안한 시선 분포로 학습한 보상 모델이 기준 모델보다 더 높은 선호 예측 정확도를 달성함을 보인다. 또한 실험 결과의 일부는 읽기 중 인간의 주의에 관해 확립된 발견과 질적으로 일치하며, 이는 해당 모델이 인간의 주의 배분에서 인지적으로 의미 있는 측면을 포착했을 가능성을 시사한다.

arXiv:2611.13456v1cs.AI

추론이 숨겨진 이해처럼 보일 때: 사고 연쇄가 의인화, 인식적 우월성 인식, 인지적 위임을 조장하는 방식

When Reasoning looks like Hidden Understanding: How Chain-of-Thought Fosters Anthropomorphism, Perceptions of Epistemic Superiority, and Cognitive Deference

AI 기반 제품, 특히 생성 모델을 사용하는 시스템이 사회에 널리 퍼지면서, 이러한 제품이 무엇이며 무엇을 할 수 있고 할 수 없는지에 대한 믿음 체계가 형성되고 있다. 한 가지 흔한 믿음은 언어의 형식을 지각하는 것을 언어를 '이해'한다는 증거로 보는 것이다. 이러한 생성 모델은 의미를 이해하는 것이 아니라 언어적 패턴을 재현하는 것이므로, 이 패턴을 이해의 증거로 해석하는 것은 잘못된 귀속이다. 이러한 오해는 생성 모델이 '자신의 추론을 설명할 수 있다'는 관념으로 확장된다. 일화적으로, 언어의 형식을 그 의미로 착각하는 이러한 오해는 인간의 행위주체성을 대체하는 방식으로 AI 시스템에 대한 인지적 위임을 촉진하고 있다. 이러한 착오는 시스템에 인지적 속성을 귀속시키는 것을 수반하며, 이로써 시스템이 의도를 가진 '마음'처럼 취급될 수 있게 된다. 중요하게도, 인식적 권위와 우월성이 인지되면 그 '마음'은 위임할 만한 가치가 있는 존재가 된다. 우리는 인식적 권위 및 우월성과 결합된 의인화가 사용자가 좁은 과제 수행 능력을 더 넓은 역량으로 일반화할 위험을 높여 '합성의 오류'를 범하게 한다고 주장한다. 본 논문은 사고 연쇄(CoT) 추론을 충분히 투명한 '설명'으로 간주하는 오해를 탐구한다. 의인화가 의사결정의 인지적 위임과 AI 시스템의 인식적 우월성 인식을 이끄는 매개체로 작용하는 방식을 살펴본다. 마지막으로 의학을 예로 들어 CoT의 파급 효과를 탐구한다. 종합하면, CoT를 통해 구현된 설명 가능성은 매우 문제적이며 그것이 지향하는 윤리 원칙 자체를 훼손한다고 결론짓는다. CoT는 출력 정확도와 조정(moderation)을 개선하는 데 가치가 있을 수 있으나, 모델에게 출력에 대한 사용자 대면 근거를 제공하도록 요청하는 관행은 적극적으로 지양되어야 하며, AI 리터러시 교육은 그 사용에 대해 명시적으로 경고해야 한다고 제안한다.

arXiv:2611.13322v1cs.LG

MicroLens: 두 개의 렌즈로 잔차 스트림을 읽고, 추적하고, 재배선하기

MicroLens: Read, Trace, and Rewire the Residual Stream with Two Lenses

은닉 상태를 단어로 디코딩하는 렌즈는 언어 모델 내부를 들여다보는 대중적인 방법이지만, 디코딩된 단어의 히트맵은 벡터가 무엇으로 읽히는지만 보여줄 뿐 모델이 그 정보를 사용하는지, 또는 얼마나 사용하는지는 구분하지 못한다. 우리는 읽기, 추적, 편집을 잔차 스트림의 동일한 레이어-토큰 격자 위에서 수행하는 대화형 뷰어를 제시한다. 이 뷰어에서는 모든 셀을 로짓 렌즈와 야코비안 렌즈(J-lens)라는 두 렌즈로 디코딩하고, 그 셀이 가져온 토큰까지 거슬러 추적하며, 편집한 뒤 나머지 모델을 즉시 다시 실행할 수 있다. 이 도구로 무엇을 발견할 수 있는지 보이기 위해, 수백 개의 프롬프트에 대한 스윕을 바탕으로 Gemma-3-4B-it에서 세 가지 사용 시나리오를 시연한다. 첫째, 두 렌즈는 서로 다른 쓰기 방향을 제공하며 각각 다른 편집에 적합하다. 로짓 렌즈의 단어 방향은 토큰이 무엇을 출력할지를 정하고, J-lens의 방향은 이후 토큰이 무엇을 읽을지를 바꾼다. 둘째, 두 단계 상식 질문(주어진 도시가 속한 주 또는 국가의 수도)에서 주 또는 국가는 이르면 7번째 레이어부터 도시 토큰에서 읽을 수 있으며, 그곳에서 이를 바꿔치기하면 92-98%의 경우 답을 바꿀 수 있다. 그러나 답변 위치에서는 주 또는 국가 정보가 사용되지 않는다. 셋째, 채팅 모델이 단계별 추론 프롬프트로 질문에 답할 때, 추론이 작성되기 전에 이미 정답이 잔차 스트림에서 최상위 단어인 경우가 많다. 검색형 질문의 89-92%, 다단계 및 직렬 질문의 39-63%가 이에 해당하며, 이는 각각의 방해 선택지(최대 5%)보다 훨씬 높다. 그러나 순서 퍼즐은 예외로, 모델은 최종 추론 단계를 작성할 때에야 비로소 이를 풀어낸다. 또한 잔차 스트림에서 보이는 답에 대해서는, 모든 질문 유형에서 J-lens가 로짓 렌즈보다 한두 레이어 앞서 이를 읽어낸다.

arXiv:2611.13178v1cs.CV

멀티모달 심사 모델은 표시하고 사람이 결정한다: AI 생성 상품 영상 광고를 위한 검토 및 편집 프레임워크

Multimodal Judges Flag, Humans Decide: A Review-and-Edit Framework for AI-Generated Product Video Ads

생성 파이프라인은 이제 이커머스 카탈로그의 모든 상품 페이지를 짧은 영상 광고로 만들 수 있지만, 그러한 광고를 사용할 수 있는지 판단하는 일은 단순한 좋고 나쁨의 판정이 아니다. 우리는 생성 속도에 맞춰 검토와 편집을 모두 수행할 수 있도록 이를 운영 가능한 형태로 구성한 방법을 설명한다. 검토자는 각 광고를 장면별로 살펴보며 상품, 장면 품질, 발음, 스크립트, 소리, 자막에 관한 여섯 가지 질문에 답한다. 비전-언어, 음성, 언어 모델로 구성된 심사 모델은 각 발견 사항을 해당 질문 아래에 기록하고, 검토자는 각 발견 사항을 수락하거나 거부하며 심사 모델이 놓친 부분을 추가한다. 확인된 각 문제는 그에 맞는 편집 도구를 연다. 질문과 발견 사항에서 수정으로 이어지는 라우팅은 광고를 생성하는 모델에 의존하지 않는다. 우리 파이프라인의 광고 120개에 대해 화면에 심사 모델의 발견 사항을 표시한 채 검토한 결과, 검토자는 장면의 60%에서 상품이 잘못되었다고 표시했고, 스크립트, 자막, 소리 문제는 각각 10% 미만이었다. 이 중 60개 광고에서는 장면의 58%에서 상품이 잘못되었다고 표시했는데, 이는 이후 심사 모델을 숨긴 채 광고를 본 두 검토자가 표시한 26%보다 훨씬 높다. 광고를 두 방식으로 모두 본 한 검토자는 심사 모델의 발견 사항이 있을 때 57%, 없을 때 19%를 표시했다. 블라인드 라벨링된 장면 120개에서, 카탈로그 사진과 함께 클립을 보는 상품 심사 모델은 AUC 0.84에 도달한 반면, 영상 품질 점수와 사진 유사도 점수는 무작위 수준에 가까웠다. 우리는 심사 모델을 재현율 중심으로 조정한다. 상품 심사 모델은 거의 모든 결함을 잡아내지만 정상 장면도 많이 표시하므로 검토자가 결정한다. 이처럼 심사 모델은 검토자가 표시하는 범위를 넓히고, 검토자는 심사 모델이 놓친 것을 추가한다. 심사 모델의 발견 사항이 없을 때는 한 검토자의 표시 빈도가 세션이 진행되는 동안 줄어들었다. 우리는 검토 포털 템플릿과 검토 데이터(심사 모델의 발견 사항과 사람의 표시가 포함된 광고 120개 및 장면 562개, 기준선 점수가 포함된 블라인드 라벨링 장면 120개)를 https://github.com/anoubhav/ad-review-and-edit 에 공개한다.

arXiv:2611.13042v1cs.AI

신뢰하되 검증하고, 감사하고, 귀속하라: AI가 생성한 연구 결과를 확인하기 위한 인간 참여형 프레임워크

Trust, but verify, audit and attribute: a human-in-the-loop framework for checking AI-produced research results

인공지능(AI) 시스템은 이제 연구 결과를 대량으로 생산한다. 2026년 10월에는 한 연구실이 700편이 넘는 AI 생성 수학 원고를 공개했으며, 그중 일부만 기계 검증된 증명을 갖추고 있었다. 이러한 규모의 결과는 대부분 전문 소프트웨어를 호출하는 AI 에이전트가 검토하게 될 것이다. 검사를 통과했다는 사실은 검사된 산출물만을 보증한다. 증명 보조기 Lean으로 번역된 증명의 경우, 이 산출물이 저자의 원문과 다른 내용을 진술할 수 있으며 번역이 충실한지 판정하는 문제는 일반적으로 결정 불가능함이 밝혀져 있다. 따라서 인간 연구자는 계속 과정에 남아야 하며, 인간과 AI의 기여는 기록되어야 한다. 본 연구는 AI가 생성한 결과를 확인하기 위한 도메인 독립적인 인간 참여형 프레임워크를 제안한다. 서로 다른 신뢰 근거를 가진, 검증되고 에이전트가 사용할 수 있는 도구들이 결과를 검사하고, 충실성 감사는 각 검사가 진술된 주장을 대상으로 했는지를 묻고, 인간이 정해진 지점에서 결정하며, 대화 보고서가 작업을 인간과 AI에 귀속시킨다. 수학(Wolfram Language, MATLAB, Lean)과 통계(Python 및 R)를 위한 도구 계층의 두 가지 자동 구현을 기술하고, 수학용 구현을 두 개의 주장으로 이루어진 예제에 적용한다. 모호한 주장은 두 가지 해석으로 나뉘었고, 하나는 반증되고 다른 하나는 증명되었다.

arXiv:2611.13041v1cs.SE

Code-Grounded Agentic Explanations for Static Analysis Vulnerability Findings

Static application security testing (SAST) tools surface vulnerabilities early and their verdicts are rule-based and auditable. Yet developers routinely dismiss findings they cannot interpret. Large language models can supply the missing explanation, but designs that also hand the model the detection give up the auditability that makes static analysis defensible. We keep detection with the analyser and give the model only the explaining. A preliminary user study with 20 participants and a workshop with 19 practitioners yielded five requirements. Guided by these we redesigned SAFE, an open-source IntelliJ IDEA plugin that explains findings from any analyser reporting in the Static Analysis Results Interchange Format. It tiers explanations by demand, ties them to the reported data flow, and replaces the single-prompt backend with an agent that must consult the repository and the rule that fired before answering. A within-subjects crossover experiment with 24 participants compared the redesign against its predecessor. Perceived usability rose from 77.3 to 85.0 on the System Usability Scale. Actionability gained most among the explanation-quality items, the aspect both earlier studies flagged as weakest, and the odds of a correct remediation were 2.6 times higher. Triage accuracy and time per finding were indistinguishable, which we read as uninformative rather than as equivalence. Trust was the one measure that did not move, and the closing interviews indicate that grounding made findings easier to understand rather than easier to believe. Participants also drew a boundary no requirement anticipated, wanting the tool to find and explain while they judge and apply.

arXiv:2611.13027v1cs.HC

TypedInk: 그리지 말아야 할 때를 아는 방법

TypedInk: Knowing When Not To Draw

과학 그림 생성기는 그릴 만한 근거가 충분하지 않을 때 이를 알 수 있을까? 완성된 방법론 절을 도식으로, 또는 표를 플로팅 코드로 변환하는 완전 소스 기반 삽화 생성기는 입력이 완전하다고 가정되므로 이런 질문을 받지 않는다. 그러나 연구 기록이 그렇게 완전한 경우는 드물다. 개요, 초안 단락, 표, 한 문장짜리 의도가 어떤 조합으로든 주어질 수 있으며, 표가 없는데 이미지 모델로 측정 수치를 그려 넣는 것은 환각된 결과이다. TypedInk는 불완전할 수 있는 소스로부터 그림 유형을 {diagram, plot, plate} 중에서 추론하고, 해당 유형의 근거 계약을 충족할 수 있는 렌더러로 보내며, 계약을 충족할 수 없으면 전달을 거부한다. TypedFigBench의 정답 플롯 6개(5개 뷰, n=30)에서 TypedInk의 코드 경로는 표가 관측될 때 정답 표의 모든 토큰을 그려 넣고(12/12), 표가 숨겨진 12개 뷰에 대해서는 수치를 지어내지 않고 거부하며, 의도만 있는 6개 뷰는 예시용으로 표시하고, 실행 실패는 없다. 이러한 게이트가 없는 항상 그리는 코더는 표가 전혀 없는 18개를 포함한 30개 차트를 모두 그리고, 그 어느 것에서도 정답 수치를 하나도 복원하지 못한다. 그럼에도 두 개의 시각-언어 평가자(사람이 아니며, 사람에 의한 재현은 향후 과제이다)는 항상 그리는 차트를 17/36회 제출 가능하다고 판단했으며, TypedInk의 거부에 대해서는 0/36회였다. 유형 라우터에 대한 진단용 필드 절제 실험(삽화 16개, 각 5개 뷰, n=80)은 이 실패가 검증 없이 방치되면 어디에서 비롯될지를 보여 준다. 개요만으로는 유형 정확도가 0.31이며 모든 정답 플롯을 무결성 위반으로 보내고, 채팅 모델 플래너는 이 격차를 줄이지만 해소하지는 못한다(전체 정확도 0.85, 여전히 개요의 25%에서 무결성 실패). 다이어그램 레이블 재현율은 전체 기록에서 0.47, 개요에서 0.19이다. 정답 plate는 전달 시점에 유형이 지정되며(오라클 무결성 실패 0.00) 정지 이미지로 렌더링된다.

arXiv:2609.05423v2cs.HC

휴리스틱과 언어 모델의 모바일 사용자 인터페이스 품질 평가 간 괴리 규명

Characterising divergence between heuristic and language-model ratings of mobile user interface quality

모바일 사용자 인터페이스 품질의 자동 평가는 수작업 검토가 확장되지 않기 때문에 매력적이며, 이 과제에 대규모 언어 모델이 점점 더 많이 제안되고 있다. 그러나 이들의 평가가 기존의 규칙 기반 휴리스틱이 산출한 평가와 일치하는지는 대규모로 규명된 바 없다. 본 연구는 여섯 가지 문서화된 필터를 사용해 RICO 데이터셋으로부터 15,000개 화면 코퍼스를 구축하고, 문헌에 기반한 휴리스틱 채점기로 모든 화면을 채점하며, 두 가지 입력 표현에 걸쳐 세 개의 오픈 웨이트 언어 모델로부터 평가를 수집하여 총 270,000개의 평가를 얻었다. 부트스트랩 신뢰구간을 갖는 선형 가중 Cohen's kappa, 오프셋 보정 kappa, 급내상관계수, Bland-Altman 일치 한계를 허용 구간 일치 규칙에 대한 우연 기준선과 함께 보고한다. 두 평가 출처 간 일치도는 일관되게 약하다. 모델-표현-차원 조합 18개 셀 중 17개에서 원시 kappa가 0.15 미만이었다. 그러나 18개 셀 중 15개는 통계적으로 0과 구별되며, 상수 오프셋을 보정하면 5개 셀이 0.15를 넘으므로, 이 괴리는 관계의 부재라기보다 체계적 편향과 약한 공변성의 결합으로 설명하는 것이 더 적절하다. 모델의 평가는 인터페이스의 구조적 속성을 따르지만 휴리스틱보다 훨씬 약하게 따르며, 스크린샷보다 잘리지 않은 구조적 요소 목록에서 더 강하게 따른다. 또한 단일 생성 응답에서 도출된 차원들은 구성상 상관되며 한 조건에서 rho = 0.97에 이르러, 이러한 설계가 측정할 수 있는 범위를 제약함을 보인다. 이 결과를 어느 한쪽이 옳다는 증거가 아니라 두 자동 평가자 간 괴리에 대한 규명으로 보고하며, 더 강한 주장을 위해 필요한 검증을 제시한다.

arXiv:2608.22731v2cs.AI

말과 몸이 어긋날 때: 언어적·비언어적 불일치의 구현

When Words and Bodies Disagree: Realizing Verbal and Nonverbal Mismatch

가상 에이전트를 위한 전통적인 비언어 행동 생성 시스템은 일반적으로 발화를 입력으로 받아 발화된 말과 일치하거나 이를 예시하는 행동을 생성한다. 그러나 인간의 비언어 행동은 발화 내용 이상의 요인에 의해 형성된다. 화자의 역할, 대인 관계, 사회적 맥락, 상호작용 참여자의 인지적·정서적 상태의 영향을 받는다. 따라서 비언어 채널은 말 속에 숨겨진 정보나 감정을 전달한다. 이러한 복잡한 언어-비언어 불일치를 모델링하는 것은 특히 훈련 응용에서 현실적인 가상 에이전트에 중요하다. 본 연구는 불일치의 분류 체계로 강화, 완화, 누설을 제안하고, LLM이 맥락에 적합한 불일치 행동을 선택할 수 있는지 평가한다. 인간 대상 연구를 통해, 가상 인간 프레임워크에서 구현된 이러한 맥락 기반 행동이 의도한 효과를 내는지 평가한다. 결과는 LLM이 사회적 맥락을 프롬프트로 받았을 때 목표로 하는 불일치 행동(예: 빈정거림)을 성공적으로 선택함을 보여 준다. 나아가 인간 대상 평가는 이러한 비언어 단서가 관찰자가 지각하는 에이전트의 태도와 정서가에 유의미한 변화를 일으킴을 확인해 준다. 참가자들은 강화, 완화, 누설과 같은 서로 다른 불일치 기능을 성공적으로 구분하였고, 일치하는 베이스라인과 비교하여 사회적 의미의 뚜렷한 방향성 변화를 지각하였다.