PyTorchKR Papers

최신 논문

총 1,112편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.09924v1cs.HC

공정성 설명은 인간-AI 의사결정의 공정성을 향상시킨다: 가석방 결정에 대한 실증 평가

Fairness Explanations Improve Fairness In Human-AI Decision Making: an empirical evaluation of parole decision-making

인간과 AI 모두 체계적인 편향을 보이지만, 인터페이스 설계가 인간-AI 혼합 의사결정에서 공정성을 어떻게 증진할 수 있는지는 거의 알려져 있지 않다. 본 논문은 편향된 데이터셋에서 공정한 데이터 표본을 추출하는 방법을 소개하고, 의사결정 중 잠재적인 AI 편향을 부각하도록 공정성 설명 기법을 적용한다. 비전문가가 세 가지 조건, 즉 독립적인 인간 판단, 설명 없는 AI 지원, 시각적 인종 편향 설명(Fair-XAI)으로 보강된 AI 지원에서 결정을 내리는 피험자 내 연구(n=48)를 수행하였다. 효과를 분리하기 위해 AI 조건은 체계적으로 균형 잡힌 추천을 제공하였다. 결과는 공정성 설명이 인간 단독 결정에 비해 성별 편향과 인종 편향을 모두 유의하게 감소시킴을 보여준다. 또한 Fair-XAI는 균형 잡힌 AI 추천에 비해 공정성을 소폭 향상시키면서 과제 수행도 높였다. 이러한 결과는 공정성 중심의 설명 인터페이스가 사용자 행동을 의미 있게 형성할 수 있음을 보여주며, 공평하고 책임 있는 인간-AI 시스템 개발을 위한 구체적인 설계 통찰을 제공한다.

arXiv:2611.09923v1cs.HC

자율성은 침식된 것이 아니라 부재한 것이다: 다중 턴 LLM 대화에서의 사용자 자율성에 대한 관찰 연구

Autonomy Is Absent, Not Eroded: An Observational Study of User Autonomy in Multi-Turn LLM Conversations

대규모 언어 모델과의 장시간 상호작용이 대화 중 사용자의 관찰 가능한 자율성을 감소시키는가? 본 연구는 WildChat의 2,877개 다중 턴 대화(46,952턴)에 걸쳐 사용자 자율성을 점수화하고 LMSYS-Chat-1M의 500개 대화로 검증하여 이 저하 가설을 검증한다. 핵심 발견은 귀무 결과이다. 모집단 수준의 자율성은 대화 전반에 걸쳐 안정적으로 유지되고, 의미 있는 감소를 보이는 대화는 4.7%에 불과하며, 후반 턴 위치에서 나타나는 외견상의 감소는 생존자 편향으로 설명된다. 대신 지배적인 양상은 침식이 아니라 부재이다. 대화의 80.8%가 처음부터 끝까지 자율성이 전혀 없거나 낮게 나타난다. 자율성의 발현이 일어날 때는 자기 강화적이다(연속된 턴에 걸쳐 지속성이 40%에서 85%로 두 배가 된다). 이러한 발견은 문제를 새롭게 규정한다. 위험은 LLM이 사용자의 관찰 가능한 자율성을 점진적으로 저하시키는 것이 아니라, 대부분의 사용자가 상호작용 중에 독립적인 추론을 전혀 하지 않는다는 점이다.

arXiv:2611.09922v1cs.HC

통찰의 근거 마련: RL 에이전트의 인간 중심 설명 가능성을 위한 인공 정서 신호

Grounding Insight: An Artificial Affect Signal for Human-Centric Explainability of RL Agents

인간 상호작용 로봇 학습(HIRL)에서 인간 교사는 에이전트의 행동을 관찰하여 학습 진행 상황을 평가한다. 그러나 강화학습(RL) 에이전트는 학습 진행 상황을 인간이 해석할 수 있는 방식으로 표현하지 못하는 경우가 많아, 최적이 아니거나 역효과를 내는 교육으로 이어진다. 본 연구는 RL 과정에 근거한 인간 해석 가능 정서 신호인 "Insight"를 제안한다. 이 신호는 에이전트의 "아하!" 통찰 순간을 알림으로써, 실패하거나 탐색 중인 에이전트가 고장 났거나 성능이 부족하거나 아예 학습하지 않는다는 오해인 "학습의 부재"라는 인간 교사의 정신 모델 불일치를 해소하도록 특별히 설계되었다. 이 신호는 절대 시간차(TD) 오차에서 도출되므로 다른 RL 에이전트에도 쉽게 구현할 수 있다. 이 신호의 근거를 마련하기 위해 관련성, 해석 가능성, 충실성, 확장성, 일반화 가능성의 다섯 가지 설계 기준을 수립하였다. 구조적 구성 타당도는 미시 및 거시 동역학과 사건 관련 민감도를 검토하는 시뮬레이션을 통해 평가하였다. 미시 동역학은 Insight가 의미 있는 학습 사건을 적절한 시점과 크기로 포착함을 보여준다. 거시 동역학은 이 신호가 에이전트의 학습 단계를 따르고 전반적인 진행 상황을 반영함을 보여준다. 사건 관련 민감도는 이 신호가 긍정적 보상 대 "트라우마 같은" 부정적 사건과 같은 환경 상호작용의 현저성을 구별함을 보여준다. 이러한 결과는 기술적인 RL 동역학이 인간과 유사한 정서적 기반으로 효과적으로 포장되어 교사-학습자 루프를 완성할 수 있음을 보여준다.

arXiv:2611.09919v1cs.HC

인간 가치 프로필을 통한 언어 모델의 개인화 정렬

Personalized Alignment of Language Models with Human Value Profiles

대규모 언어 모델은 조언 구하기와 같이 정답이 하나로 정해지지 않는 주관적 과제에 점점 더 많이 사용되고 있다. 그러나 지배적인 정렬 방법은 모든 사용자에게 균일하게 적용되는 단일 행동 정책을 학습하므로, 개인의 가치 우선순위를 반영하는 능력이 제한된다. 본 연구는 선행 개인화 연구에서 사용된 페르소나, 인구통계, 과제별 선호가 아니라 사용자의 안정적인 가치 프로필에 맞추어 모델 응답을 조정하는 프레임워크인 개인화 가치 정렬을 제안한다. 본 접근법은 사용자를 Schwartz 가치 프로필로 표현하고, 각 질의에 관련된 가치를 선택한 뒤 표적 프롬프팅, 활성화 조향(activation steering), 또는 LoRA-DPO를 적용한다. 1,501개의 가치 긴장 시나리오 데이터셋을 구축하고, 전국 대표 설문조사에서 추출한 152개 이상의 다양한 가치 프로필에 대해 평가한다. 가치 표적 방법은 비개인화, 인구통계, 전체 프로필 프롬프팅 기준선보다 우수한 성능을 보였으며, 이는 성능 향상이 단순한 노출이 아니라 질의별 가치 우선순위에 대한 집중적인 조건화에서 비롯됨을 나타낸다. 또한 조향 효과가 사용자에 따라 균일하지 않음을 발견하였다. 정렬 향상은 사용자의 우선순위가 가치 공간의 어디에 위치하는지에 따라 달라진다. 표적 프롬프팅을 활성화 조향 또는 LoRA-DPO와 결합하면 논리적 품질을 적정 범위 내로 유지하면서 가장 강력한 개인화를 달성한다.

arXiv:2611.09917v1cs.HC

퍼즐에서 패러다임으로: 과학적 혁신에서의 인간-에이전트 협업에 대한 서베이

Puzzles to Paradigms: A Survey of Human--Agent Collaboration in Scientific Innovation

에이전트형 AI 시스템은 문헌 종합, 가설 생성, 도구 사용, 글쓰기, 동료 심사를 포함한 과학 워크플로에 점점 더 깊이 통합되고 있다. 그러나 기존 서베이와 평가는 과제 수행 성능을 강조하는 경향이 있으며, 과학 연구의 서로 다른 인식론적 조건에서 인간과 에이전트가 어떻게 조율하는지는 충분히 검토하지 않는다. 본 서베이는 컴퓨터 지원 협동 작업(CSCW)의 차원을 서로 다른 과학적 맥락과 연결하는 조율 인지형 프레임워크인 CSCW$\times$Kuhn을 제시한다. 이 프레임워크를 사용하여 최근의 인간-에이전트 시스템과 벤치마크를 종합하고, 조율 요구와 실패 위험이 맥락에 따라 어떻게 달라질 수 있는지 살펴본다. 우리의 종합 분석은 절차적 표류, 근거 대체, 평가적 평탄화, 대리 지표 최적화, 인식론적 블랙박스화라는 다섯 가지 반복적 실패 유형을 식별하며, 과제 정확도를 넘어 근거 확보, 출처 추적, 의견 불일치 보존, 장기적 과학적 신뢰성을 향하는 평가가 필요하다고 주장한다. 우리의 코퍼스와 코딩 산출물은 https://github.com/jenlia024/CSCWxKuhn-artifact 에서 이용할 수 있다.

arXiv:2611.09916v1cs.HC

Semantic-Enhanced Sparse Temporal Modeling for Dynamic Engagement Estimation in Multimodal Interactions

Dynamic engagement estimation aims to infer participants' evolving engagement states from continuous multimodal interaction streams. Existing approaches typically combine acoustic, pose, and visual representations with temporal models to capture observable interaction patterns. However, conversational semantics are difficult to align with frame-level engagement annotations in the same manner as continuous audio-visual signals, leaving dialogue context less effectively exploited in existing temporal modeling pipelines. Moreover, engagement annotations often evolve smoothly over time, making dense frame-level modeling computationally redundant and potentially sensitive to local annotation noise. To address these issues, we propose SEST, a Semantically-Enhanced Sparse Temporal framework that models engagement-related information from both semantic and temporal perspectives. SEST leverages Multimodal Large Language Models to extract multimodal semantic embeddings, providing dialogue-aware contextual information beyond conventional frame-level features. In parallel, SEST replaces dense-to-dense temporal modeling with a sparse-to-dense pathway, where continuous frame sequences are first encoded into compact temporal dynamics to reduce redundant computation and broaden temporal coverage, then fused with semantic context and recovered to the original label resolution for dense engagement prediction. Experiments on the MEE2026 benchmark demonstrate the effectiveness of SEST, which achieved first place in the challenge.

arXiv:2611.09913v1cs.HC

도메인, 연령, 문화를 가로지르는 인간-로봇 및 인간-인간 상호작용에서의 참여도 추정: MultiMediate'26 챌린지

Engagement Estimation in Human-Robot and Human-Human Interactions across Domain, Age and Culture: MultiMediate'26 Challenge

인간 상호작용에서의 참여도를 이해하는 것은 보조적이고 맥락 인지적인 AI 시스템을 모델링하는 데 필수적이다. 이전의 MultiMediate 챌린지는 문화 간 성인 대화에서 순간적인 연속 참여도 값을 추정하는 데 초점을 두었으며, 도메인 전반에 걸쳐 높은 수준의 일반화 성능을 달성하였다. 그러나 참여도는 다양한 지표로 측정될 수 있으며 아동과 성인 사이에서 다르게 나타날 수 있다. 이에 MultiMediate'26은 평가 도메인 집합을 확장하여 영어로 진행된 아동-아동 및 아동-로봇 놀이 세션으로 구성된 PInSoRo 데이터셋을 포함한다. 이 세션들은 과제 참여와 사회적 참여에 대해 범주형으로 주석이 부여되어, 참여 유형, 연령대, 상호작용 유형을 다양화하였다. 본 논문에서는 MultiMediate'26 챌린지와 그 목표를 기술하고, NoXi, NoXi-J, MPIIGI, PInSoRo 데이터셋을 소개하며, 추출된 멀티모달 특징을 제시하고, 모든 도메인에 걸친 참여도 추정을 위한 베이스라인 모델을 제시하고, 챌린지 제출물과 접근법을 논의한다. 투명하고 환영받는 챌린지 환경을 제공하기 위해, 베이스라인 코드, 리더보드, 데이터셋, 추출된 특징을 https://github.com/hcmlab/MultiMediate_26 에 공개한다.

arXiv:2611.09906v1cs.HC

How to start a conversation proactively?

Proactively initiating a conversation is a fundamental social competence and a critical capability for social robots. However, determining how and when to start a conversation in a given situation remains an open challenge, primarily due to the lack of a principled definition of conversational context. While recent large language models (LLMs) demonstrate impressive conversational fluency, they are predominantly turn-reactive and often produce generic or monotonous openers when tasked with initiating interaction, even when contextual information is available. Such limitations are particularly problematic for embodied social robots, where inappropriate or poorly timed initiations can negatively affect user engagement and rapport. In this work, we propose a schema of contextual variables that jointly characterize situations relevant for proactive conversation initiation. The schema is designed to structure perceptual, situational, and interactional cues such that they can be effectively exploited by language models. Furthermore, motivated by the absence of suitable training data, we introduce a curated dataset of contextually-aligned conversation openers (CCO) covering diverse everyday scenarios. Using this dataset, we fine-tune small language models (SLMs) to generate proactive conversation initiations. Through a comparative evaluation involving zero-shot LLMs, off-the-shelf SLMs, and our fine-tuned models, we demonstrate that explicit contextual structuring and targeted data curation substantially improve the quality and contextual appropriateness of conversation openers. Our results highlight the importance of context modeling for proactive social interaction and provide actionable building blocks for conversational robots.

arXiv:2611.09900v1cs.HC

KR A1: 개인화 음성 합성, 맥락적 대화, 감정 인지 응답 생성을 통합한 휴머노이드 로봇 상호작용 프로토타입의 설계 및 예비 평가

KR A1: Design and Preliminary Evaluation of a Humanoid-Robot Interaction Prototype Integrating Personalized Voice Synthesis, Contextual Dialogue, and Emotion-Aware Response Generation

본 논문은 잠재적인 정신건강 관리 응용을 위해 개인화 음성 합성, 맥락적 대화 처리, 감정 인지 응답 생성을 통합한 휴머노이드 로봇 상호작용 프로토타입 KR A1의 설계와 예비 평가를 제시한다. 시스템 아키텍처는 자연어 이해와 응답 생성을 위한 로컬 호스팅 대규모 언어 모델(Ollama로 제공되는 Qwen2.5-3B-Instruct), 제로샷 화자 적응형 음성 합성을 위한 OpenVoice v2, 그리고 키워드 휴리스틱과 LLM 기반 추론으로 구성된 2단계 감정 처리 파이프라인을 결합한다. 얼굴 인식(InsightFace)과 벡터 메모리 검색(문장 트랜스포머 임베딩을 사용하는 FAISS)은 사용자 맞춤형 상호작용을 가능하게 한다. 여기에 보고된 실험적 평가는 음성 복제 구성 요소에 한정되며, 복제된 음성은 멜 주파수 켑스트럼 계수, 피치, 스펙트럼 중심, 스펙트럼 대비, 스펙트럼 롤오프, 영교차율, 포먼트, 화자 임베딩 코사인 유사도의 여덟 가지 음향 유사도 척도를 사용하여 기준 녹음과 비교 평가되었으며, 동일 화자 대 타 화자 기준선 비교로 보완되었다. 모든 테스트는 소규모의 비공식적인 개발 표본에서 수행되었으며, 별도로 유지된 기준선에 대한 통계적 유의성 검정은 수행되지 않았다. 통합 시스템의 감정 인식 정확도, 종단 간 응답 지연 시간, 치료적 또는 임상적 효과는 아직 공식적으로 평가되지 않았으며 향후 과제로 남아 있다. 모든 테스트는 개발팀이 비공식적으로 자체 수행하였으며, 환자나 외부 인간 참여자는 관여하지 않았고, 시스템은 임상 환경에서 평가되거나 배치된 적이 없다.

arXiv:2611.09898v1cs.HC

생성형 AI와 구두 숙달도: ChatGPT는 영어 말하기 연습을 어떻게 변화시키고 있는가

Generative AI and Oral Proficiency: How ChatGPT Is Transforming English Language Speaking Practice

생성형 인공지능(GenAI)을 언어 학습 맥락에 통합하는 것은 구두 숙달도 향상의 잠재력을 제시하지만, 그 효과에 관한 실증적 증거는 여전히 제한적이다. 이 준실험 연구는 ChatGPT를 매개로 한 말하기 연습이 이란 학습자의 영어 구두 숙달도에 미치는 영향을 조사하였다. 테헤란과 이스파한 출신 참가자 총 380명(여성 190명, 남성 190명; 연령 M = 21.4, SD = 4.7)이 실험군(ChatGPT 연습; n = 190) 또는 통제군(사람 간 짝 활동; n = 190)에 배정되었다. 두 집단 모두 주 3회, 회당 30분씩 8주간의 중재를 완료하였다. 구두 숙달도는 유창성, 발음, 어휘 자원, 문법 정확성, 상호작용적 의사소통에 대해 채점되는 유럽공통참조기준(CEFR) 정렬 구두 숙달도 인터뷰(OPI)로 평가되었다(총점: 0-20). 다층 성장 모델링 결과 시간-집단 상호작용이 유의하였다, F(1, 376) = 48.73, p < .001, 부분 에타제곱 = .115. 실험군은 통제군(변화량 M = 0.75, SD = 1.80)보다 더 큰 향상(변화량 M = 2.90, SD = 1.60)을 보였다, d = 1.20, 95% CI [0.95, 1.45]. 성별이 이 효과를 조절하였으며, 실험군의 여성이 가장 큰 향상(변화량 M = 2.50)을 보였다. 매개 분석은 통合적 동기의 증가가 숙달도 향상을 부분적으로 매개함을 확인하였다(간접 효과 = 0.28, 95% CI [0.20, 0.36]). 연구 결과는 구조화된 ChatGPT 연습이 구두 숙달도에서 크지는 않지만 의미 있는 향상을 가져오며, 특히 정서적 요인을 활용할 때 그러함을 시사한다. 자원이 제한된 환경에서 AI로 보강된 말하기 교육에 대한 시사점을 논의한다.

arXiv:2610.39869v2cs.HC

기계적 타자의 체화: 인간-LLM 상호작용에 대한 행화적(enactive) 탐구

Incorporating Machine-Others: An Enactive Exploration of Human-LLM Interactions

인간이 LLM과 관계 맺음으로써 어떻게 변화하는지를 이해하려면 상호작용적 사고에 기반한 새로운 개념이 필요하다. 이 기술은 전례 없는 방식으로 인간과의 언어적 상호작용을 유도할 수 있으므로, 기술이 사용자의 자율성에 미치는 영향에 관한 표준 이론은 여기에 부적합하다. 전통적인 사회인지 이론 또한 부족한데, LLM은 자율성도, 마음도, 사회성도 그 자체로는 갖고 있지 않기 때문이다. 그럼에도 인간은 LLM과 상호작용하고, 대화하고, 함께 창작한다. 우리는 행화적 이론, 특히 언어적 신체 이론과 AI에 대한 행화적 설명의 최근 발전에 기반하여, 우리가 기계와 함께 어떻게 의미를 만들어 가는지를 탐구한다. 우리는 기계적 타자를 두 가지 방식으로 체화한다고 주장한다. 하나는 특정 기술을 가능하게 하는 도구와 같은 의미의 체화이고, 다른 하나는 LLM의 언어하기(languaging) 방식을 받아들이고 구현하는, 더 언어적이며 정체성과 결부된 의미의 체화이다. 그러나 LLM 자체가 우리 자신의 언어하기가 탈체화되고 탈육화된 환영이며, 우리는 우리의 언어에 (기계적) 신체를 부여한다. 따라서 우리는 단순히 기계적 타자를 체화하는 것이 아니라 탈체화된 타자를 체화하고 있다. 이러한 개념적 진전은 LLM과 우리의 언어적 관계에 대한 새로운 지도를 그려 내며, 이를 다른 언어적 인공물(예: 종교 서적)과 관련된 다른 형태의 언어하기와 연속선상에 놓는다. 우리는 오늘날 이 관계가 취하는 몇 가지 특정한 형태와, 그것이 LLM을 활용하는 인간의 자율성과 되어감에 어떤 영향을 미칠 수 있는지를 살펴본다. 또한 이러한 서비스에서 우리가 때때로 마주하는 마찰의 부재로 인해 가중되는 기호적 노동을 특징짓기 위해 '수용적 의미 형성(susceptive sense-making)'이라는 개념을 도입한다.

arXiv:2605.14972v2cs.SE

Viverra: 보장을 갖춘 텍스트-코드 변환

Viverra: Text-to-Code with Guarantees

텍스트-코드 변환의 근본적인 한계는 생성된 코드의 정확성에 대해 어떠한 보장도 얻을 수 없다는 점이다. 따라서 정확성을 보장하려면 생성된 코드를 여전히 개발자가 검토, 테스트, 유지보수해야 한다. 그러나 LLM이 생성한 코드를 살펴보는 일은 지루하고 시간이 많이 소요될 수 있어, AI 코딩 도구가 약속하는 생산성 향상을 상쇄할 가능성이 있다. 이 문제를 해결하기 위해, 사용자가 생성된 프로그램을 이해하도록 돕고자 생성된 코드와 함께 형식적으로 검증된 주석을 자동으로 생성하는 시스템인 Viverra를 제시한다. 자연어 과제 설명이 주어지면, Viverra는 LLM에 프롬프트를 제공하여 안전성과 정확성 속성을 표현하는 후보 단언문(assertion)과 함께 C 프로그램을 합성한다. 이후 한계 모델 검사기(bounded model checker)들의 포트폴리오를 통해 합성적(compositional)이고 최선 노력(best-effort) 방식으로 이러한 단언문을 검증한다. 17개의 다양한 프로그래밍 과제에 대한 평가는 Viverra가 검증된 단언문을 갖춘 코드를 효율적으로 생성할 수 있으며, 400건이 넘는 과제 수행을 포함한 사용자 연구에서 이러한 단언문이 코드 이해 과제에서 사용자의 성과를 향상시킴을 시사한다.

arXiv:2605.13450v2cs.AI

의미 거리 검사는 실제로 LLM의 창의성을 예측하는가? 들쭉날쭉한 창의성의 증거

Do Semantic Distance Tests Actually Predict Creativity in LLMs? Evidence for Jagged Creativity

대규모 언어 모델(LLM)의 창의성을 측정하는 것은 창의성을 향상시킬 방법을 설계하고 이 능력에 대한 과학적 이해를 높이는 데 필수적이다. 이를 위해 최근 몇 년 사이 인간 창의성에 대한 의미 거리 검사를 LLM에 실시하는 것이 일반화되었다. 이러한 검사는 '창의성'의 여러 측면을 편리하고 완전히 자동화된 방식으로 점수화하지만, 기계 창의성의 측정 도구로서의 타당성은 확립되지 않았다. 이 문제를 해결하기 위해 우리는 (a) 창작 글쓰기, (b) 개방형 프롬프트에 대한 출력 다양성, (c) 조합적 창의성, (d) 과학적 아이디어 구상이라는 네 가지 대상 구성 개념에 걸쳐, 의미 거리 검사가 LLM의 창의적 성취를 예측하는 효과를 평가하는 최초의 대규모 체계적 연구를 수행한다. 각 검사를 타당도와 특이도라는 두 기준으로 점수화하고, 검사가 달성할 수 있는 최대 특이도와 타당도에 대한 이론적 한계를 도출한다. 그 결과는 다음과 같다. (1) 어떤 검사도 출력 다양성을 유의하게 예측하지 못하며, 이는 의미적으로 먼 개념을 연결하는 단일 응답을 만드는 능력인 점 창의성과 반복 샘플링에서 서로 다른 응답을 만드는 능력인 분포적 창의성이 현재의 LLM에서 분리될 수 있음을 시사하는데, 우리는 이 양상을 들쭉날쭉한 창의성이라 부른다. (2) 원격 연상 검사(Remote Associates Test)는 사실상 LLM의 창의성에 대한 특이적 예측 변수가 아니라 일반 능력의 대리 지표이다. (3) 마지막으로 발산적 연상 과제(Divergent Association Task)가 창작 글쓰기의 가장 좋은 예측 변수이지만, 모든 구성 개념을 잘 예측하는 단일 검사는 없다. 요약하면, 본 결과는 인간 집단에서 타당화된 창의성 심리측정 검사와 과제를 LLM에 적용할 때 주의가 필요함을 시사한다.

arXiv:2602.19458v2cs.AI

ComplLLM: 의사결정을 위한 상보적 신호를 발견하도록 LLM을 미세조정하기

ComplLLM: Fine-tuning LLMs to Discover Complementary Signals for Decision-making

다중 에이전트 의사결정 파이프라인은 상보성이 성립할 때, 즉 서로 다른 에이전트가 최종 결정에 도움이 되는 고유한 정보를 제공할 때 단일 에이전트 워크플로를 능가할 수 있다. 우리는 의사결정 이론에 기반한 사후 학습 프레임워크인 ComplLLM을 제안한다. ComplLLM은 상보적 정보를 보상으로 사용하여, 기존 에이전트의 결정을 보완하는 신호를 출력하도록 의사결정 보조 LLM을 미세조정한다. 우리는 도메인 전문가가 관여하는 합성 및 실제 과제에서 ComplLLM을 검증하며, 이 접근법이 알려진 상보적 정보를 복원하고, 하위 의사결정자를 지원하기 위해 상보적 신호에 대한 그럴듯한 설명을 생성하며, 통제된 연구에서 인간과 LLM 에이전트의 의사결정 성능을 향상시킴을 보인다.

arXiv:2602.00123v2cs.HC

시각적 정서 분석: 비전-언어 모델을 이용한 이미지 시청자의 감정 예측

Visual Affect Analysis: Predicting Emotions of Image Viewers with Vision-Language Models

비전-언어 모델(VLM)은 이미지로부터 대규모 정서 추론을 수행할 가능성을 보이지만, 사람의 정서 평가와 얼마나 일치하는지는 여전히 불분명하다. 우리는 검증된 세 가지 정서 이미지 데이터셋, 즉 International Affective Picture System, Nencki Affective Picture System, Library of AI-Generated Affective Images에서 상용 및 오픈소스 VLM 16개를 벤치마킹하였다. 제로샷 설정에서 모델은 (i) 최상위 감정 분류와 (ii) 개별 감정 및 정서 차원에 대한 1–7/9 리커트 척도의 사람 평가 예측이라는 두 가지 과제를 수행하였다. 또한 비식별화된 참가자 메타데이터를 사용하여 LAI-GAI 데이터셋에서 평가자 조건부 프롬프팅을 평가하였다. 최고 성능 모델은 강력한 개별 감정 분류 성능을 보였으며(6개 감정 과제에서 60%–80%, 12개 범주 과제에서 60%–75%), 분노와 놀람의 예측 정확도가 가장 낮았다. 연속형 평가에서 모델은 사람의 판단과 보통에서 강한 수준으로 일치하였으나($r > 0.75$), 특히 각성에서 성능이 더 낮고 반응 강도를 과대 추정하는 등 일관된 편향을 보였다. 평가자 조건부 프롬프팅은 작고 일관되지 않은 효과만을 보였다. 전반적으로 VLM은 광범위한 정서 패턴을 포착하였으나 때때로 섬세함이 부족했으며, 더 최신 세대의 모델이 더 나은 성능을 보였다.

arXiv:2601.16906v2cs.LG

두 막으로 보는 궤적 정렬 계수: 보상 조정에서 보상 학습으로

The Trajectory Alignment Coefficient in Two Acts: From Reward Tuning to Reward Learning

강화학습의 성공은 과제 목표를 정확히 반영하는 보상 함수를 갖추는 것과 근본적으로 연결되어 있다. 그러나 보상 함수를 설계하는 일은 시간이 많이 들고 오지정되기 쉽다. 이를 해결하기 위해 첫 번째 목표는 강화학습 실무자가 보상 함수를 지정하도록 지원하는 방법을 이해하는 것이다. 우리는 보상 함수가 유도하는 선호가 도메인 전문가의 선호와 얼마나 가깝게 일치하는지를 평가하는 지표인 궤적 정렬 계수(Trajectory Alignment Coefficient, TAC)를 활용한다. TAC가 의미 있는 지원을 제공하는지 검증하기 위해, 실무자들이 Lunar Lander의 보상 함수를 설계하는 사용자 연구에서 그 영향을 평가하였다. 반복적인 TAC 피드백이 참가자들로 하여금 더 성능이 좋은 보상 함수를 설계하게 하면서도, 안내 없는 보상 설계보다 낮은 인지 작업량을 보고하게 함을 발견하였다. 그러나 이 연구는 TAC를 사용하더라도 수동 보상 설계가 여전히 많은 노동을 요한다는 점도 부각하였다. 이는 TAC를 직접 최대화하는 보상 모델을 학습한다는 두 번째 목표의 동기가 되었다. 구체적으로, 인간 선호로부터 보상 모델을 학습하는 손실 함수로 사용할 수 있는 TAC의 미분 가능한 근사인 Soft-TAC을 제안한다. 이론적 분석은 Soft-TAC 최적화 하에서 (1) 최적 보상 함수가 인간과 정렬된 보상 함수 집합에만 속하고, (2) 이 최적 보상이 깨끗한 선호 데이터로 학습하든 잡음이 있는 선호 데이터로 학습하든 불변임을 보장한다. 실험적으로는 먼저 세 가지 로봇 과제에서 Soft-TAC으로 학습한 보상 모델을 평가하여, 교차 엔트로피 손실로 학습한 모델과 일관되게 대등하거나 더 우수함을 보인다. 다음으로 GT7 주행 시뮬레이터에서 Soft-TAC을 평가하여, Soft-TAC으로 학습한 보상 모델이 선호에 특화된 주행 스타일을 더 성공적으로 포착함을 확인한다. 궁극적으로 본 연구는 TAC가 복잡한 도메인에서 보상 설계를 안내하는 실용적 도구이자 보상 학습 목적함수로 모두 기능할 수 있음을 보인다.

arXiv:2601.15295v3cs.HC

Elsewise: 가능성 공간 시각화를 활용한 개방형 인터랙티브 내러티브 저작

Elsewise: Authoring Open-ended Interactive Narrative with Possibility Space Visualization

인터랙티브 내러티브(IN)의 작가는 플레이어가 탐험할 수 있는 서로 갈라지는 다양한 서사적 가능성의 공간을 만들며, 플레이어의 입력에 따라 실제로 어떤 서사적 가능성을 경험하게 될지가 결정된다. 생성형 AI는 개방형 플레이어 입력에 대응해 사전에 작성된 콘텐츠를 즉흥적으로 확장함으로써 새로운 형태의 IN을 가능하게 할 수 있다. 그러나 이러한 외삽은 작가가 구상한 이야기와 플레이어가 경험하는 이야기 사이의 간극을 넓힐 위험이 있으며, 이로 인해 플롯 진행의 강도와 작가의 서사적 의도 전달이 제한될 수 있다. 이 간극을 메우기 위해 본 논문에서는 LLM 기반 IN을 위한 저작 도구인 Elsewise를 소개한다. Elsewise는 새로운 Bundled Storyline 개념을 구현하여 작가가 서사적 가능성 공간을 더 잘 인지하고 이해하도록 돕고, 개방형이며 사용자가 설정할 수 있는 서사 차원을 기준으로 자신의 IN에서 가능한 플레이스루들 간의 유사점과 차이점을 탐험할 수 있게 한다. 사용자 연구(n=12) 결과, 본 접근법은 작가가 플레이어가 경험할 서사를 더 잘 예측하도록 개선하며, 이를 통해 서사적 가능성 공간을 더 효과적으로 제어하고 탐험할 수 있게 하는 것으로 나타났다.

arXiv:2510.13068v5cs.LG

NeuroRVQ: 생성형 파운데이션 모델을 위한 다중 스케일 생체신호 토큰화

NeuroRVQ: Multi-Scale Biosignal Tokenization for Generative Foundation Models

뇌전도(EEG), 심전도(ECG), 근전도(EMG)와 같은 생체신호는 여러 시간 및 스펙트럼 스케일에 걸친 생리적 활동을 담고 있어, 풍부하지만 기계학습으로 다루기 어려운 표현을 만든다. 마스킹된 신호 토큰을 예측하도록 학습된 파운데이션 모델은 일반화 가능한 생체신호 표현을 학습하는 데 가능성을 보였으나, 그 성능은 토크나이저가 고주파 동역학을 보존하고 신호를 높은 충실도로 복원하는 능력에 좌우된다. 본 논문은 고충실도 신호 복원을 위해 설계된, 모달리티 적응형 생체신호 토크나이저 계열인 NeuroRVQ를 소개한다. 전체 주파수 스펙트럼을 포착하기 위해 NeuroRVQ는 다중 스케일 시간 합성곱을 통해 생체신호를 주파수별 표현으로 분해하고, 각 표현을 계층적 RVQ 코드북으로 인코딩하여 고주파 세부 정보를 보존하며, 여기에 푸리에 위상의 순환 위상 구조를 존중하는 새로운 위상 인식 학습 손실을 결합한다. 시간 해상도, 시간 커널의 수와 크기, RVQ 깊이를 조정함으로써 이 설계는 각 생체신호 모달리티의 스펙트럼-시간적 특성에 맞게 적응한다. 토크나이저의 품질이 다운스트림 성능을 좌우함을 검증하기 위해, 각 모달리티에 대응하는 NeuroRVQ 토크나이저를 사용하여 모달리티별로 단순한 마스킹 토큰 파운데이션 모델(NeuroRVQ-FM)을 학습시켰다. NeuroRVQ-FM 계열은 기존의 모달리티 특화 파운데이션 모델과 비교하여 대등하거나 더 우수한 다운스트림 성능을 달성하였으며, 이는 고충실도 토큰화가 효과적인 생체신호 모델링의 핵심 요소임을 보여준다.

arXiv:2510.02181v2cs.HC

EvolveCaptions: 실시간 협업 자막을 통한 청각장애인 및 난청인 사용자 지원

EvolveCaptions: Empowering DHH Users Through Real-Time Collaborative Captioning

자동 음성 인식(ASR) 시스템은 청각장애인 및 난청인(DHH) 화자의 음성을 정확하게 받아쓰는 데 어려움을 겪는 경우가 많다. 기존의 개인화 접근법은 대개 사전에 녹음된 대규모 데이터셋을 필요로 하며 DHH 사용자에게 부담을 준다. 본 논문에서는 자막 교정과 화자별 ASR 적응을 연결하는 협업적 오류 기반 개인화 시스템인 EvolveCaptions를 제시한다. DHH 화자의 음성을 받아쓸 때 청인 파트너가 전사 오류를 수정하면, 시스템은 DHH 화자가 녹음할 짧고 목적에 맞는 절을 생성한다. 이렇게 얻은 샘플은 모델을 점진적으로 미세 조정하는 데 사용된다. DHH 참가자 12명과 청인 참가자 6명을 대상으로 한 연구에서 EvolveCaptions는 다섯 차례의 대본 낭독 라운드에 걸쳐 단어 오류율(WER)을 낮추었으며, 이를 위해 평균 5분의 추가 음성 녹음이 필요했다. 참가자들은 인터페이스가 사용할 만하다고 보았으나 녹음과 교정에는 노력이 든다고 여겼으며, 수용 가능성은 상황과 예상되는 장기적 이점에 따라 달라졌다. 이러한 결과는 협업적이고 누적적인 적응의 잠재력을 보여 주는 동시에, 이를 지속하는 데 필요한 노동과 조건을 드러낸다.

arXiv:2507.17264v2cs.SE

내장된 자연어 프롬프트를 포함한 소프트웨어에 대한 개발자의 정보 요구 이해

Understanding Developer Information Needs for Software with Embedded Natural Language Prompts

개발자들은 소프트웨어 구현 내부에 자연어 프롬프트를 작성하여 삽입하고(이를 내장 프롬프트라 한다) 이를 FM의 API에 문자열로 전달함으로써, 파운데이션 모델(FM)을 이용해 새로운 형태의 지능형 소프트웨어를 만든다. 내장 프롬프트를 포함한 소프트웨어를 개발하려면 개발자가 원하는 동작을 얻기 위해 내장 프롬프트를 반복적으로 수정해야 한다. 전통적인 소프트웨어의 정보 요구는 연구되어 왔지만, 이러한 요구가 개발자가 내장 프롬프트 변경을 계획하고 정당화하는 방식을 좌우함에도 불구하고, 내장 프롬프트 변경에 대한 현대 개발자의 정보 요구는 충분히 탐구되지 않았다. 본 연구에서는 내장 프롬프트를 변경하는 개발자의 정보 요구에 대한 혼합 방법 탐색적 연구를 수행한다. 우리는 개발자 16명을 인터뷰하고, 개발자 8명이 프롬프트를 변경하는 과정을 관찰하고, 개발자 50명을 대상으로 설문하고, 연구 및 상용 도구 72개를 평가함으로써, 개발자가 내장 프롬프트를 변경할 때 갖는 50개의 정보 요구 목록을 작성, 정제, 검증 및 적용한다. 그 결과 내장 프롬프트는 기존 도구에서 충분히 지원되지 않음을 발견했는데, 가장 중요한 요구 4개를 포함하여 50개 중 16개의 정보 요구가 해결되지 않고 있었다. 마지막으로 향후 내장 프롬프트용 개발자 도구가 다루어야 할 중요한 설계 기회를 제시한다.