PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01045v2cs.AI

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2610.00872v1cs.AI

MemFit: 효율적인 장기 에이전트 메모리

MemFit: Efficient Long-Term Agentic Memory

대규모 언어 모델(LLM)을 위한 장기 메모리(long-term memory) 시스템은 다양한 애플리케이션 전반에서 추론 능력을 확장하기 위해 널리 활용되고 있습니다. 현재의 메모리 시스템은 메모리를 구성하고 통합하기 위해 LLM 에이전트에 의존하므로, 비용이 많이 들고 비효율적인 쓰기 연산이 발생합니다. 이러한 한계를 해결하기 위해, 대화형 에이전트의 메모리 연산 비용과 지연 시간을 줄여주는 장기 메모리 시스템인 MemFit을 제안합니다. 메모리 구축을 위해 값비싼 LLM 호출에 의존하거나 압축을 통해 표면적인 세부 정보를 버리는 기존 시스템과 달리, MemFit은 LLM 없이 거의 즉각적인 삽입이 가능한 추가 전용(append-only) 저장소에 각 턴을 원문 그대로 저장하며, 턴을 대체하는 대신 세그먼트 요약으로 색인화합니다. 또한, MemFit은 텍스트 및 멀티모달 환경 모두에서 캡션이 보강된 에피소드에 대해 어휘적·의미적 신호와 크로스 인코더 재순위화(reranking)를 결합하는 LLM 기반이 아닌 다중 경로 검색 전략을 사용합니다. 널리 사용되는 세 가지 벤치마크인 LoCoMo, MemGallery, LongMemEval-S에 대한 실증적 결과는 MemFit이 메모리 구축 시간과 비용을 수배 단축하면서도 최고 수준의 성능(SOTA)을 달성하여, 지속적인 에이전트 메모리를 위한 확장 가능하고 효율적인 설루션을 제공함을 보여줍니다.

arXiv:2609.27246v1cs.HC

경청과 반사: VR에서 체화 AI 에이전트의 사회적·공감적 인식에 대한 언어적 공감 조율 및 행동 모방의 효과

Listening and Mirroring: The Effects of Verbal Attunement and Behavioral Mimicry on Social and Empathic Perceptions of Embodied AI Agents in VR

체화 에이전트가 VR에서 점점 더 사회적·관계적 역할을 맡게 됨에 따라, 시각적 사실성과 체화만으로는 부족할 수 있으며, 사용자는 이러한 에이전트를 정서적으로 공감하고 지지하며 인간 같다고 인식해야 한다. 선행 연구는 언어적 공감 조율(verbal attunement)과 비언어적 모방이 각각 체화 에이전트에 대한 사용자의 사회적 평가를 향상시킬 수 있음을 시사한다. 그러나 행동 모방(behavioral mimicry)은 대체로 실시간 대화형 AI 상호작용 밖에서 연구되어, 에이전트가 맥락에 반응하는 대화를 동시에 생성하고 몰입형 대화 중 비언어적 행동을 조정할 때 사용자가 어떻게 반응하는지에 대한 이해는 제한적이다. 이 공백을 메우기 위해, 우리는 대화형 AI와 실시간 얼굴 표정 및 자세 모방을 결합하고, 언어적으로 공감 조율된 응답 또는 중립적 응답을 생성하는 체화 AI 상담사를 개발했다. 언어적 공감 조율과 행동 모방을 조작한 2×2 피험자 내 연구에서 20명의 참가자를 대상으로 시스템을 평가했다. 결과는 언어적 공감 조율이 지각된 공감의 가장 신뢰할 만한 요인임을 보여주었다. 행동 모방은 지각된 인간다움과 한계적인(marginal) 관계를 보였으며, 더 많은 모방 노출은 공감, 긍정성, 인간다움과의 예비적·탐색적(exploratory) 양의 연관을 보였고, 특히 여성 참가자에서 두드러졌다. 이러한 발견은 VR에서 공감적 대화 에이전트를 설계할 때 다중 모달 동조(multimodal synchrony)가 단순 가산적 전략이 아님을 보여주며, 실시간 상호작용 중 언어적·비언어적 행동이 어떻게 결합되는지 고려할 필요를 강조한다.

arXiv:2607.21887v1cs.HC

학습자 수준에 적합한 체화된 대화형 에이전트를 활용한 외국어 불안 감소 연구

Towards Reducing Foreign Language Anxiety Using Level-Appropriate Embodied Conversational Agents

외국어 불안(FLA)은 특히 대화 맥락에서 제2언어 습득(SLA)의 주요 장벽이 될 수 있다. 생활 전반에 걸쳐 대규모 언어 모델(LLM)이 확산됨에 따라, 최근 연구는 LLM 에이전트와의 상호작용이 SLA 및 외국어 교육 분야, 특히 FLA 감소에 중요한 역할을 할 수 있음을 시사한다. 관련 연구는 또한 언어적 요구와 과제 복잡성이 FLA의 예측 변수가 될 수 있음을 제시하며, 이는 요구 수준이 높고 복잡한 언어의 사용이 학습자에게 더 높은 FLA를 유발할 수 있음을 의미한다. 본 논문에서는 영어 학습자를 위한 학습자 수준에 맞는 대화를 생성하는 새로운 다중 에이전트 체화 대화 시스템을 제안한다. 이러한 수준은 비원어민 청자 및 화자의 숙련도를 설명하기 위해 유럽 공통 참조 틀(CEFR)에서 정의한 것을 기반으로 한다. 여러 LLM 에이전트와 수준 분류기를 활용한 "생성-평가-재생성" 루프를 통해, 사용자의 숙련도 수준에 적응하는 원하는 단순성을 달성한다. 또한 일본 대학생을 대상으로 이 시스템을 테스트하여 단순화되지 않은 체화 대화형 에이전트보다 더 낮은 FLA 수준을 산출하는지 확인한 예비 소규모 파일럿 연구 결과를 공유한다. 대화 출력 분석 결과, 제안된 다중 에이전트 시스템이 생성한 대화 문장의 87.4%가 학습자의 자기 평가 숙련도로 예측된 CEFR 수준의 ±1 수준 이내에 있었으며, 단순화되지 않은 에이전트의 경우 54.1%였다. 이는 새로운 시스템이 학습자에게 더 적절한 수준의 출력을 생성할 수 있음을 시사한다. 본 연구는 표본 크기가 작아 일본인 영어 학습자의 FLA 수준을 시스템이 감소시킨다는 통계적으로 유의미한 증거를 제공하지 못했으나, 향후 연구를 위한 사용성 발견과 문화적으로 고려된 설계 통찰을 제공한다.

arXiv:2607.12085v1cs.AI

대화형 에이전트의 다차원 평가 운영화: 선택적 재평가 및 모델 벤치마킹을 갖춘 확장 가능한 거버넌스 파이프라인

Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking

소매 대화형 에이전트를 평가하려면 의도 정렬(intent alignment), 사실성(factuality), 유용성(helpfulness), 명확성(clarity), 톤(tone), 전반적인 응답 품질을 판단하기 위해 어휘 중복(lexical-overlap) 지표를 넘어서는 방법이 필요합니다. LLM-as-a-judge 방법은 인간 평가에 대한 확장 가능한 대안을 제공하지만, 프로덕션 배포는 거버넌스, 재현성, 비용, 스키마 일관성, 추적 가능성, 신뢰성 측면에서 과제를 야기합니다. 우리는 소매 대화형 시스템의 대규모 평가를 위한 거버넌스가 적용된 설정 기반 파이프라인인 GenAI Evaluation을 제시합니다. 이 파이프라인은 프로덕션 챗봇 로그를 정규화, 샤딩, 비동기 실행, 스키마 제약 LLM 채점을 통해 처리합니다. 해당 프레임워크는 유용성, 진실성, 명확성, 톤 정렬, 번역 특화 차원을 평가합니다. 선택적 재평가는 불완전하거나 형식 오류가 있거나 스키마에 맞지 않는 레코드만 처리하며, 스키마 잠금, 버전 관리된 설정, 검증 로그, 레코드 수준 출처 정보가 감사 가능성(auditability)을 지원합니다. 해당 프레임워크는 하루 약 50,000건의 레코드를 처리하며, 200만 건 이상의 상호작용을 평가했습니다. 검증에는 4명의 훈련된 어노테이터가 라벨링한 12,980건의 층화 무작위 인간 라벨 레코드를 사용했습니다. 분류는 14개 의도(intent), 156개 하위 의도(sub-intent), 18개 주요 도메인, 129개 하위 도메인을 포함했습니다. 파이프라인은 거시 F1 점수 0.93과 번역에 대해 89%의 인간 수용 가능성(human-acceptability) 정확도를 달성했습니다.

arXiv:2510.19186v3cs.CL

사용자는 만족하지만 에이전트는 틀릴 때: 도구 증강 대화의 다차원 평가

When Users Are Happy but Agents Are Wrong: Multi-Dimensional Evaluation of Tool-Augmented Dialogue

외부 도구를 사용하는 대화형 AI 시스템의 평가는 사용자, 에이전트, 도구 간의 복잡한 상호작용에서 오류가 발생할 수 있어 어렵다. 기존 평가 방법들은 사용자 만족도 또는 에이전트의 도구 호출 능력을 개별적으로 평가하지만, 에이전트가 도구 결과를 잘못 해석했음에도 사용자에게는 만족스럽게 보이는 경우와 같이 다중 턴 도구 증강 대화에서 발생하는 치명적 오류를 포착하는 데 실패한다. 우리는 다양한 오류 사례를 포괄하는 체계적으로 합성된 도구 증강 대화 벤치마크인 TRACE를 소개한다. 최신 대화 평가 프레임워크를 활용한 평가 결과, 모든 접근법이 이상적인 성능에 크게 미치지 못하는 것으로 나타나 이 벤치마크의 근본적인 어려움을 입증한다.

arXiv:2606.29778v1cs.DB

Mandol: 장기 대화를 위한 응집형 에이전트 메모리 시스템

Mandol: An Agglomerative Agent Memory System for Long-Term Conversations

장기 대화 에이전트는 세션을 초월하여 복잡한 상관관계를 지닌 다중 유형의 정보를 기억하고 질의할 수 있어야 한다. 기존 에이전트 메모리 시스템은 이기종 벡터 데이터베이스와 그래프 데이터베이스에 의존하여 메모리 정보를 단편화하고 높은 데이터베이스 간 I/O 지연을 초래한다. 검색 측면에서는 일반적인 검색-증강 생성(RAG) 방식의 방법들이 노이즈를 유발하고 상관 단서를 놓치며 토큰 예산 제어가 부족하여 대규모 언어 모델(LLM)의 정확도와 효율성을 저하시키는 경향이 있다. 우리는 단편화된 메모리 표현과 저장소를 통합된 메모리 네이티브 아키텍처로 통합하는 응집형 메모리 시스템인 Mandol을 제안한다. 핵심 구성 요소는 다음과 같다: (1) 메모리를 원시 메모리 정보를 나타내는 기본 층과 기본 메모리들을 추적 가능한 추상 메모리로 응집하는 고수준 추상 층으로 구성하는 계층적 메모리 모델로, 두 층 모두 구조화된 시맨틱 그래프로 균일하게 표현된다; (2) SemanticMap과 SemanticGraph를 결합한 응집형 시맨틱 데이터 구조로, 키-값, 벡터, 그래프 구조를 기본적으로 융합하고 데이터베이스 간 I/O를 제거하는 통합 하이브리드 검색 연산자를 제공한다; (3) 질의 적응형 라우팅, 정량적 노이즈 제거 및 충돌 해결, 토큰 제한 컨텍스트 생성을 갖춘 정량적 질의 메커니즘으로, 검색 시 LLM을 일절 사용하지 않는다. 널리 사용되는 두 장기 대화 벤치마크인 LoCoMo와 LongMemEval에서의 실험 결과, Mandol은 대표적인 에이전트 메모리 시스템들 중 최고의 전체 정확도를 달성한다. 성능 비교 측면에서 Mandol은 10 QPS 동시 부하 환경에서 5.4배의 검색 속도 향상과 4.8배의 삽입 속도 향상을 달성하면서도 소비자급 하드웨어에서 낮은 지연 시간을 유지한다.

arXiv:2606.10156v2cs.IR

$τ$-Rec: 에이전트형 추천 시스템을 위한 검증 가능한 벤치마크

$τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems

추천 시스템이 에이전트형 다중 턴 대화형 인터페이스로 전환하면서 평가 패러다임은 그 변화를 따라잡지 못하고 있다. 현재 벤치마크는 종종 LLM-as-a-judge 평가에 의존하며, 이는 주관성, 높은 비용, 불일관성을 야기한다. 우리는 $τ$-Rec를 제시한다. 이는 주관적 평가를 검증 가능한 보상과, 대화 중 과제 제약이 드러나는 방식을 제어하는 reveal-tagged elicitation(RTE) 메커니즘으로 대체하는 에이전트형 추천 시스템 벤치마크이다. 구조화된 카탈로그 predicate에 대해 에이전트를 테스트하고 pass^k 신뢰성 지표를 사용함으로써, $τ$-Rec는 일관된 추론에 대한 체계적인 검증을 제공한다. GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash, DeepSeek V4 Flash, Qwen3-32B, GPT-5 mini 등 5개 모델 패밀리에 걸친 9가지 구성에 대한 평가 결과, 가장 성능이 좋은 모델조차 pass^1에서 ~57%, pass^4에서 ~35%에 그치는 급격한 신뢰성 절벽(reliability cliff)이 드러났으며, 이는 현재 대화형 에이전트 배포의 중요한 격차를 보여준다. 모든 코드와 데이터는 https://github.com/nbharaths/tau-rec 에서 공개적으로 이용할 수 있다.

arXiv:2606.21124v1cs.AI

PulseCX: 실시간 CX에서 폐쇄 세계 가정의 돌파

PulseCX: Breaking the Closed-World Assumption in Real-Time CX

고객 경험(CX) 분야의 대화형 AI 에이전트는 일반적으로 폐쇄 세계 제약(closed-world constraint)에 시달리며, 바이럴 트렌드나 서비스 장애와 같이 빠르게 변하는 외부 변화를 무시한다. 임시방편적인 웹 검색은 이러한 격차를 메우려 하지만, 종종 허용하기 어려운 지연과 컨텍스트 오염(context poisoning)을 야기한다. 우리는 지식 획득과 소비를 분리하는 프레임워크인 PulseCX를 제안한다. 구조 우선(structure-first) 패러다임을 채택한 PulseCX는 비동기 에이전트를 사용해 신호를 강화-감쇠(reinforcement-decay) 역학으로 제어되는 감쇠 인식 시간적 지식 그래프(Decay-Aware Temporal Knowledge Graph, DA-TKG)로 선형화하여 정보 생명주기를 능동적으로 관리한다. 이 자기 진화형 메모리를 계층적 의도 게이팅(hierarchical intent gating)과 결합함으로써 PulseCX는 동기식 검색 병목을 제거하고(<10ms 오버헤드) 동적 환경에서 의도 해결(Intent Resolution, IRR)과 고객 만족도(s-CSAT)에서 상당한 향상을 이끈다.

arXiv:2606.17767v1cs.HC

데이터와 대화하기: 개인 건강 성찰 인터페이스로서의 구현 대화 탐구

Talking to Your Data: Exploring Embodied Conversation as an Interface for Personal Health Reflection

웨어러블 기기에서 수집한 개인 건강 데이터는 일반적으로 차트와 요약 통계로 구성된 대시보드를 통해 제시되며, 사용자가 패턴과 그 함의를 능동적으로 해석해야 한다. 우리는 대안적인 상호작용 패러다임을 탐구한다: 사용자와의 대화 속에서 객관적인 데이터 성찰을 촉진하는 구현 대화형 에이전트를 통해 개인 건강 데이터와 상호작용하는 방식이다. 웨어러블 데이터의 경량 전처리와 Unity 기반 구현 캐릭터를 결합한 시스템을 제시한다. 내부적으로 이 시스템은 이중 에이전트 설계를 따르며, Observer 에이전트가 기술 통계와 시간적 추세를 추출하고, Presenter 에이전트가 이러한 발견을 "구술 통계(spoken statistics)"를 통해 전달한다. 상호작용 방식의 영향을 분리하기 위해 의도적으로 임상적 조언은 하지 않는다. 우리는 피험자 내 설계(within-subject design)를 사용한 시뮬레이션 자기 사용자 연구(simulated-self user study, N=5)를 통해 이 접근법을 평가한다. 참가자는 LifeSnaps 데이터셋에서 유도된 건강 페르소나와 목표를 채택하여, 전통적인 대시보드 탐험과 구현 대화형 성찰을 비교했다. 평가는 인지된 이해, 생성된 행동의 구체성, 수동적 열람에서 능동적 의미 구성으로의 인지적 전환에 초점을 둔다. 이 논문은 기능적 프로토타입, 객관적 건강 데이터 서술 생성을 위한 디자인 패턴, 그리고 구현(embodiment)이 개인 건강 지표 해석에 미치는 영향에 대한 초기 경험적 통찰을 기여한다.

arXiv:2606.12805v1cs.HC

K-12 그룹 학습에서 에이전트 음성 억양이 인간-AI 협력을 형성하는 방식 탐구

Exploring How Agent Voice Accents Shape Human-AI Collaboration in K-12 Group Learning

K-12 그룹 학습에서 서로 다른 목소리 억양을 가진 GenAI 음성 에이전트가 인간-AI 협력에 미치는 영향을 조사한 결과, 에이전트의 억양이 학습자의 인식과 그룹 내 역할을 결정짓는 핵심 요소임을 밝혔다. 영국 억양의 에이전트는 도구로 여겨진 반면 인도 및 아프리카계 미국인 억양의 에이전트는 동료로 인식되어 신뢰도와 참여에 긍정적인 영향을 미쳤다.

arXiv:2510.18289v3cs.CL

Food4All: 적응형 사용자 이해를 통한 식품 자원 탐색을 위한 에이전트 프레임워크 및 벤치마크

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

식품 지원 연결은 대화형 에이전트가 불완전하고 종종 노이즈가 섞인 도움 요청 대화를 지역적으로 유효한 자원 추천으로 변환해야 하는 작업입니다. 우리는 686개의 구조화된 인디애나 식품 자원에 기반한 에이전트 식품 자원 연결 프레임워크이자 벤치마크인 Food4All을 제시합니다. Food4All은 식품 특화 검색 도구와 300개의 멀티턴 평가 작업을 결합하며, 이는 단일 식품 요구 사항, 접근 또는 문서 제약 조건이 있는 복합 사례, 그리고 비합리적인 요구, 장황한 응답, 성급함, 불완전한 답변, 모순된 정보라는 다섯 가지 비이상적인 사용자 상호작용 특성을 아우릅니다. 우리는 요구사항 그라운딩, 자원 검색, 최종 연결 정확도, 상호작용 효율성 측면에서 6개의 대규모 언어 모델(LLM)을 평가했습니다. 가장 강력한 모델이 96.33%의 연결 정확도를 달성했지만, 우리의 진단 결과 일정, 자격 요건, 접수, 문서 제약 조건에 대한 그라운딩의 지속적인 실패와 최종 추천에서 유효하게 검색된 자원을 보존하지 못하는 실패가 드러났습니다. 특성 수준 분석은 서로 다른 비이상적인 행동이 연결 파이프라인의 서로 다른 부분에 부담을 준다는 것을 추가로 보여줍니다. Food4All은 현실적인 사용자 상호작용 문제 하에서 제약 조건에 민감한 식품 지원 연결 분야의 툴 호출 에이전트를 연구하기 위한 통제된 테스트베드를 제공합니다.