PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13607v4cs.AI

패턴 매칭으로서의 추론: 인간과 대규모 언어 모델(LLM)의 일상 추론에 나타난 공유 메커니즘

Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

대규모 언어 모델(LLM)이 일반화에 실패하거나 추론에서 내용에 민감한 오류를 범할 때, 이는 흔히 LLM이 진정으로 추론하는 것이 아니라 일종의 패턴 매칭을 수행하고 있다는 증거로 받아들여집니다. 여기에는 인간의 추론이 원리적이고 내용 불변적인 세계 모델(world model)에 의존하기 때문에 인간의 행동은 동일한 유형의 실패를 보이지 않는다는 함의가 깔려 있습니다. 본 연구에서는 다양한 일상 상황에 대한 상식적 추론 능력을 바탕으로 인간과 LLM을 평가함으로써 이러한 가정을 검증합니다. 연구 결과, 46개의 LLM과 두 개의 인간 참가자 집단 전반에서 수렴하는 추론 패턴이 밝혀졌습니다. 이어 본 연구는 인간과 유사한 반응을 생성하는 데 있어 내용 불변적 및 내용 민감적 모델 뉴런의 역할을 규명함으로써, 이러한 행동적 수렴이 LLM이 내용 불변적 세계 모델을 획득했기 때문인지, 아니면 일련의 패턴 매칭 휴리스틱을 획득했기 때문인지를 묻습니다. 분석 결과, LLM은 내용 불변적 표상과 내용 민감적 표상을 모두 인코딩하지만, 모델을 인간과 일치시키는 데 인과적으로 기여하는 것은 내용 민감적 메커니즘인 것으로 나타났습니다. 종합하면, 본 연구 결과는 인간과 LLM의 일상적인 인과 추론이 패턴 매칭을 크게 활용하고 있음을 시사합니다.

arXiv:2609.22813v1cs.RO

추상 지시로부터 상식 기반 경로 계획

Commonsense-Grounded Path Planning from Abstract Instructions

우리는 추상적 지시를 상식을 따르는 경로로 바꾸는 새로운 경로 계획기인 \emph{commonsense ranked search}(CoRS)를 제안한다. 기존 방법은 사전에 명시된 고려사항은 반영하지만, 사람들 사이에서 일하는 로봇은 명시되지 않은 고려사항도 따라야 한다. 예를 들어 작업자가 지시 없이도 피하는 젖은 바닥이 그렇다. CoRS는 계획 과정에서 이러한 잠재적 고려사항을 추론하기 위해 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 상식 지식으로 활용한다. 추상적 지시(\emph{e.g.}, ``move carefully'')와 환경의 각 영역에 대한 시각 관측이 주어지면, CoRS는 각 영역에 대한 고려사항을 도출한다. 예를 들어 ``this wet floor is slippery and worth a detour.''와 같다. 그다음 영역 간 고려사항을 비교하여 로봇이 둘 중 어느 쪽을 더 피해야 하는지 판단한다. 예를 들어 ``the crowd is worse than the wet floor.''와 같다. 이러한 판단은 영역들을 상식 순위로 정렬하고, 그 순위에서 나온 비용이 항상 유효한 경로를 반환하는 기존 탐색을 이끈다. 잠재적 고려사항 하에서의 계획을 위한 벤치마크를 구축했으며, 세 가지 환경, 1350개 문제, 세 단계 추상화 수준의 다섯 가지 지시를 포함한다. 실험 결과 CoRS는 명시되지 않은 고려사항을 발견하고, 우회할 가치가 있는 것은 돌아가며 나머지는 통과하는데, 이는 최근 LLM 기반 경로 계획기들이 달성하지 못하는 행동이다.

arXiv:2607.22136v1cs.CL

공감적 응답 생성을 위한 동적 상식 조율

Dynamic Commonsense Coordination for Empathetic Response Generation

공감적 응답 생성(Empathetic Response Generation, ERG)은 모델이 사용자의 감정을 인식하고 공감적 응답을 생성해야 한다. 상식 지식이 이러한 추론을 지원하는 것으로 알려져 있지만, 기존 접근법은 이해와 생성 단계 전반에 걸쳐 고정된 상식 표현을 재사용하는 경우가 많아, 서로 다른 단계에서 이러한 지식을 조율하는 능력을 제한한다. 본 연구는 DCC(Dynamic Commonsense Coordination)라는 동적 상식 조율 프레임워크를 제안하며, 이는 세 가지 상호 보완적 모듈로 구성된다: 맥락적·상황적 상식 표현을 통합하는 잔차 기반 상식 상호작용(SCE-AttnRes), 낮은 관련성의 상식 관계 가중치를 낮추는 연관성 기반 상식 필터링(Association-Guided Commonsense Filtering, AGCF), 생성 중 상식 메모리를 동적으로 검색하는 반복적 상식 인지 디코딩(Iterative Commonsense-Aware Decoding, ICAD). Empathetic-Dialogues 벤치마크에서의 실험 결과, DCC는 CEM 기준선 대비 감정 분류 정확도와 응답 다양성을 향상시키면서 perplexity는 유사한 수준을 유지한다. LLM 기반 블라인드 평가는 DCC가 더 나은 관련성, 일관성, 정보성을 갖춘 응답을 생성함을 추가로 보여준다. 코드와 구현 세부사항은 https://github.com/Hanabi-Q/DCC-ERG 에서 공개될 예정이다.

arXiv:2607.21016v1cs.CL

CultureTalk-ID: 인도네시아 지역 언어 문화적 상식을 위한 다중 과제 대화 벤치마크

CultureTalk-ID: A Multi-Task Dialogue Benchmark for Cultural Commonsense in Indonesian Local Languages

문화는 대화를 통해 살아 숨 쉬지만, 기존 인도네시아 문화적 상식 벤치마크는 대규모 언어 모델(LLM)을 짧고 고립된 프롬프트로 평가하여, 문화적 뉘앙스가 실제로 드러나는 대화적 맥락을 제거한다. 우리는 CultureTalk-ID를 제안한다. 이는 인도네시아어 및 그 지역 언어에서 문화적 상식을 평가하기 위한 최초의 대화 기반 벤치마크로, 11개 언어와 13개의 문화적으로 중요한 주제에 걸친 4,496개의 문화적으로 정합된 대화로 구성되며, 진정성을 보장하기 위해 원어민 화자가 참여한 다단계 인간 파이프라인을 통해 구축되었다. CultureTalk-ID는 세 가지 상호 보완적인 과제, 즉 대화 기반 다지선다 문화적 상식 추론, 문화적으로 충실한 기계 번역, 그리고 언어 스티어링(language steering)을 도입하며, 이들은 LLM이 문화적으로 정합된 언어를 이해하고, 전달하고, 생성할 수 있는지를 함께 탐색한다.

arXiv:2607.10190v1cs.LG

PhysMRV: 물리적 타당성 추론을 위한 물리 메모리 검색 및 검증

PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning

비디오-언어 모델(VLM)은 비디오 이해 및 시각적 질의응답에서 뛰어난 성능을 달성했지만, 물체 상호작용, 인과적 역학, 근본적인 물리 원칙에 대한 이해가 필수적인 물리적 타당성 추론에서는 여전히 신뢰성이 부족하다. 이러한 한계는 난이도 높은 물리적 추론 벤치마크에서 특히 두드러지며, 물리적 상식 추론의 지속적인 격차를 드러낸다. 이 문제를 해결하기 위해 우리는 물리적 타당성 추론을 위한 학습 없는 물리 메모리 및 검증 프레임워크인 PhysMRV를 제안한다. 의미적으로 유사한 비디오를 추가 컨텍스트로 검색하는 검색-증강 VLM과 달리, PhysMRV는 학습 비디오를 세 가지 상호보완적 수준으로 구성된 계층적 메모리 뱅크(Hierarchical Memory Bank)의 구조화된 물리 지식으로 변환한다: 시각적 컨텍스트를 포착하는 장면 설명, 물체 상호작용과 인과 구조를 모델링하는 물리-이벤트 그래프, 재사용 가능한 물리 원칙과 단서를 추출하는 물리 규칙 요약. 추론 시 PhysMRV는 물리적으로 관련된 메모리를 검색하고 구조화된 물리적 증거를 활용하여 동결된 VLM이 물리적 타당성을 검증하도록 유도하며, 미세조정이나 매개변수 업데이트를 필요로 하지 않는다. 우리는 ImplausiBench, IntPhys2, GRASP Level 2의 세 가지 난이도 높은 물리적 추론 벤치마크에서 다수의 최신 VLM을 대상으로 PhysMRV를 평가한다. 실험 결과는 다양한 VLM 및 평가 벤치마크에서 직접 프롬프팅 대비 일관된 성능 향상을 보여주며, 구조화된 물리 메모리가 추가 학습 없이 물리적 타당성 추론을 향상시키는 효과적이고 확장 가능한 수단을 제공함을 입증한다.

arXiv:2606.26794v1cs.CV

ReasonCLIP-58M: CLIP을 위한 시각적으로 그라운딩된 상식 추론 지도

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M은 CLIP 스타일 모델에 아키텍처 변경 없이 대규모 시각적 상식 추론 지도를 2단계 연속 사전학습으로 통합하는 프레임워크이며, ReasonLite-42M·ReasonPro-16M과 RCLIP-Bench를 함께 제안한다. ReasonCLIP은 시각적으로 그라운딩된 상식·구성적 추론과 제로샷 검색을 개선하고, LLaVA-NeXT 같은 멀티모달 LLM(MLLM)의 시각 인코더로 추가 추론 비용 없이 교체해 일관된 성능 향상을 보인다.

arXiv:2606.24841v1cs.AI

Matching Tasks to Objectives: Fine-Tuning and Prompt-Tuning Strategies for Encoder-Decoder Pre-trained Language Models

Prompt-based learning has emerged as a dominant paradigm in natural language processing. This study explores the impact of diverse pre-training objectives on the performance of encoder-decoder pre-trained language models across generation and question answering tasks, with a focus on commonsense knowledge retrieval and completion. We highlight the benefits of incorporating multiple objectives during both pre-training and fine-tuning stages. We introduce the Match Task to Objective (MTO) framework and methods for determining the appropriate objective for a given task. This framework offers automated methods to prepare task-related data for adaptation through unsupervised training, based on the identified objective. In the fine-tuning stage, we design novel templates that align with the objectives of the pre-training and adaptation stages. When aligned with task requirements, these strategies can achieve a performance gain of over 120\% compared to conventional methods in few-shot settings. They significantly outperform related works in few-shot settings and exceed the baseline even in full-dataset scenarios. Furthermore, we extend this approach to include prompt-tuning methodologies, providing guidance for more effective soft prompt engineering and optimization. Our strategies significantly enhance prompt-tuning performance as well. These insights hold substantial value, precisely guiding the selection and optimization of models customized for specific tasks. Code is available at https://github.com/puraminy/MTO/

arXiv:2606.11637v1cs.AI

TouchThinker: 대규모 데이터와 행동 인식 표현을 통한 오픈 월드 촉각 상식 추론 확장

TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation

촉각 상식 추론의 오픈 월드 확장을 위해 대규모 데이터셋과 액션 인지 표현 학습 메커니즘을 갖춘 TouchThinker 프레임워크를 제안한다. 100만 개 규모의 데이터셋 구축과 효율적인 표현 모델링을 통해 다양한 데이터셋에서 최첨단 성능을 달성했다.