PyTorchKR Papers

최신 논문

총 23편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26780v2cs.CL

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2609.27890v1cs.CV

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.26658v1cs.IR

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2609.24626v1cs.CV

자율 주행을 위한 관계적으로 그라운딩된 잠재 세계 모델

Relationally Grounded Latent World Models for Autonomous Driving

잠재 세계 모델은 자율 주행을 위한 예측적 표현을 학습하지만, 이러한 상태가 보존하는 관계적 의미는 종종 암묵적으로 남아 있다. 우리는 교통 장면 그래프가 잠재 세계 표현에 대한 특권적 의미 감독으로 기능할 수 있는지 조사한다. LAW를 기반으로 nuScenes 3D 주석으로부터 액터 중심 장면 그래프를 구성하고, 동결된 텍스트 임베딩 모델로 직렬화된 관계 구조를 인코딩하며, 학습 중 시각적 잠재 표현을 이 의미적 목표와 정렬한다. 추론 시 감독 분기를 제거하므로 장면 그래프나 3D 주석이 필요하지 않으며 테스트 시간 계산도 추가하지 않는다. nuScenes에서 우리 방법은 재학습한 LAW 기준선 대비 평균 궤적 L2 오류를 0.661에서 0.622(5.9%)로, 충돌률을 0.456에서 0.217(52.4%)로 낮춘다. 또한 비구조화된 캡션 스타일 의미 목표보다 우수하여, 잠재 세계 모델 표현 학습에서 명시적 관계 구조의 이점을 뒷받침한다.

arXiv:2609.23717v1cs.CV

BindCLIP: 구성적 비전-언어 스코어링을 위한 하나의 균형 잡힌 커플링

BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring

전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.

arXiv:2609.23534v1cs.CV

PosEviLoc: 언어 기반 3D 위치 추정을 위한 위치 조건부 공간 증거

PosEviLoc: Position-Conditioned Spatial Evidence for Language-Based 3D Localization

언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.

arXiv:2303.13102v2cs.CV공식 코드 · Papers with Code

키포인트 유도 최적 수송: 모델, 알고리즘 및 응용

Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications

기존의 최적 수송(Optimal Transport, OT) 방법들은 주로 수송 비용/거리 최소화 기준에 따라 최적 수송 계획/매칭을 도출하는데, 이는 일부 경우에 잘못된 매칭을 유발할 수 있습니다. 실제 응용에서는 도메인 간 매칭된 소수의 키포인트를 주석(annotation)하는 것이 합리적이거나 주석 부담 측면에서 거의 노력이 들지 않기도 합니다. 따라서 주석 처리된 키포인트를 활용하여 OT에서 올바른 매칭을 유도하는 방법을 연구하는 것은 가치 있는 일입니다. 본 논문에서는 OT에서 키포인트의 유도를 받아 최적 매칭(즉, 수송 계획)을 탐색하는 관계 보존 기반의 새로운 키포인트 유도 모델(KPG-RL)을 제안합니다. KPG-RL은 수송 과정에서 키포인트 쌍의 매칭을 보존하기 위해 수송 계획의 마스크 기반 제약 조건을 활용하며, 각 데이터 포인트와 키포인트 간의 관계를 바탕으로 매칭을 유도합니다. KPG-RL은 칸토로비치(Kantorovich) 및 그로모프-바서슈타인(Gromov-Wasserstein) 정식화 하에서 균형 및 불균형/부분 수송 설정 모두에 대해 개발되었습니다. 또한, $\chi^2$-정규화된 KPG-RL 모델의 쌍대 정식화(dual formulation)를 도출하여, 이를 통해 심층 학습(deep learning) 기술 기반으로 수송을 학습함으로써 더 많은 수의 데이터로의 스케일링을 개선합니다. 학습된 수송 계획을 바탕으로, 소스 데이터를 타깃 도메인 데이터 매니폴드로 수송하기 위해 매니폴드 무게중심 투영(manifold barycentric projection)과 매니폴드 샘플링(manifold sampling)이라는 두 가지 새로운 신경망 수송 전략을 개발합니다. 응용 사례로서, 제안된 접근 방식을 이종 도메인 적응(heterogeneous domain adaptation), 다중 오믹 단일 세포 정렬(multi-omic single-cell alignment), 이미지 간 변환(image-to-image translation)에 적용합니다. 실험을 통해 본 접근 방식의 효과를 검증했습니다.

arXiv:2607.22847v1cs.CV

시선 고정 소셜 넷: 공동 모델링을 통한 암묵적 관계 해독

Gaze-Anchored Social Net: Decoding Implicit Relations via Joint Modeling

인간의 시선은 시각적 대상을 가리키는 것 이상의 역할을 하며, 정적 이미지 내에서 사회적 의도의 미묘한 지표로 작용한다. 반면 표준 모델은 일반적으로 개인을 독립적으로 처리하며, 시선을 i.i.d. 양으로 취급하거나 사회적 의미를 고립된 상태에서 예측한다. 최근 다인(multi-person) 방법들이 이를 해결하려 시도하지만, 사회적 관계를 시선 추정 과정과 분리된 경직된 사후(post-hoc) 분류로 취급하는 경우가 많다. 이러한 과단순화는 사회적 의도의 미묘한 특성을 포착하지 못한다. 사회적 의도는 부차적인 범주형 출력이 아니라 시선 행동의 근본적 동인으로 작용하기 때문이다. 우리는 이러한 한계를 해결하기 위해 ANCHOR를 제안한다. 시각적 어텐션과 잠재적 암묵적 관계의 공동 분포를 모델링함으로써 시선 고정(gaze-anchored) 사회적 의도를 해독하도록 설계된 대상 중심(target-centric) 패러다임이다. 우리 접근법은 이러한 의존성을 시선 행동의 잠재적 구조적 골격으로 드러낸다. 아키텍처는 관계형 어텐션 메커니즘을 활용하여 세밀한 대인관계 연결을 포착하고, 단일 비전 백본에서 효율적인 다인 파싱을 위해 특징(feature)별 변조를 활용한다. 이 결합된 공식화의 학습을 안정화하기 위해, 공간적 시선 정확도와 잠재적 사회적 추론 간의 고유한 충돌을 해결하는 최적화 시너지를 구현한다. 이 접근법은 경쟁하는 태스크 그래디언트를 조화시키면서 안정적이고 평평한(flat) 최솟값을 추구함으로써 견고한 일반화를 보장한다. 우리는 밀집 다인 주석과 새로운 사회적 영향력 순위를 포함하는 확장된 벤치마크에서 프레임워크를 검증한다. 결과는 최신(state-of-the-art) 성능을 보여주며, 암묵적 사회적 위계가 정적 시선 패턴으로부터 직접 견고하게 분리(disentangle)되어 학습될 수 있음을 보여주는 최초의 정량적 증거를 제공한다.

arXiv:2506.13553v4cs.CV

주행 장면에서 일관된 차선 및 교통 토폴로지 추론을 위한 기하학 유도 표현

Geometry-Guided Representations for Coherent Lane and Traffic Topology Reasoning in Driving Scenes

도로 토폴로지 추론은 자율주행의 기본이며, 도로 요소에 대한 정확한 인식과 차선 연결성(Lane-to-Lane, L2L) 및 교통 규제(Lane-to-Traffic signs, L2T)를 포함한 복잡한 연결성에 대한 이해가 모두 필요하다. 그러나 기존 방법들은 일반적으로 인식과 토폴로지 추론을 분절된 작업으로 취급하여, 상호 향상 가능성을 무시한다. 중요한 점은, 토폴로지가 본질적으로 관계적이지만, 선행 연구들은 특징 추출 과정에서 기하학적 관계를 종종 간과하고, 대신 추론 시점에만 적용되는 취약한 후처리나 좌표 기반 휴리스틱에 의존한다는 것이다. 이 격차를 메우기 위해, 우리는 세 수준에 걸쳐 기하학 유도 관계 모델링을 통합하는 통합 프레임워크인 CoPo(Coherent Perception and toPology)를 제안한다: 1) 인식 수준: 기하학 편향 자기-어텐션(geometry-biased self-attention)과 곡선 유도 교차-어텐션(curve-guided cross-attention)을 활용하여 구조적 사전 지식으로 차선 표현을 풍부하게 하는 관계 인식 차선 검출기를 도입한다; 2) 추론 수준: 특징을 효과적으로 정렬하여 연결성을 추론하는 기하학 강화 L2L 헤드와 교차-뷰(cross-view) L2T 헤드를 포함하는 관계 강화 토폴로지 헤드를 설계한다; 3) 지도 학습 수준: 관계 임베딩을 정규화하기 위해 대조 InfoNCE 전략을 구현하여, 잠재 공간에서 연결된 쌍을 더 가깝게 당긴다. 이러한 일관된 다중 수준 설계는 인식과 추론의 end-to-end 공동 최적화를 가능하게 한다. OpenLane-V2에 대한 광범위한 실험에서 CoPo는 기존 방법들을 크게 능가하며, DET$_l$에서 {\textbf{+3.1}}, TOP$_{ll}$에서 {\textbf{+5.3}}, TOP$_{lt}$에서 {\textbf{+4.9}}, OLS 전체에서 {\textbf{+4.4}}의 향상을 달성하여 새로운 최신 기술(state-of-the-art)을 수립한다.

arXiv:2607.21228v1cs.CV

T-STAR: 위성 영상 시공간 팬옵틱 장면 그래프 생성 대규모 벤치마크

T-STAR: A Large-Scale Benchmark for Spatio-Temporal Panoptic Scene Graph Generation in Satellite Video

위성 영상의 구조적 이해는 저수준 지각에서 고수준 인지까지 동적 지리공간 장면 분석을 발전시키는 데 필수적이다. 객체 중심 인지를 넘어서기 위해, 본 논문은 위성 영상에서의 시공간 팬옵틱 장면 그래프 생성(spatio-temporal panoptic scene graph generation, TPSG)을 새로운 벤치마크 과제로 제안한다. TPSG는 명시적 시간 구간을 갖는 <주체(subject), 관계(relationship), 객체(object)> 삼중항 집합으로 구성된 구조화된 그래프를 생성하는 것을 목표로 하며, 팬옵틱 장면 요소 간의 정체성 일관 인스턴스 마스크와 시공간 관계를 공동으로 모델링함으로써 동적 지리공간 장면을 기술한다. 그러나 위성 영상에서의 TPSG를 위한 전용 데이터셋은 아직 존재하지 않는다. 또한 위성 영상에서의 TPSG는 본질적으로 어려운데, 객체가 종종 작고 질감이 약하며, 프레임 간 연관이 가림(occlusion)과 배경 잡음(background clutter)에 의해 쉽게 방해받고, 관계 의미는 공간 구조 및 시간적 진화와 밀접하게 결합되어 있기 때문이다. 결과적으로 자연 영상(natural videos)용으로 개발된 TPSG 모델은 위성 영상에 직접 적용할 수 없다. 본 논문은 위성 영상에서의 TPSG를 위한 대규모 벤치마크 데이터셋인 T-STAR를 제시하며, 39개의 세분화된 객체 범주와 70개의 세분화된 관계 범주에 걸쳐 110만 개 이상의 인스턴스 마스크와 380만 개 이상의 시공간 삼중항을 포함한다. 위성 영상에서 TPSG를 가능하게 하기 위해, 프레임 간 인스턴스 일관성과 시공간 관계 예측을 향상시키는 통합 프레임워크를 제안한다. 광범위한 실험을 통해 T-STAR의 중요성과 제안 프레임워크의 효과를 입증하여, 구조화된 위성 영상 이해에 대한 향후 연구를 위한 강력한 벤치마크를 확립한다. 데이터셋과 코드는 https://github.com/linlin-dev/T-STAR 에서 이용할 수 있다.

arXiv:2607.21085v1cs.CV

Geo3R: 다중모달 대규모 언어 모델의 공간 추론 환각 완화

Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models

비주얼 이해에서 눈에 띄는 진전에도 불구하고, 다중모달 대규모 언어 모델(MLLM)은 공간 관계를 추론할 때 여전히 환각에 취약하며, 장면의 실제 3D 구조와 모순되는 판단을 내는 경우가 많다. 기존 여러 연구가 환각 완화를 제안했지만, 우리의 분석에 따르면 이들은 2D 시각 표현과 3D 공간적 현실 사이의 근본적 격차를 메우지 못해 공간 추론에서 제한적인 효과만을 보인다. 이 발견을 바탕으로, 우리는 공간 구조 모델링의 부족에서 기인하는 환각을 공간 추론 환각(spatial reasoning hallucination)으로 정의하며, 이는 기존 완화 방법이 다루지 못하는 관계 환각(relation hallucination)의 하위 범주이다. 또한 이러한 환각이 빈번히 발생하는 세 가지 전형적 시나리오를 밝혔다: 원근 효과(perspective effects), 객체 방향(object orientation), 시점 변화(viewpoint changes). 이에 우리는 기하학적 증거와 구조화된 3D 추론을 통합하여 공간 추론 환각을 완화하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 Geo3R을 제안한다. 세 가지 시나리오를 모두 아우르는 18개 과제를 포함한 세 벤치마크에서의 실험 결과, Geo3R은 추가 학습 없이 다양한 MLLM에서 공간 추론 환각을 크게 줄였으며, 기존 모델과 방법들을 능가했다.

arXiv:1905.05529v5cs.CL

다회차 질의응답으로서의 개체-관계 추출

Entity-Relation Extraction as Multi-Turn Question Answering

본 논문에서는 개체-관계 추출 과업을 위한 새로운 패러다임을 제안한다. 우리는 이 과업을 다회차 질의응답(multi-turn QA) 문제로 형식화하며, 즉 개체와 관계의 추출을 문맥에서 답변 스팬(answer span)을 식별하는 과업으로 변환한다. 이러한 다회차 QA 형식화는 여러 핵심 장점을 갖는다. 첫째, 질문 쿼리는 식별하고자 하는 개체/관계 클래스에 대한 중요한 정보를 인코딩한다. 둘째, QA는 개체와 관계를 공동으로 모델링하는 자연스러운 방법을 제공한다. 셋째, 잘 발달된 기계 독해(machine reading comprehension, MRC) 모델을 활용할 수 있다. ACE 및 CoNLL04 코퍼스에 대한 실험은 제안된 패러다임이 이전 최고 모델들을 크게 능가함을 보여준다. 우리는 ACE04, ACE05, CoNLL04 데이터셋 모두에서 최신 최고(state-of-the-art) 결과를 달성하였으며, 세 데이터셋의 SOTA 결과를 각각 49.4(+1.0), 60.2(+0.6), 68.9(+2.1)로 향상시켰다. 또한, 이전 데이터셋의 트리플릿 추출(triplet extraction)에서의 단일 단계 의존성 추출과 달리, 개체 의존성을 구성하기 위해 다단계 추론(multi-step reasoning)이 필요한 중국어 신규 데이터셋 RESUME을 구축한다. 제안된 다회차 QA 모델은 RESUME 데이터셋에서도 최고 성능을 달성한다.

arXiv:2607.14593v2cs.HC

기억 기반 자기개방과 관계적 전환점: 인간-AI 상호작용에 대한 종단적 다중모달 연구

Memory-Driven Self-Disclosure and Relational Turning Points: A Longitudinal Multimodal Study of Human-AI Interaction

대화형 AI 시스템이 반복 사용을 위해 설계될수록, 일련의 상호작용이 어떻게 관계가 되는지가 핵심 질문이 된다. 우리는 메모리 증강 대화형 에이전트(참가자 24명 × 10회 세션)에 대한 종단적 다중모달 연구를 수행했으며, 참가자들은 각 세션 후 친숙도, 자기개방, 인지된 기억, 대화 품질, 즐거움의 다섯 가지 관계 구인을 평가했다. 상호 보완적인 두 가지 역학이 나타난다. 첫째, 대화 품질은 당시 세션이 얼마나 즐거운지에 강하게 영향을 미치지만 세션 간으로 이어지지는 않는 반면, 인지된 기억은 관계적으로 조건화되어 있다—시스템 역량만을 반영하기보다는 이전의 관계 상태에 의해 예측되며—이후의 자기개방을 통해 간접적으로 이후의 즐거움을 형성한다. 둘째, 관계는 다중모달 행동에서 부분적으로 추적 가능하고 서로 다른 개입 시점을 열어주는 이산적 전환점—급락과 급등—으로 구분된다: 급등은 그 순간 행동적으로 더 잘 탐지되며, 즐거움 급등은 즐거움 급락이 회복되는 것보다 더 안정적으로 지속되고, 일부 급락은 이미 발생한 이후 탐지되기보다 개인별 행동 표류로부터 더 잘 예측된다. 종합하면, 이러한 발견은 종단적 인간-AI 관계가 느린 축적과 급격한 전환점 모두를 통해 형성됨을 시사한다.

arXiv:2606.05895v4cs.CL

연구 어텐션을 맥락적으로 구조화된 흐름으로 표현하기

Representing Research Attention as Contextually Structured Flows

연구 지표는 사회적 영향의 증거로 어텐션을 사용한다. 그러나 어텐션은 해석된 이후에만 증거로 기능하며, 그 의미는 단순한 양이 아니라 맥락적 구조에 달려 있다. Altmetrics는 신호를 고립적으로 표현하여, 특정 산출물이 받은 어텐션의 횟수 또는 시점의 순서만을 기록한다. 우리는 어텐션 흐름(attention flows)으로 이 문제에 대응한다. 이는 산출물의 어텐션을 그것이 분포되는 맥락들 속에 위치시키는 표현이다. 흐름을 평가하기 위해, 우리는 유추 쿼리(analogy queries) 벤치마크를 구축한다. 각 쿼리는 두 산출물 간의 관계를 세 번째에 적용했을 때 네 번째가 도출되는지를 검증한다. 횟수 및 순서 기준선(baselines)은 이러한 관계를 복원하지 못하지만, 동적 맥락화 표현(dynamic contextualised representations)으로 학습된 흐름은 이를 복원한다. 복원된 구조는 부분 관측에서도 유지되며, 양이 아니라 그 맥락들에 기반한다. 이러한 결과는 연구 평가를 위해 맥락적으로 구조화된 형태로 표현된 어텐션을 뒷받침한다.

arXiv:2604.09870v2cs.LG

루프형 트랜스포머 내부 상태의 관계적 선호 인코딩

Relational Preference Encoding in Looped Transformer Internal States

본 연구는 루프형 트랜스포머가 인간 선호를 어떻게 인코딩하는지 조사하며, Anthropic HH-RLHF에서 동결된 Ouro-2.6B 루프 반복 상태 위에 경량 평가자 헤드를 학습한다. v2: 정오표가 앞에 추가되었으며, 원고는 변경되지 않았다. 출판 후 감사에서 두 가지 독립적인 평가 오류로 인해 세 가지 핵심 결과가 과장된 것으로 밝혀졌다. 95.2%의 쌍별 평가자 정확도는 정규 순서(canonical-ordering) 인공물이다. 데이터는 올바르게 분할되었지만, 평가자는 먼저 제시된 논증을 선호하도록 학습하였으며, 전체 8,552쌍 테스트 세트에 대한 엄격한 반대칭화(antisymmetrized) 정확도는 63.9%이다. 84.5%의 쌍별 프로브와 기회 수준 이하인 21.75%의 점별(pointwise) 프로브는 소스 항목 누출(source-item leaks)이었다(방향 행과 쌍 파트너가 train/test 분할을 넘어 교차함). 수정된 쌍 분리(pair-disjoint) 값은 각각 56.5%와 54.2%로, 기회 수준 이상이므로 "역전된 극성(inverted polarity)" 발견은 철회된다. 핵심 발견은 훨씬 작은 규모로 남아 있다. 선호는 점별보다 관계적으로 더 정확하게 디코딩되며(쌍별 +2.3점, 95% CI [+1.3, +3.3]), 반대칭화 평가자는 여전히 선형 프로브를 능가하지만, 수정된 판독(readout) 어느 것도 end-to-end 보상 모델에 필적하지 못한다. 방법론적 발견은 그대로 유지된다(상수 출력 퇴화, flip test, swap-protocol 지표 축소). 단, 한 가지 수정이 있다. 관계적 판별을 보증하는 것은 반대칭 상관(antisymmetry correlation)이 아니라 반대칭화 정확도이다. 두 오류는 상호적으로 드러나지 않는다. 분할 감사는 순서 사전분포(ordering prior)를 볼 수 없고, 반대칭화는 누출을 볼 수 없으므로 두 검사 모두 필요하다. 전체 감사는 후속 연구(Kirin, 2026, 준비 중)에 있다.

arXiv:2607.14543v1cs.RO

SafeRelBench: VLM 기반 체화 에이전트의 프로세스 수준 안전성을 위한 공간 관계 인식 벤치마크

SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents

비전-언어 모델(VLM)은 점점 더 체화 에이전트의 추론 백본으로 사용되어, 로봇이 시각적 장면을 해석하고, 언어 지시를 따르며, 다단계 행동을 계획할 수 있게 한다. 그러나 가정 환경에서 안전성은 객체 인식뿐만 아니라, 행동이 시간에 따라 물리적 장면을 어떻게 변화시키는지에도 달려 있다. 기존 체화 안전성 평가는 대체로 정적 위험 인식, 불안전한 지시 거부, 또는 최종 상태 작업 완료에 초점을 맞춘다. 그 결과, 지지(support), 포함(containment), 근접(proximity)과 같은 공간 관계에 의해 유발되는 프로세스 수준 안전성 실패는 충분히 연구되지 않은 채 남아 있다. 이 공백을 메우기 위해, 우리는 507개의 실행 가능한 평가 샘플(공간 관계 샘플 248개 및 비공간 대조 샘플 259개)을 포함하는 공간 관계 인식 안전성 벤치마크인 SAFERELBENCH를 제안한다. SAFERELBENCH를 사용하여 7개의 오픈소스 및 폐쇄형 VLM 기반 체화 에이전트를 평가한 결과, 작업 성공과 프로세스 수준 안전성 준수 사이에 상당한 격차가 있음을 발견했다: 모델들은 종종 요청된 작업을 완료하면서도 프로세스 수준 안전성 제약을 위반한다. 기존 벤치마크와 달리, SAFERELBENCH는 위험에 취약한 행동 이전에 에이전트가 안전성 조건을 충족하는지를 명시적으로 검사하여, 공간 관계를 체화 안전성 평가의 핵심 차원으로 만든다. 더 넓게 보면, 우리 결과는 안전한 체화 지능이 더 강한 지각과 계획뿐만 아니라, 상호작용 중 객체 관계가 위험을 어떻게 형성하는지에 대한 신뢰할 수 있는 추론 또한 필요함을 보여준다.

arXiv:2509.24566v2cs.CV

TokenSwap: 대규모 비전-언어 모델의 구성적 이해에 대한 백도어 공격

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

대규모 비전-언어 모델(LVLM)은 다양한 비전-언어 과제에서 인상적인 성능을 달성했지만, 백도어 공격에 여전히 취약하다. 기존 LVLM 백도어 공격은 피해 모델이 미리 정의된 대상 패턴을 생성하도록 강제하는 것을 목표로 하며, 이 패턴은 원본 콘텐츠에 삽입되거나 원본을 대체한다. 우리는 이러한 고정 패턴 공격이 상대적으로 탐지하기 쉽다는 것을 발견했다. 공격받은 LVLM이 학습 데이터셋에서 이러한 빈번한 패턴을 암기하는 경향이 있어, 오염된 입력에 대해 이러한 대상에 과신(overconfidence)을 보이기 때문이다. 이러한 한계를 해결하기 위해, LVLM의 구성적 이해 능력에 초점을 맞춘 더 회피적이고 은밀한 백도어 공격인 TokenSwap을 제안한다. 고정된 대상 콘텐츠를 강제하는 대신, TokenSwap은 텍스트에서 객체 관계에 대한 이해를 미묘하게 교란한다. 구체적으로, 백도어가 심어진 모델이 이미지의 올바른 객체는 언급하지만 그 관계를 잘못 표현하는 출력을 생성하게 한다(즉, bag-of-words 행동). 학습 중 TokenSwap은 선택된 샘플에 시각적 트리거를 주입하고, 동시에 해당 텍스트 답변에서 핵심 토큰의 문법적 역할을 교환한다. 그러나 오염된 샘플은 원본과 미묘한 차이만을 보이므로, 모델이 백도어 행동을 학습하기 어렵게 만든다. 이를 해결하기 위해 TokenSwap은 교환된 토큰의 학습을 명시적으로 강조하는 적응형 토큰 가중 손실을 사용하여, 시각적 트리거와 bag-of-words 행동이 연관되도록 한다. 광범위한 실험을 통해 TokenSwap이 여러 벤치마크와 다양한 LVLM 아키텍처에서 뛰어난 회피성과 은밀성을 유지하면서 높은 공격 성공률을 달성함을 보여준다.

arXiv:2607.12786v1cs.CV

CoRe: 비전-언어 모델에서의 이미지 간 비교 추론을 위한 포괄적 프레임워크

CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models

이미지 간 비교 추론은 비전-언어 모델(VLM)에서 여전히 어려운 과제이며, 특히 정확한 예측을 위해 세밀한 속성 그라운딩(grounding)과 전역적으로 일관된 추론이 필요할 때 더욱 그렇다. 우리는 이 문제를 위한 통합 프레임워크인 CoRe를 제안한다. CoRe는 다음을 포함한다: (i) CoRe-20K — 다중 전문가 협업 파이프라인을 통해 구조화된 시각 메타데이터로부터 자동 구축된 대규모 트리플릿 기반 학습(training) 데이터셋으로, 계수, 깊이, 거리, 공간 관계를 포괄한다; (ii) TriSR — GRPO 최적화(optimization) 하에서 속성 그라운딩, 판단 정렬(alignment), 트리플릿 일관성을 공동으로 감독하는 구조화된 보상(reward) 프레임워크; (iii) CoRe-Bench — 세밀한 이미지 간 비교 추론에 특화된 최초의 벤치마크(benchmark). 실험 결과 CoRe는 CoRe-Bench에서 기존 VLM을 크게 능가하면서 표준 멀티모달 벤치마크에서도 경쟁력을 유지하며, 가장 강한 기준선(baseline) 대비 부분 정확도에서 28.2점 향상을 달성했다.

arXiv:2311.02564v2cs.CL

의미 향상 메커니즘 기반 관계 추출 모델

Relation Extraction Model Based on Semantic Enhancement Mechanism

관계 추출(Relation Extraction)은 자연어 처리(NLP) 분야에서 정보 추출과 관련된 기본 태스크 중 하나로, 정보 추출, 자연어 이해, 정보 검색 분야에서 중요한 연결 고리이자 핵심 태스크이다. 기존의 관계 추출 방법들은 트리플 중첩(triple overlap) 문제를 효과적으로 해결하지 못한다. 본 논문에서 제안하는 CasRel 프레임워크와 의미 향상 메커니즘을 결합한 CasAug 모델은 이 문제를 어느 정도 해결할 수 있다. CasAug 모델은 의미 향상 메커니즘을 추가함으로써 식별된 후보 주어(subject)의 의미를 강화한다. 먼저 후보 주어의 의미 인코딩을 기반으로 후보 주어를 사전 분류(pre-classification)하고, 주어 어휘 사전(subject lexicon)과 결합하여 의미 유사도를 계산함으로써 후보 주어의 유사 어휘를 획득한다. 획득된 유사 어휘를 바탕으로 서로 다른 관계 내 각 단어가 어텐션 메커니즘을 통해 후보 주어에 대한 기여도로 계산된다. 최종적으로 관계 사전 분류 결과와 결합하여 각 관계의 강화된 의미에 가중치를 부여함으로써 후보 주어의 강화된 의미를 도출하고, 해당 강화된 의미와 후보 주어를 결합하여 객체(object) 및 관계 추출 모듈로 전달한다. 이를 통해 최종 관계 트리플 추출을 완료한다. 실험 결과, 기준선 모델과 비교하여 본 논문에서 제안한 CasAug 모델이 관계 추출 성능을 향상시켰으며, 중첩 문제 처리 및 다중 관계 추출 능력 또한 기준선 모델보다 우수함을 확인하였다. 이는 본 논문에서 제안한 의미 향상 메커니즘이 중복 관계 판단을 더욱 줄이고 트리플 중첩 문제를 완화할 수 있음을 나타낸다.

arXiv:2606.27808v1cs.CL

자동차 정비 지침으로부터 상보적 행동 모델링 학습

Learning Complementary Action Modeling from Automotive Maintenance Instructions

자동차 정비 지침에서 미세한 어휘 변화가 절차적 의미를 역전시키는 현상에 주목하여, 행동 구(action phrase)만 수정하면서 나머지 문맥을 보존해 절차적 대응 쌍을 식별·생성하는 상보적 행동 모델링(CAM, Complementary Action Modeling) 과제를 정의한다. 독일어 자동차 정비 데이터셋을 기반으로 후보 매칭과 제어된 Seq2Seq 생성 실험을 수행한 결과, 상보적 정비 지침은 표면적 유사성이나 동의어 기반 패러프레이징이 아닌 미묘한 어휘 단서에 기반한 절차적 연관으로 모델링해야 함을 보였다.