Top-down Activity Representation Learning for Video Question Answering
원문 초록
Capturing complex hierarchical human activities, from atomic actions (e.g., picking up one present, moving to the sofa, unwrapping the present) to contextual events (e.g., celebrating Christmas) is crucial for achieving high-performance video question answering (VideoQA). Recent works have expanded multimodal models (e.g., CLIP, LLaVA) to process continuous video sequences, enhancing the model's temporal reasoning capabilities. However, these approaches often fail to capture contextual events that can be decomposed into multiple atomic actions non-continuously distributed over relatively long-term sequences. In this paper, to leverage the spatial visual context representation capability of the CLIP model for obtaining non-continuous visual representations in terms of contextual events in videos, we convert long-term video sequences into a spatial image domain and finetune the multimodal model LLaVA for the VideoQA task. Our approach achieves competitive performance on the STAR task, in particular, with a 78.4% accuracy score, exceeding the current state-of-the-art score by 2.8 points on the NExTQA task.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
손실 압축 텍스트 오토인코더
Lossy Compressive Text Autoencoders
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
3D 비전-언어에서 정렬에서 융합으로
From Alignment to Fusion in 3D Vision-Language
통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.
EidosDoc: 비용 효율적인 반구조화 문서 QA를 위한 암시적 구조 인코딩
EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA
반구조화 문서는 과학 보고서, 재무제표, 기술 매뉴얼 등에서 흔히 등장한다. 이러한 문서에 대한 질의응답(QA)은 텍스트, 표, 차트, 복잡한 계층적 레이아웃을 동시에 이해해야 한다. 기존 방법은 구조 파싱과 검색을 위해 대규모 언어 모델(LLM)을 반복 호출하여 높은 비용과 큰 지연을 초래하거나, 문서를 평탄화하여 레이아웃과 계층 정보를 잃고 답변 정확도를 희생한다. 이를 해결하기 위해 최소한의 계산 비용으로 최고 수준의 정확도를 달성하는 새로운 시스템 EidosDoc을 제안한다. 우리 접근법은 세 가지 핵심 혁신을 도입한다. (1) 대조 학습(contrastive learning)과 구조 일관성 손실(structure consistency loss)으로 학습되는 암시적 구조 인코더(Implicit Structure Encoder). 이 모듈은 계층적 관계, 공간적 위치, 텍스트 내용을 밀집 벡터 공간에 공동 임베딩하여, 수동으로 정의하고 오류가 발생하기 쉬운 구조 없이 문서 구조를 전체적으로 포착한다. (2) BM25, 레이아웃 핑거프린트, 경량 cross-encoder를 활용해 LLM을 전혀 호출하지 않고 고정밀도 검색을 수행하는 하이브리드 검색 파이프라인으로, 비용과 지연을 크게 줄인다. (3) 공간적으로 인접하고 구조적으로 관련된 증거를 적응적으로 검색하여 고정 경로 검색 방법에서 흔한 증거 누락을 극복하는 동적 증거 확장(Dynamic Evidence Expansion) 메커니즘. 네 개의 벤치마크에서 EidosDoc을 평가했으며, 종합 평가 결과 EidosDoc은 네 벤치마크 모두에서 새로운 최고 수준의 정확도를 달성한다. 특히 이전 최고 수준 방법 대비 비용은 50배 감소하고 지연은 4배 낮다. 이 결과는 EidosDoc이 정확도, 비용, 속도 사이의 새로운 최적 절충을 확립하며, 정확한 반구조화 문서 분석을 위한 실용적이고 확장 가능한 경로를 제공함을 보여준다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.