PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.16331v4cs.CL

Re:Form -- 대규모 언어 모델에서 강화학습을 활용한 확장 가능한 형식 소프트웨어 검증의 인간 어노테이션 감소: Dafny에 대한 예비 연구

Re:Form -- Reducing Human Annotations in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny

비형식 언어 기반(예: 인간 언어) 대규모 언어 모델(LLM)을 강화학습(RL)으로 학습하는 기존 방식은 중요한 학습 신호를 제공하는 검증 과정이 신뢰할 수 없고 확장도 어렵다는 근본적인 문제를 안고 있다. 실제로 널리 사용되는 대형 독점 모델들은 검증 가능한 프로그램을 거의 생성하지 못한다. 이에 대한 유망하지만 아직 충분히 탐구되지 않은 대안이 형식 언어 기반 추론이다. 생성 모델이 형식 언어 공간(예: Dafny)에서 동작하는 엄밀한 형식 시스템에 LLM을 그라운딩하면, 추론 과정과 결과를 자동으로 수학적으로 증명 가능한 방식으로 검증할 수 있다. 이 능력은 대규모의 신뢰할 수 있는 형식 소프트웨어 검증을 달성하는 데 핵심적이다. LLM의 추론 및 코딩 능력을 유도하기 위해 인간이 어노테이션한 사고의 연쇄(Chain-of-Thought)와 답변을 활용하는 것이 일반적인 관행이나, 복잡한 프로그래밍 작업을 감독하기 위한 이러한 사전 정보를 제공하는 것은 감당하기 어려울 정도로 많은 자원을 소모한다. 본 연구에서는 파일럿 스터디의 주요 환경으로 형식 언어인 Dafny를 사용하여 인간 어노테이션을 줄이는 방법을 체계적으로 탐구한다. 우리의 파이프라인은 자동화되고 확장 가능한 데이터 큐레이션 파이프라인의 도입과, 형식 언어 검증기의 피드백을 통합한 세심한 강화학습 설계에 주로 의존한다. 우리는 명세 추론을 위해 자동 형식화된 명세를 갖춘 합성적 형식 프로그램 벤치마크인 DafnyComp를 소개한다. 우리의 지도 미세조정(SFT) 단계는 소규모 모델(예: 0.5B)도 구문적으로 유효하고 검증 가능한 Dafny 코드를 생성할 수 있게 하여 독점 모델을 능가한다. 정규화를 적용한 강화학습은 성능을 더욱 향상시켜, 도메인 외부 작업에 대한 더 강한 일반화를 달성하고 도전적인 DafnyComp 벤치마크에서 모든 강력한 기준 모델을 능가한다.

arXiv:2507.11878v5cs.CL

대규모 언어 모델은 유해성과 거부를 별도로 인코딩한다

LLMs Encode Harmfulness and Refusal Separately

대규모 언어 모델(LLM)은 유해한 지시를 거부하도록 학습되지만, 단순히 거부하는 것을 넘어 유해성을 진정으로 이해하고 있을까? 선행 연구에서는 LLM의 거부 행동이 1차원 부분공간, 즉 거부 방향(refusal direction)에 의해 매개될 수 있음을 보였다. 본 연구에서는 LLM의 안전성 메커니즘을 분석하는 새로운 차원으로 유해성(harmfulness)을 식별한다. 이 유해성은 거부와 별개의 개념으로 내부에 인코딩되어 있다. 거부 방향과 구별되는 유해성 방향(harmfulness direction)이 존재한다. 인과적 근거로서, 유해성 방향을 따라 조종(steering)하면 LLM이 무해한 지시를 유해한 것으로 해석하게 만들 수 있는 반면, 거부 방향을 따라 조종하면 모델의 유해성 판단을 뒤집지 않고 직접 거부 응답을 유도하는 경향이 있다. 나아가 식별된 유해성 개념을 활용하여, 특정 탈옥(jailbreak) 방법이 모델의 유해성에 대한 내부 신념을 뒤집지 않고 거부 신호를 줄이는 방식으로 작동함을 발견한다. 또한 유해한 지시를 수용하도록 모델을 적대적으로 파인튜닝해도 모델의 유해성에 대한 내부 신념에는 최소한의 영향만 미침을 확인한다. 이러한 통찰은 실용적인 안전성 응용으로 이어진다. 모델의 잠재적 유해성 표현은 안전하지 않은 입력을 탐지하고 파인튜닝 공격에 강인하면서도 과도한 거부를 줄이는 내재적 안전장치(Latent Guard)로 활용될 수 있다. 예를 들어, Latent Guard는 다양한 탈옥 방법에 걸쳐 전용 파인튜닝 안전장치 모델인 Llama Guard 3 8B와 동등하거나 더 나은 성능을 달성한다. 본 연구의 결과는 LLM의 유해성에 대한 내부 이해가 다양한 입력 지시에 대한 거부 결정보다 더 강인함을 시사하며, AI 안전성을 연구하는 새로운 관점을 제시한다.

arXiv:2507.04221v3cs.CL

문맥 내 최적화를 위한 컨텍스트 튜닝

Context Tuning for In-Context Optimization

우리는 가중치 업데이트 없이 대규모 언어 모델(LLM)의 퓨샷 적응을 크게 향상시키는 간단하고 효과적인 방법인 컨텍스트 튜닝(Context Tuning)을 소개한다. 문맥 내 학습(ICL)은 단일 순전파에서 시연(demonstration)들의 메모리 표현을 형성하지만, 표현이 불충분할 경우 이를 개선할 수 없다. 프롬프트 기반 방법은 학습 가능한 프롬프트 또는 접두 문맥을 최적화함으로써 경량 적응을 제공하지만, 시연과 무관하게 초기화된다. 이와 달리, 컨텍스트 튜닝은 모델의 고유한 ICL 능력을 활용하여 시연으로부터 학습 가능한 메모리 표현을 초기화한 뒤, 그래디언트 기반 최적화를 통해 이를 정제한다. CrossFit, UnifiedQA, MMLU, BIG-Bench Hard, ARC 등의 벤치마크에 대한 광범위한 평가 결과, 컨텍스트 튜닝은 ICL과 기존 프롬프트 기반 적응 방법 모두를 능가하며, 훨씬 높은 학습 효율로 테스트 시간 학습(Test-Time Training)과 경쟁력 있는 정확도를 달성함을 보인다.

arXiv:2506.02212v2cs.CL

자연어 처리를 활용한 생명의 신비 규명: 유전체학, 전사체학, 단백질체학에서의 NLP 접근법 리뷰

Leveraging Natural Language Processing to Unravel the Mystery of Life: A Review of NLP Approaches in Genomics, Transcriptomics, and Proteomics

자연어 처리(NLP)는 인간 언어를 위해 개발된 기법을 생물학적 서열 분석에 적용함으로써 언어학을 넘어 다양한 분야를 변혁시켜 왔다. 본 리뷰는 유전체학, 전사체학, 단백질체학에 초점을 맞추어 생물학적 서열 데이터에 대한 NLP 방법론의 적용을 탐구한다. word2vec과 같은 고전적 접근법부터 트랜스포머(transformer)와 하이에나 연산자(hyena operator)를 활용한 고급 모델에 이르기까지, 다양한 NLP 방법이 DNA, RNA, 단백질 서열 및 전체 유전체 분석에 어떻게 적용되고 있는지를 살펴본다. 또한 토큰화 전략과 모델 아키텍처를 검토하여 각각의 강점, 한계, 그리고 다양한 생물학적 과제에 대한 적합성을 평가한다. 나아가 구조 예측, 유전자 발현, 진화 분석 등 생물학적 데이터에 대한 NLP 응용의 최근 발전을 다루며, 대규모 유전체 데이터로부터 유의미한 통찰을 추출하는 데 있어 이러한 방법들의 잠재력을 강조한다. 언어 모델이 계속 발전함에 따라, 이를 생물정보학에 통합하는 것은 생명의 모든 영역에서 생물학적 과정에 대한 이해를 심화시키는 데 있어 막대한 가능성을 지닌다.

arXiv:2503.02368v4cs.CL

진화적 가이드 디코딩: 대규모 언어 모델을 위한 반복적 가치 정제

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs

가이드 디코딩, 특히 가치 기반(value-guided) 방법은 모델 재학습 없이 언어 모델 출력을 제어하는 비용 효율적인 대안으로 부상했지만, 그 효과는 가치 함수의 정확도에 의해 제한된다. 우리는 이러한 부정확성이 핵심적인 분포 간극(distributional gap)에서 비롯됨을 확인한다: 기존 방법들은 오직 기반 정책(base policy)으로부터 샘플링된 궤적으로만 정적 가치 함수를 학습시키며, 이는 학습을 잠재적 출력 공간의 좁고 차선적인 시각에 가두게 된다. 우리는 이 간극을 좁히기 위해 설계된 진화적 프레임워크인 반복적 가치 정제(Iterative Value Refinement)를 제안한다. 이 프레임워크는 보다 포괄적이고 강건한 학습 신호를 제공하는 가치 탐험(Value Exploration)을 채택하고, 한 반복에서 개선된 가치 함수를 다음 반복을 위한 고품질 데이터 생성에 활용하는 반복적 자기 정제(Iterative Self-Refinement)를 이와 함께 사용한다. 텍스트 요약, 멀티턴 대화, 인스트럭션 수행에 대한 광범위한 실험을 통해 언어 모델 정렬에서 우리 프레임워크의 효과를 입증한다. 우리의 접근법은 정렬을 달성하는 것에 그치지 않고, 효율적이고 효과적인 제어를 위한 원칙적 가치 함수 최적화를 활용함으로써 연산 비용을 크게 절감한다.

arXiv:2501.08579v3cs.CL공식 코드 · Papers with Code

LLM 기반 인간 시뮬레이션은 아직 신뢰할 수 없다

LLM-based Human Simulations Have Not Yet Been Reliable

대규모 언어 모델(LLM)은 다양한 분야에서 인간 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있다. 그러나 우리의 입장은 현재 LLM 기반 인간 시뮬레이션이 아직 충분히 신뢰할 수 없다는 것이며, 이는 시뮬레이션 결과와 실제 인간 행동 사이의 상당한 불일치로 입증된다. 본 연구는 사회적·경제적·정책적·심리적 맥락에서 LLM 기반 인간 시뮬레이션에 대한 체계적 문헌 고찰로 시작하여, 공통 프레임워크, 최근의 발전, 그리고 지속되는 한계를 파악한다. 이 고찰을 통해 해당 불일치가 주로 LLM의 고유한 한계와 시뮬레이션 설계상의 결함에서 비롯된다는 사실이 드러나며, 이 두 가지를 상세히 검토한다. 이러한 통찰을 바탕으로, 우리는 신뢰성 향상을 위해 데이터 기반 강화, LLM 역량 향상, 견고한 시뮬레이션 설계 보장을 강조하는 체계적 해결책 프레임워크를 제안한다. 마지막으로, 신뢰할 수 있고 인간과 정렬된 LLM 기반 시뮬레이션을 안내하기 위해 제안된 프레임워크를 구체화한 구조화된 알고리즘을 소개한다. 추가 연구를 촉진하기 위해 관련 문헌 및 자료 목록을 https://github.com/Persdre/awesome-llm-human-simulation 에서 제공한다.

arXiv:2410.15135v5cs.CL

TrendFact: 자동 팩트체킹에서 핫스팟 인식을 위한 벤치마크

TrendFact: A Benchmark Towards Hotspot Perception in Automatic Fact-Checking

온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.

arXiv:2607.04163v1cs.CV

SeeMe: 효과적인 시각 토큰 엔지니어링을 통한 대규모 비전-언어 모델의 환각 완화

SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering

대규모 비전-언어 모델(LVLM)은 이미지 캡셔닝 및 시각적 질의응답과 같은 시각 이해 태스크에서 괄목할 만한 발전을 이루었습니다. 그러나 LVLM은 실제 시각 입력과 일치하지 않는 내용을 생성하는 환각(hallucination)에 여전히 취약합니다. 기존 방법들은 주로 디코딩 단계에서 개입하는 반면, 디코딩 과정을 오도하는 무관하거나 노이즈가 섞인 시각 토큰이라는 환각의 핵심적인 원인을 간과합니다. 이 문제를 해결하기 위해, 우리는 전통적인 머신러닝의 특징(feature) 엔지니어링 개념을 LVLM에 도입하는 학습(training) 불필요 프레임워크인 SeeMe를 제안합니다. SeeMe는 3단계 토큰(token) 엔지니어링 프로세스를 통해 시각 토큰을 재구성함으로써 환각 원인을 억제하는 동시에 정보가 풍부한 시각적 근거를 보존합니다. 4개의 LVLM에서 MME, POPE, AMBER 벤치마크에 대한 실험 결과, SeeMe가 일관되게 환각을 감소시키고 출력 일관성을 향상시킴을 보여주며, LVLM의 환각 완화를 위한 새로운 관점을 제시합니다.

arXiv:2607.04149v1cs.CV

장면 사전 정보를 넘어서: 벤치마킹과 쿼리 기반 소형 객체 집중을 통한 세밀한 교통 장면 추론

Beyond Scene Priors: Fine-Grained Traffic Scene Reasoning with Benchmarking and Query-Guided Small-Object Focus

안전 중요 교통 시나리오에서 복잡한 질문에 답하려면 미세하고 국소적인 시각적 단서가 필요하다. 그러나 표준 멀티모달 대규모 언어 모델(MLLM)은 배경에 과도하게 주목하는 경향이 있어, 시각-언어 정렬 과정에서 중요한 소형 객체가 압도되는 문제가 발생한다. 우리는 이 실패 유형을 '핵심 증거 희석(critical evidence dilution)'이라 명명한다. 또한 기존의 시각적 질의응답(VQA) 데이터셋은 국소적 증거를 정확히 식별해야 하는 대규모의 방해 요소가 풍부한 평가를 포함하지 않아 이 결함을 거의 드러내지 못한다. 이러한 평가 및 아키텍처 격차를 해소하기 위해, 우리는 세밀한 교통 추론 벤치마크(FGTR-Bench)와 텍스트 기반 소형 객체 추론 MLLM(TSR-MLLM)을 소개한다. FGTR-Bench는 다중 에이전트 생성, 일관성 검사, 전문가 감수를 통해 제작된 40,236개의 단일 이미지 객관식 문제(MCQ)와 별도의 4,947개 샘플로 구성된 블라인드 테스트 분할로 이루어진다. 증거 희석 문제를 해결하기 위해, Qwen3-VL-4B 기반으로 구축된 TSR-MLLM은 쿼리 조건부 텍스트 기반 소형 객체 집중(TG-SOF) 맵을 활용한다. 디코더 경계에서 한 번 적용되는 이 맵은 질문과 가장 관련성 높은 비전 슬롯에 희소한 Top-K 게이팅 잔차를 추가하면서 텍스트 토큰은 변경하지 않는다. 경량 디코더 적응과 결합하여 TSR-MLLM은 외부 검출기나 이미지 재인코딩 없이 단일 패스 추론을 유지한다. 동일한 설정 하에서 TSR-MLLM은 FGTR-Bench에서 가장 강력한 4B 기준선보다 2.1점 높은 성능(전체 74.1%)을 달성하며, 증거 국소화 트랙에서 더 큰 향상을 보인다. 또한 태스크별 미세조정 없이 탐욕적 디코딩 방식으로 DriveQA-V(CARLA Signs)에서도 경쟁력 있는 성능을 유지한다.

arXiv:2607.04079v1cs.CV

한 번 보는 것으로 충분한가? 3D 질의응답을 위한 온라인 기하학 인식 토큰 가지치기

Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering

최근 멀티모달 대규모 언어 모델(MLLM)은 2D 질의응답 태스크에서 뛰어난 성능을 보여왔다. 그러나 이러한 모델을 3D 질의응답으로 확장하는 것은 여전히 어려운 과제로, 일반적으로 장면의 다중 시점이 필요하여 추론 시 상당한 계산 비용이 발생한다. 이 문제를 완화하기 위해 기존 솔루션들은 전략적 프레임 선택 또는 토큰 병합 알고리즘에 의존하며, 이는 장면의 모든 프레임을 사전에 전처리하는 오프라인 방식을 필요로 한다. 이와 달리, 우리는 추가 학습 없이 더 낮은 메모리 사용량으로 현재 MLLM 모델에 원활하게 통합될 수 있는, 3D 질의응답 태스크를 위한 최초의 온라인 토큰 가지치기 방법을 제안한다. 핵심 아이디어는 깊이 정보와 카메라 포즈를 활용하여 각 입력 프레임을 공유 복셀(voxel) 공간에 투영함으로써 프레임 간 공간적으로 중복된 영역을 식별하고, 해당 중복 이미지 토큰이 언어 모델에 입력되기 전에 선택적으로 가지치기를 수행하는 것이다. 우리의 방법은 효율적인 온라인 처리를 가능하게 하면서 토큰 사용량을 최대 50%까지 줄인다. 이 접근법을 Qwen2.5-VL-7B와 Qwen3-VL-8B에 적용하여 ScanQA, SQA3D, OpenEQA-HM3D 벤치마크에서 향상된 성능을 입증하였다.

arXiv:2607.03994v1cs.CV

전체 글리프 이미지가 토큰 임베딩을 능가한다: 트랜스포머에 대한 통제된 연구

Full Glyph Images Beat Token Embeddings: A Controlled Study for Transformers

현대 언어 모델은 일반적으로 텍스트를 이산적인 토큰 임베딩 시퀀스로 표현하는데, 이는 현재 관행에 깊이 뿌리내린 가정이지만 거의 의문시되지 않는다. 우리는 이러한 표현 방식에, 특히 중국어에 대해 이의를 제기하며, 인덱스 기반 토큰 임베딩을 문자 시퀀스의 단일 래스터화된 이미지로 완전히 대체하고, 이를 공유된 ResNet과 얕은 Vision Transformer로 구성된 비전 인코더로 처리한다. 입력 표현의 역할을 분리하기 위해, 비전 기반 모델과 인덱스 기반 기준선이 동일한 디코더 백본, 학습 목표, 옵티마이저, 데이터 커리큘럼을 공유하는 이중 분기 통제 프레임워크를 구성한다. 따라서 성능 차이는 입력 모달리티에만 귀인된다. 테스트된 모든 디코더 백본에서 비전 기반 모델은 기준선을 일관되게 능가하며, 인덱스 기반 기준선의 0.355 대비 최고 정확도 0.429를 달성하여 21%의 상대적 향상을 보이고, 학습 에폭 수의 약 절반 만에 수렴한다. 이 이점은 특히 처음 5 에폭 내(전체 데이터의 21% 미만)에서 두드러지게 나타나며, 중간 정도의 문자 손상 하에서도 지속된다: 손상된 비전 모델이 깨끗한 인덱스 기반 기준선과 동등한 성능을 보인다. 어블레이션 연구에서는 이 이점이 공간적으로 일관된 입력과 2D 위치 인코딩을 갖춘 ViT 인코더 모두를 필요로 함을 밝혀낸다. 영어에 대한 문자 체계 간 비교에서는 이 이점이 알파벳 문자 체계로 직접 전이되지 않음을 보여주며, 이는 한자의 균일한 시각적 밀도와 부수 구조가 가능 조건임을 시사한다. 이러한 발견은 트랜스포머가 일반적으로 가정하는 것보다 모달리티에 더 구애받지 않으며, 이산적 토큰화가 중국어 언어 모델링의 근본적인 요건이 아님을 시사한다.

arXiv:2607.03853v1cs.CV

CogRad: 방사선 보고서 생성을 위한 인지 기반 멀티 에이전트 프레임워크

CogRad: A Cognitively-Inspired Multi-Agent Framework for Radiology Report Generation

자동 방사선 보고서 생성(RRG)은 방사선과 의사의 업무 부담을 줄일 수 있으나, 기존 시스템 대부분은 단일 순전파로 보고서를 생성하며 이미지에 대해 주장을 검증하거나 이미 서술된 소견을 재검토하는 메커니즘이 없다. 우리는 방사선과 의사의 판독 과정 4단계를 중심으로 생성을 구조화하는 인지 기반 멀티 에이전트 프레임워크 CogRad를 제안한다. Scout 에이전트는 슬롯 어텐션(slot attention)을 통해 이미지 패치에서 직접 해부학적 영역을 발견하고 영역 및 질환 수준 트리아지 점수를 부여한다. Investigator 에이전트는 Scout가 의심스럽다고 표시한 영역에 표현 용량을 집중시킨다. Writer 에이전트는 이러한 신호를 대규모 언어 모델(LLM)을 위한 질환 게이팅 시각적 접두 문맥으로 컴파일한다. Verifier 에이전트는 시각적 함의 손실로 학습을 감독하며, 추론 시에는 자신의 초안을 문장별로 재검토하여 그라운딩이 불충분하다고 판단한 보고서를 재생성한다. CheXpert Plus에서 CogRad는 BLEU-4 0.316, CIDEr 0.322를 달성하여 비교 대상 방법들 중 최고 점수를 기록한다. IU X-Ray에서는 BLEU-4 0.201, CIDEr 0.724를 달성하여 모든 표준 자연어 생성(NLG) 지표에서 모든 기준선을 앞선다. 또한 표준 텍스트 중복 지표를 넘어 임상적 정확도를 평가하기 위해 RadGraph F1, CheXbert F1, 환각(hallucination) 분석으로 CogRad를 추가 평가하며, 각 에이전트의 기여와 모델의 시각적 그라운딩을 특성화하는 절제 연구(ablation study) 및 Grad-CAM 기반 시각화로 이를 보완한다.

arXiv:2607.03738v1cs.CV

멀티모달 생성의 어텐션: 한 번에 하나의 토큰씩

Attending to Multimodal Generation One Token at a Time

다중모달 대규모 언어 모델(MLLM)은 응답을 자기회귀적으로 생성하며, 점진적으로 확장되는 컨텍스트에서 시각 정보와 언어 정보를 통합합니다. 해석 가능성에 관한 선행 연구는 개별 레이어와 서킷(어디서)에 초점을 맞추었고, 생성 중 멀티모달 연산의 토큰 수준 동역학(언제)은 충분히 탐구되지 않았습니다. 본 연구는 이 간극을 해소하고, 의미적 역할에 따른 어텐션 변화를 연구합니다. 이미지, 텍스트, 인스트럭션, 이전에 생성된 토큰에 대한 모델 어텐션을 한 번에 하나의 토큰씩(OTaT) 추적합니다. 단일 응답 내에서 시각적 컨텍스트와 텍스트 컨텍스트 간의 명시적 전환이 필요한 멀티모달 태스크를 소개합니다. 두 가지 주류 모델 패밀리와 다양한 크기의 오픈 가중치 MLLM 4종에 걸쳐 일관된 패턴을 확립합니다: 이미지로부터 도출된 정보가 필요한 토큰에서 이미지에 대한 어텐션이 최고조에 달하고, 인스트럭션 토큰은 태스크 전환 시 재방문되며, 이전에 생성된 토큰에 대한 어텐션은 생성이 진행될수록 증가합니다. 인과적 어텐션 차단 개입(causal attention blocking intervention)은 이러한 경향의 기능적 역할을 검증합니다. 어텐션이 교란된 상황에서의 모델 동작을 분석하고, 응답이 언어 사전(language prior)으로 회귀하거나, 크로스모달 누출(cross-modal leakage), 부정(denial), 또는 복구(recovery) 현상을 보임을 관찰합니다. 마지막으로, 새로운 분석을 통해 어텐션 동역학을 파악하여, 적절한 시점에 관련 모달리티에 대한 어텐션을 강화하는 간단한 테스트 타임 개입(test-time intervention)을 제안하고, 이를 통해 멀티모달 태스크 성능을 크게 향상시킵니다.

arXiv:2607.03661v1cs.CV

기하학적 레이블에서 멀티모달 대규모 언어 모델을 활용한 실내 건물 구성 요소의 의미론적 이해로

From Geometric Labels to Semantic Understanding of Indoor Building Components Using Multimodal Large Language Models

포인트 클라우드 기반 이해는 실내 건물 구성 요소와 관련된 시설 운영 및 유지보수의 중요한 기반 기술이 되었다. 그러나 기존 방법들은 구성 요소의 기능이나 자연어 상호작용에 대한 설명 없이 이산적인 레이블만을 출력한다. 본 논문은 실내 구성 요소를 위한 포인트 클라우드 중심의 멀티모달 대규모 언어 모델(MLLM)인 Building-MLLM을 제안하며, 포인트 클라우드와 인스트럭션을 모델링하여 단순 인식(Simple Recognition), 복합 캡셔닝(Complex Captioning), 다중 엔지니어링 질의응답(Multi-Engineering Question Answering) 태스크에 걸쳐 응답을 생성한다. Building-MLLM은 네 가지 도메인 특화 메커니즘을 통해 의미 집중 문제를 해결한다: 태스크 관련 의미론을 위한 포인트 정보 향상기(Point Information Enhancer), 기하학적 침식을 방지하는 기하 보존 정규화(Geometry-Preserving Regularization), 도메인 안정화를 위한 고정된 텍스트 접두 문맥(fixed textual prefix), 그리고 인식과 추론의 균형을 맞추는 다차원 LoRA이다. 다중 제약 점진적 인스트럭션 생성 엔진을 개발하여 4,198개의 객체, 37,782개의 인스트럭션 팔로잉 쌍, 47개의 카테고리로 구성된 합성 포인트 클라우드-텍스트 데이터셋을 구축하였다. 실험 결과, Building-MLLM은 세 가지 태스크 유형에서 각각 88.00%, 65.10%, 68.14%를 달성하여 우수한 실내 구성 요소 언어 이해 능력을 입증하며, 다른 실세계 데이터셋에 대한 전이 추론에서 초기 일반화 가능성을 제공한다.

arXiv:2607.03657v1cs.CV

ViPo-MLLM: 글로스 없는 수어 번역을 위한 시각-포즈 멀티모달 LLM

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

글로스 없는 수어 번역(SLT)은 글로스 어노테이션 없이 수어 영상을 음성 언어 문장으로 변환하는 것으로, 비용이 많이 드는 레이블링을 피할 수 있지만 손, 몸통, 얼굴 단서에 대한 세밀한 모델링이 필요하다. 기존 방법들은 단일 모달리티 또는 약하게 융합된 특징을 사용하는 경우가 많아 성능이 제한된다. 본 논문에서는 시공간 RGB와 인체 포즈 특징을 통합하는 프레임워크인 ViPo-MLLM을 제안한다. 전용 인코더가 모달리티 내부 다이나믹스를 모델링하고, 크로스 모달 어텐션이 장거리 의존성을 포착한다. 융합된 표현은 구조화된 프롬프트로 조건화되어 대조 학습 및 언어 모델링 목적 함수로 학습된 LLM에 의해 처리된다. 제안된 모델은 PHOENIX14T 및 CSL-Daily 데이터셋에서 평가되어 두 데이터셋 모두에서 새로운 최고 성능을 달성하였다. 또한 ViPo-MLLM 모델은 글로스 기반 인식 방법과 비교해서도 경쟁력 있는 성능을 달성하여, 제안된 포즈 단서와 크로스 모달 어텐션 메커니즘의 효과를 확인하였다.

arXiv:2607.03591v1cs.CV

멀티모달 대규모 언어 모델을 활용한 자아 시점 사고 영상에서의 책임 분배 추정

Responsibility Distribution Estimation in Ego-View Accident Videos with Multimodal Large Language Models

멀티모달 교통사고 이해에 관한 최근 연구들은 주로 인프라 카메라 영상, 위성 이미지, 또는 구조화된 충돌 기록에 의존해 왔다. 그러나 이러한 데이터 소스는 대규모로 배포하고 유지하는 데 비용이 많이 들며, 사고 전에 운전자가 실제로 관찰할 수 있었던 것을 객관적으로 포착하지 못한다. 반면, 자아 시점(ego-view) 사고 영상은 운전자의 시각적 관점을 직접적으로 나타내므로, 사고 회피 가능성과 운전자 책임에 대한 추론에 적합하다. 본 논문에서는 자아 시점 교통사고 영상에 대한 책임 분배 추정이라는 새로운 태스크를 제안하며, 이 태스크에서 모델은 관련된 각 에이전트에게 할당된 책임의 비율을 예측한다. 우리는 대규모 언어 모델(LLM) 기반 책임 어노테이션 파이프라인을 구축하고, 원본 프레임, 분할(segmentation) 강화 입력, 텍스트 설명을 포함한 다양한 입력 설정에서 멀티모달 대규모 언어 모델을 파인튜닝한다. 실험 결과는 강력한 초기 벤치마크를 수립하며, 멀티모달 LLM이 이 미묘한 제약 기반 추론 태스크를 효과적으로 수행할 수 있음을 입증한다. 우리의 연구 결과는 자아 중심(ego-centric) 사고 영상이 기존의 사고 분류 및 설명 태스크를 넘어 사회적·법적으로 의미 있는 멀티모달 추론을 위한 유망한 기반을 제공함을 시사한다.

arXiv:2607.03358v1cs.CV

비전-언어 모델에서 시각 정보 흐름의 경로

Pathways of Visual Information Flow in Vision-Language Models

우리는 비전-언어 모델(VLM)에서 시각 정보가 어떻게 라우팅되는지를 연구한다. 통제된 합성 및 자연 데이터셋에 대한 인과적 패칭(causal patching)을 사용하여, 모델이 시각적 과제를 해결하기 위해 두 가지 서로 다른 경로에 의존한다는 것을 발견하였다: 시각 정보가 이미지 토큰 표현에 유지되고 후반 레이어에서 최종 토큰에 의해 읽히는 직접 경로(direct pathway)와, 시각 정보가 먼저 쿼리 토큰으로 전달된 후 최종 토큰에 의해 읽히는 텍스트 매개 경로(text-mediated pathway)이다. 세 가지 시각적 과제에 걸쳐, 경로 선택이 과제에 따라 달라지며, 데이터 분포와 프롬프트 설계 또한 이미지 기반 쿼리를 해결하는 데 사용되는 경로를 조절할 수 있음을 보인다. 더불어, 어텐션 녹아웃(attention knockout)과 손상된 입력 패칭(corrupted-input patching)을 통해, 이러한 경로들이 유연함을 발견하였다: 특정 개입 하에서 일반적인 경로가 제거(ablate)될 경우 모델은 텍스트 매개 경로를 대체 경로로 활용할 수 있다. 이 동작은 선행 연구의 결과들을 통합하며, 어블레이션 기반 개입이 모델이 일반적으로 하는 것이 아니라 할 수 있는 것을 드러낼 수 있음을 보여준다. 종합하면, 우리의 결과는 VLM에서 시각 정보 흐름에 대한 메커니즘적 특성화를 제공하고, 개입 하에서 내부 메커니즘의 유연성을 강조한다.

arXiv:2607.03213v1cs.CV

OpenGlass: 로컬 MLLM 기반 실시간 시각 보조를 위한 감지-연산 분리 아키텍처

OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance

본 논문에서는 저지연 멀티모달 시각 보조를 위한 오픈소스, 프라이버시 중심, 로컬 우선 시스템인 OpenGlass를 제안하며, 주요 대상은 시각 장애 및 저시력 사용자이다. 클라우드 기반 MLLM 어시스턴트는 강력한 시각 이해 능력을 제공하지만, 1인칭 시각 데이터 업로드가 필요하고 수 초에 달하는 네트워크 지연이 발생할 수 있다. 웨어러블 안경은 감지에 이상적이나, 제한된 연산 및 전력 예산 하에서는 대형 모델을 구동할 수 없다. OpenGlass는 감지-연산 분리 방식으로 이 간극을 해소한다. ESP32 기반 안경 측 장치가 시각적 컨텍스트를 캡처하고, 인근의 소비자용 기기가 로컬 MLLM 추론과 로컬 음성 출력을 수행함으로써 클라우드 의존도를 낮추고, 원시 자기중심적(egocentric) 시각 데이터를 기본적으로 사용자 제어 기기에 보관한다. 본 연구에서는 응답 품질, 쿼리 준비 완료 시점부터 오디오 출력까지의 지연, 안전성 인식 거절(abstention), 감사 가능한 로그를 평가한다. 실제 ESP32 Wi-Fi 캡처 환경에서, OpenGlass는 리사이즈된 페이로드 기준 중앙값 993 ms, 원시 1280×720 페이로드 기준 1625 ms의 사용자-오디오 지연을 달성하며, 각각 97.5%와 93.3%의 시도가 2초 미만이었다. OpenGlass는 장애물/위험 인식, 표지판/사물 쿼리, 이미지 품질 자가 점검을 위한 사용자 주도형 시각 보조 참조 플랫폼으로, 공인된 내비게이션 보조 도구가 아님을 명시한다. 소스 코드, 하드웨어 설명서, 프롬프트, 평가 데이터, 로그를 공개한다.

arXiv:2607.03184v1cs.CV

BVS: 세밀한 지각을 위한 멀티모달 대규모 언어 모델 기반 베이지안 시각 탐색

BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception

멀티모달 대규모 언어 모델(MLLM)은 인상적인 범용 능력을 보여주지만, 초고해상도(UHR) 이미지에서의 세밀한 지각, 특히 복잡한 장면 속 작은 객체 인식에는 어려움을 겪는다. 기존 방법들은 딜레마에 직면해 있다: 비효율적인 사전 정보 없는 스캐닝에 의존하거나, 초기 모델 편향을 수정하는 사후 보정이 부재한 정적 사전 정보 기반 휴리스틱에 의존한다. 이를 해결하기 위해, 우리는 지각을 연속적인 공간-스케일 다양체(manifold)에 대한 전역 최적화 문제로 정식화하는 프레임워크인 BVS(Bayesian Visual Search)를 제안한다. 구체적으로, BVS는 사전 안내와 사후 보정을 연결한다: MLLM의 조기 중단 어텐션 롤아웃을 활용하여 추론 인식 사전 정보를 구성하는 한편, 스케일 인식 비정상 커널과 GP-UCB를 적용하여 반복적인 지역 관찰을 통해 사전 정보의 노이즈를 동적으로 수정하고 누락된 정보를 복원한다. 우리는 준선형 후회 한계(sub-linear regret bounds)를 통해 이론적 보장을 제공하며, 광범위한 실험을 통해 BVS가 정확도와 효율성 간의 우수한 균형으로 최신 기준선을 크게 능가함을 입증한다.

arXiv:2607.02991v1cs.CV

GuideMe: 스트리밍 비디오에서의 다중 도메인 태스크 가이던스 및 개입

GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video

멀티모달 대규모 언어 모델(MLLM)은 오프라인 비디오 이해에서 탁월한 성능을 보이지만, 실시간 절차적 코치로서 얼마나 근접해 있는지는 여전히 미지수이다. 그러한 역할은 일반적으로 MLLM이 실행 과정을 지속적으로 모니터링하고, 실수를 감지하며, 폐쇄 루프 상호작용에서 수정 가이던스를 제공할 것을 요구한다. 본 논문에서는 폐쇄 루프 대화형 태스크 가이던스를 위한 MLLM의 학습(training) 및 평가를 지원하는 최초의 스트리밍 비디오 다중 도메인 벤치마크인 GuideMe를 구축한다. GuideMe는 요리, 물체 조작, 일상 가이던스, 피트니스 등 다양한 도메인에 걸쳐 223.7시간, 2,458개의 비디오로 구성되며, 다음 단계 지시, 완료 피드백, 오류 감지, 수정 가이던스를 포함하는 47,775개의 상호작용 샘플을 포함한다. 기존 모델을 GuideMe로 평가하기 위해, 대표적인 MLLM의 역량을 측정하는 세 가지 구성 요소의 평가 프레임워크를 설계하였다. 이 프레임워크는 시퀀스 수준 정렬을 위한 시간-의미론적 이분 매칭, 개입 시점을 위한 행동 분류(classification), 콘텐츠 품질을 위한 LLM-as-a-judge로 구성된다. 광범위한 실험은 중요한 성능 비대칭성을 강조한다: 지시 제공에는 탁월하지만, 기존 MLLM은 실행 오류를 식별하고 수정 피드백을 제공하는 데 일관되게 실패한다. 코드와 데이터는 https://fawnliu.github.io/project/guideme 에서 공개되어 있다.