PyTorchKR Papers

최신 논문

총 294편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.22967v1cs.MM

CodeReel: 프레임의 정확한 재사용과 대기 시간을 고려한 스케줄링으로 코드 기반 비디오 제작 에이전트 가속

CodeReel: Accelerating Code-to-Video Agents with Exact Frame Reuse and Blocking-Aware Scheduling

코딩 에이전트는 프로그램을 작성하고 빌드, 검사, 편집을 반복해 비디오를 만든다. 영상 하나를 완성하는 데 모델 호출 비용은 중앙값 2.85달러, 소요 시간은 중앙값 11분이다. 시간의 3분의 1 이상은 에이전트가 빌드를 기다리는 데 쓰인다. 이 시간의 상당 부분을 줄일 수 있는 이유는 두 가지다. 첫째, 한 세션에서 후반에 생성한 영상 프레임의 37.5%는 이전에 이미 그린 적이 있으며, 그중 상당수는 시간 위치가 달라졌거나 편집한 장면에 들어 있었다. 둘째, 빌드의 절반은 검사 단계에서 중단된다. 이 경우 에이전트에는 판정 결과만 필요하지만, 어떤 빌드가 중단될지는 검사가 끝나야 알 수 있다. 기존 에이전트 명령의 배후에서 동작하고 추가 학습이 필요 없는 실행 계층 CodeReel을 제시한다. 정확한 프레임 재사용은 시간상 위치와 무관하게 그리기 명령에서 각 프레임의 키를 만들고, 키가 다시 나오면 그 프레임을 재사용한다. 대기를 고려한 스케줄링은 검사를 먼저 시작하고, 최근 빌드 이력으로 보아 검사에 통과하기 어려운 경우를 제외하면 유휴 우선순위로 렌더링을 병행한다. 스케줄링은 더 빨리 응답하기 위해 CPU를 쓰고, 프레임 재사용으로 그 비용을 회수한다. 정확한 키를 쓰므로 에이전트가 다음 수정을 추론하는 동안 실패한 버전에서 렌더링한 프레임도 이후 버전에서 재사용할 수 있다. 재실행 가능한 에이전트 세션으로 구성한 벤치마크 EditLoop를 소개한다. 각 영상은 처음부터 다시 렌더링한 결과와 대조한다. 여기에서 CodeReel은 병렬 렌더링과 준비된 실행 환경을 쓰는 Rebuild 대비 에이전트 대기 시간을 36.3%, 기존 순차 파이프라인인 Sequential 대비 57.9% 줄였다. 시간 위치를 바꾸는 편집에서 프레임 재사용 방식은 43.9%를 렌더링했다. 픽셀이 새로운 프레임 비율 43.0%에 가까웠으며, Manim 방식의 캐싱은 99.8%를 렌더링했다. 실제 에이전트에서 빌드당 대기 시간 중앙값은 개발에 없던 주제를 사용한 Claude Code에서 Rebuild의 0.62배, Codex CLI에서 0.67배였다. 이 개선은 모델 다섯 개와 프레임워크 두 개에서 유지됐다.

arXiv:2611.22482v1cs.CV

LeViT-UNet++: 세밀한 구조와 전역 문맥을 균형 있게 반영하는 효율적 의료 이미지 분할

LeViT-UNet++: Towards Balanced Fine-Grained Details and Context for Efficient Medical Image Segmentation

수술 내비게이션, 방사선 치료, 실시간 영상 유도 시술처럼 경계를 빠르고 정확하게 그려야 하는 임상 응용에는 효율적인 의료 이미지 분할이 필수적이다. 합성곱 신경망과 트랜스포머가 크게 발전했어도 제한된 연산 자원으로 높은 정확도를 얻기는 어렵다. 모델 복잡도를 줄이면 세밀한 구조와 전역 문맥을 모델링하는 능력도 떨어지는 경우가 많기 때문이다. 국소 세부 보존과 전역 문맥 모델링의 균형을 개선하는 효율적 인코더–디코더 아키텍처 LeViT-UNet++를 제안한다. 하르 웨이블릿 다중 스케일 다운샘플링(HWMD) 모듈은 특징 표현을 저주파와 고주파 성분으로 분해해 여러 스케일의 구조 정보를 추출한다. 이를 통해 다운샘플링 과정의 세부 정보 손실을 줄인다. 깊이별 합성곱 기반 디코더를 개발해 트랜스포머 블록에서 얻은 다중 스케일 전역 표현과 국소 공간 특징을 통합했다. 계산 부담을 낮추면서 특징을 점진적으로 정제한다. Synapse, ACDC, LA2018, MSD Heart 등 벤치마크 네 개의 2D 및 3D 설정에서 LeViT-UNet++는 적은 매개변수와 빠른 추론 속도로 경쟁력 있는 정확도를 달성했다. 예를 들어 Synapse에서 매개변수 802만 5천 개로 다이스 유사도 계수(DSC) 76.57%, 처리 속도 241.72FPS를 기록했다. 웨이블릿 기반 다중 스케일 특징 추출과 경량 국소·전역 특징 융합의 조합이 의료 영상 분할의 정확도와 효율을 함께 확보하는 데 효과적임을 보였다. 소스 코드는 https://github.com/apple1986/levit_unet_pp 에 공개되어 있다.

arXiv:2611.20349v2cs.CV

말이 더 큰 영향을 미치는가? LLM 기반 불완전 멀티모달 학습에서의 언어 지름길 탐구

Words Speak Louder? Exploring the Language Shortcut of LLM-Driven Incomplete Multimodal Learning

말의 내용을 알고 나서도 표정이나 목소리가 판단에 영향을 줄까? 불완전 멀티모달 학습에서는 대규모 언어 모델(LLM)을 여러 모달리티의 융합에 사용하는 일이 늘고 있다. 모달리티의 특징은 토큰 블록으로 입력하고, 누락된 모달리티는 자리 표시자로 대체한다. 본 연구는 LLM 기반 융합에서 모델이 판독할 수 있는 비언어적 근거조차 언어 정보에 밀릴 수 있음을 보여 준다. 모든 입력을 제공했을 때의 예측과, 같은 모델에 모달리티 하나만 보여 주거나 아무 내용도 제공하지 않은 반사실적 관점의 예측을 비교해 언어 지름길을 식별한다. 이를 위해 구축한 MR-Bench에는 두 가지 구성이 있다. MR-Bench-A는 감성 분석 벤치마크 네 개의 모든 테스트 표본을 유형별로 분류한다. MR-Bench-H는 일곱 출처에서 수집해 사람이 검증한 클립 900개로, 언어 지름길(LS) 클립 620개와 비언어 지름길(NS) 클립 280개를 포함한다. 모든 모델을 전체 클립에서 평가한다. 제로샷 멀티모달 대규모 언어 모델이 LS 클립에서 정답을 맞힌 비율은 최대 32.7%였다. 음소거한 동영상에 전사문을 추가하면 비전-언어 정확도가 46.1~53.1%포인트 떨어졌다. 한편 텍스트 전용 모델의 답을 반대로 바꾸기만 해도 94.4%를 맞혔다. 따라서 LS 정확도만으로는 비언어적 근거를 활용했는지 알 수 없다. 융합 LLM 내부를 살펴보면 디코더 후반으로 갈수록 융합 상태가 텍스트만 제공한 관점의 상태에 가까워진다. 반사실적 관점 신뢰도 학습(CoVeR)은 각 관점이 단일 모달리티로 판단하도록 학습하고, 관점별 판단이 일치하지 않는 사례에서는 융합 예측에 대한 감독을 적용하지 않는다. 정확도 모드에서 추론 비용을 늘리지 않고 5개 벤치마크에서 최고 성능을 달성한다. MR-Bench-H에서는 LS 정확도 61.7%, NS 정확도 93.6%를 기록했다. 강건성 모드는 LS 정확도를 63.0%로 높이고 NS 정확도를 84.8%로 낮췄다. 텍스트 없이 정답을 맞힌 LS 클립에 텍스트를 추가했을 때, 오답으로 바뀐 비율은 CoVeR에서 30.1%, LLM-Fusion에서 32.2%였다. 프로젝트 페이지는 https://peacelwh.github.io/CoVeR/ 에서 확인할 수 있다.

arXiv:2611.21223v1cs.CV

항공 영상의 준지도 객체 검출을 위한 Oriented Semi-DETR

Oriented Semi-DETR for Semi-Supervised Aerial Object Detection

최근 준지도 객체 검출을 DETR에 적용하는 연구가 나왔다. 회전 경계 상자에서는 축 정렬 경계 상자에 없는 모호성이 생긴다. 매개변수 집합 $(c_x,c_y,w,h,\theta)$와 $(c_x,c_y,h,w,\theta+\pi/2)$가 같은 회전 직사각형을 나타내므로, 두 매개변수 표현이 하나의 직사각형에 대응한다. 손실과 매칭 비용은 매개변수로 계산하기 때문에 공간상에서 일치하는 두 상자가 학습을 좌우하는 거리 척도에서는 서로 멀 수 있다. 이때 학생 모델이 정확한 위치를 예측한 상자도 회귀 손실에서 페널티를 받으며, 높아진 매칭 비용으로 인해 가우스 혼합 모델(GMM) 필터에서 제외된다. 본 연구는 의사 상자가 학습에 사용되는 모든 지점에서 이 모호성을 없애는 Oriented Semi-DETR을 제안한다. 교환 정렬 타깃 선택(Swap-aligned Target Selection)은 학생 모델의 예측에 더 가까운 인코딩을 회귀 목표로 삼는다. 교환 불변 신뢰도 비용(Swap-invariant Reliability Cost)은 두 인코딩 중 매칭 비용이 작은 값을 사용해, 필터가 기하만으로 판단하도록 한다. 교환 인식 의사 레이블 잡음 제거(Swap-aware Pseudo-label Denoising)는 잡음 제거를 더 일찍 시작하고 손실 가중치를 선형으로 높이며, 교사 모델 점수와 인코딩 마진에 따라 각 쿼리에 가중치를 준다. 세 기법 모두 추가 매개변수나 순전파가 필요 없다. DOTA-v2.0의 모든 레이블 비율에서 Oriented Semi-DETR은 DETR 기반 지도 및 준지도 기준선보다 성능이 높았다. 엄격한 IoU 임계값에서 향상 폭이 가장 컸다.

arXiv:2611.20688v1cs.AI

VIVID: 에이전트형 동영상 편집을 위한 시각 작업 환경

VIVID: A Visual Harness for Agentic Video Editing

동영상을 편집하는 에이전트는 시청각 관측과 정확한 시간 위치에 근거해 편집을 결정하고, 렌더링한 출력에서 효과를 평가해야 한다. 범용 코딩 에이전트는 이해, 추론, 코드 실행 능력이 뛰어나다. 동영상 과제에 맞춘 미디어 상호작용과 근거 관리 기능을 갖추면 편집 성능을 더 끌어낼 수 있다. 본 연구는 추가 모델 학습 없이 기존 코딩 에이전트 여러 개가 동영상 후반 제작을 할 수 있도록 지원하는 시각 작업 환경 VIVID를 제안한다. 필요할 때 영상을 검사하고 오디오를 분석·전사하는 도구를 제공하며, 관측값을 해당하는 미디어 버전 및 시간 좌표와 함께 보관한다. 에이전트는 추론 중 이 관측값을 찾아보고, 자체 코딩 및 셸 도구로 편집하고, 렌더링 결과를 보고 다음 수정을 결정할 수 있다. 조립, 복구, 순서 구성, 용도 변경에 걸친 100개 과제의 AgenticVBench에서 VIVID를 적용한 Codex의 평균 점수는 58.6%였다. 기본 Codex보다 20.2%포인트 높았다. 같은 환경을 Claude Code와 OpenCode에 통합했을 때 평균 점수는 각각 55.1%와 37.1%였고, 두 경우 모두 각자의 기본 성능을 크게 앞섰다. 범용 코딩 에이전트의 동영상 편집 능력을 확장하는 재사용 가능한 작업 환경으로 VIVID를 활용할 가능성을 보여 준다.

arXiv:2611.20115v1cs.CR

의미 기반·비의미 기반 워터마크의 순차 삽입: UnMarker 공격에 대한 강건성

Sequential Semantic-Non-Semantic Watermarking: Robustness Against UnMarker Attacks

인공지능(AI)의 발전은 디지털 콘텐츠 생성을 가속했고 사기, 오용, 위조, 콘텐츠 출처에 관한 우려를 키웠다. 방어용 이미지 워터마크는 디지털 콘텐츠를 식별하고 추적하는 실용적인 수단이지만, 최근의 워터마크 제거 공격은 그 강건성에 의문을 제기한다. 본 연구는 서로 보완적인 비의미 기반 워터마크 HiDDeN과 의미 기반 워터마크 StegaStamp를 결합한 순차 워터마킹(SSNSW)을 조사한다. MS-COCO와 CelebA-HQ의 이미지 50장으로 두 가지 삽입 순서를 평가하고, UnMarker의 비의미 기반 공격 및 의미 기반 공격을 개별적으로 적용한 경우와 순차적으로 적용한 경우를 비교했다. 두 워터마크를 삽입한 뒤에도 둘 다 높은 수준으로 디코딩할 수 있었으며, 삽입 순서에 따른 영향은 제한적이었다. 개별 공격에서는 대체로 워터마크 하나가 높은 수준으로 디코딩됐다. 비의미 기반 공격에서는 StegaStamp가, 의미 기반 공격에서는 HiDDeN이 높은 수준을 유지했다. 따라서 두 워터마크 신호를 모두 크게 약화시키려면 순차 공격이 필요했으며, 공격 순서의 영향은 제한적이고 구성에 따라 달랐다. 의미 기반 공격은 비의미 기반 공격보다 두 종류의 워터마크에 걸쳐 더 넓은 영향을 미쳤다. 여러 설정에서 LPIPS는 비교적 낮았으나, 정성적으로 살펴보면 특히 일부 얼굴 이미지에서 왜곡이 뚜렷했다. 이는 시각적 품질을 LPIPS 하나로만 평가해서는 안 됨을 보여 준다. 서로 보완적인 유형의 워터마크를 결합하면 단일 단계 제거 공격에 대한 강건성을 높일 수 있다. 이 결과는 다층 워터마킹과 더 정교한 지각 품질 평가, 순차 워터마크 제거 전략에 대한 후속 연구의 필요성을 보여 준다.

arXiv:2611.19955v1eess.IV

분사량은 같은데 피복 면적은 다르다: 이미지 편집에서 분사 속도와 시간의 영향 추적

Equal Dose, Different Coverage:Tracing Rate and Duration in Image Editing

과학적 이미지 편집 벤치마크는 모델이 서술된 공정의 결과를 그려 내는지 시험한다. 어떤 표현에 오류가 담기는지, 그 표현을 고치면 정확한 양을 얻는지는 여전히 알기 어렵다. 본 연구는 재료가 쌓이는 모양을 고정한 에어브러시로 이 문제를 살펴본다. 분사 속도와 시간을 서로 바꾸어도 총 분사량이 같으므로 최종 상태가 같아야 하지만, 편집 결과의 피복 면적은 달라졌다. 텍스트 위치와 잡음 제거 단계에 걸쳐 노름을 맞춘 활성화 패치를 분석한 결과, 중국어 프롬프트를 입력한 증류 FLUX에서는 문구가 바뀌지 않은 위치의 표현, 즉 문맥이 이 불일치를 전달했다. 초기 문맥을 옮기면 부호를 포함한 두 경로 차이 3.98%포인트 중 3.51%포인트가 전달됐고, 바뀐 숫자 두 곳을 같은 노름으로 갱신했을 때는 0.09%포인트가 전달됐다. FLUX 설정 두 가지와 OmniGen에서는 초기 이미지 잠재 표현이 패치를 적용하지 않은 본래의 경로 차이를 전달했다. 텍스트 위치에 따른 효과는 설정마다 달랐다. 이 추적 결과는 각 경로의 숫자는 유지하면서 초기 문맥만 공유하는 개입이 효과적일 것으로 예측했다. 독립적인 영어 배치에서 이 개입은 증류 FLUX의 절대 경로 격차를 1.13%포인트에서 0.60%포인트로 낮췄다. 초기 숫자를 공유하는 방식보다 효과가 컸고, 직접 대응 비교에서도 기본 FLUX보다 결과의 일치도가 더 많이 개선됐다. 분사량별 목표 면적을 정한 보정 평가에서는 이 일치도 개선과 정확도를 분리해 살폈다. 전체 프롬프트 인코딩을 공유하면 두 경로의 이미지가 같아졌지만 목표 오차가 8~16%포인트였다. 목표 비율을 직접 제시해도 면적의 변화 폭은 여전히 작았다. 오류가 생기는 위치를 찾아내면 새 배치에서의 일관성 개선을 예측할 수 있다. 보정 평가는 결과끼리 일치한 뒤에도 남는 정량 오차를 측정한다.

arXiv:2611.19493v1cs.CV

입력 쌍을 넘어: 멀티모달 대규모 언어 모델에서 RGB와 열적외선 사이의 관계 활용하기

Beyond Paired Inputs: Learning to Leverage RGB-T Cross-Modal Relations in Multimodal Large Language Models

RGB와 열적외선(TIR) 센서는 서로 보완적인 관측을 제공하지만, 감지 특성이 달라 두 모달리티를 효과적으로 조율하기 어렵다. 기존 멀티모달 대규모 언어 모델(MLLM)은 RGB와 TIR 입력 쌍을 처리할 수 있으나, 두 모달리티의 관계를 과제별 의사결정에 활용하지 못하는 경우가 많다. 그 결과 이 관계가 과제 성능과 강건성을 개선할 가능성을 충분히 활용하지 못한다. 본 연구는 과제별 의사결정에서 모달리티 간 관계를 활용하도록 명시적으로 학습하는 RGB-T MLLM인 RelMLLM을 도입한다. 모달리티의 신뢰도, 두 모달리티의 관계, 지배적인 모달리티를 검증 가능한 의사결정 상태로 표현한다. RGB만 사용한 경우, TIR만 사용한 경우, RGB-T 쌍을 사용한 경우의 과제 결과를 비교해 이 상태에 대한 과제 기반 감독 신호를 도출한다. 모달리티별 근거와 관계 상태 예측, 최종 과제 출력을 계층적인 관계 기반 보상으로 감독하면서 근거, 관계, 결정 사이의 일관성을 유도한다. 실제 RGB-T 데이터에서의 그라운딩, RGB-T 시각 질의응답, 학습에서 제외한 센서 품질 저하 조건에서 RelMLLM을 평가했다. 일반 RGB-T 추론 벤치마크의 성능을 유지하면서, Qwen3-VL 기준선 대비 그라운딩 정확도와 센서 품질 저하에 대한 강건성을 높였다. 모달리티 간 관계를 효과적으로 활용하면 RGB-T 의사결정이 더 정확하고 강건해짐을 보여 준다. 코드와 모델 가중치는 공개되어 있다.

arXiv:2511.01390v3cs.CV

SEPS: 세밀한 크로스-모달 정렬을 위한 의미 강화 패치 슬리밍 프레임워크

SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment

비전과 언어 간 정보 밀도 불균형으로 인한 패치 중복성과 모호성(Semantic Sparsity Bias) 문제를 해결하기 위해, MLLM이 생성한 밀도 높은 텍스트 앵커와 희소 캡션을 이중 세분화 의미 보정(Dual-Granularity Semantic Calibration) 메커니즘으로 결합해 핵심 시각 패치를 선별하는 SEPS 프레임워크를 제안한다. Flickr30K 및 MS-COCO 데이터셋 실험에서 기존 방법 대비 rSum 기준 23–86% 향상된 성능을 달성했다.

arXiv:2608.28685v2cs.CV

주파수 불변성이 아닌 데이터 다양성: 압축에 강건한 딥페이크 탐지에 대한 통제 및 자체 감사 연구

Data Diversity, Not Frequency Invariance: A Controlled and Self-Audited Study of Compression-Robust Deepfake Detection

주파수 특징(frequency feature)과 압축 불변 표현 학습은 비디오 압축 환경에서도 유지되는 딥페이크 탐지의 핵심으로 널리 간주됩니다. 우리는 블록 DCT 및 FFT 위상 스트림, 압축 수준 조건부 대역 어텐션(attention), 적대적(그래디언트 반전) 압축 불변성을 갖춘 CAFRL을 통해 이를 검증하고 통제된 부정적 결과(negative result)를 보고합니다. 모델 용량과 증강(augmentation)을 일치시킨 대조군과 사전 등록된 프로토콜에 따라 평가했을 때, 다중 품질 데이터로 학습된 기본 EfficientNet-B0는 FaceForensics++ 테스트 분할의 모든 압축 수준에서 기존 명세의 CAFRL을 능가했으며, CRF 40에서는 3.66 AUC 포인트 더 높았습니다(쌍체 비교, 단일 시드). 자체 부정적 결과에 대한 자체 감사 결과 주파수 가설에 불리하게 작용했던 네 가지 결함이 발견되었으며, 이 네 가지를 모두 수정한 사전 명시적 재테스트를 통해 이러한 성능 격차가 아키텍처 실패가 아닌 학습 레시피의 인위적 결과(recipe artifact)임을 확인했습니다. 즉, 기준선(baseline) 레시피는 일치하는 기존 배포 레시피 변형 대비 3.96 포인트를 회복했습니다. 주파수 경로는 감지할 수 있는 차이를 만들지 못했습니다. 단독으로는 판별력이 있었으나(학습 후반 독립 검증(validation) AUC 0.91-0.98), 4.0M 트렁크의 두 가지 특징 너비와 0을 포함한 데이터셋 내 압축 대비에 대한 모든 시드 통합 구간에서 이러한 융합 방식 하에서는 한계 가치(marginal value)가 없었습니다. 테스트된 단일 미학습 조작 기법에 대해서도 공정하게 맞춰진 변형들이 기본 백본보다 낮은 성능을 보였습니다. 기존 명세대로의 적대적 브랜치는 아무런 이득을 더하지 못했고 자체 조건부 추정기를 저하시켰으며, 공정한 레시피 조건에서는 테스트되지 않았습니다. 단일 패스 H.264 재인코딩 하에서의 강건성은 주파수가 아닌 데이터 다양성에서 비롯되었습니다. 실제 고정 왜곡률 인자(CRF) 변형 데이터가 합성 JPEG 증강보다 7.3 포인트 앞섰습니다(단일 실행, 겹치지 않는 신뢰 구간). 본 증거는 FaceForensics++ 계열, GAN(생성적 적대 신경망) 시대 및 단일 코덱 기반입니다. 모델 용량뿐만 아니라 학습 레시피에 대한 대조군도 일치시켜야 하며, 아키텍처 이전에 코덱 다양성을 통해 압축 강건성을 확보해야 합니다.

arXiv:2604.01569v3cs.CV

VideoZeroBench: 시공간 증거 검증을 통한 비디오 MLLM의 한계 탐색

VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

비디오 멀티모달 대규모 언어 모델은 기존 벤치마크에서 우수한 성과를 거두고 있으나, 답변의 정확도만으로는 모델이 질문에 답하는 데 필요한 증거를 실제로 찾아낼 수 있는지 입증하지 못합니다. 본 논문에서는 13개 비디오 도메인에 걸쳐 수작업으로 주석을 단 질문-답변 쌍을 포함하는 까다로운 롱비디오(long-video) 벤치마크인 VideoZeroBench를 소개합니다. 질문들은 미세한 단서, 순식간에 지나가는 사건, 여러 구간에 걸쳐 분산된 증거를 목표로 합니다. 해당되는 경우 시간적 구간과 키프레임 바운딩 박스가 주석으로 제공됩니다. 모든 질문은 답변 타당성과 증거 품질에 대해 두 차례의 교차 검증을 거칩니다. 5단계 진단 프로토콜을 통해 증거 힌트 유무에 따른 답변 능력을 비교한 뒤, 답변 정확도와 독립적으로 평가된 시간 및 공간 그라운딩(grounding)을 결합합니다. 평가된 19개 모델 중 표준 QA 정확도가 가장 높은 모델은 Gemini-3.7-Flash로 24.8%(레벨 3)를 기록했습니다. 정답과 정확한 시공간 위치 특정을 동시에 요구할 경우(레벨 5), 1.8%를 초과하는 모델은 없었습니다. 원자적 능력, 증거 범위, 입력 모달리티, 비디오 기반 사고(thinking-with-videos) 추론에 대한 분석은 평가 대상 시스템이 어떤 부분에서 어려움을 겪는지 구체적으로 보여줍니다. 이러한 발견은 롱비디오 질의응답에서 보다 정밀한 증거 탐색 및 위치 특정이 필요함을 시사합니다. 코드와 데이터는 공개되어 있습니다.

arXiv:2606.25547v2cs.CV

공간-주파수 협업 및 비가역 메커니즘을 갖춘 효율적인 교차 스케일 가역 은닉 네트워크

Efficient Cross-Scale Invertible Hiding Network with Spatial-Frequency Collaboration and Non-Invertible Mechanism

기존 가역 신경망(INN) 기반 이미지 은닉 방법들이 단일 스케일·단일 도메인 특징 추출과 제한된 비선형 표현으로 화질 저하를 겪는 문제를 해결하기 위해, CrosInv는 픽셀 셔플과 Haar 웨이블릿 변환을 활용한 교차 스케일 가역 모듈(CIM)과 비가역 교차 밀집 모듈(NCDM)을 결합해 공간-주파수 협업 특징과 향상된 비선형 표현을 동시에 달성한다. COCO, ImageNet, BOSSBase 세 가지 벤치마크 데이터셋에서 수행한 실험을 통해 기존 ISN, HiNet, StegFormer, StarINN 대비 우수한 이미지 품질 및 스테그분석 저항성을 검증하였다.

arXiv:2610.16118v1cs.CV

냉장고 속 코끼리: 긴 비디오 이해를 위한 일정한 메모리의 프레임 패킹

Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding

1시간 길이의 비디오, 스트리밍 피드, 영화 길이의 콘텐츠는 비전-언어 모델(VLM)을 한계 이상으로 몰아붙이고 있습니다. 각 프레임을 시각적 토큰으로 인코딩하는 표준 방식은 비디오 길이에 따라 선형적으로 증가하는 시퀀스를 생성하여 과도한 메모리 소비와 추론(inference) 지연을 유발합니다. 토큰 감소 및 키프레임 선택과 같은 기존 접근법은 토큰 시퀀스를 단축하지만 O(n) 스케일링을 그대로 유지하므로 근본적인 병목 현상을 해결하지 못합니다. 본 논문에서는 임의로 긴 비디오를 일정한 메모리 비용으로 고정된 크기의 시각적 표현으로 압축하는 놀랍도록 단순하며 학습(training)이 필요 없는 프레임 패킹 프레임워크인 FramePack-U를 제안합니다. FramePack-U는 미세조정(fine-tuning)이나 아키텍처 수정이 필요 없으며, 추론 시점에 기성 VLM에 직접 연결하여 사용할 수 있습니다. 생성 연구 분야의 FramePack에서 영감을 받아, 고정된 토큰 예산 하에서 시각적 이해를 위한 콘텐츠 인식 압축 전략을 제안합니다. 구체적으로 FramePack-U는 (1) 텍스트 프롬프트와의 의미론적 유사도를 바탕으로 각 프레임의 점수를 매기고 다양성을 고려한 방식으로 프레임 순위를 정하며, (2) 선택된 프레임을 다양한 해상도로 고정 길이의 컨텍스트 윈도우(context window)에 패킹합니다. 이를 통해 메모리 예산을 지시사항과 관련이 있으면서도 시각적으로 다양한 프레임에 집중시킵니다. 이론적으로 FramePack-U는 고정된 예산 내에 임의로 많은 수의 프레임을 패킹할 수 있지만, 다양한 환경에서 강력하게 일반화되는 경험적 구현 방식을 식별합니다. LongVideoBench, MLVU, Video-MME에 대한 광범위한 실험 결과, FramePack-U는 다양한 모델 제품군, 매개변수(parameter) 규모, 프레임 예산 전반에 걸쳐 전체 해상도 베이스라인 및 기존의 토큰 감소, 키프레임 선택 방법을 일관되게 능가함을 보여줍니다. 특히 128개 프레임 예산을 적용한 Qwen3.5-35B-A3B에서 FramePack-U는 세 가지 벤치마크에 걸쳐 공식 모델 대비 각각 +12.9%, +10.6%, +9.7%의 성능 향상을 달성했습니다.

arXiv:2610.13353v1cs.MM

EmoGavel: 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반 그라운딩 인식 강화학습

EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning

멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.

arXiv:2610.12127v1cs.CV

LVS: 이전 뷰를 재사용하여 상대적 카메라 포즈로부터 국소 뷰를 합성하는 방법

LVS: Local View Synthesis from Relative Camera Pose by Reusing Previous Views

상호작용형 장면 탐험(exploration)은 빈번한 뷰 업데이트를 요구하지만, 카메라의 작은 움직임에서는 가시적인 콘텐츠의 대부분이 보존됩니다. 그럼에도 불구하고 기존 3D Gaussian Splatting은 각 타깃 뷰를 매번 새로 렌더링하므로 이러한 이미지 중첩을 활용하지 못합니다. 이미 렌더링된 이미지를 재사용하는 것은 대안이 될 수 있습니다. 그러나 기하학적 워핑(geometric warping)만으로는 새롭게 노출된 콘텐츠를 복원할 수 없으며 깊이(depth) 오차에 민감하게 반응합니다. 본 논문에서는 인접한 뷰에 대한 반복적인 장면 렌더링을 상대적 포즈 기반의 RGB-D 이미지 재사용으로 대체하는 장면별(per-scene) 프레임워크를 제안합니다. 기하학적 워핑은 깊이와 상대적 포즈를 활용하여 소스 콘텐츠를 이동시키며, 경량 멀티스케일 네트워크는 RGB 잔차(residual)를 예측하여 아티팩트를 보정하고 누락된 외관을 추론합니다. 또한 캐시된 소스 피처를 통해 반복 계산을 더욱 줄입니다. GS-render에서 잔차 정제는 순수 워핑 대비 PSNR을 0.72 dB 향상시켰으며, 실제 캡처된 장면과 렌더링된 장면에 대한 평가를 통해 낮은 쿼리 지연 시간(latency)을 입증했습니다. 이러한 장면 렌더링과 국소 뷰 업데이트의 분리는 반응성이 뛰어난 장면 탐험을 지원하며, 증강 현실(AR) 및 가상 현실(VR) 분야로의 응용 가능성을 제시합니다.

arXiv:2610.12104v1cs.CV

VINCIE-NExT: 문맥 내 모델링을 통해 이미지로부터 비디오 편집 기능 열기

VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling

유능한 비디오 편집기(video editor)를 구축하는 것은 비디오 생성기보다 여전히 훨씬 더 어렵습니다. 편집에는 주석 작업 비용이 지나치게 높고 대규모 합성이 어려운 (원본, 지시문, 편집본) 트리플렛(triplet)이 필요한 반면, 이미지 편집은 이미 수백만 개의 관련 쌍을 쉽게 활용할 수 있을 정도로 성숙 단계에 도달했습니다. 본 연구에서는 대규모 쌍을 이루는(paired) 비디오 편집 데이터의 필요성을 완화하면서, 문맥 내 시각적 시연(in-context visual demonstration)을 통해 이미지의 편집 능력을 비디오로 전이하는 통합 프레임워크인 VINCIE-NExT를 소개합니다. VINCIE-NExT는 비디오 편집을 구조화된 조합 가능한 하위 작업 체인(Video -> Image -> Image -> Video)으로 분해하여 편집 의도를 이미지 도메인으로 라우팅하며, 통합된 확산(diffusion) 목적식 하에서 이종 이미지 및 비디오 코퍼스로부터 확장 가능한 공동 학습(joint training)을 가능하게 합니다. 모델이 합성하거나 사용자가 제공한 이미지 편집 쌍은 모든 출력 프레임에 대한 공간적 외형 청사진 역할을 하는 문맥 내 시각적 시연으로 앞에 추가됩니다. 인터리브된(interleaved) 컨텍스트 전반에서 외형 편집을 그라운딩(grounding)하기 위해, 이미지 시연과 비디오 프레임을 공유된 공간 좌표계에서 연결하는 새로운 위치 인코딩(position encoding)을 도입하여 모든 출력 프레임으로 외형 변화가 픽셀 수준에서 충실하게 전파되도록 합니다. 또한 편집의 연쇄(Chain-of-Editing)는 원칙적인 테스트 시간 스케일링(test-time scaling)을 제공하여, 하위 작업 체인을 점진적인 확산 단계로 실행함으로써 재학습 없이도 추가 연산을 투입하여 편집 품질을 향상시킬 수 있습니다. OpenVE-Bench에서의 포괄적인 실험은 다양한 편집 범주 전반에서 최고 성능(SOTA)을 입증하며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성을 확인합니다.

arXiv:2610.11918v1cs.MM

표면에서 심층으로: 멀티모달 감정 이해에서 인지적 평가 추론을 향하여

From Surface to Depth: Towards Cognitive Appraisal Reasoning in Multimodal Emotion Understanding

최근 멀티모달 대규모 언어 모델(MLLM)은 감정 이해를 위해 설명 가능한 추론을 점점 더 많이 통합하고 있다. 그러나 주로 관찰 가능한 정서적 신호(affective cues)에 기반한 추론은 감정 이해를 표면적인 신호-레이블 연관 관계로 축소시켜 클레버 한스 효과(Clever Hans effect)를 초래할 수 있다. 이러한 지름길(shortcut)은 정서적 신호가 암묵적이거나, 모달리티 간에 상충하거나, 언어적으로 오도되거나, 불필요한 세부 사항에 의해 가려질 때 신뢰할 수 없게 된다. 반면, 인간의 감정은 관찰 가능한 신호를 넘어 개인이 주변 사건을 해석하고 평가하는 방식에 의해 형성된다. 감정의 평가 이론(appraisal theories of emotion)에서 영감을 받아, 우리는 멀티모달 감정 이해를 지각(perception)에서 인지적 평가(cognitive appraisal)로 나아가는 과정으로 정식화하고, 이 새로운 패러다임을 지원하기 위한 데이터셋, 모델, 벤치마크를 제시한다. CogEmo-40K는 지각에서 평가로 이어지는 파이프라인을 통해 구축된 대규모 인스트럭션 튜닝 데이터셋으로, 감정의 기저에 있는 여섯 가지 인지적 평가 차원에 걸쳐 근거 기반(evidence-grounded) 추론을 이끌어내도록 설계되었다. CogEmo-MoE는 평가별 적응(appraisal-specific adaptation)을 위한 교차 배치형(interleaved) MoE 블록을 도입한 소형 희소(sparse) MLLM으로, 일반적인 감정 MLLM보다 훨씬 작은 규모에서도 효과적인 평가 추론을 가능하게 한다. CogEmo-Bench는 여섯 가지 상호 보완적인 평가 차원에 걸쳐 인지-정서적 이해(cognitive-affective understanding)를 평가하기 위해 평가 근거 품질 점수(Appraisal Evidence Quality Score, AEQS)를 도입하며, 어떤 감정이 예측되었는지는 평가하지만 그 감정이 왜 발생했는지는 평가하지 못하는 기존 감정 평가 지표의 한계를 해결한다. 광범위한 실험을 통해 우리의 패러다임이 CogEmo-Bench에서 선두를 차지할 뿐만 아니라 강력한 도메인 간 일반화(cross-domain generalization) 성능도 보인다는 것을 확인했다. 우리의 연구 결과는 지각에서 평가로 이어지는 추론이 표면적인 신호-레이블 연관 관계를 넘어 더 신뢰할 수 있는 멀티모달 감정 이해로 나아가고, MLLM과 인간 간의 인지적 정렬(cognitive alignment)을 더 가깝게 할 수 있음을 시사한다.

arXiv:2610.11846v1cs.CV

복소수 값 융합을 통한 개방형 어휘(Open-Vocabulary) 오디오-비주얼 이벤트 로컬라이제이션

Open-Vocabulary Audio-Visual Event Localization via Complex-Valued Fusion

개방형 어휘 오디오-비주얼 이벤트 로컬라이제이션(Open-Vocabulary Audio-Visual Event Localization, OV-AVEL)은 학습 중에 전혀 본 적 없는 클래스를 포함하여 각 비디오 세그먼트에 이벤트 클래스를 레이블링하는 작업이다. 지배적인 파이프라인은 고정된(frozen) 멀티모달 파운데이션 모델(예: ImageBind)을 사용하여 시각 프레임, 오디오 멜-스펙트로그램(mel-spectrogram), 그리고 각 후보 클래스 이름을 공유 공간에 임베딩한 뒤, 각 세그먼트에 대해 각 클래스와의 두 가지 코사인 유사도, 즉 시각-텍스트 유사도와 오디오-텍스트 유사도를 계산한다. 기존 방법들은 이 두 값을 고정된 규칙(기하평균, 가중평균)으로 하나의 스칼라 점수로 축약한 뒤 argmax를 취한다. 반면 본 연구에서는 복소수 값 유사도를 계산하고, 복소수 값 신경망(Complex-Valued Neural Network, CVNN)을 사용하여 이들의 융합을 학습한다. 각 모달리티의 표준 표현은 우리 파이프라인의 실수부가 되며, 짝을 이루는 동반 스트림이 허수부를 제공한다. 우리는 시각 모달리티에 대해 iHSV의 허수부를, 오디오 모달리티에 대해 CycleGAN으로 변환된 위상 스펙트로그램(phase spectrogram)을 이러한 동반 스트림으로 사용한다. 그 결과 두 개의 복소수 유사도가 생성되며, 이들이 다시 융합된다. 비전 인코더와 오디오 인코더는 고정된 상태를 유지하는 반면, 시간적 어텐션(temporal-attention) 블록과 융합 CVNN만 학습된다. 4-스트림 복소수 아키텍처는 두 OV-AVEL 벤치마크 모두에서 새로운 최신 성능(state of the art)을 달성한다. OV-AVEBench의 open(미본 클래스, unseen-class) 분할에서 우리는 Acc/Seg-F1/Event-F1 기준 66.5/59.1/54.1%를 달성했으며(기존에 보고된 파인튜닝 기준선 대비 +1.6/+4.1/+6.6), 본 클래스(seen classes)에 대해서도 일관된 성능 향상을 보였다. 또한 이 과제를 위해 AVE 데이터셋을 수정하였으며, 우리의 아키텍처가 Acc/Seg-F1/Event-F1 기준 60.7/51.9/50.4%를 달성하여 이 데이터셋에서도 최신 OV-AVEL 성능을 기록함을 확인했다. 아울러 기준선 대비 큰 성능 향상을 보이는 2-스트림 대안도 제안한다.

arXiv:2610.11792v1cs.MM

AuraLuxMuse: 음악과 전문가 가이드를 활용한 미학적 무대 조명 디자인을 위한 적응형 융합 모델링

AuraLuxMuse: Adaptive Fusion Modeling for Aesthetic Stage Lighting Design with Music and Expert Guidance

우리는 전문가 지식, 표현 학습(representation learning), 선호도 적응형 모델링을 통합한 자동화된 미학적 무대 조명 디자인을 위한 새로운 시스템인 AuraLuxMuse를 제시한다. 라이브 공연 환경에서의 조명 디자인은 음악적 특징을 동적인 조명 동작으로 매끄럽게 변환해야 한다. 그러나 전통적인 작업 흐름은 여전히 시간이 많이 소요되고 노동 집약적이며 전이하기 어렵다. AuraLuxMuse는 음악과 전문적인 큐 시퀀스를 공유된 검색 공간(retrieval space)으로 인코딩하고, 큐 이벤트 밀도를 추정하며, 선택된 조명 기구(fixture) 명령을 목적지 무대에 맞게 재조정(retarget)한다. 이 시스템은 디자이너를 제약 없는 생성기로 대체하는 것이 아니라, 편집 가능한 큐를 반환함으로써 사전 제작(pre-production) 단계의 저작을 지원한다. AuraLuxMuse의 핵심에는 두 가지 주요 모듈이 있다: 오디오와 조명 큐 간의 정렬을 위해 대조 학습(contrastive learning)을 수행하는 조명-정렬 음악 사전학습(Lighting-Aligned Music Pretraining, LAMP)과, 스타일별 전문가 네트워크로 구성된 게이팅된 앙상블을 통해 디자이너의 의도에 따라 선호도를 인지하는 큐 검색과 적응을 조건화하는 선호도 적응형 전문가 혼합(Preference-Adaptive Mixture of Experts, PAMoE)이다. 학습과 평가를 지원하기 위해, 우리는 다양한 공연 시나리오에서 짝지어진 음악 오디오와 전문적인 조명 큐 시퀀스로 구성된 최초의 데이터셋인 Musilux를 소개한다. 우리는 가상 시뮬레이션 환경과 전문가급 실험실 모두에서 AuraLuxMuse를 평가한다. 객관적 평가와 주관적 평가를 포함한 실험 결과는 AuraLuxMuse가 시각적으로 일관되고 의미적으로 유의미하며 예술적으로 표현력 있는 무대 조명 큐를 검색하고 적응시킨다는 것을 보여주며, AI 지원 미학적 무대 디자인에 대한 그 잠재력을 시사한다.

arXiv:2610.11371v1cs.CL

SignRAG: 통합 검색-증강 기반 글로스 프리 수어 번역

SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation

최신 디코더 전용 대규모 언어 모델(LLM)은 광범위한 도메인에서 강력한 역량을 입증해 왔습니다. 그러나 글로스 프리(gloss-free) 수어 번역(SLT)을 위한 기존 사전학습 패러다임은 대부분 전통적인 인코더-디코더 기반 사전학습 언어 모델을 중심으로 설계되어 있어, 디코더 전용 LLM에 직접 적용하는 데 한계가 있습니다. 이러한 한계를 해결하기 위해 계층적 사전학습, 타깃 도메인 검색-증강(retrieval augmentation), 검색 인식 강화 미세조정(fine-tuning)을 결합한 통합 프레임워크인 SignRAG를 제안합니다. 계층적 사전학습은 먼저 언어학적으로 기반을 둔(linguistically grounded) 수어 표현을 학습한 후 수어 인코더와 LLM을 공동으로 정렬하여 모달리티 간 최적화 불균형을 완화합니다. 다운스트림 적응을 위해 SignRAG는 매개변수 기반 미세조정을 인스턴스별 번역 단서를 제공하는 타깃 도메인 검색 갤러리로 보완합니다. 나아가 검색된 컨텍스트가 적절하게 활용되도록 번역 품질 보상과 검색 유용성 보상을 결합하여 유익한 검색 활용은 장려하고 유해한 의존은 억제하는 검색 유용성 유도 강화 미세조정(RUG-RFT)을 도입합니다. 여러 SLT 벤치마크에서의 실험을 통해 새로운 최고 성능(SOTA)을 달성했습니다. 특히 우리가 아는 한, SignRAG는 CSL-Daily에서 보고된 모든 평가 지표에 걸쳐 글로스 지도(gloss-supervised) 방식을 능가한 최초의 글로스 프리 접근법입니다. 향후 학술 연구를 지원하기 위해 다양한 크기의 모델과 함께 코드가 \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}에 공개되었습니다.