PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.16253v2cs.CV

비전-언어-행동 모델을 위한 학습 기반 이미지 압축

Learned Image Compression for Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 점점 더 고주파(high-frequency) 멀티 카메라 관측에 의존하고 있으며, 이로 인해 대역폭이 제한되거나 분산된 배포 환경에서 실시간 로봇 제어를 위한 시각 정보 전달이 주요 병목으로 작용하고 있다. 그러나 기존 이미지 및 비디오 코덱은 다운스트림 VLA 정책(policy)의 제어 성능보다는 일반적인 시각적 충실도(fidelity)를 보존하도록 설계되어 있다. 본 연구에서는 VLA 기반 로봇에 특화된 학습 기반 이미지 압축 프레임워크인 SPARC(SPatially Adaptive Rate Control)를 제안한다. 우리의 핵심 관찰은 시각 정보의 중요도가 카메라 뷰(view)와 이미지 내 공간적 영역(spatial region) 모두에 걸쳐 상당히 다르게 나타난다는 것이다. 이러한 관찰을 바탕으로, SPARC는 시간적 맥락(temporal context)을 활용하면서 작업 관련성(task relevance)에 따라 잠재 표현(latent representation)에 비트레이트(bitrate)를 적응적으로 할당하는 경량 시간적 마스크 선택기(temporal mask selector)를 사용한다. 또한 우리는 엔트로피 기반 목적함수(entropy-based objective)가 드물지만 작업에 결정적인(task-critical) 시각 패턴을 과도하게 억제하는 경향을 줄여 학습을 안정화하는 기울어진 비트레이트 손실(tilted rate loss)을 도입한다. RoboCasa365, VLABench, LIBERO를 포함한 다양한 로봇 벤치마크 실험에서 SPARC는 동일한 비트레이트 예산 하에서 기존 이미지/비디오 코덱 및 최근의 학습 기반 압축 기법보다 일관되게 더 강력한 제어 성능을 달성함을 보인다. 또한 우리는 원격 제어(remote-control) 환경에서의 실세계 배포 이점을 입증하며, 이 환경에서 우리의 방법은 비트레이트-성공률(bitrate-success) 트레이드오프를 크게 개선한다.

arXiv:2603.01568v2cs.LG

동일한 압축 원리, 다른 기하: 속도-왜곡 시그니처가 생물학적·인공 시각 시스템을 구분한다

Same Compression Principle, Different Geometry: Rate-Distortion Signatures Dissociate Biological and Artificial Visual Systems

효율적 코딩 이론은 생물학적 지각 시스템이 자원 제약 하에서 감각 입력을 최적으로 압축하며, 오류의 체계적 구조가 해당 압축의 기하를 반영한다고 예측한다. 여기서 우리는 속도-왜곡 이론(RDT)을 사용하여 이 원리를 실증적으로 적용하고, 생물학적 시스템이든 인공 시스템이든 표현 충실도와 정보 효율성 사이를 어떻게 교환하는지 특성화한다. 자극-반응 행동을 유효한 통신 채널로 취급하여, 혼동 행렬로부터 직접 속도-왜곡(RD) 프론티어를 추론하고, 각 시스템을 세 가지 기하 시그니처로 요약한다: 기울기(beta), 곡률(kappa), RD 곡선 아래 면적(AUC)으로, 각각 정확도-압축 트레이드오프의 한계 비용, 급격함, 전체 효율성을 포착한다. 이 프레임워크를 인간의 심리물리학 데이터와 12가지 계열의 통제된 이미지 교란을 단계적 심각도로 적용한 18개 딥 비전 모델에 적용한 결과, 생물학적 시스템과 인공 시스템 모두 공통의 손실 압축 원리를 따르지만 RD 공간의 체계적으로 다른 영역을 차지함을 발견한다. 인간은 준최적 효율적 코딩의 특징인 매끄럽고 유연한 트레이드오프를 보이는 반면, 딥 네트워크는 동일한 정확도에서도 더 가파르고 취약한 영역에서 작동하며, 기하는 학습 체제에 걸쳐 성능과 분리 가능하다. 중요한 것은, 행동적 RD 시그니처가 내부 표현 기하를 추적하며, 행동으로 추론된 압축 구조가 모든 모델에서 내부 표현 불유사성과 상관관계를 보임으로써 이를 입증한다. 이 결과는 RD 기하를 지각 압축 전략의 간결한 진단 도구로 정립하며, 행동 입력만으로 내부 표현의 기계론적으로 해석 가능한 구조를 복원하고 신경 집단 활동에서 압축 기하를 직접 특성화하는 것으로 자연스럽게 확장된다.

arXiv:2607.10237v1cs.CV

CoSAG: 학습 없는 율-왜곡 코딩을 통한 경량 의미론적 앵커 가우시안

CoSAG: Compact Semantic Anchor Gaussians via Training-Free Rate-Distortion Coding

개방형 어휘(open-vocabulary) 3D 장면 이해는 일반적으로 CLIP과 같은 2D 비전-언어 특징을 3D Gaussian Splatting 장면에 임베딩하여 텍스트 질의 가능한 의미 필드로 변환함으로써 달성된다. 그러나 수백만 개의 가우시안 각각에 고차원 특징을 부착하면 단일 장면이 수 기가바이트로 팽창하여, 저장 및 배포가 이러한 필드의 실질적인 병목이 된다. 기존의 경량화 방법들은 각각 장면별 코덱, 오토인코더, 양자화된 코드북, 또는 지식 증류된 특징 필드를 학습하여 함께 제공하며, 필드 구성과 저장을 얽히게 하고 비용의 대부분을 차지하는 가우시안별 할당은 전혀 압축하지 않는다. 우리는 구성과 저장이 분리되어야 하며, 저장은 소규모 앵커 테이블에 대한 가우시안별 바인딩 위에서의 율-왜곡 문제라고 주장한다. 이는 기존의 어떤 개방형 어휘 방법도 압축하지 않던 구조다. 우리는 CoSAG를 제시한다. CoSAG는 폐쇄형 투과율 가중 리프트(closed-form transmittance-weighted lift), 공간적으로 그라운딩된 의미론적 앵커, 다중 뷰 노이즈 제거를 통해 장면별 학습 없이 필드를 구성하고, 디코더를 포함하지 않는 공간 예측 엔트로피 코더로 저장한다. 앵커가 공간적으로 그라운딩되어 있기 때문에 바인딩은 예측 가능하며 따라서 높은 압축률을 달성할 수 있다. 투과율 가중 리프트와 다중 뷰 노이즈 제거는 깨끗하고 뷰 일관적인 할당을 생성하므로, 엔트로피 코더는 노이즈 보정에 거의 율을 소비하지 않고 공간 예측에 대한 잔차만을 코딩한다. CoSAG는 2D 렌더링, 3D 선택, dense-LSeg 프로토콜 전반에 걸쳐 최첨단 성능에 필적하거나 이를 초과하면서 메가바이트 이하의 저장 용량을 달성하며, LangSplatV2 대비 더 높은 정확도로 필드 크기를 37~76배 감소시킨다.

arXiv:2607.08032v1cs.LG

무엇을 유지하고 무엇을 버릴 것인가: LLM과 에이전트의 메모리 압축에 대한 율-왜곡 관점

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

KV 캐시 압축, 프롬프트 압축, 아키텍처 상태, 에이전트 메모리라는 기존의 네 가지 분리된 연구 영역을 율-왜곡(rate-distortion) 이론 관점에서 하나의 통합된 메모리 압축(memory compaction) 문제로 재정의하고, 7축 분류 체계와 층에 무관한 하한을 통해 서로 간 메커니즘 이전을 가능하게 한다. 또한 모든 층에서 어텐션 크기 기반의 쿼리-비인식(query-agnostic) 압축이 동일한 방식으로 실패한다는 공통 패턴을 밝히고, 에이전트의 반복적 압축을 측정하기 위한 COMPACT-Bench 벤치마크를 제안한다.

arXiv:2606.13366v1cs.CV

운용 비트율-왜곡-인지 최적화를 위한 이중 제약 디퓨전 이미지 압축

Dual-Constrained Diffusion Image Compression for Operational Rate-Distortion-Perception Optimization

비트율-왜곡-인지(RDP) 트레이드오프는 복원 결과에 분포 제약(distributional constraint)을 적용하여 고전적인 비트율-왜곡 이론을 확장함으로써, 충실도와 지각적 사실감을 동시에 제어하는 신경망 기반 이미지 압축을 위한 통합 프레임워크를 제공합니다. 기존 연구는 거의 최적의 비트율-인지 트레이드오프를 달성했으나, 전체 RDP 곡면을 명시적으로 실현하는 실용적 프레임워크는 여전히 드물며, 이는 주로 디코더에서 공통 난수(common randomness)를 도입하는 데 따른 어려움 때문입니다. 본 연구에서는 왜곡 및 멱등성(idempotence) 제약에 의해 제어되는 디퓨전 기반 디코더와 학습 가능한 코덱을 통합한 DCIC(Dual-Constrained Diffusion Image Compression)를 제안합니다. 왜곡 제약은 기본 코덱 출력에 대한 복원 충실도를 제한하며, 멱등성 제약—복원된 이미지를 재인코딩했을 때 기본 코덱의 복원 결과를 복구해야 한다는 조건—은 분포적 인지 요구사항에 대한 처리 가능한 대리 수단 역할을 합니다. 이 두 제약은 일관된 노이즈 주입을 통한 반복적 최적화로 역 노이즈 제거 과정을 유도하여, 추가 비트율 오버헤드 없이 공통 난수를 실현합니다. 고정 비트율에서 이중 감쇠 계수 $(K_D, K_P)$는 왜곡-인지 평면의 파레토 프론티어(Pareto frontier)를 공동 탐색하여, 단일 비트스트림으로부터 연속적으로 조절 가능한 충실도-사실감 트레이드오프를 가능하게 합니다. DCIC$_{RD}$ ($K_P{=}0$)와 DCIC$_{RP}$ ($K_D{=}0$)는 경계 곡선으로 나타나며, DCIC$_{RDP}$ ($K_D = K_P=1$)는 최적의 내부 운용 지점을 실현합니다. CNN, Transformer, 하이브리드 아키텍처에 걸쳐 CelebA-HQ, CLIC2020, ImageNet-1K 데이터셋에서 수행된 실험을 통해, DCIC$_{RDP}$는 모든 지각 코덱 대비 우수한 BD-PSNR을 달성함과 동시에 DCIC$_{RP}$는 BD-FID 지표에서 인지 지향 전용 방법과 대등한 성능을 보여, 전체 RDP 곡면 탐색의 실용적 가치를 검증했습니다.