PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.23891v2cs.CV

Smart-Insertion-V: 폐루프 피드백 이중 스트림 프레임워크를 통한 사실적 비디오 삽입

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

마스크 없는(Mask-free) 비디오 객체 삽입은 참조 객체를 원본 비디오에 조화롭게 통합해야 하는 까다로운 과제로 부상했습니다. 그러나 기존 방법들은 참조 객체와 원본 장면 사이에 심각한 스타일 도메인 격차가 존재할 때 어려움을 겪습니다. 이를 극복하기 위해, 본 논문에서는 비디오 삽입과 이미지 스타일 전이를 동시에 수행하는 엔드투엔드 이중 스트림(Dual-Stream) 프레임워크인 Smart-Insertion-V를 제안합니다. 이 프레임워크 내에서 이미지 스트림은 비디오 생성 과정을 동기적으로 유도하며, 강건한 삽입을 보장하기 위해 폐루프 피드백(Closed-loop Feedback) 메커니즘이 추가로 결합됩니다. 이러한 다양한 조건화 신호를 통합하는 과정에서 필연적으로 특징(feature) 얽힘과 스타일 누출 문제가 발생합니다. 이 문제를 해결하기 위해, 큰 학습(training) 오버헤드를 발생시키지 않으면서 시공간 오프셋을 통해 서로 다른 신호를 구별하는 Dual-World-View RoPE를 설계했습니다. 나아가 공간적 그라운딩(grounding)과 스타일 적응을 촉진하기 위해, 네이티브 텍스트 인코더로 기존 시간적 가이던스를 보존하면서 시각-언어 모델(VLM)을 활용하여 의미론적 추론을 수행하는 분리형 가이던스 모듈(Decoupled Guidance Module)을 도입합니다. 조화로운 참조 객체 삽입 태스크의 데이터 격차를 해소하기 위해 데이터 큐레이션 파이프라인을 제안하며 오픈소스 데이터셋(dataset)을 공개할 예정입니다. 실험을 통해 본 제안 방법이 객체를 타당한 위치에 삽입하면서도 가장 조화로운 결과를 달성함을 입증합니다.

arXiv:2607.14185v1cs.LG

폐루프 지식 역학: 포화와 탈출을 위한 운용 프레임워크

Closed-Loop Knowledge Dynamics: An Operational Framework for Saturation and Escape

피드백 주도 루프는 대규모 언어 모델(LLM), 강화학습, 자율 발견에서 반복적 개선을 지원하지만, 반복된 내부 피드백 하에서는 그 이득이 종종 감소한다. 우리는 폐루프 지식 시스템이 왜 포화되는지, 그리고 어떤 외부 정보가 이를 현재 attractor를 넘어서게 할 수 있는지 연구한다. 우리는 지식 상태 $x_t$가 구조적 매개변수 $θ$로 색인된 전이 커널 $K_θ$를 통해 진화하는 3단계 운용 프레임워크를 제안한다. 지배 구조는 이러한 커널들에 의해 유도된 $θ$의 관측적 동치류로 정의되며, attractor와 basin은 고정-$θ$ 역학의 성질이다. 구조적 개입은 $θ$를 변경하고 사전 지정된 프로브 상태에서 검출 가능한 커널 불일치를 만들어, 구조적 변화를 반증 가능하게 한다. Lyapunov drift 조건을 사용하여, 안정적인 내부 역학이 지수적으로 감쇠하는 과도 현상과 잡음이 제어하는 잔차 하한을 갖고 유계 안정성 영역에 접근함을 보인다. 탈출을 개입 유도 attractor 변위에 대한 계량 조건과 탈출 확률 증가를 위한 기준선 대비 KL 하한으로 특성화한다. 이 분석은 또한 조건부 상호 정보만으로는 탈출을 보증할 수 없는 이유를 설명한다: 그것은 개입-조건 업데이트들 간의 변이를 측정할 뿐, 무개입 법칙으로부터의 이탈을 측정하지 않기 때문이다. LLM 코드 수리, 희소 보상 강화학습, 베이지안 최적화의 사례 연구는 매칭된 continuation 제어를 사용하여 피드백 강도와 정렬(alignment)이 품질 개선 탈출에 어떻게 영향을 미치는지 보여준다. 우리의 기여는 안정성 도구, 측정 가능한 개입 효과, 도메인 간 진단 사이의 운용적 연결이다.