arXiv:2310.17131

Virtual Accessory Try-On via Keypoint Hallucination

Junhong Gou, Bo Zhang, Li Niu, Jianfu Zhang, Jianlou Si, Chen Qian, Liqing Zhang

제출 2023-10-26

원문 초록

The virtual try-on task refers to fitting the clothes from one image onto another portrait image. In this paper, we focus on virtual accessory try-on, which fits accessory (e.g., glasses, ties) onto a face or portrait image. Unlike clothing try-on, which relies on human silhouette as guidance, accessory try-on warps the accessory into an appropriate location and shape to generate a plausible composite image. In contrast to previous try-on methods that treat foreground (i.e., accessories) and background (i.e., human faces or bodies) equally, we propose a background-oriented network to utilize the prior knowledge of human bodies and accessories. Specifically, our approach learns the human body priors and hallucinates the target locations of specified foreground keypoints in the background. Then our approach will inject foreground information with accessory priors into the background UNet. Based on the hallucinated target locations, the warping parameters are calculated to warp the foreground. Moreover, this background-oriented network can also easily incorporate auxiliary human face/body semantic segmentation supervision to further boost performance. Experiments conducted on STRAT dataset validate the effectiveness of our proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22924v1cs.CV공통 태그 Semantic Segmentation, Virtual Try-on

레이어링 가상 착용

Layering Virtual Try-On

실세계에서 패션은 레이어링에 관한 것이다. 셔츠 위에 재킷을 더하거나, 단일 층 교체가 아니라 층을 순차적으로 추가하고 제거하는 일이다. 이러한 근본적인 실세계 과제는 단일 층 교체에는 뛰어나지만, 기존 의상에 층을 더하거나 벗기도록 설계되지 않은 기존 가상 착용(VTON) 방법에서는 여전히 과제로 남아 있다. 본 논문은 기존 의상을 보존하면서 순차적 레이어링을 가능하게 하는 레이어링 벤치마크 및 방법인 Layering Virtual Try-On(LVTON)을 제안한다. 현재 VTON 패러다임은 cloth-agnostic 표현과 단일 아이템 데이터셋에 의존하여 필수적인 레이어링 맥락을 버리기 때문에 LVTON에 근본적으로 부적합함을 발견했다. 핵심 통찰은 LVTON 과제를 두 가지 별개의 역량으로 분리해야 한다는 것이다: (1) 일반 VTON 사전지식(예: 변형, 정체성 보존)과 (2) 특화 레이어링 지식(예: 레이어링 순서 및 가림(occlusion) 추론). 먼저, 우리 모델은 세그멘테이션(segmentation)과 인페인팅(inpainting)을 통해 패션 비디오로부터 샘플을 합성하는 자동 데이터 생성 파이프라인이 생산한 데이터로 학습하여 일반 VTON 사전지식을 얻는다. 둘째, 모델은 레이어링 논리를 학습하기 위해 소규모 전용 LVTON 데이터셋에서 파인튜닝(fine-tuning)된다. 우리 방법은 LVTON 벤치마크에서 최신(state-of-the-art) 결과를 달성하고, 전통적인 VTON 벤치마크에서 우수한 일반화 성능을 보여주며, 파인튜닝 시 새로운 최신 결과를 설정하고 제로샷(zero-shot) 능력을 나타낸다.

arXiv:2607.22698v2cs.CV공통 태그 Semantic Segmentation

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

arXiv:2610.02902v4cs.AI공통 태그 Hallucination

LUMOS: 대규모 언어 모델(LLM)에서 학습 데이터로부터 행동 출력까지의 파라메트릭 지식 추적

LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs

LLM의 매개변수적 지식에 대한 현재의 분석은 대체로 출력 중심적이어서, 모델이 실제로 무엇을 학습했는지 검증하지 않은 채 모델이 무엇을 아는지에 대한 결론을 도출한다. 이 때문에 올바른 응답이 진정한 일반화를 반영하는지 단순 암기를 반영하는지와 같은 근본적인 질문이 증거가 아닌 추측에 기반하게 된다. 이러한 모호성을 해소하기 위해 우리는 학습 데이터가 완전히 공개된 OLMo 2를 활용하여, 학습 데이터 노출, 내부 표현, 행동 출력에 걸쳐 지식을 추적하는 진단 프레임워크 LUMOS를 소개한다. 검증된 노출에 근거해 분석한 결과, 모델은 드문 사실을 높은 분리도(84%)로 내부에 인코딩하지만 행동으로는 이를 표현하지 못하며(54%), 이러한 인출 격차는 규모가 커질수록 줄어든다. 또한 모델에게 자신의 답변을 스스로 성찰하도록 요청하면, 학습된 내용에서는 안정적으로 수행하지만(83%) 보지 못한 내용에서는 무작위 기준선 수준(49%)으로 떨어진다. 이러한 붕괴는 보정을 개선하지 않고 확신 신호만 부풀리는 사고 연쇄(chain-of-thought) 프롬프팅 하에서도 지속된다. 종합하면, 이러한 결과는 LLM 평가에 학습 데이터 축을 포함하면 추측에 의한 진단이 검증 가능한 주장으로 바뀜을 보여 주며, 우리는 이 축이 LLM 지식 평가의 표준 구성 요소가 되어야 한다고 주장한다.

arXiv:2610.02946v2cs.CV공통 태그 Semantic Segmentation

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2608.24707v3cs.CL공통 태그 Hallucination

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.