PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24564v1cs.CV

HyperCLIP++: 쌍곡 공간에서 개방 어휘 의미 분할을 위한 CLIP 미세조정

HyperCLIP++: Fine-tuning CLIP forOpen-vocabulary Semantic Segmentation in Hyperbolic Space

기초 비전-언어 모델인 CLIP은 개방 어휘 의미 분할(open-vocabulary semantic segmentation)에 강력한 도구로 부상했다. CLIP의 텍스트 인코더를 동결(freezing)하면 일반화 능력이 유지된다는 것이 알려져 있지만, 최근 연구들은 CLIP의 텍스트·이미지 인코더를 함께 미세조정하면 분할 성능, 특히 개방 집합(open set) 클래스에서 크게 향상된다고 보여준다. 본 연구에서는 미세조정 과정에서 이미지 임베딩(embedding)의 위계 수준이 이미지 수준에서 픽셀 수준으로 이동하기 때문에, 위계 정렬(hierarchy alignment) 관점에서 이 현상을 설명한다. 이를 위해 위계 구조를 자연스럽게 인코딩하는 쌍곡 공간(hyperbolic space)을 활용한다. 핵심 관찰은 미세조정 동안 CLIP 텍스트 임베딩의 쌍곡 반경(hyperbolic radius)이 감소하여 시각 데이터의 픽셀 수준 세분성과 더 잘 정렬된다는 점이다. 이를 바탕으로 HyperCLIP++라는 새로운 매개변수 효율적 적응 전략을 제안한다. HyperCLIP++는 스케일링 변환을 통해 CLIP 임베딩의 쌍곡 반경을 직접 조정하여 목표 과제인 분할에 맞는 위계 정렬을 달성한다. 두 모달리티 전반에 걸쳐 위계 정렬이 일관되게 이루어지고 학습 중 교차 모달 정렬이 유지되도록, HyperCLIP++는 비전·텍스트 경로 간 조정을 동기화하는 Dual Cross-Relation Communication(DCRC) 모듈을 통합한다. 실험 결과 HyperCLIP++는 CLIP 전체 매개변수의 약 5%만 미세조정하면서 세 벤치마크에서 최첨단(state-of-the-art) 성능을 달성한다. 더 중요하게, 조정 후 CLIP 텍스트 임베딩은 데이터셋에 걸쳐 상대적으로 고정된 쌍곡 반경을 보이며, 이 분할 과제에 필요한 위계 수준이 쌍곡 반경으로 정량화될 수 있음을 시사한다.

arXiv:2607.09710v1cs.LG

다양체 제약 테이블형 심층 신경망

Manifold Constrained Tabular Deep Neural Networks

테이블형 분류(tabular classification)는 매끄러운 전역 패턴보다 국소적이고 조건 기반의 규칙에 의해 지배되는 경우가 많다. 그러나 테이블형 심층 신경망(DNN)은 일반적으로 매끄러운 변화와 의미적 지역성을 선호하는 유클리드 표현을 기반으로 구축된다. 이러한 잠재적인 기하학적 불일치로 인해 테이블형 DNN이 테이블형 분류의 기저에 있는 이산적·규칙 분할 구조를 효율적으로 표현하기 어려울 수 있다. 이 문제를 해결하기 위해, 우리는 쌍곡 공간(hyperbolic space)에서 계층적 의사결정 모델링을 가능하게 하는 다양체 제약 DNN인 HDE-Net을 제안한다. 먼저 이질적인 특징(feature)들을 통합된 잠재 의사결정 노드(Latent Decision Nodes, LDN)로 추상화하고 이를 푸앵카레 볼(Poincaré ball)에 임베딩하여 트리 구조 추론과 유사한 연속적 표현을 형성한다. 수치형 특징에 대해서는 범위 기반 국소 규칙을 미분 가능한 방식으로 근사하는 소프트 결정 라우팅(Soft Decision Routing) 메커니즘을 도입하여, 해당 LDN의 의미론을 범주형 특징의 것과 더 가깝게 만든다. 엔트로피 인식 용량 할당 알고리즘은 표현력과 복잡도의 균형을 맞추기 위해 수치형 특징별 LDN 수를 추가적으로 조정한다. TALENT-tiny-core 분류(classification) 벤치마크(30개 데이터셋)에서 HDE-Net은 \textit{최고 평균 순위}를 달성하며, 산업용 GBDT와 최신 테이블형 DNN 모두를 높은 효율성을 유지하면서 능가한다.