arXiv:2212.02379

Single image calibration using knowledge distillation approaches

Khadidja Ould Amer, Oussama Hadjerci, Mohamed Abbas Hedjazi, Antoine Letienne

제출 2022-12-05

원문 초록

Although recent deep learning-based calibration methods can predict extrinsic and intrinsic camera parameters from a single image, their generalization remains limited by the number and distribution of training data samples. The huge computational and space requirement prevents convolutional neural networks (CNNs) from being implemented in resource-constrained environments. This challenge motivated us to learn a CNN gradually, by training new data while maintaining performance on previously learned data. Our approach builds upon a CNN architecture to automatically estimate camera parameters (focal length, pitch, and roll) using different incremental learning strategies to preserve knowledge when updating the network for new data distributions. Precisely, we adapt four common incremental learning, namely: LwF , iCaRL, LU CIR, and BiC by modifying their loss functions to our regression problem. We evaluate on two datasets containing 299008 indoor and outdoor images. Experiment results were significant and indicated which method was better for the camera calibration estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13452v1cs.CV공통 태그 Incremental Learning, Knowledge Distillation

점진적 객체 검출을 위한 공생 기반 지식 증류

Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

점진적 객체 검출(IOD)은 이전에 습득한 지식을 유지하면서 검출기를 새로운 범주로 확장하는 것을 목표로 한다. 기존 방법들은 종종 클래스 점진적 학습 관점을 채택하여 결정 경계를 선명히 하기 위해 특징 공간을 분리한다. 그러나 이러한 분리 지향 패러다임은 공동 출현과 가림이 공유 표현으로부터 이익을 얻는 공간적·의미적 종속성을 도입하는 객체 검출에서의 객체 공생을 간과할 수 있다. 이러한 종속성을 무시하면 공유 표현이 왜곡되고, 기존 클래스와 새 클래스 간 혼동이 심화되며, 치명적 망각이 가속된다. 이를 해결하기 위해, 우리는 두 가지 보완적 수준에서 객체 공생을 명시적으로 활용하는 공생 기반 지식 증류(SIKD)를 제안한다. 공간 공생 지식 증류(SpSD)는 기존 모델이 새 작업의 객체에 높은 겹침으로 반응하는 공생 영역에 초점을 맞춘다. 이는 일반화 가능한 기존 클래스 단서를 보존하고, 클래스별 바이어스와 중복을 억제하며, 슬롯 정렬된 감독으로 대응되는 공간 위치에서 정제된 증거를 새 모델로 증류한다. 의미 공생 지식 증류(SeSD)는 기존 클래스에 대한 신뢰도 가중 프로토타입을 형성하고 기존 클래스 로짓에 대한 클래스 간 소프트 순위를 정렬하여 클래스 수준 구조를 유지하며, 이는 적응 과정 동안 의미 토폴로지를 안정화한다. 광범위한 실험은 제안 방법의 효과와 우수성을 입증한다.

arXiv:2607.12934v1cs.CV공통 태그 Incremental Learning, Knowledge Distillation

차이 가이드 적응과 주파수 분리 지식 증류를 통한 도메인 점진적 원격 탐사 변화 탐지

Domain-Incremental Remote Sensing Change Detection via Difference-Guided Adaptation and Frequency-Decoupled Distillation

원격 탐사 변화 탐지(RSCD) 모델은 새로운 도메인에 점진적으로 적응할 때 재앙적 망각에 취약하다. 기존 도메인 점진적 학습(DIL) 방법은 주로 이미지 수준 표현을 보존하지만, 도메인 이동 하에서 견고한 변화 탐지에 필수적인 이중 시기 불일치 단서를 종종 간과한다. 이 한계를 해결하기 위해, 우리는 차이 가이드 적응(Difference-Guided Adaptation)과 주파수 분리 지식 증류(Frequency-Decoupled Distillation)를 통합한 도메인 점진적 변화 탐지 프레임워크인 DG-FDD를 제안한다. 구체적으로, 차이 가이드 동적 어댑터(DGDA)는 이중 시기 특징 불일치를 모델링하여 변화 인지 특징 적응을 촉진하고 도메인 특이적 간섭을 줄인다. 한편, 교차 도메인 합성(Cross-domain Synthesis)을 포함한 주파수 분리 지식 증류(FDKD-CS) 전략은 주파수 영역에서 구조적 정보와 도메인 스타일을 분리하여, 과거 데이터 없이 안정적인 지식 전이를 가능하게 한다. 2도메인 및 3도메인 점진적 프로토콜 하에서 세 개의 공개 고해상도 RSCD 데이터셋에 대한 광범위한 실험은 DG-FDD가 재앙적 망각을 효과적으로 완화함을 보여준다. 독립적으로 학습된 단일 작업 모델과 비교했을 때, DG-FDD는 6개의 2도메인 시퀀스 전체에서 F1과 IoU의 평균 상대 변화가 각각 -0.23%와 -0.45%에 불과하며, 평가된 3개의 3도메인 시퀀스에서는 각각 -0.69%와 -1.31%를 기록한다. 이 결과는 지속적인 교차 도메인 변화 탐지에서 과거 지식 보존과 새 도메인 적응 사이의 유리한 안정성-가소성 균형을 나타낸다.

arXiv:2607.11012v2cs.CL공통 태그 Knowledge Distillation

EasyOPD: 대규모 언어 모델을 위한 사용하기 쉬운 온-정책 지식 증류 프레임워크

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

기존의 언어 모델 지식 증류는 고정된 교사 생성 데이터에 의존하는 경우가 많은데, 이는 진화하는 학생 정책이 마주치는 상태를 충분히 포괄하지 못할 수 있다. 온-정책 지식 증류(OPD)는 대신 학생이 생성한 롤아웃에 대해 교사 또는 평가자의 감독을 수집한다. 그러나 기존 OPD 방법들은 감독 형식, 토크나이저 호환성, 교사 접근 방식, 감독 세분성 면에서 크게 상이하여, 재현 및 확장이 어려운 파편화된 구현들로 이어졌다. 우리는 대규모 언어 모델을 위한 분산 강화학습 프레임워크인 verl 위에 구축된 온-정책 지식 증류 프레임워크 EasyOPD를 제시한다. EasyOPD는 사용자 측 설정, 방법별 감독 로직, verl 기반 실행을 분리한다. 방법 모듈은 손실 구성, 롤아웃 메타데이터, 보상 처리, 토크나이저 정렬, 교사 측 연산을 위한 확장 경계를 통해 공유 백엔드에 연결된다. 우리는 교차-토크나이저 OPD, 온-정책 자기 지식 증류, 단계별 OPD의 세 가지 OPD 설정에 대한 대표 방법을 구현한다. 추론, 코드 생성, 과학 지식, 도구 사용 벤치마크에서의 실험 결과, 이 구현들이 방법별 목표와 과제 의존적 성능 프로파일을 유지하면서 동일한 verl 기반 백엔드를 통해 실행될 수 있음을 보여준다. 우리는 실행 가능한 YAML 설정, 문서, 설치 가능한 시연 패키지 및 영상과 함께 EasyOPD를 공개한다.

arXiv:2607.08170v2cs.LG공통 태그 Knowledge Distillation

모델 크기 보간에서의 층 패칭 이해

Understanding Layer Patching in Model Size Interpolation

레이어 패칭(layer patching)은 대규모 언어 모델(LLM)의 모델 크기 보간을 위한 핵심 기법으로, 증류된 학생 모델의 레이어 일부를 대응하는 교사 모델의 레이어로 대체하여 추가 학습 없이 중간 크기의 모델을 구성한다. 기존 연구는 레이어를 패치하는 순서를 대체로 무시하였으나, 우리는 이 순서가 결과 모델의 성능과 신뢰성에 극적인 영향을 미칠 수 있음을 보인다. 본 연구에서는 모델 크기 보간에서 레이어 패칭의 역할을 연구한다. 우리는 각 모델 크기에 대한 최적의 레이어 부분집합을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 비순환 그래프에서의 최단 경로 문제로 볼 수 있음을 증명한다. 실험에서 패칭이 보간 거동을 크게 좌우하며 그 효과가 모델 계열에 따라 상당히 다름을 보인다. 또한 첫 번째 레이어에서 마지막 레이어로, 또는 마지막에서 첫 번째로 패치하는 단순한 순차 전략이 실제로 놀라울 만큼 강한 성능을 내는 경우가 많음을 발견한다. 나아가 KL 발산에 기반한 탐욕적 패칭 알고리즘인 KLPatch를 도입하는데, 이는 마지막에서 첫 번째로 패치하는 방식보다 성능이 향상되는 경우가 많으며 최적화 문제를 근사적으로 푼다. 종합하면 우리의 결과는 레이어 패칭이 모델 크기 보간에 어떻게 영향을 미치는지에 대한 원리적 이해를 제공하며, 거의 최적에 가까운 보간 모델을 구성하기 위한 실용적 지침을 제시한다. 코드와 모델은 https://github.com/dcml-lab/boomerang-distillation 에서 이용할 수 있다.

arXiv:2607.19358v3cs.AI공통 태그 Knowledge Distillation

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.

arXiv:2610.02283v2cs.LG공통 태그 Incremental Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.