arXiv:2405.13383

Gradient Projection For Continual Parameter-Efficient Tuning

Jingyang Qiao, Zhizhong Zhang, Xin Tan, Yanyun Qu, Wensheng Zhang, Zhi Han, Yuan Xie

제출 2024-05-22

원문 초록

Parameter-efficient tunings (PETs) have demonstrated impressive performance and promising perspectives in training large models, while they are still confronted with a common problem: the trade-off between learning new content and protecting old knowledge, leading to zero-shot generalization collapse, and cross-modal hallucination. In this paper, we reformulate Adapter, LoRA, Prefix-tuning, and Prompt-tuning from the perspective of gradient projection, and firstly propose a unified framework called Parameter Efficient Gradient Projection (PEGP). We introduce orthogonal gradient projection into different PET paradigms and theoretically demonstrate that the orthogonal condition for the gradient can effectively resist forgetting even for large-scale models. It therefore modifies the gradient towards the direction that has less impact on the old feature space, with less extra memory space and training time. We extensively evaluate our method with different backbones, including ViT and CLIP, on diverse datasets, and experiments comprehensively demonstrate its efficiency in reducing forgetting in class, online class, domain, task, and multi-modality continual settings. The project page is available at https://dmcv-ecnu-pegp.github.io/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12455v4cs.AI공통 태그 Hallucination, Continual Learning

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

arXiv:2609.25052v1cs.CL공통 태그 Hallucination, Continual Learning

스스로 정화되고 그래도 포착됨: 에이전트가 스스로 쓰는 저장소의 오류를 위한 단일 측정 원시량, 그리고 하락하는 점수가 실제로 측정하는 것

Self-Cleaning and Captured Anyway: One Measured Primitive for Error in a Store an Agent Writes to Itself, and What a Falling Score Actually Measures

결론을 스스로 기록해 두었다가 나중에 조회하는 저장소에 쓰는 에이전트는, 보통 일방적 오�(contamination)으로 보고되는 루프를 닫는다. append-only 저장소에 대해 무한 임기(infinite-tenure) 한계로 이 루프를 보면 그림이 달라진다. 기록은 절대 삭제되지 않으므로 도달 가능한 상태 공간에는 (n-1)/n에서의 단단한 상한이 있어, 결과는 감쇠가 아니라 두 가지 경계 사이의 선택이 된다. f_0 = 0.9에서 두 모드 사이 구간은 220회 실행 중 3.6%를 차지하는데, 균일 분포라면 20.6%가 될 것이며, 처음 15회에서는 엄밀히 비어 있다. pooled mean은 요약하는 실행의 8.2%를, 중앙값은 68.2%를 설명한다. 모델이 기여하는 모든 것은 적합 매개변수 없이 하나의 측정 원시량, 복사 함수 \gamma(\phi)가 담는다. Wikidata 사실 36개에서 sign(\hat{\gamma} - \gamma_{crit})(\gamma_{crit} = 1/k, r = 0, w = 1)는 실제 사실 실행 360개 중 353개(동일 배치의 합성 40개 중 39개)에서 drift 방향을 예측한다. 규모는 저장소를 구원하지 못한다. pooled frontier capture는 0.850이며, claude-sonnet-4.5는 등록된 예측 <0.5에 대해 20개 seed 중 20개에서 포착(captured)된다. 구간이 검증하는 것은 개수가 아니라 구별 가능성(distinguishability)이다. 실제 사실에서 다값(multi-valued) 실행은 나머지 대비 그 점유율이 6.4배이다. f_0 ∈ {0.1, 0.3, 0.5}에서도 유지되며, capture는 f_0 = 0.5에서 정점을 이루고, 기준을 먼저 고정한 네 가지 개입 가운데에서는 동일 예산에서 timing이 fraction을 지배하고 consistency gate는 모든 모델을 0.993으로 끌어올린다. 리샘플링 단위는 seed이며, pooled 수준에서 design effect는 3.75이다. 44-seed 대조에서 주장 4를 뒷받침하는 순서는 seed 3개일 때 Spearman +0.98에서 44개일 때 +0.31–0.80으로 붕괴하는 반면, 주장 2의 순서는 그곳에서 정확하다(+1.00, p = 0.017). 채점된 87개 행은 모두 부록 W에 있으며, 그중 37개는 withdrawn, failed, self-correcting, undecidable 또는 acknowledged limit로 채점되었고 50개는 그렇지 않다.

arXiv:2607.10796v2cs.CV공통 태그 Hallucination

대규모 비전-언어 모델에서의 인지 전문가 혼합

Mixture of Cognitive Experts in Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.

arXiv:2607.09489v3cs.AI공통 태그 Hallucination

Ceci n'est pas une pipe: AI 시스템을 위한 정당화된 신뢰의 의미론

Ceci n'est pas une pipe: A semantics of justified reliance for AI systems

AI 에이전트는 편집으로 인해 근거가 무효화된 후에도 성공한 검사를 컨텍스트에 유지할 수 있다. 우리는 시스템이 메시지에 의존하고 그에 따라 행동해도 되는 때를 명세하기 위한 의미론을 제시한다. 신뢰성(reliability)은 주장된 명제를 선택된 컨텍스트의 승인된 도메인 지식, 출처, 메시지와 대조하여 검사한다. 정당화된 신뢰(justified reliance)는 여기에 더해 현재의 증거, 권한, 제안된 세계 변경을 검사한다. 관계적 구성요소 의미론과 이벤트 트레이스는 비결정적 출력, 반복, 외부 변경을 표현한다. 우리는 주장들을 병합해도 도출 가능한 결론 클래스가 보존되는 조건을 규명한 뒤, 규칙이 지정된 구체적 주장들의 정확한 상태를 보존하는 가장 거친 허용 몫(quotient)을 구성한다. 구성은 단항 규칙에 대해서는 다항 시간이며, 비순환 이항 규칙에서는 허용되는 병합 하나를 판정하는 것조차 coNP-완전이다. 이는 완전성 및 강한 보존 방법을 몫 규칙의 실행에 적용한 것이다. 또한 전이 안전장치를 런타임 강제와 연관 짓는다. 주어진 가능 세계 집합에 대해, 건전한 가드는 일치하는 모든 세계가 검사를 통과할 때에만 관측을 수락한다. 정확한 수락에는 반대 결정을 내리는 세계들을 구별하는 관측이 필요하며, 충분한 서비스를 선택하는 문제는 명시적 유한 표에서 NP-완전이다. 완전한 유한 여권 갱신 사례, Lean 정리 인코딩, Z3 인스턴스 검사, OCaml 하네스가 이 의미론을 검증한다. 도메인 지식, 해석, 출처 라이선스, 정책은 응용에서 제공해야 하는 입력으로 남는다.

arXiv:2607.14499v2cs.AI공통 태그 Hallucination

동적 다회차 상호작용을 통한 비전-언어 모델의 맥락화된 평가

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

멀티모달 대규모 언어 모델(MLLM)은 벤치마크에서 상당한 진전을 이루었으나, 실제 환경에서의 효과는 여전히 불확실하다. 이러한 격차는 통제된 정적 환경의 벤치마크와 실제 응용의 동적이고 상호작용적이며 맥락화된 특성 사이의 근본적인 불일치에서 비롯된다. 이 격차를 해소하기 위해 본 논문은 평가를 평가 대상 모델, 자동화된 출제자, 채점자 간의 3자 상호작용으로 재구성하는 프레임워크 CEDI(Contextualized Evaluation of MLLMs through Dynamic, multi-round Interactions)를 제안한다. 출제자는 과제의 그래프 기반 표현에 따라 다중 턴의 반구조화된 대화를 진행한다. 상태 공간 전이를 탐색함으로써 CEDI는 명확화 요청에서 적대적 탐침에 이르기까지 다양한 전략을 사용하여 성능 증거를 이끌어낸다. 본 논문은 CEDI를 시각적 환각에 적용한다. 여러 모델, 다양한 설정, 데이터셋, 도메인에 걸친 실험 결과, 맥락화된 상호작용 평가는 기존의 정적 평가보다 훨씬 많은 환각을 드러낼 뿐 아니라 실제 사용 사례에서 발생하는 환각과 더 유사한 환각도 드러낸다. 또한 환각이 긴 맥락에서 자기 강화적인 대화 이력을 통해 누적되는 경우가 많으며, 모델은 전제 거부나 응답 거부를 요구하는 질문에 특히 취약함을 보인다. 이러한 발견은 CEDI가 MLLM의 능력에 대한 현실적이고 체계적이며 생태학적으로 타당한 평가를 향한 한 걸음임을 보여 준다. 코드는 github.com/williamium3000/cedi 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.