s.upc.edu.cn

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.24760v1cs.AI

역방향 사고 구축: 대규모 언어 모델의 역방향 사고 능력 개발

Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability

복잡한 문제에 직면했을 때, 인간은 서로 다른 문제에 대해 다양한 아이디어를 시도하는 경향이 있다. 인간의 사고 패턴은 다양한 상황에 적응하는 데 있어 뛰어난 유연성을 보인다. GPT-o1, GPT-o3, DeepSeek-R1은 긴 사고의 연쇄(Chain-of-Thought) 모델을 채택하여 추론 깊이를 늘림으로써 복잡한 문제를 해결하며, 기본적으로 순방향 추론 모드를 따른다. 우리는 서로 다른 규모의 모델에서 다양한 수학 문제 데이터셋에 대한 정확도를 통계적으로 분석하여, 오류의 다섯 가지 원인을 발견했다: 해 공간(solution-space) 커버리지 부족, 계산 실수, 검증되지 않은 가정, 제약 조건 무시, 최대 응답 길이 제한. 위의 문제들을 해결하기 위해, 우리는 모델의 역방향 사고 능력과 동적 적응력을 향상시키는 것을 목표로 하는 역방향 추론 패턴 구축 방법을 제안한다. 먼저, 대규모 모델을 학습시키고 서로 다른 난이도 수준에서 추론 능력을 점진적으로 향상시키기 위해 쉬운 단계와 어려운 단계로 구성된 2단계 수학 데이터셋을 구축했다. 이 데이터셋은 순방향 추론 경로와 역방향 추론 경로를 모두 포함한다. 그리고 모델의 역방향 추론 능력을 점진적으로 학습시키기 위해 2단계 지도 미세조정(supervised fine-tuning) 과정을 적용한다. 더 나아가, 완만한(smoothed) 보상 신호를 사용하여 추론 과정에서 모델이 사고 모드를 자율적으로 선택하는 능력을 강화함으로써 보상 해킹(reward hacking)을 방지하는 세밀한 보상 메커니즘을 개발했다. 학습 과정에서 순방향 및 역방향 추론 경로 샘플 간의 균형을 유지하기 위해 선형 감쇠 균형 샘플링(linear-decay balanced sampling) 전략을 설계하여, 모델이 빠르고 안정적으로 수렴할 수 있도록 했다. 실험 결과는 우리의 방법이 수학적 증명과 같은 작업에서 추론 효율성과 정확도를 크게 향상시키며, 복잡한 문제를 해결하기 위한 유연하고 효율적인 추론 패러다임을 제공함을 보여준다.

arXiv:2608.01635v1cs.CV

공간-주파수 시각적 앵커 학습을 통한 멀티모달 대규모 언어 모델(MLLM)의 시각적 성능 저하 완화

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

멀티모달 대규모 언어 모델(MLLM)의 발전에도 불구하고, 이들 모델은 시각적 인지에서 여전히 결함을 보입니다. 시각적 지시 미세조정(visual instruction tuning) 이후, 추론 과정에서 MLLM의 내부 표현은 원래의 의미적 상태에서 급격히 벗어나 심각한 정보 저하를 유발합니다. 기존 방법들은 내부 표현을 정렬하기 위해 외부 비전 기반 모델(VFM)을 활용하고자 하지만, VFM과의 직접적인 정렬은 시각적 의미를 향상시키지만 표현의 이탈을 완화하지는 못함을 발견했습니다. 이를 해결하기 위해 공간-주파수 시각적 앵커 학습(Spatial-Spectral Visual Anchor Learning, SSVAL)을 제안합니다. SSVAL의 핵심은 시각적 앵커 프롬프트 주입(Visual Anchor Prompt Injection, VAPI)으로, 학습 중에 외부 VFM으로부터 풍부한 지식을 흡수하는 프롬프트를 도입하여 추론 중에 표현 이탈을 완화하는 안정적인 시각적 앵커 역할을 하도록 합니다. 또한, 중간 LLM 레이어에서 상호보완적인 비전 특화 감독을 제공하기 위해 보조적인 공간 및 주파수 영역 표현 정렬 손실을 통합합니다. 광범위한 실험을 통해 SSVAL이 기존 방법들보다 크게 뛰어난 성능을 보임을 입증합니다. 코드는 프로젝트 페이지(\href{https://msls38.github.io/SSVAL/}{project page})에서 확인할 수 있습니다.