upc.edu.cn

이 이메일 도메인이 관측된 논문 4건

arXiv:2609.24760v1cs.AI

역방향 사고 구축: 대규모 언어 모델의 역방향 사고 능력 개발

Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability

복잡한 문제에 직면했을 때, 인간은 서로 다른 문제에 대해 다양한 아이디어를 시도하는 경향이 있다. 인간의 사고 패턴은 다양한 상황에 적응하는 데 있어 뛰어난 유연성을 보인다. GPT-o1, GPT-o3, DeepSeek-R1은 긴 사고의 연쇄(Chain-of-Thought) 모델을 채택하여 추론 깊이를 늘림으로써 복잡한 문제를 해결하며, 기본적으로 순방향 추론 모드를 따른다. 우리는 서로 다른 규모의 모델에서 다양한 수학 문제 데이터셋에 대한 정확도를 통계적으로 분석하여, 오류의 다섯 가지 원인을 발견했다: 해 공간(solution-space) 커버리지 부족, 계산 실수, 검증되지 않은 가정, 제약 조건 무시, 최대 응답 길이 제한. 위의 문제들을 해결하기 위해, 우리는 모델의 역방향 사고 능력과 동적 적응력을 향상시키는 것을 목표로 하는 역방향 추론 패턴 구축 방법을 제안한다. 먼저, 대규모 모델을 학습시키고 서로 다른 난이도 수준에서 추론 능력을 점진적으로 향상시키기 위해 쉬운 단계와 어려운 단계로 구성된 2단계 수학 데이터셋을 구축했다. 이 데이터셋은 순방향 추론 경로와 역방향 추론 경로를 모두 포함한다. 그리고 모델의 역방향 추론 능력을 점진적으로 학습시키기 위해 2단계 지도 미세조정(supervised fine-tuning) 과정을 적용한다. 더 나아가, 완만한(smoothed) 보상 신호를 사용하여 추론 과정에서 모델이 사고 모드를 자율적으로 선택하는 능력을 강화함으로써 보상 해킹(reward hacking)을 방지하는 세밀한 보상 메커니즘을 개발했다. 학습 과정에서 순방향 및 역방향 추론 경로 샘플 간의 균형을 유지하기 위해 선형 감쇠 균형 샘플링(linear-decay balanced sampling) 전략을 설계하여, 모델이 빠르고 안정적으로 수렴할 수 있도록 했다. 실험 결과는 우리의 방법이 수학적 증명과 같은 작업에서 추론 효율성과 정확도를 크게 향상시키며, 복잡한 문제를 해결하기 위한 유연하고 효율적인 추론 패러다임을 제공함을 보여준다.

arXiv:2609.05040v1cs.AI

진화적 전이 최적화의 효율적 평가를 향하여: 과제 매개변수화 응용 사례 연구

Towards Efficient Evaluation of Evolutionary Transfer Optimization: Case Studies on Task-Parameterized Applications

진화적 전이 최적화(evolutionary transfer optimization, ETO)가 관련 과제의 더 큰 집합으로 확장될수록 문제 평가가 실행 시간 증가의 주요 원인이 될 수 있다. 본 연구는 과제 매개변수화(task-parameterized) 응용에서 문제 측 평가 스케일링을 다루며, 응용별 순차 연산을 병렬 실행에 적합한 형태로 재공식화한다. 평가 스케일링을 평가 과제 수와 각 과제 내 작업 부하의 두 수준으로 구분한다. 다중 과제 최적화에서는 누적 링크 방향의 누적 행렬(accumulation-matrix) 표현을 사용해 행렬 재귀적 운동학적 팔(kinematic-arm) 평가를 재공식화한다. 순차 전이 최적화에서는 궤적 및 충돌 계산을 위해 블렌딩 행렬(blending-matrix) 표현을 사용해 점별(pointwise) B-spline 궤적 평가를 재공식화한다. 두 재공식화 모두 기준 평가와 수치적으로 밀접하게 일치하면서 실행 시간을 크게 줄여, 각각 $256.72\times$ 및 $93.91\times$의 end-to-end 속도 향상을 달성한다. 이 결과는 문제 측 재공식화가 확장 가능한 ETO를 향한 실용적 경로임을 보여준다. 응용 구현과 실험 스크립트는 재현성과 재사용을 지원하기 위해 오픈 소스로 공개되었다.

arXiv:2609.02215v1cs.AI

ASCII Attack: 대규모 언어 모델에서 유해 요청을 예술 비평으로 재맥락화

ASCII Attack: Recontextualising Harmful Requests as Artistic Critique in Large Language Models

안전성 정렬(alignment)은 대규모 언어 모델(LLM)이 평이한 표현으로 제시된 유해 요청을 거부하도록 학습(training)시키지만, 그 학습은 대부분 표면 형식(surface form)에 적용된다. 동일한 실행적 내용을 재맥락화하여 모델이 읽는 방식만 바꾸는 요청은 따라서 약하게만 다루어진다. ASCII Attack은 그러한 재맥락화 중 하나이다. 단일 턴(single-turn)이며 블랙박스(black-box) 방식으로, 메시지 하나로 모델 내부에 접근하지 않는다. 완전히 읽을 수 있는 유해 요청을 ASCII 아트 문자에 내장하고, 이를 예술 작품으로 제시한 뒤 피드백을 요청한다. ArtPrompt와 달리 아무것도 숨기지 않으며 요청은 읽을 수 있는 상태로 유지된다. 응답은 예술 비평 형식으로 작성되며, 평문 요청이었다면 거부되었을 실행적 세부 내용을 담을 수 있다. 각 프레임 프롬프트(framed prompt)는 직접 질문 대조군과 짝을 이루어, 대비가 주제, 모델, 디코딩 변동과 분리된다. 이 대비는 고립된 단일 채널이 아니라 묶인 표면을 드러낸다. 11개 모델과 8개 유해 주제에 걸쳐, 유해 인식 분류기는 프레임 프롬프트의 62%를 유해하다고 판정하는 반면 대조군은 42%이다. 가장 취약한 모델에서는 프레임 프롬프트가 93%의 경우에 성공한다. 단일 쿼리는 다섯 유해 판정기 중 네 가지에서 게시된 단일 쿼리 공격과 동등하거나 이를 초과한다. 효과는 주제보다 모델을 더 따르며 스케일링(scaling)에 따라 줄어들지 않는다. 프레임된 행의 거의 세 분의 두에서 적어도 한 판정기가 패널 다수와 이견을 보이며, 이는 그 자체로 측정 타당성(measurement validity)에 관한 발견이다. 그 패턴은 불일치 일반화(mismatched generalisation)와 일치한다.

arXiv:2608.01635v1cs.CV

공간-주파수 시각적 앵커 학습을 통한 멀티모달 대규모 언어 모델(MLLM)의 시각적 성능 저하 완화

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

멀티모달 대규모 언어 모델(MLLM)의 발전에도 불구하고, 이들 모델은 시각적 인지에서 여전히 결함을 보입니다. 시각적 지시 미세조정(visual instruction tuning) 이후, 추론 과정에서 MLLM의 내부 표현은 원래의 의미적 상태에서 급격히 벗어나 심각한 정보 저하를 유발합니다. 기존 방법들은 내부 표현을 정렬하기 위해 외부 비전 기반 모델(VFM)을 활용하고자 하지만, VFM과의 직접적인 정렬은 시각적 의미를 향상시키지만 표현의 이탈을 완화하지는 못함을 발견했습니다. 이를 해결하기 위해 공간-주파수 시각적 앵커 학습(Spatial-Spectral Visual Anchor Learning, SSVAL)을 제안합니다. SSVAL의 핵심은 시각적 앵커 프롬프트 주입(Visual Anchor Prompt Injection, VAPI)으로, 학습 중에 외부 VFM으로부터 풍부한 지식을 흡수하는 프롬프트를 도입하여 추론 중에 표현 이탈을 완화하는 안정적인 시각적 앵커 역할을 하도록 합니다. 또한, 중간 LLM 레이어에서 상호보완적인 비전 특화 감독을 제공하기 위해 보조적인 공간 및 주파수 영역 표현 정렬 손실을 통합합니다. 광범위한 실험을 통해 SSVAL이 기존 방법들보다 크게 뛰어난 성능을 보임을 입증합니다. 코드는 프로젝트 페이지(\href{https://msls38.github.io/SSVAL/}{project page})에서 확인할 수 있습니다.