PyTorchKR Papers

최신 논문

총 10,889편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.24936v1cs.CL

대조적 프로토타입 구조를 통한 대규모 언어 모델의 탈옥 탐지

Jailbreak Detection on Large Language Models via Contrastive Prototype Structures

탈옥 시도와 유해 프롬프트는 대규모 언어 모델의 안전한 배포에 여전히 과제로 남아 있다. 본 연구는 대조 학습으로 얻은 표현이 별도의 下流 분류기를 학습하지 않고도 안전성 탐지를 뒷받침할 수 있는지 살펴본다. 이에 이진 안전성 레이블을 사용하여 유해 프로토타입과 무해 프로토타입을 구성하고 프로토타입 간 상대 거리로 예측을 수행하는 Jailbreak Detection with Prototype Inference(JDPI)를 제안한다. JDPI는 인코더 적응, 프로토타입 구성, 검증에 이진 안전성 레이블만을 사용한다. 본 실험 설정에서 JDPI는 하위 분류기를 학습하기 위한 별도의 분할을 두지 않으므로 분류기 기준선(방법 A)보다 적은 수의 레이블 예제를 사용한다. 서로 다른 입력 형식을 다루는 네 가지 벤치마크에서 대조 미세조정은 JDPI의 탐지 정확도를 9.1~18.0%p 향상시킨다. 동일한 인코더를 사용할 때 JDPI는 한 벤치마크에서 약간 더 높은 ROC-AUC를 달성하며, 네 벤치마크 전체에서 기준선과의 차이가 0.017 이내이다. 데이터셋별 적응을 적용하면 JDPI는 네 벤치마크 전반에서 공개된 Llama Guard 3-8B 기준선보다 ROC-AUC가 0.173~0.310 높다. TomGibbs에서의 다중 턴 재현 실험에서 JDPI는 대화가 진행됨에 따라 누적된 사용자 이력을 활용하며, 현재 턴만 사용할 때보다 높은 대화 수준 정확도를 달성한다. 12개의 방향성 전이 전반에서 JDPI는 정확도 기준으로 분류기를 평균 1.59%p 앞서, 더 강한 데이터셋 간 강건성을 보인다.

arXiv:2611.24888v1cs.HC

당신은 누구인가? 개인 모방 게임

Who are you? The Personal Imitation Game

대규모 언어 모델(LLM)은 이제 앨런 튜링의 1950년 모방 게임에서 강한 성능을 보이므로, 기계가 일반적인 인간이 아닌 특정 개인을 대화에서 복제할 수 있는지를 묻는 더 어려운 과제인 개인 모방 게임을 제안한다. 30명의 참가자를 대상으로 한 실험에서 인간 기준선을 확립하고, 질문자가 의존하는 정체성 신호인 문체 특징, 성격 특성, 전기적 사실을 보고한다. 이 프레임워크를 시연하기 위해, 10년에 걸친 개인 디지털 커뮤니케이션의 자기민족지 데이터셋을 활용하여 본 논문 저자 중 한 명을 대신해 게임을 수행하는 LLM 기반 시스템을 설계한다. 20명 규모의 기만 연구에서 질문자는 10라운드 중 7라운드에서 저자의 친구들보다 본 시스템을 선택했고, 20번 중 13번은 본 시스템보다 저자를 선택했으며, 두 비율 모두 이 표본 크기에서는 우연과 구별되지 않는다. 설계 개선, 개인 AI 에이전트의 응용, 정체성과 프라이버시에 대한 함의를 논의한다.

arXiv:2611.24887v1cs.CL

근거화, 반복, 추적: AI 연구 아이디어 도출의 분해

Ground, Iterate, Trace: Decomposing AI Research Ideation

대규모 언어 모델은 그럴듯한 연구 아이디어를 생성하는 데 널리 사용되어 왔지만, 자동화된 아이디어 도출을 효과적으로 만드는 요인이 무엇인지, 그리고 생성된 새로운 제안이 선행 과학 연구로부터 어떻게 나타나는지는 여전히 불분명하다. 본 연구는 문헌 근거화, 반복적 개발, 명시적 개념 연산자를 결합한 에이전트 프레임워크인 Creative AI Researcher(CAR)를 소개한다. CAR는 검색된 문헌으로부터 의미 지식 그래프를 구성하고, 아이디어 도출 에이전트에 그래프 검색 도구와 이중연상, 유추, 탐색, 정교화라는 네 가지 연산자를 갖춘다. 각 연산자 호출은 구조적 수용 조건에 따라 검사되고 기록되어, 중간 변환과 명시된 문헌 출처의 추적을 생성한다. 두 가지 언어 모델 백본으로 40개의 LiveIdeaBench 연구 주제와 두 가지 실행 벤치마크에서 CAR를 평가한다. CAR는 단발 프롬프팅과 The AI Scientist보다 유의하게 높은 방법론적 신규성(MN)을 달성한다. 방법론적 신규성은 Research Ideation Agent와 유의한 차이가 없으나, 실현 가능성 점수는 두 백본 모두에서 더 높다. 공유된 실험 실행기를 사용할 때 CAR는 FML-bench-Lite와 BioXArena에서 평가된 AI 방법 중 가장 높은 쌍별 승률을 달성한다. 열 가지 조건의 절제 연구에서 MN 점추정치는 두 백본 모두에서 한 단계 제안보다 CAR를 선호하지만, 다중 비교 보정을 거치고 나면 유지되는 MN 대비는 없다. 이 결과는 자유 형식 반복을 넘어서는 명시적 연산자의 일관된 품질상 이점을 입증하지 못한다. CAR는 연산 순서와 명시된 문헌 출처를 검사할 수 있게 만들어, 판단된 아이디어 품질과 절차적 추적 가능성을 분리한다.

arXiv:2611.24849v1cs.IR

프로그램이 LLM 판정자를 대체할 수 있는가? 확장 가능하고 효율적인 관련성 레이블링을 위한 실행 가능한 프로그램 판정자

Can Programs Replace LLM Judges? Executable Program Judges for Scalable and Efficient Relevance Labeling

거대 언어 모델(LLM) 판정자는 검색 평가를 위한 대규모 관련성 판정을 만드는 일반적인 방법이 되었다. 그러나 각 판정에는 비용이 많이 들 수 있는 프런티어 모델 호출이 필요하고, 판정은 해석하기 어려우며 재현되지 않을 수 있다. 본 논문에서는 LLM이 문서별 판정을 대체하는 읽기 쉬운 프로그램을 주제별로 작성할 수 있는지를 묻는다. 이러한 문제를 해결하기 위해 자동 관련성 레이블링을 위한 빠르고, 검사 가능하며, 확장 가능한 판정자를 생성하는 방법인 ExecJudges를 제안한다. 구체적으로 ExecJudges는 프런티어 LLM을 사용하여 평가 지침을 어휘 매칭, 파서와 같은 표준 NLP 라이브러리, 풀 통계에만 의존하는 실행 가능한 프로그램으로 변환한다. ExecJudges-L 변형은 사람의 레이블 예시가 있으면 이를 함께 사용한다. 우리는 생성된 레이블을 훈련된 NIST 평가자, 프런티어 LLM 판정자, 최근 제안된 주제별 분류기와 비교하여 일곱 개의 TREC 컬렉션에서 ExecJudges를 평가한다. 결과는 ExecJudges가 TREC DL 2019-2021에서 Claude Sonnet 5.5 LLM 판정자 수준으로 NIST 평가자와 일치함을 보여준다. 주제당 소수의 사람 레이블이 있을 때 ExecJudges-L 변형은 일곱 개 컬렉션 모두에서 동일한 레이블을 사용한 주제별 분류기보다 NIST와 더 높게 일치하며, 동일한 레이블을 제공받은 LLM 판정자의 일치도를 넘어서거나 Krippendorff의 alpha 기준으로 약 0.05 이내이다. 이 레이블은 공식 TREC DL 실행 결과를 Kendall의 tau 0.87~0.94로 순위화하며, 프로그램 작성에는 주제당 $0.17~$0.49의 일회성 비용이 들고 채점에는 추가 비용이 들지 않는다. 우리의 결과는 ExecJudges가 시스템 평가나 순위 개선을 위해 깊은 결과 풀에 레이블을 부여하는 데 있어 LLM 판정자에 대한 재현 가능하고, 검사 가능하며, 효율적이고, 비용 효과적인 대안임을 시사한다.

arXiv:2611.24845v1cs.AI

Vibe-Trading: 에이전트 네이티브 트레이딩을 향하여

Vibe-Trading: Towards Agent-Native Trading

기존 AI 에이전트는 정보를 검색하고, 도구를 호출하고, 실험을 수행하며, 다단계 출력을 생성할 수 있다. 그러나 대부분은 비교적 정적인 워크플로를 중심으로 구축되어 있어 환경이 변함에 따라 신뢰할 수 있는 상태를 유지하는 데 어려움을 겪는다. 금융 트레이딩에서는 가격, 뉴스, 시장 상황, 포트폴리오 포지션, 가용 자본이 끊임없이 변하므로 이러한 한계가 특히 중대한 결과를 낳는다. 결과는 올바른 시점, 데이터 스냅샷, 실행 맥락에 묶여 있을 때에만 유용하다. 본 논문에서는 금융 트레이딩 에이전트를 구축, 평가, 진화시키기 위한 포괄적인 에이전트 네이티브 트레이딩 프레임워크이자 올인원 워크스페이스인 Vibe-Trading을 제안한다. 이 프레임워크는 시장 조사, 금융 데이터, 전략 생성, 백테스팅, 포트폴리오 분석, 모의 트레이딩, 멀티 에이전트 협업, 그리고 선택적 브로커 실행을 통합한다. 핵심 기여는 연구에서 실행에 이르는 전 과정에서 결과, 근거, 연구 이력, 트레이딩 권한을 서로 연결된 상태로 유지하는 아키텍처이다. 각 결과는 출처, 시간 범위, 설정, 그리고 이를 생성한 실행 정보를 유지한다. 공유된 근거 기반(grounding)은 검증을 가능하게 하고, 버전이 관리되는 연구 기록은 재현 가능한 연속 수행을 지원하며, 명시적인 권한 게이트는 전략 연구와 실거래 실행을 분리한다. 이러한 설계들은 결과를 추적하고 재현할 수 있으며 명시적 권한 하에서만 실행에 옮길 수 있는 트레이딩 에이전트를 위한 실용적 토대를 제공한다.

arXiv:2611.24844v1cs.CL

일반적 진전은 언어 모델에서 특정 학습 데이터를 대체한다

General progress substitutes for specific training data in language models

언어 모델은 학습 데이터로부터 능력을 획득하며, 개발자는 모델이 오용될 수 있는 능력을 학습하지 못하도록 학습 중 데이터를 제외한다. 이것이 능력의 획득을 얼마나 지연시키는지, 그리고 나중에 그 능력을 획득하는 데 얼마나 많은 데이터가 필요한지는 알려져 있지 않다. 본 연구에서는 모델이 나머지 학습 데이터에서 이루는 일반적 진전이 제외된 데이터를 대체함을 보인다. 우리는 체스, 오델로, 분자 문자열, 괄호 언어, 웹 텍스트 모델에서 개별 기술에 대한 학습 신호를 제외하였다. 더 큰 모델에서 제외된 기술의 지연 정도는 더 작은 모델로부터 예측되었다. 체크에 대응하도록 명시적으로 학습된 적이 없는 체스 모델도, 학습된 모델과 거의 비슷한 수준으로 합법적인 대응 수들의 순위를 매겼다. 이후 모델을 제외되었던 데이터로 학습시키자, 초기화 상태에서 필요한 데이터의 작은 일부만으로 해당 기술을 획득했으며, 이 비율은 모델이 진전될수록 감소하였다. 난이도가 동일한 대조 규칙은 훨씬 더 느리게 학습되었다. 70억 개 파라미터 모델의 학습 텍스트에서 제외된 프로그래밍 언어 역시 같은 방식으로 다시 획득되었다. 따라서 데이터 필터링은 능력의 획득을 지연시키지만, 이를 되찾는 데 필요한 데이터는 모델이 향상될수록 감소한다.

arXiv:2611.24830v1cs.CL

인간 행동을 측정하고 예측하는 파운데이션 모델

A Foundation Model to Measure and Predict Human Behaviour

대규모 언어 모델(LLM)은 심리적 속성을 추론하고, 개인의 행동을 예측하며, 인간 집단을 시뮬레이션하는 데 점점 더 많이 사용된다. 그러나 그럴듯한 응답을 생성함에도 불구하고, 개인을 잘못 표현하고 집단 통계를 왜곡하는 경우가 많다. 본 논문에서는 인간 행동을 측정하고 예측하는 파운데이션 모델인 Chiron을 소개한다. 우리는 LLM이 심리적 구성개념을 표현하고, 개인의 행동을 예측하며, 집단의 응답 분포를 인간 통계와 정렬하도록 공동으로 미세 조정한다. 학습 및 평가 데이터는 36개 행동 영역과 78개 사회과학 실험에 걸쳐 있으며, 288,307건의 개인 기록, 1,411,750건의 원자적 행동 의사결정, 그리고 109개 심리적 구성개념에 대한 99,953건의 심리측정 평가로 구성된다. 평가 결과, Chiron의 심리 측정은 인간의 자기보고와 더 가깝게 일치하며 심리측정적 타당도를 해치는 편향이 더 적게 나타난다. 이 모델은 최첨단 LLM보다 개인 행동을 더 정확하게 예측한다(최대 28.4%의 상대적 향상). 사회과학 실험 시뮬레이션에서는 인간 실험 효과의 방향과 크기를 더 정확하게 포착한다(효과 크기 추정 오차가 82.2--94.3% 낮음). 이러한 결과는 종합적으로 Chiron이 인간 행동을 측정하고 예측하기 위한 통합 계산 도구임을 입증한다.

arXiv:2611.24809v1cs.CL

하이브리드 어텐션 모델로의 온폴리시 변환

On-Policy Morphing into Hybrid Attention Models

하이브리드 어텐션 모델은 전체 어텐션과 선형 어텐션을 결합하여 더 나은 품질-효율 절충을 달성한다. 사전학습된 Transformer를 이러한 모델로 변환하려면, 주어진 예산 하에서 어떤 레이어가 전체 어텐션을 유지해야 하는지 식별해야 한다. 우리는 FlashMorph의 레이어 선택에서 두 가지 오프폴리시 불일치를 규명한다. (i) 연속적인 분기 보간과 교사 강제(teacher-forced) 은닉 상태는 이산적인 하이브리드 연산과 다르다. (ii) 고정된 모델 가중치는 이후 복구 과정에서의 파라미터 적응을 반영하지 못한다. 우리는 온폴리시 레이어 선택 방법인 FlashMorph2를 제안하며, 이 방법은 (I) 샘플링된 이산 하이브리드 아키텍처를 자체 은닉 상태를 사용하여 종단 간으로 평가하고, (II) 적응 이후의 성능을 반영하도록 복구 목적함수 하에서 레이어 선택 점수와 모델 가중치를 함께 최적화한다. Qwen3 모델 규모와 선형 어텐션 변형 전반에 걸친 실험에서 FlashMorph2는 기존 레이어 선택 방법을 일관되게 능가하며, FlashMorph 대비 평균 점수를 RULER에서 $+2.42$점, LongBench에서 $+1.08$점, 회상 집약적 과제에서 $+0.76$점 향상시킨다. 또한 0.6B--8B 모델에서 레이어 선택을 단 $0.72$--$3.57$ GPU 시간 만에 완료하여 높은 효율성과 확장성을 보여 준다.

arXiv:2611.24793v1cs.CV

질문 속의 코끼리: 통합 모델은 답변 뒤의 개념을 그려낸다

The Elephant in the Question: Unified Models Picture the Concepts Behind Their Answers

중간 표현을 시각화하면 모델 출력의 기저에 있는 추론 단계를 점검하는 데 도움이 될 수 있다. 통합 멀티모달 모델은 이해와 생성을 하나의 아키텍처에서 결합하여 이러한 기회를 제공한다. 이들의 이미지 생성기는 텍스트를 처리하는 동안 형성된 표현에 접근할 수 있다. 우리는 이러한 연결을 이용해 디코더를 학습하지 않고도 선택한 토큰의 은닉 상태를 시각화하는 V-lens를 소개한다. 확산 기반 통합 모델 네 개와 순수 자기회귀 통합 모델 두 개에 걸쳐, 생성된 이미지는 개념이 명시적으로 언급되지 않더라도 질문과 답변을 연결하는 핵심 중간 개념을 드러낸다. 통제된 실험은 이러한 내용이 문맥, 토큰 위치, 깊이에 따라 어떻게 변하는지 보여준다. 이어서 V-lens를 통해 선택된 은닉 상태를 그림으로 지도하는 렌즈 튜닝을 소개한다. BAGEL, SenseNova-U1, HunyuanImage-3.0 전반에서 대명사 지시 대상의 올바른 시각화 비율이 2-11%에서 86-94%로 상승한다. 놀랍게도 이러한 시각적 지도는 답변 토큰을 직접 지도하지 않고도 텍스트 답변 또한 개선한다. 코드는 https://github.com/multimodal-ai-lab/V-lens 에서 이용할 수 있다.

arXiv:2611.24721v1cs.CL

SLAM-ASR 음성 인식 모델의 유도 헤드 기원

Induction Head Origins of SLAM-ASR Speech Recognition Models

인코더 상태를 고정된 언어 모델의 임베딩 공간으로 보내는 작은 학습된 사상(map)이 경쟁력 있는 음성 인식에 충분한 이유는 무엇인가? SLAM-ASR 아키텍처의 전제는 고정된 언어 모델이 인식 과제를 수행하기에 충분히 풍부한 언어 지식을 지닌다는 것이다. 이 가정은 합리적이지만, 이러한 모델의 기저 메커니즘에 대한 통찰은 거의 제공하지 못한다. 따라서 본 연구는 이 모델들이 의존하는 구체적인 내부 구조를 탐구한다. 본 연구는 SLAM-ASR 모델이 고정된 언어 모델의 유도 헤드(induction head)에 의존함을 보인다. 텍스트에서 반복되는 토큰 시퀀스를 복사하는 바로 그 헤드가 음성 임베딩을 전사 토큰으로 사상하는 데에도 중요하다. 더 나아가, 제한된 형태의 차분 어텐션(differential attention)처럼 동작하여 어텐션 잡음을 상쇄하고 이전에 생성된 단어에 대한 어텐션을 선명하게 하는 헤드 쌍을 발견하였다. 마지막으로, 잡음이 있는 오디오에서 유도 헤드를 활용하여 전사 품질을 향상시킬 수 있음을 보인다.

arXiv:2611.24719v1cs.CV

DRIFT: 런타임 유연성과 효율성을 갖춘 종단간 주행을 위한 분리 가능한 추론

DRIFT: Detachable Reasoning for Runtime-Flexible and Efficient End-to-End Driving

시각-언어 모델(VLM)을 종단간(E2E) 자율주행에 통합하는 것은 장면 설명과 추론 능력을 제공함으로써 강력한 잠재력을 보여 왔다. 그러나 VLM은 계산 비용이 크며, 폐루프 성능을 해치지 않으면서 런타임에 언어 추론을 켜고 끄는 방법은 아직 입증되지 않아 실용적 도입을 가로막고 있다. 이러한 문제를 해결하기 위해 시각 질의응답과 행동 해설을 위한 경량 언어 모델(LM)을 통합한 E2E 자율주행 프레임워크 DRIFT를 제안한다. 중간 주행 표현을 언어 임베딩 공간으로 효율적으로 투영함으로써, 소형 LM(<150M 파라미터)이 강력한 장면 설명과 행동 해설을 달성할 수 있음을 보인다. 또한 LM으로부터 증류한 대리 추론 특징으로 학습되며 추론 시 LM 또는 대리 추론 특징 중 어느 쪽에도 조건화될 수 있는 런타임 유연 계획 모듈을 도입한다. 이 설계는 배포 제약이 요구할 때 주행 성능을 희생하지 않고 LM을 완전히 우회할 수 있게 한다. DRIFT는 255M 파라미터만으로, 선택한 추론 비율에 따라 LM과 대리 추론을 교차 사용하여 Bench2Drive에서 최대 97.03의 주행 점수(DS)와 89.39%의 성공률(세 번 실행의 평균)에 도달한다. 이는 가장 강력한 비언어 모델과 대등하면서도 기존 VLM 기반 모델보다 훨씬 소형이다. DRIFT는 또한 실제 환경 기반의 NAVSIM 및 AlpaSim 벤치마크에서 기존 VLM 기반 접근법보다 훨씬 낮은 계산 비용으로 경쟁력 있는 결과를 달성한다. 프로젝트 페이지: https://drift-e2e.github.io/

arXiv:2611.24711v1cs.LG

Openhagen Worlds: 과학적 발견 에이전트의 측정과 학습을 위한 보정된 환경

Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents

과학을 수행하는 에이전트는 정보량이 큰 실험을 선택하고 그 결과로부터 추론해야 하지만, 대부분의 발견 벤치마크는 이 능력을 암기, 명시되지 않은 채점 규칙, 또는 지름길 정책과 분리하지 못한다. 본 논문은 27개의 절차적으로 생성된 환경(일부는 유한한 진리 공간을 가짐)으로 구성된 Openhagen Worlds를 소개한다. 이 환경들은 실험 추론의 고전적 퍼즐부터 시뮬레이터 기반의 물리 및 화학까지 아우르며, 에이전트는 예산 내에서 실험을 수행하고 결정론적 검증기가 숨겨진 진리와 대조하여 확인하는 답을 제출한다. 모든 관측은 전체 채점 규칙을 명시하며, 178개의 난이도 수준 각각은 보정되어 있다. 64개의 개발 인스턴스에서 스크립트 오라클이 0.75 이상, 가장 강력한 비연역적 정책이 0.25 이하, 통제된 각 지름길이 0.35 이하로 성공하는 경우에만 수준이 채택된다. 92개의 핵심 수준은 27개 패밀리 전체에 걸쳐 있으며 소형 모델 학습에 맞게 규모가 정해져 있고, 86개의 프런티어 단계는 15개의 발견 세계를 더 어려운 질문과, 하나의 숨겨진 시스템에 대한 3단계, 5단계, 8단계 이상의 확정 단계 캠페인으로 확장한다. 패밀리와 단계마다 하나씩인 동일한 84개의 보류된 프런티어 인스턴스에서, DeepSeek V4.1 Flash는 호출당 16,384 토큰의 기본 추론 강도에서 32개를, 호출당 최대 393,216 토큰의 최대 강도에서 57개를 해결한다(오라클: 79). 남은 향상 여지는 8단계 캠페인에서 가장 크다. 온폴리시 전문가 반복은 9B 모델에 완만한 이득을 주어, 학습된 패밀리에 대한 핵심 계층 성공률이 0.090에서 0.148로 상승하며, 이는 부분적으로 행동 형식의 개선에 기인하고 GPQA Diamond에서는 감지 가능한 성능 저하가 없다. 호스팅 서비스가 핵심 계층의 보류된 인스턴스를 제공한다.

arXiv:2611.24699v1cs.CL

지속적 사전학습은 언제 도움이 되는가? 퀘벡 프랑스어 방언 적응에 대한 통제 연구

When Does Continual Pre-Training Help? A Controlled Study of Dialectal Adaptation for Qu\'ebec French

지속적 사전학습(CPT)은 사전학습된 언어 모델을 방언 및 비표준 언어 변종에 적응시키는 데 널리 사용되지만, 이러한 추가 학습이 언제 필요한지, 그 이점을 무엇이 좌우하는지, 그리고 종합 평가 점수가 그 효과를 충분히 포착하는지는 여전히 불분명하다. 본 논문은 서로 다른 계열과 규모에 걸친 아홉 개의 LLM을 대상으로 퀘벡 프랑스어 언어 이해를 위한 CPT의 통제 연구를 제시한다. 실험당 3천만 토큰으로 예산을 맞춘 프로토콜을 사용한 결과, CPT의 이점은 출발 모델이 대상 변종에 대해 이미 지닌 능숙도에 크게 좌우됨을 보인다. CPT가 유익한 경우, 개선은 데이터 양보다 코퍼스 구성에 의해 더 크게 좌우되며, 문학 텍스트가 이득의 대부분을 차지한다. 퀘벡 프랑스어와 표준 프랑스어의 쌍을 이룬 평가는 또한 CPT가 문법 능력보다는 주로 표현 이해를 향상시키며, 코퍼스 문체가 어떤 지역 표현이 습득되는지를 결정함을 보여 준다. 이러한 이득에는 종합 점수가 가릴 수 있는 독해력 저하를 포함하여 능력별 상충 관계도 수반된다. 종합하면, 이러한 결과는 방언 적응을 위한 CPT를 일률적으로 유익한 기본 선택으로 취급해서는 안 됨을 보여 준다. 대신 적응 전략은 기반 모델이 이미 지닌 능숙도에 대한 신중한 평가에서 시작해야 하며, 출처 수준의 데이터 분석과 과제 수준의 평가가 병행되어야 한다.

arXiv:2611.24654v1cs.CL

CurvDelta: 정밀한 학습과 언러닝을 위한 저곡률 델타 모델링

CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning

대규모 언어모델(LLM)을 적응시킬 때의 핵심 과제는 능력 보존이다. 적응이 목표를 달성하면서도 일반 능력을 저하시킬 수 있기 때문이다. 본 논문에서는 보존 제약을 모델 업데이트의 매개변수화에 통합하는 확장 가능한 프레임워크인 CurvDelta를 소개한다. CurvDelta는 적응 이전 모델 주변에서 보존 제약의 국소 기하를 분석하여, 매개변수 업데이트가 보존 손실을 거의 변화시키지 않는 저곡률 공간을 구성한다. 우리는 Kronecker-factored approximate curvature(K-FAC)와 분해된 사영을 통해 이 구성을 LLM에 실용적으로 적용할 수 있게 한다. 또한 동일한 보존 기하 내에서 더 효율적인 적응을 위해 설계된 저랭크 변형인 CurvLoRA를 소개한다. 두 방법은 능력 학습과 선택적 언러닝 같은 보존 제약 적응 과제에 모두 적용된다. 수학적 추론, 코드 생성, 지식 언러닝에서 방법을 평가하였다. 수학적 추론과 코드 생성에서 제안 방법은 경쟁력 있는 하위 과제 성능을 달성하면서 일반 능력을 더 잘 보존하여, 기준선 대비 유리한 습득-유지 절충을 제공한다. 지식 언러닝에서는 TOFU와 MUSE의 주요 결과가 기준선보다 목표 망각과 지식 유지 사이에서 더 나은 균형을 보이며, 유지 성능은 처음부터 재학습한 기준에 근접한다.

arXiv:2611.24651v1cs.CL

Piccolo: 재귀적 자기 개선을 통한 의사결정 모델과 데이터의 공진화

Piccolo: Co-Evolving Decision Models and Data through Recursive Self-Improvement

본 논문에서는 에이전틱 데이터 엔지니어링과 재귀적 자기 개선(RSI)을 통해 모델 능력과 학습 데이터를 함께 진화시키는 멀티모달 의사결정 모델군 Piccolo(0.8B~27B)를 제시한다. 이 모델들은 범용 텍스트 및 시각 판단, 에이전트 하니스, 데이터 워크플로, 상호작용 게임에 대해 후보 답변들의 확률을 예측한다. Piccolo-27B는 Decision Index Vision Full 리더보드에서 75.59점으로 1위를 차지하였고, Piccolo-9B와 Piccolo-4B는 각각 68.35점과 67.46점을 기록하였다. 세 모델 모두 각자의 모델 크기 범주에서 Private 벤치마크 1위를 차지하였다. 연구 에이전트는 모델 행동을 분석하고, 학습 데이터를 구성하며, 실험을 수행하고, 그 결과를 사용해 이후 제안을 개선한다. 의미적 슬라이스와 공유 연구 메모리는 모델군의 개발 전반에 걸쳐 이러한 행동들을 연결한다. 학습 레시피는 수십만 개의 예시로 구성되므로, 데이터 선택과 피드백 기반 개선이 자기 개선 과정의 핵심이다. 우리의 대규모 RSI 탐색은 의사결정 모델 개발에 대한 직관에 반하는 세 가지 통찰을 제공한다. (1) 백본-레시피 공동 적응이 원시 모델의 최신성보다 중요하다. 동일한 레시피에서 이전 백본이 시각 과제에서 더 최신 세대를 능가할 수 있다. (2) 표적 데이터 큐레이션을 통해 4B-9B 모델이 특화된 워크플로에서 27B 기준선에 필적할 수 있다. (3) 연속적인 손실 감소는 이산적인 의사결정 정확도와 분리될 수 있으며 심지어 이를 저하시킬 수도 있다. 공개된 가중치 및 Data-Juicer와 AgentScope 생태계의 도구와 함께, Piccolo는 최전선 의사결정 모델을 구축하고 데이터 기반 RSI를 확장하기 위한 실행 가능한 청사진을 제공한다.

arXiv:2611.24650v1cs.AI

소형 언어모델의 더 잘 구조화된 의료 설명을 위한 자기 보상 강화학습

Self-Rewarded Reinforcement Learning for Better-Structured Medical Explanations in Small Language Models

소형 언어모델(SLM)은 범용 하드웨어에서 실행할 수 있어 프라이버시를 보호하는 온프레미스 임상 배치를 지원하지만, 이들의 의료 설명은 대규모 언어모델에 비해 짧고 구조가 부실한 경우가 많다. Meerkat과 같은 최근의 지도학습 접근법은 사고 연쇄 추론을 7B-8B 백본으로 전이하지만, 학습 목표가 생성된 근거의 스타일이나 구성을 직접 겨냥하지는 않는다. 우리는 지시 튜닝된 Mistral-7B 백본을 기반으로, 경량 강化학습(RL) 단계가 사람의 선호 레이블 없이 설명 구조를 개선할 수 있는지 조사한다. 더 길고 어휘적으로 다양하며 문장부호가 잘 갖춰진 응답을 선호하고 매우 짧은 응답에는 불이익을 주는 단순한 자기 지도 보상의 안내 아래, Meerkat에서 파생된 의료 프롬프트 2,000개에 LoRA 적응을 적용한 근접 정책 최적화(PPO)를 수행한다. 단일 NVIDIA A100 GPU에서 약 170회의 PPO 스텝 동안 학습한 결과 평균 보상이 안정적으로 증가한다. 정량적·정성적 비교 결과, RL로 튜닝된 모델은 기저의 의료 내용을 보존하면서 더 길고 더 체계적인 다항목 설명을 생성한다. 의료 설명의 스타일을 형성하는 데 있어 자기 보상 RL의 가능성과 한계를 논의한다.

arXiv:2611.24636v1cs.CL

Clover-35B-A3B-Preview 기술 보고서

Clover-35B-A3B-Preview Technical Report

본 논문에서는 총 350억 개, 활성 30억 개의 매개변수를 갖고 사고 모드 생성을 지원하는 전문가 혼합 확산 언어모델 Clover-35B-A3B-Preview(Clover)를 소개한다. Clover는 이전에 생성된 문맥의 순환 메모리와 현재 블록 내부의 양방향 소프트맥스 어텐션을 결합하여 Gated Delta Networks를 블록 확산에 적응시킨다. 과거 메모리 읽기는 학습 가능한 블록 크기 보정과 별도의 영 초기화 우측 문맥 합성곱 분기와 함께 공유 소프트맥스에서 현재 블록 토큰과 경쟁한다. Clover는 SWE-bench Verified 73.6, Terminal-Bench 2.1 51.7을 포함하여 평가한 일곱 가지 에이전트 지표에서 선두를 차지한다. 내부 에이전트 워크로드에서는 NVIDIA GB300 GPU 한 대, BF16 정밀도, 배치 크기 1 조건에서 보고된 생성 속도가 680 토큰/초에 이른다. 우리는 모델 품질, 드래프팅 및 검증 비용, 제한된 메모리에서의 배치를 중심으로 평가를 구성한다. 또한 관련 질문들에 대한 답을 한 번의 디노이징 패스로 생성하는 의사결정 모델 변형을 기술한다. 내부 500개 그룹 집합에서 결합 예측은 질문 정확도를 90.37%에서 93.88%로, 전부 정답인 그룹의 정확도를 65.4%에서 77.0%로 높인다.

arXiv:2611.24626v1cs.LG

인간 뇌 조직화 분석을 언어 모델로 전이하기

Transferring an analysis of human brain organization to language models

인간의 대뇌 피질 발달 과정에서 기능 체계는 점점 더 분화된다. 본 연구는 언어 모델의 추론 능력 향상이 이에 상응하는 영역적 재조직화를 수반하는지 질문하였다. 피질 조직화를 특성화하는 데 사용되는 확산 맵 임베딩을 세 계열의 대응되는 기본 모델과 추론 학습 모델에 적용한 결과, 기울기 프로파일은 대체로 보존되었으며 연속된 층 구간 내에서 국소적 변화가 나타났다. 이러한 구간의 가중치를 지시 튜닝된 호스트 모델에 접목하자 평균적으로 수학적 추론이 향상되었고, 향상 폭은 영역 중첩이 클수록 커졌으며, 다른 위치에서 접목한 경우보다 이전에 해결한 문제를 더 많이 유지하였다. 학습 전반에 걸쳐 해당 구간은 성능이 초기에 상승하는 동안 점진적으로 형성되었으며, 중간 단계에서 접목한 가중치도 도움이 되었다. 접목은 대부분의 호스트를 부분적으로 기증자 모델의 행동 쪽으로 이동시켰고 때로는 기증자가 풀지 못한 문제에서도 성능을 향상시켰으며, 동일한 분석으로 의료 모델에서도 전이 가능한 구간을 찾아냈다. 종합하면, 이러한 결과는 호스트의 기존 수학적 능력에 대한 간섭이 적으면서 가중치가 추론을 향상시키는 추론 관련 영역을 규명한다.

arXiv:2611.24598v1cs.CL

사고 사슬 은닉 상태는 직접 답변을 위한 과제 해결 방향을 드러낸다

Chain-of-Thought Hidden States Reveal Task-Solving Directions for Direct Answers

사고 사슬(CoT) 프롬프팅은 중간 추론 단계를 이끌어냄으로써 대규모 언어 모델의 성능을 향상시킨다. 그러나 CoT는 완벽하지 않다. 일부 과제에서는 모델이 직접 답변 프롬프팅보다 성능이 떨어지고, 다른 과제에서는 정답에 도달하기 위해 수백 개의 토큰을 생성한다. 우리는 먼저 각 CoT 은닉 상태를 직접 프롬프트에 패칭했을 때 정답이 나오면 회복형, 그렇지 않으면 실패형으로 레이블링한다. 선형 프로브는 모델이 이 두 부류를 다르게 부호화함을 보여준다. 이어서 직접 프롬프트의 표현 공간에, 짧은 생성으로 CoT보다 더 자주 모델을 정답으로 이끄는 질문별 방향이 존재함을 보인다. 구체적으로, 생성 전에 직접 프롬프트의 마지막 은닉 상태를 각 질문 자체의 회복형 및 실패형 상태로부터 구성한 방향으로 한 번 회전시킨다. 25개 과제에 걸쳐 이러한 방향은 직접 프롬프트의 평균 정확도를 LLaMA 3.1 8B에서 $46\%$에서 $85\%$로(CoT: $69\%$), Qwen 2.5 7B에서 $52\%$에서 $86\%$로(CoT: $77\%$) 높이며, 토큰은 CoT의 10분의 1만 사용한다. 따라서 CoT는 이 정확도에 이르는 가장 짧은 경로가 아니며, 이러한 방향은 향후 연구에서 모델이 자신의 상태를 이에 정렬하도록 학습시키는 데 사용될 수 있다.

arXiv:2611.24588v1cs.CL

영어-아랍어 번역에는 대규모 언어 모델과 AI 에이전트 중 무엇이 적합한가? WikiEn-Ar190에 대한 평가

Large Language Models or AI Agents for English to Arabic Translation? An assessment on WikiEn-Ar190

본 연구는 저자원 언어로 간주되는 아랍어로의 영어 번역에서 대규모 언어 모델과 자율 AI 에이전트 중 어느 쪽이 더 나은 성능을 보이는지 조사한다. 저자들은 18개 분야에서 신중하게 선별한 위키백과 문서 190편으로 구성된 새로운 데이터셋 WikiEn-Ar190을 소개한다. 이 데이터셋은 의미와 문체를 모두 정확하게 반영하도록 아랍어 원어민 두 명이 작성하고 검증하였다. 본 연구는 이 데이터셋을 사용하여 GPT-5-mini를 독립적인 신경망 번역기로 사용한 경우와 자기 평가 및 개선을 포함하는 더 복잡한 프로세스 안에서 사용한 경우의 번역 품질을 평가한다. 단독 모델로서 GPT-5-mini는 매우 유창한 번역을 생성하였으며, COMET 점수 0.8649를 달성하고 적절성, 유창성, 문체에 대해 높은 인간 평가 점수(5점 만점에 평균 4.53)를 받았다. 번역과 자기 평가를 결합한 시스템에서 사용했을 때는 유사한 수준의 의미 품질을 유지하면서 어휘 정확도가 28.76% 향상되었다(BLEU 점수 22.83). 이러한 결과는 자율적 추론을 활용하는 방법이 자원이 제한된 언어 쌍의 번역 일관성을 향상시킬 수 있음을 보여 준다. 결과를 넘어, 이 접근법은 번역을 평가하고 개선하기 위한 프레임워크를 제공하며, 이를 보조 도구로 활용하여 아랍어와 같은 저자원 언어의 웹상 표현을 확대하는 데 쓰일 가능성이 있다.