PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10846v1cs.CL

LLM 기반 공론 입장 분석의 불안정성 원인 정량화

Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse

계산 사회과학은 원시 미디어를 분석 가능한 텍스트로 변환하기 위해 화자 분리(speaker diarization), ASR 전사 정제, 문장 분절 등 자동화된 전처리 파이프라인에 점점 더 의존하고 있다. 이러한 파이프라인이 동일한 입력에서 서로 다른 출력을 생성할 때, 두 가지 서로 다른 불안정성 원인이 발생할 수 있다: 전처리 파이프라인 자체(분리 방법, 분절 규칙)와 하위 측정 도구(LLM 어노테이션 대 키워드 어휘집)가 그것이다. 5개 도메인의 41명 공인을 대상으로 한 256개 YouTube 인터뷰를 활용하여, 정서적 감성(affective valence)과 인식론적 양태(epistemic modality) 간의 결합을 분석 대상으로 삼아 두 가지 화자 분리 파이프라인과 두 가지 측정 방법을 비교하였다. 분석 결과 다음을 확인하였다: (1) 전처리 파이프라인 민감도는 영상 샘플 수가 적은 화자(N ≤ 5)에 집중되며, 샘플이 가장 풍부한 4명의 화자(N ≥ 16)의 경우 $r(\text{neg}, \text{emph})$에서 파이프라인에 의한 평균 절대 변화량은 0.13에 불과하다. (2) 방법 간 불일치는 더 크고 체계적으로 나타나며, LLM과 키워드 어휘집 방법은 동일한 전처리 파이프라인 내에서도 여러 충분히 샘플된 화자에 대해 결합 방향을 반대로 할당한다. (3) 집계된 감성 비율은 파이프라인이나 방법에 관계없이 매우 안정적이어서($|Δp(\text{neg})| < 6$pp), 두 불안정성 원인 모두를 은폐한다. 이 연구의 기여는 파이프라인 효과와 측정 효과를 분리하는 진단 프레임워크를 제시하는 것이다: 인터뷰 데이터에서 다차원 간 관계를 연구하는 연구자들은 자신의 결론이 두 변동 원인 모두에 대해 강건한지 검증해야 하며, 특히 측정 방법 선택에 주의를 기울여야 한다.

arXiv:2607.10825v1cs.CL

토큰 효율적이고 의미 보존적인 의견 요약을 위한 대규모 언어 모델

Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization

의견이 담긴 텍스트—제품 리뷰, 호텔 피드백, 소셜 게시물 등—는 사용자 경험, 선호도, 우려 사항에 관한 풍부한 신호를 담고 있다. 그러나 이러한 코퍼스의 규모, 중복성, 불균형으로 인해 의견을 효과적으로 분석하기 어려우며, 특히 표현된 관점의 다양성에 충실한 요약을 생성하는 것이 목표일 때 더욱 그러하다. 본 논문은 토큰(token) 사용량을 최소화하면서 LLM 기반 의견 요약에서 의미론을 보존하는 프레임워크를 제시한다. 우리는 다차원 분류(예: 감성, 주제)와 계층적 샘플링 전략 패밀리를 결합하여, LLM에 프롬프트를 제공하기 전에 간결하면서도 대표성 있는 의견 부분집합을 선택한다. 이후 맞춤형 프롬프트를 통해 의견에서 표현된 주요 측면(예: 제품·호텔의 강점과 약점)을 드러내는 균형 잡힌 요약을 생성한다. Amazon 제품 리뷰, Tripadvisor 호텔 리뷰, X/Twitter 게시물에 대한 실험에서 우리의 방법은 토큰 사용량과 계산 비용을 크게 절감하면서도 콘텐츠 커버리지, 균형성, 의미 보존 측면에서 전통적인 AI 기반 및 표준 LLM 요약 기준선을 일관되게 능가함을 보여준다.

arXiv:2607.10805v1cs.CL

온-정책 자기 증류에서의 사고 붕괴 진단 및 완화

Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델(LLM)의 성능 향상 및 정렬을 위한 핵심 패러다임으로 부상했다. 그러나 복잡한 추론 과제에서 OPSD는 역설적으로 다운스트림 성능을 저하시킨다. 본 논문에서는 이 병리 현상을 체계적으로 규명하고, 우리가 \textbf{사고 붕괴(Thinking Collapse)}로 정의하는 심각한 최적화 함정을 식별한다. 이는 인식론적 토큰 밀도(ET per 1k)로 측정되는 모델 고유의 중간 추론 행동이 급격히 감소하는 현상이다. 엔트로피 기반 그래디언트 마스킹과 토큰 수준의 목표 분석을 통해, 이 붕괴가 학생 모델의 인식론적 토큰이 교사 모델의 비인식론적 목표로 빈번히 억압되고 높은 포인트별 학생-교사 발산 영역에 집중되는 고-학생-엔트로피 결정 분기점에서의 공격적인 교사 그래디언트에 의해 유발됨을 보인다. 이 최적화 병리를 해결하기 위해, 우리는 자기 증류 목표를 동적으로 조절하는 강건한 제어 프레임워크인 \textbf{적응형 이중-관점 OPSD(Adaptive Dual-Perspective OPSD, AD-OPSD)}를 제안한다. AD-OPSD는 비대칭 포인트별 발산 게이트를 통해 동결된 기반 모델에서 도출된 참조 사전분포에 억압 위험이 높은 샌드박스 토큰을 선택적으로 고정함으로써, OPSD의 오류 수정 능력을 유지하면서 고유한 사고 능력을 보존한다. 경쟁적 수학 벤치마크에 걸친 광범위한 실험에서 AD-OPSD는 다양한 모델 규모와 데이터셋에 걸쳐 표준 OPSD 대비 절대 평균 정확도를 최대 \textbf{+4.1\%} 향상시킨다. 추가 분석을 통해 AD-OPSD가 사고 붕괴를 완화하고 다양한 사후 학습 패러다임에 강건하게 일반화됨을 보인다.

arXiv:2607.10661v1cs.CL

점진적 트리 드래프팅 기반 추측적 디코딩을 통한 자기회귀 언어 모델의 병렬성 활용

Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

추측적 디코딩(speculative decoding)은 메모리 병목 현상을 완화함으로써 대규모 언어 모델(LLM) 추론을 크게 가속화했습니다. 그러나 전통적인 추측적 디코딩은 일반적으로 보조 드래프트 모듈에 의존하여 상당한 학습 및 통신 오버헤드를 초래합니다. 최근 방법들은 대상 모델 자체 내에서 드래프트를 생성하려 시도하지만, 구조적 조율의 부재로 인해 모델의 잠재적 병렬 용량을 충분히 활용하지 못하는 경우가 많습니다. 본 논문에서는 모델의 병렬 잠재력을 활용하기 위해 구조화된 안내 기반 병렬 드래프팅 전략을 채택하는 **점진적 트리 드래프팅(Progressive Tree Drafting, PTD)**을 제안합니다. PTD는 점진적 트리 구조와 단계별 가지치기 메커니즘을 결합함으로써, LLM이 단일 순전파에서 여러 의미적 경로를 탐색하도록 능동적으로 유도하여 드래프트의 다양성과 일관성을 모두 보장합니다. 실험 결과, PTD는 별도의 학습 없이 모델에 구애받지 않으면서도 다양한 벤치마크에서 최대 2배의 디코딩 속도 향상을 달성함을 보여줍니다. 코드는 https://github.com/MINE-USTC/PTD 에서 확인할 수 있습니다.

arXiv:2607.10647v1cs.CL

AI 튜터 자동 평가를 위한 지식 증류

Knowledge Distillation for Automated AI Tutor Evaluation

대규모 언어 모델(LLM)의 K-12 및 고등교육 분야로의 빠른 통합은 교수법적 품질을 평가하는 신뢰할 수 있는 방법의 개발 속도를 앞질러 왔다. 연구 커뮤니티가 AI 튜터 평가 자동화 영역을 탐색하기 시작함에 따라, 우리는 AI 튜터를 평가하도록 설계된 특화된 80억 매개변수 언어 모델인 FATE(FLC AI Tutor Evaluator)를 소개한다. BEA 2025 Shared Task의 네 가지 핵심 평가 트랙에 맞추어, 우리 모델은 오류 식별(Mistake Identification), 오류 위치 파악(Mistake Location), 지도(Guidance), 실행 가능성(Actionability)에 걸쳐 교수법적 능력을 평가한다. 교수법적 평가는 레이블된 데이터가 제한적인 특화된 과제이므로, 우리는 최첨단 LLM으로부터의 지식 증류를 활용하여 추가적인 감독 신호를 생성하며, 이를 통해 최대 22.63 퍼센트 포인트의 절대적 성능 향상을 달성한다. 마지막으로, ChatGPT, Claude, Gemini, DeepSeek을 포함한 인기 있는 상용 모델들이 생성한 교수적 응답을 벤치마킹함으로써 자동화된 평가자로서 FATE의 유용성을 입증한다. 평균적으로 Gemini 2.5 Flash가 가장 우수한 성능(82.88%)을 보였으며, 그 다음으로 ChatGPT 5.5 Instant(80.75%), DeepSeek V4 Flash(80.13%), Claude Sonnet 4.6(74.00%) 순으로 나타났다.

arXiv:2607.10628v1cs.CL

Anamnesis: 대규모 배경 이야기 조건부 설문 시뮬레이션을 위한 오픈소스 플랫폼

Anamnesis: An Open-Source Platform for Large-Scale Backstory-Conditioned Survey Simulation

우리는 대규모 언어 모델(LLM)을 활용하여 인구통계학적으로 제어 가능한 설문 시뮬레이션을 수행하는 인터랙티브 시스템인 Anamnesis를 제시한다. 오픈소스로 공개되며 비전문 사용자 및 연구자를 위해 설계된 Anamnesis는 실제 인간 피험자 대신 가상 집단을 대상으로 설문 도구의 프로토타이핑 및 스트레스 테스트를 가능하게 한다. 이 플랫폼은 최근 제안된 Anthology 및 Alterity 프레임워크를 통합 웹 인터페이스 내에서 구현하며, 구조화된 서사 배경 이야기를 활용하여 모델 응답을 조건화한다. 자유 형식 생성, 확률적 인구통계 재샘플링, 그리고 멀티모달(이미지 및 오디오) 설문을 지원한다. 시스템 평가는 두 가지 사례 연구를 통해 수행되었다: (1) Pew Research Center의 American Trends Panel(ATP)에서 정치적 유형론 및 생의학 이슈 관련 항목 재현, (2) New Yorker Caption Contest에서의 인간 선호도 에뮬레이션. 두 경우 모두에서 Anamnesis는 표준 페르소나 프롬프트 베이스라인보다 실제 설문 데이터에 더 근접한 의견 분포를 생성하며, 독점 시뮬레이션 서비스에 대한 투명하고 재현 가능한 오픈소스 대안을 제시한다.

arXiv:2607.10626v1cs.CL

Eval-Pair Matrix: 소스 기반 RAG를 위한 LLM 평가자의 답변 쌍 메타 평가

Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG

LLM-as-a-judge 평가는 검색-증강 생성(RAG)에 널리 활용되지만, 동일한 모델 계열을 생성기와 평가자로 함께 재사용하면 자기 관대성(self-leniency)을 식별하기 어렵다. 우리는 소스 기반 RAG를 위한 통제된 메타 평가 프로토콜인 Eval-Pair Matrix를 제안한다. GaRAGe 질문과 그라운딩 구절로부터 출발하여, 각 레코드마다 숨겨진 답변-인과 모순을 하나씩 유도하고, 변형된 구절에서 GPT, Grok, Gemini 모델로 답변을 생성한 후, 동일한 모델을 블라인드 평가자로 활용하여 원본 구절에 대한 각 답변을 평가한다. 실험은 교차 3×3 행렬 내 300개의 핵심 레코드, 897개의 레이블된 생성기 출력, 2,683개의 평가자 판정을 포함하며, 주요 분석에는 275개의 완전 검증된 레코드가 사용된다. 서로 다른 답변에 걸쳐 대각선 및 비대각선 셀을 비교하는 대신, 정확히 동일한 후보 답변에 대해 평가자를 쌍으로 구성하여 동일 모델 효과를 추정한다. 이는 해석을 변화시킨다: 대각선과 비대각선 F1이 유사하고, 쌍을 이룬 동일 모델 재현율 효과는 거의 0에 가깝다(-0.5 pp; 95% 클러스터 부트스트랩 신뢰 구간 [-2.7, +1.7]). 유일하게 강건한 쌍 격차는 유도된 주장을 회피한 답변에 대한 일치 평가자의 낮은 플래깅이다(-4.3 pp). 대상화된 인간 평가 결과, 검토된 명백한 위양성(false positive)은 대체 소스 오류 탐지, 유도된 주장 채택 여부에 대한 레이블링 실수, 또는 불명확한 사례로 나타났으며, 진정한 오경보로 판정된 경우는 없었다. 이 교훈은 방법론적이다: RAG 평가자 연구는 전체 행렬, 답변 쌍 효과, 행동 계층, 그리고 레이블-태스크 정렬을 보고해야 한다.

arXiv:2607.10590v1cs.CL

대규모 인구통계 프롬프팅: 더 많은 속성이 LLM-인간 일치를 저해할 때

Demographic Prompting at Scale: When More Attributes Hurt LLM--Human Agreement

우리는 프롬프트 단서로 제공된 어노테이터의 인구통계 속성이 다섯 가지 과제에서 대규모 언어 모델(LLM) 예측과 인간 어노테이션 간의 정렬에 어떻게 영향을 미치는지 조사한다. 다섯 가지 오픈소스 LLM을 사용하여, 단일 속성부터 전체 속성 구성에 이르는 모든 조합을 포괄하도록 프롬프트 내 인구통계 구성 요소의 수와 구성을 체계적으로 변화시킨다. 실험을 통해 세 가지 주요 발견을 확인하였다. 첫째, 정렬은 신호 강도가 높은 하나에서 세 가지 속성에서 일관되게 최고조에 달하며 전체 속성 집합에서는 저하되어, 명확한 과잉 명세(over-specification) 임계값이 존재함을 확인하였다. 둘째, 인간 어노테이션에 대한 인구통계적 영향의 전반적인 크기는 어떤 속성이 LLM 정렬을 향상시키는지를 예측하지 못하며, 대신 각 속성의 어노테이션 신호에 대한 학습 가능성(learnability)과 방향적 일관성(directional coherence)을 함께 고려해야 한다. 셋째, 뉴런 프로빙(neuron probing)을 통해 특화된 활성화가 일관된 어노테이션 신호 하에서만 정렬 향상과 상관관계를 가지며, 활성화 크기만으로는 조향 가능성(steerability)을 보장하지 않음을 확인하였다. 종합하면, 이러한 결과들은 인구통계 프롬프팅이 단일한 개입 방식이 아님을 보여 준다. 그 유용성은 속성 신호 품질, 과제 특성, 모델 아키텍처에 의해 형성되는 맥락 의존적 성격이 강하다.

arXiv:2607.10557v1cs.CL

UNIBROWSE: 멀티모달 BrowseComp를 위한 데이터-에이전트 프레임워크

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

멀티모달 BrowseComp 태스크는 에이전트가 동적 웹 콘텐츠에 대해 인지, 도구 사용, 장기 추론을 결합하도록 요구하며, 이는 구성적 구조, 오픈월드 불확실성, 확장된 상호작용에 걸친 멀티모달 통합을 처리하는 능력에 도전한다. 중요하게도, 실제 멀티모달 브라우징은 텍스트 전용, 이미지-텍스트, 텍스트-이미지의 세 가지 서로 다른 정보 흐름 패턴을 포함하지만, 기존 데이터 구축 방법은 텍스트 전용과 이미지-텍스트 패턴만 다루고 텍스트-이미지는 대부분 미해결 상태로 남겨 에이전트의 범용성과 견고성을 제한한다. 우리는 UNIBROWSE를 소개한다. 이는 세 가지 패턴 모두를 아우르는 학습 데이터를 최초로 동시에 생성하고, 충실도 향상을 위해 정제된 지식 그래프를 실시간 웹 검색으로 보강하며, 효율적인 강화학습을 위해 낮은 신호 인스턴스를 필터링하는 새로운 탐험 정도(exploration degree) 메트릭을 도입하는 통합 데이터 파이프라인이다. 이 파이프라인을 통해 고품질 콜드 스타트 도구 사용 궤적과 탐험이 풍부한 QA 쌍을 생성하고, 지도 미세조정과 탐험 인식 강화학습을 통해 35B 규모의 에이전트를 학습한다. 결과로 도출된 UNIBROWSE 에이전트는 멀티모달 BrowseComp 벤치마크에서 최고 성능을 달성하여, 다섯 개의 다양한 벤치마크에서 평균 정확도 54.4를 기록하며 기반 모델인 Qwen3.5-35B-A3B 대비 10.5점 향상을 이루고, GPT-5(42.9), Gemini-2.5 Pro(44.8), Gemini-2.5 Flash(41.3) 등 여러 클로즈드 소스 에이전트 워크플로를 능가한다.

arXiv:2607.10555v1cs.IR

도구 적응형 LLM 리랭커

Tool-Adaptive LLM Reranker

생성형 대규모 언어 모델(LLM)은 정보 검색 분야를 혁신했으나, 엄격히 매개변수에 의존하는 특성으로 인해 인식론적 경계를 벗어난 복잡한 쿼리에 직면할 때 심각한 환각이 빈번하게 발생한다. 외부 도구 호출이 이를 완화할 수 있으나, 리랭킹 중 모든 문서에 대해 무차별적으로 검색 도구를 호출하면 허용하기 어려운 지연 오버헤드가 발생하여 정확도-효율성 딜레마를 야기한다. 이 문제를 해결하기 위해 우리는 포인트와이즈 관련성 점수 산출을 에이전트 기반 마르코프 결정 과정으로 공식화한 새로운 프레임워크인 TALRanker를 제안한다. 이를 2단계 학습 패러다임으로 최적화한다. 초기 워밍업 단계에서는 언어 보존 하이브리드 손실을 활용하여 기존 생성 능력의 파국적 망각을 방지한다. 이후 강화학습에 탑재된 비대칭 비용 인식 보상이 정책으로 하여금 확신이 있을 때는 최대 효율을 위해 도구를 자율적으로 우회하고, 불확실할 때는 심각한 환각 페널티를 피하기 위해 선택적으로 외부 증거를 검색하도록 강제한다. 광범위한 평가를 통해 TALRanker가 표준 및 추론 집약적 검색 벤치마크에서 최첨단 성능을 달성하며, 포인트와이즈 리랭커와 동등한 처리량을 유지하면서도 매개변수가 많은 추론 모델을 능가함을 입증한다.

arXiv:2607.10511v1cs.CL

명료한 직관인가, 진정한 분석인가? LLM-as-a-Judge 동료 심사에서의 인식론적 신뢰성 벤치마킹

Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews

LLM 심사자가 동료 심사를 분석적이라고 평가하고 인간 위원회가 다른 심사를 고품질이라고 평가할 때, 이들은 동일한 것을 측정하고 있는가? 우리는 그렇지 않다고 주장하며, 그 차이가 철학적으로 중요하다고 본다. 우리는 카네만(Kahneman)의 이중 처리 이론(dual-process theory)을 동료 심사를 위한 구조화된 루브릭으로 구체화하고, 9개의 이론적으로 동기화된 텍스트 차원, 8개의 바이어스 진단, 그리고 연속적인 추론 품질 점수에 따라 평가된 3,563개의 심사 리뷰로 구성된 벤치마크 Kahneman4Review를 공개한다. 신뢰성과 관련하여 세 가지 발견이 있다: 결정 등급(decision tier)은 루브릭의 텍스트 기반 인식론적 품질 프록시와 감지 가능한 수준으로 정렬되어 있지 않으며; 공개 전시용 에이전트(agentic) 심사는 취합된 인간 심사보다 높은 원점수를 받지만, 길이와 게재지가 격차의 대부분을 설명하고 샘플은 논문 단위로 쌍을 이루지 않는다; 그리고 ICLR 심사 텍스트 진단은 2022-2023년 전환 시점에서 변화하는데, 이는 대규모 언어 모델(LLM)의 광범위한 보급과 시간적으로 일치하지만 그 원인을 특정하지는 않는다. 매칭된 기능 프로브(function-probe) 파일럿 실험은 또한 루브릭이 진정한 결함 발견과 표면적 유창성을 대비하도록 설계된 텍스트 프로브를 구별함을 보여준다. 우리는 LLM 심사자를 위한 신뢰할 수 있는 신뢰성 벤치마크가 분석적 형식을 인식론적 기능으로부터 분리해야 한다고 주장하며, 그 목표를 향한 구체적인 설계 방향을 제안한다. 인터랙티브 데모는 https://huggingface.co/spaces/nuojohnchen/Kahneman4Review 에서 이용 가능하다.

arXiv:2607.10480v1cs.CL

추론이 법률 문서 작성을 방해할 때: 특허 청구항 생성에서의 언어화 병목 현상

When Reasoning Hurts Legal Drafting: The Verbalization Bottleneck in Patent Claim Generation

특허 청구항 작성은 기술적 전문성, 정밀한 언어적 제어, 형식적 관례의 엄격한 준수, 그리고 청구항 요소들 간의 복잡한 논리적 관계 보존을 요구하는 어려운 법률 문서 작성 과제이다. 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 활용되어 왔으나, 최근 연구에 따르면 고도로 구조화되거나 패턴 민감도가 높은 과제에서는 그 효과가 제한적이거나 오히려 부정적일 수 있다는 증거가 제시되고 있다. 이에 본 논문은 CoT 프롬프팅이 특허 청구항 생성에 유익한지를 조사한다. 우리는 특허 청구항 생성을 위한 과제 특화 CoT 방법을 제안하고, 자동 평가 지표와 인간 전문가 평가를 통해 그 효과를 검증한다. 실험 결과, 추론이 강화된 프롬프팅이 청구항 품질을 향상시킬 수 있음을 확인하였다. 나아가, 우리는 직관에 반하지만 중요한 실증적 발견을 제시한다: 추론을 명시적으로 언어화하지 않고 내부적으로 유지하는 암묵적 CoT가 명시적 CoT보다 일관되게 우수한 성능을 보인다는 것이다. 체계적인 분석을 통해, 명시적 CoT가 청구항 생성에 불필요한 정보 병목을 초래할 수 있음을 보인다. 언어화된 추론은 세 가지 구체적인 메커니즘, 즉 핵심 세부 정보의 추상화, 내재화된 생성 패턴의 교란, 오류의 연쇄 전파를 통해 최종 출력의 품질을 저하시킬 수 있다. 본 연구의 결과는 법률 과제 및 CoT 응용에 관한 새로운 통찰을 제공한다.

arXiv:2607.10390v1cs.CL

장문서 요약을 위한 단계적 질문 기반 전문가-편집자 다중 에이전트 프레임워크

A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarization

대규모 언어 모델(LLM)은 뉴스 요약 태스크에서 유망한 잠재력을 보여주었지만, 장문서 요약에서의 성능은 문서 길이가 입력 한계를 초과하는 경우가 많아 여전히 도전적인 과제로 남아 있다. 에이전트 활용은 LLM의 내재적 능력을 향상시킬 가능성을 제공한다. LLM 기반 장문서 요약의 효과를 높이기 위해, 본 논문은 전문가-편집자 단계적 질문 다중 에이전트 방법을 제안한다. 이 방법에서 전문가와 편집자는 콘텐츠의 다양한 측면에 대한 질문을 제시하고 수정을 위한 맞춤형 단서를 제공함으로써 다른 에이전트가 요약을 개선하도록 유도한다. 본 연구는 두 개의 대표적인 장문서 과학 데이터셋에서 실험을 수행하고, 널리 인정받는 자동 평가 지표를 통해 결과를 평가하였다. 실험 결과는 제안 방법의 효과를 입증하였다.

arXiv:2607.10387v1eess.AS

GigaChat Audio: 시간 인식 대형 오디오 언어 모델

GigaChat Audio: Time-aware Large Audio Language Model

긴 녹음에서의 시간적 그라운딩(temporal grounding)은 오디오 조건부 대규모 언어 모델(LLM)에게 여전히 어려운 과제이다. 우리는 최대 120분 분량의 입력에 대해 명시적 타임스탬프와 함께 질문에 답하는 시간 인식 오디오 LLM을 제안한다. 우리의 접근 방식은 캐스케이드 파이프라인을 통한 대규모 합성 지도 학습을 활용하여 주기적 시간 마커를 연속적 오디오 토큰과 교차 삽입한다. 제안 모델은 단기 및 장기 벤치마크에서 강력한 시간적 그라운딩 정확도를 달성하며, 시간 앵커 기반 구간 설명 및 요약을 지원한다. 광범위한 절제 실험(ablation)을 통해 시간 표현 방식, 마커 빈도, 토큰화, 지속 시간 혼합 설계가 정확도와 계산 비용에 미치는 영향을 분석한다. 시간 인식 오디오 이해에 관한 추가 연구를 지원하기 위해 모델 가중치와 데이터셋을 공개하며, https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B 에서 이용 가능하다.

arXiv:2607.10386v1cs.CL

개선된 추론 및 컨텍스트 가지치기를 위한 구조화된 사고

Structured Thoughts For Improved Reasoning And Context Pruning

대규모 언어 모델(LLM)은 긴 사고의 연쇄를 생성하는 데 뛰어나지만, 긴 추론 궤적은 종종 장황하고 메모리 효율이 낮다. 본 연구에서는 추론을 교대로 반복되는 <try>와 <outcome> 블록으로 구성하는 프레임워크인 Structured Thoughts를 소개한다: <try>는 탐색적 스크래치 작업을 포착하고, <outcome>은 해당 단계의 증류된 결론을 담는다. 우리는 추론 궤적을 <try> 블록으로 분할하고 LLM에 각 단계를 해당 <outcome>으로 요약하도록 프롬프트함으로써 구조화된 사고의 데이터셋을 구성한다. 이 재구성된 데이터로 사전학습된 기반 모델을 미세조정하면 구조화된 추론 방식을 채택하는 모델이 생성되며, 표준 SFT 대비 추론 벤치마크에서 최대 8.08%의 성능 향상을 달성한다. 명시적 구조는 또한 컨텍스트 가지치기를 가능하게 한다: 각 <try>/<outcome> 쌍 이후 <try>를 가지치기할 수 있어, 모델이 컨텍스트에 전체 스크래치 작업을 보존하지 않고도 결론을 유지할 수 있다. 개념 증명 가지치기 구현은 수학적 과제 전반에 걸쳐 평균 85%의 메모리/컨텍스트 절감과 8.67%의 성능 저하를 달성한다.

arXiv:2607.10380v1cs.CL

CAFE: 복합 AI 요인 평가 프레임워크

CAFE: A Compound-AI Factorial Evaluation Framework

우리는 복합 AI 시스템(CAIS) 평가에 실험 설계(design of experiments) 방법론을 도입하는 오픈소스 플랫폼인 CAFE(Compound-AI Factorial Evaluation)를 소개한다. 이러한 시스템은 검색기(retriever), 모델, 프롬프트 등 다양한 교체 가능한 선택지를 노출하지만, 실무자들은 그 중 어떤 요소가 답변 품질에 가장 큰 영향을 미치는지 파악하기 어렵다. CAFE를 사용하면 실무자는 파이프라인의 각 교체 가능한 구성 요소를 요인(factor)으로 등록하여 선택한 요인들에 대한 요인 설계(factorial design)를 구성하고, 생성된 설정들을 실행한 뒤, 설정 가능한 LLM 판정자(judge)와 인간 평가자를 함께 활용해 공통 채점 기준(rubric)으로 답변을 평가할 수 있다. 이 평가 결과를 바탕으로 혼합 효과 모델(mixed-effects model)을 사용하여 답변 품질 분산을 구성 요소 및 구성 요소 간 상호작용에 귀속시키고, 효과 크기(effect size), 유의성, 최적 설정, 비용 및 지연 시간 트레이드오프, 판정자-인간 신뢰도를 보고한다. 기존 도구들이 대부분 좋은 설정을 탐색하거나 출력을 독립적으로 평가하는 데 그치는 반면, CAFE는 어떤 구성 요소가 품질을 주도하는지, 그리고 관찰된 차이가 유의미한지를 함께 설명한다. 우리는 HotpotQA 벤치마크 데이터셋 기반의 검색-증강 생성(RAG) 질의응답(QA) 파이프라인에서 CAFE를 검증하였으며, 이 과정에서 CAFE는 사전에 심어놓은 요인 효과를 복원하고 순열 귀무 분포(permutation null) 하에서도 올바른 보정(calibration)을 유지함을 확인하였다. CAFE는 Python 패키지 및 웹 애플리케이션으로 공개된다.

arXiv:2607.10252v1cs.CR

하나의 토큰으로 충분하다: 단일 토큰 출력 분포를 통한 대규모 언어 모델 핑거프린팅 및 검증

One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions

대규모 언어 모델(LLM)은 API 집계자, 재판매자, 추론(inference) 제공업체 등 불투명한 서비스 체인을 통해 점점 더 많이 제공되고 있으며, 이 환경에서 클라이언트는 실제로 응답하는 모델(model)이 광고된 모델과 동일한지 기술적으로 확인할 수단이 없다. 최근 감사 결과에 따르면 상당수의 상용 엔드포인트가 공급업체의 참조 가중치(weight)에서 벗어나 있음이 드러났다. 기존 식별 기법은 긴 생성 텍스트, 토큰(token) 수준의 로그 확률, 적대적으로 설계된 프롬프트, 또는 모델 소유자의 협조를 필요로 한다. 우리는 훨씬 약한 증거만으로도 충분함을 보인다. 우리는 LLM의 행동적 핑거프린트를 단순한 단일 단어 프롬프트—"1에서 100 사이의 임의의 숫자를 말하시오"—에 대한 답변의 경험적 분포로 정의하며, 이를 네 가지 언어에 걸쳐 쿼리당 하나의 출력 토큰 비용으로 수집한다. 대형 상용 집계자(OpenRouter)를 통해 제공되는 165개의 모델을 측정한 결과, (i) 이러한 분포는 매우 비균등하며(중앙값 셀 엔트로피 1.0비트) 모델 특이적이다: 동일 모델의 표본을 절반으로 분할한 쌍은 서로 다른 모델의 표본 쌍보다 한 자릿수 더 가깝게 위치한다; (ii) 핑거프린트 간 Jensen-Shannon 발산은 모델 계보를 복원하며, 18.4%의 우연 기준 대비 59.5%의 리브-원-아웃 정확도로 모델을 문서화된 패밀리에 할당한다; (iii) 생체인식 방식의 검증 프로토콜은 40셀 전체 배터리에서 7.3%의 동일 오류율(equal error rate)을 달성하고, 8개의 프로브 셀만으로도 11% 미만을 기록한다—감사당 약 100회의 단일 토큰 쿼리에 해당한다. 또한, 오픈 가중치 Qwen 모델과 분포적으로 구별 불가능한 독점 브랜드 플래그십 엔드포인트를 포함한 생태계 이상 현상도 보고한다. 프로토콜, 프롬프트, 원시 데이터, 분석 코드는 재현 및 실무 활용을 위해 공개된다.

arXiv:2607.10245v1cs.CL

PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합

PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models

감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.

arXiv:2607.10235v1cs.CL

합의 대 이견: 그룹 추천 시스템에서 주관적 선호의 동적 LLM 모델링

Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

그룹 추천 시스템에 관한 기존 연구는 그룹 내 선호 분포에 대한 민감성을 입증해왔다. 구체적으로, 선호 집계 전략의 선택은 이러한 그룹 구성을 고려함으로써 이점을 얻을 수 있다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 민감성을 모방하고, 공정성, 만족도, 합의에 대한 미묘한 인간적 인식에 따라 이상적인 집계 전략(및 해당 추천)을 선택할 수 있는지를 연구한다. 이를 위해 추천 파이프라인 내에서 실시간 판단 모델로 기능하도록 LLM을 인간 설문 데이터로 미세조정한다. DeepSeek-V3.1에서 지식 증류된 추론 데이터셋과 인간 정답 평가를 활용하여, 그룹 평가를 시뮬레이션하는 Judgmental Llama와 Judgmental OLMo를 개발한다. 우리의 파이프라인은 사회적 선택 기반 집계 전략을 바탕으로 다수의 추천 후보를 성공적으로 생성하고, 예측된 인간 유사 평가를 최대화하는 후보를 동적으로 선택한다. 또한 사용자 연구(n=284)를 통해 이러한 제안을 검증하였으며, 우리의 방법론이 만족도와 그룹 합의에서 가장 높은 점수를 달성했음을 확인하였다. 더 나아가, LLM 기반 방법과 그룹 구성(예: 소수 집단 또는 연합) 간의 상호작용 효과를 함께 고려할 때 LLM의 판단이 공정성, 만족도, 합의에 대한 인간의 인식과 가장 잘 일치함을 발견하였다. 이러한 결과는 그룹 내 특정 선호 분포에 집계 전략을 동적으로 적응시키는 것을 추가적으로 뒷받침하며, 주관적인 인간 판단과의 정렬을 달성하는 적응 수단으로서 LLM 활용의 이점을 부각한다.

arXiv:2607.10210v1cs.CR

더 강력한 코드 워터마킹을 향하여: 품질과 탐지 가능성 간의 트레이드오프 최적화를 위한 문법 기반 접근법

Toward Stronger Code Watermarking: A Grammar-Driven Approach to Optimizing the Trade-off Between Quality and Detectability

대규모 언어 모델(LLM)의 급속한 발전에 따라, 텍스트 워터마킹은 기계 생성 콘텐츠를 식별하기 위한 핵심 기술로 부상하였다. 그러나 기존의 로짓(logits) 기반 워터마킹 방법을 코드 생성에 직접 적용하는 것은 여전히 어려운 과제로 남아 있는데, 코드의 낮은 엔트로피(low-entropy) 특성이 코드 품질과 워터마크 탐지 가능성 간의 트레이드오프를 악화시키기 때문이다. 본 논문에서는 LLM을 위한 문법 기반 워터마크(Grammar-Driven Watermark, GDW)라는 새로운 코드 워터마킹 접근법을 제안한다. GDW는 문법 유도 3단계 마스킹 메커니즘을 통해 구문 유효성을 보존하고, 구조적 역할 인식 변조(structural role-aware modulation)를 통해 워터마크 신호를 주입한다. 이 과정에서 의미를 담는 토큰에는 더 강한 바이어스를 부여하고, 구문적으로 중요한 토큰에는 보다 보수적인 바이어스를 적용한다. 생성 과정과의 정합성을 위해, 탐지 가능성을 향상시키는 역할 인식 가중 탐지 통계량도 추가로 설계하였다. 다양한 프로그래밍 언어, 모델, 디코딩 전략에 걸친 실험 결과, GDW는 기존 방법보다 더 강력한 품질-탐지 가능성 트레이드오프 경계를 달성하며, 변수명 변경 공격에 대한 강건성도 유지함을 보인다.