PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.21262v4cs.CL

CausalEmbed: 시각 문서 임베딩을 위한 잠재 공간에서의 자기회귀 멀티벡터 생성

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

멀티모달 대규모 언어 모델(MLLM)은 고품질 멀티벡터 임베딩을 생성함으로써 시각 문서 검색(Visual Document Retrieval, VDR)에서 놀라운 잠재력을 보여 왔지만, 한 페이지를 수천 개의 시각 토큰으로 표현하는 데서 발생하는 막대한 저장 오버헤드가 실제 응용에서의 활용성을 제한한다. 이러한 문제를 해결하기 위해 우리는 멀티벡터 임베딩을 구성하는 자기회귀 생성 방식인 CausalEmbed를 제안한다. CausalEmbed는 대조 학습 과정에서 반복적 마진 손실(iterative margin loss)을 도입하여 임베딩 모델이 간결하고 구조가 잘 잡힌 표현을 학습하도록 유도한다. 우리의 방법은 수십 개의 시각 토큰만으로도 효율적인 VDR 작업을 가능하게 하며, 다양한 백본과 벤치마크에서 매우 경쟁력 있는 성능을 유지하면서 토큰 수를 30~155배 감소시킨다. 이론적 분석과 실험 결과는 학습 효율성과 테스트 시점의 확장성 측면에서 자기회귀 임베딩 생성이 갖는 고유한 장점을 보여 준다. 그 결과 CausalEmbed는 멀티벡터 VDR 표현을 위한 유연한 테스트 시점 스케일링(test-time scaling) 전략을 제시하며, 멀티모달 문서 검색에서 생성적 패러다임에 대한 통찰을 제공한다. 코드는 https://github.com/Z1zs/Causal-Embed 에서 확인할 수 있다.

arXiv:2510.17881v4cs.CL

POPI: 최적화된 자연어 선호도 추론을 통한 LLM 개인화

POPI: Personalizing LLMs via Optimized Natural Language Preference Inference

대규모 언어 모델(LLM)은 개별 사용자 간의 상당한 차이에도 불구하고 일반적으로 집단 수준의 선호도에 맞춰 정렬(alignment)됩니다. 본 논문에서는 자연어 인터페이스로 연결된 두 가지 구성 요소로 문제를 분리하는 사용자 수준 개인화 프레임워크인 POPI를 소개합니다. 두 구성 요소는 이질적인 사용자 신호를 간결한 선호도 요약으로 증류(distillation)하는 공유 추론 모델과, 이 요약을 조건으로 하여 개인화된 응답을 생성하는 공유 생성 모델입니다. 두 구성 요소는 모두 통합된 선호도 최적화(preference-optimization) 목적 함수에 따라 학습(training)되며, 미분 불가능한 추론 단계는 강화학습(reinforcement learning)을 통해 처리됩니다. 이 목적 함수는 생성 모델 근사 오차와 요약의 정보성으로 분해되어, 단일 손실(loss)이 어떻게 정확한 생성과 유익한 요약을 동시에 이끌어내는지를 보여줍니다. 인터페이스가 자연어로 구성되어 있으므로, 학습된 요약은 사용자당 한 번만 추론되어 동결된 블랙박스 상용 API를 포함한 다양한 생성 모델 전반에서 재사용될 수 있습니다. 4개의 개인화 벤치마크 전반에서 POPI는 일반적으로 개인화 품질을 향상시키면서 컨텍스트 오버헤드를 최대 10배(an order of magnitude)까지 줄입니다.

arXiv:2508.15526v2cs.CL

SafetyFlow: LLM 안전성 벤치마크 자동 구축을 위한 에이전트 플로우 시스템

SafetyFlow: An Agent-Flow System for Automated LLM Safety Benchmarking

대규모 언어 모델(LLM)이 빠르게 확산되면서 모델의 취약점을 밝혀내기 위한 신뢰할 수 있는 안전성 평가의 필요성이 커지고 있다. 이를 위해 수많은 LLM 안전성 평가 벤치마크가 제안되었다. 그러나 기존 벤치마크는 대체로 많은 노동력이 드는 수작업 큐레이션에 의존하며, 이로 인해 시간과 자원이 과도하게 소모된다. 또한 상당한 중복성을 보이고 난이도도 제한적이다. 이러한 문제를 완화하기 위해 본 논문에서는 LLM 안전성 벤치마크 구축을 자동화하도록 설계된 최초의 에이전트 플로우(agent-flow) 시스템인 SafetyFlow를 소개한다. SafetyFlow는 7개의 특화된 에이전트를 조율하여 사람의 개입 없이 단 4일 만에 포괄적인 안전성 벤치마크를 자동으로 구축할 수 있으며, 시간과 자원 비용을 크게 줄인다. 다양한 도구를 갖춘 SafetyFlow의 에이전트들은 자동화된 파이프라인에 인간의 전문성을 통합하면서도 프로세스와 비용의 통제 가능성을 보장한다. 최종적으로 구축된 데이터셋인 SafetyFlowBench는 중복성이 낮고 강한 변별력을 갖춘 23,446개의 쿼리를 포함한다. 본 연구의 기여는 최초의 완전 자동화된 벤치마킹 파이프라인과 포괄적인 안전성 벤치마크를 제시한 것이다. 우리는 구축한 데이터셋에서 49개의 최신 LLM의 안전성을 평가하고, 제안 방법의 효과성과 효율성을 검증하기 위한 폭넓은 실험을 수행한다.

arXiv:2503.15242v3cs.CL공식 코드 · Papers with Code

BigO(Bench): 대규모 언어 모델(LLM)은 시간 및 공간 복잡도를 제어하여 코드를 생성할 수 있는가?

BigO(Bench): Can LLMs Generate Code with Controlled Time and Space Complexity?

우리는 지정된 시간 및 공간 복잡도를 가진 코드를 이해하고 생성하는 생성형 언어 모델의 역량을 평가하기 위해 설계된 새로운 코딩 벤치마크(benchmark)인 BigO(Bench)를 소개한다. 이 벤치마크는 계산 복잡도(computational complexity)에 제약을 받는 코드를 이해하고 작성하는 모델의 능력을 간과해 온 기존 평가의 한계를 해결한다. BigO(Bench)는 인간 또는 LLM이 생성한 솔루션을 포함하여 모든 Python 함수의 알고리즘 복잡도를 프로파일링(profiling) 측정값으로부터 추론하는 도구를 포함한다. 또한 BigO(Bench)는 복잡도 프레임워크를 통해 추론된 (합성) 시간 및 공간 복잡도 레이블이 주석으로 추가된 Code Contests 기반의 3,105개 코딩 문제와 1,190,250개 솔루션 세트를 포함하며, 광범위한 입력 크기 집합에 대한 해당 실행 시간 및 메모리 사용량 값도 제공한다. 우리는 이 벤치마크에서 여러 최신 언어 모델을 평가한 결과를 제시하고, 복잡도 요구사항을 처리하는 데 있어 이들 모델의 강점과 약점을 조명한다. 특히 토큰(token) 공간 추론 모델은 코드 생성에서는 독보적이지만 복잡도 이해에서는 그렇지 못하며, 이는 학습(training) 시점에 보상(reward)이 주어지지 않은 작업에는 잘 일반화되지 않을 수 있음을 시사한다.

arXiv:2409.02244v3cs.HC

NLP 과제로서의 치료: CBT 세션에서 LLM과 인간 동료 상담자의 행동 비교

Therapy as an NLP Task: Comparing LLMs and Human Peers Behaviors in CBT Sessions

대규모 언어 모델(LLM)이 임시 상담사로 점점 더 많이 사용되고 있다. 기존 연구에서는 LLM이 단일 턴의 공감적 응답을 생성하는 데 있어 인간 상담사보다 뛰어나다고 밝혔지만, 여러 턴에 걸친 세션 전반에서 두 주체의 행동을 비교한 연구는 적다. 본 연구에서는 동일한 매뉴얼로 훈련받아 다중 턴, 단일 세션 인지행동치료(CBT)를 제공하는 인간 동료 상담자와 LLM의 세션 수준 행동을 비교한다. 본 연구는 세 단계의 혼합 방법론으로 진행되었다. (a) 동료 지원 플랫폼에 대한 18개월간의 민족지학 연구로, 7명의 상담자가 110회의 자가 상담 세션과 60회의 주간 포커스 그룹을 통해 CBT 프롬프트를 반복적으로 개선하였다. (b) 일치된 조건에서 인간 상담자와 LLM 상담자를 직접적이고 통제된 방식으로 비교할 수 있게 하는 새로운 세션 생성 방법으로, 내담자 응답은 공개된 인간 주도 CBT 세션에서 가져오고 상담자 응답은 CBT 프롬프트를 적용한 LLM이 생성하였다. (c) 3명의 임상심리 전문가 자격 보유자가 수행한 전문가 평가. 데이터 삼각검증을 통해 본 연구의 결과는 상충 관계(trade-off)를 보여준다. 인간 동료 상담자는 관계적 기법을 활용하여 미묘한 단서를 해석하고, CBT를 사용자의 가치관과 문화적 맥락에 맞게 조정하며, 잡담이나 맥락에 적절한 자기 개방과 같은 전략으로 라포를 형성하고 세션을 이끌지만, 이는 종종 세션의 구조와 치료적 초점을 희생하는 대가를 수반한다. 반면 LLM 상담자는 CBT 기법에 대해 더 높은 방법론적 준수도를 보이지만, 턴 주고받기를 유지하는 데 어려움을 겪고, 임상적으로 중요한 내용과 사소한 내용을 구별하지 못하는 경우가 잦으며, 설교를 하거나 해결책을 강요하는 경향이 더 강하다. 또한 LLM 상담자는 '기만적 공감(deceptive empathy)', 즉 과도하게 의인화된 응답을 생성하는 경향이 있으며, 이는 진정한 인간적 돌봄에 대한 사용자의 기대를 부풀릴 수 있다.

arXiv:2609.26751v1cs.LG

EquivSVA: 동등한 RTL 구현 전반의 행동 단언 형식 검증 데이터셋

EquivSVA: A Formally Verified Dataset of Behavioral Assertions Across Equivalent RTL Implementations

대규모 언어 모델(LLM)은 자연어 명세와 레지스터 전송 수준(register-transfer-level, RTL) 설계로부터 SystemVerilog 단언(SystemVerilog Assertions)을 생성하는 데 점점 더 많이 사용된다. 기존 데이터셋과 벤치마크는 대규모 학습, 형식적 평가, 명세-단언 생성, 돌연변이 기반 테스트와 같은 중요한 목표를 지원한다. 이를 보완하는 필요는 생성된 단언이 외부에서 관측 가능한 행동을 포착하는지, 아니면 하나의 RTL 구현에 따른 부수적 세부사항에 의존하는지를 연구하는 것이다. 우리는 행동 패밀리(behavior family) 중심으로 구성된 형식 검증 데이터셋 EquivSVA를 제시한다. 각 패밀리는 동일한 외부 관측 가능 행동에 대한 네 가지 구조적으로 상이한 RTL 구현, 공유된 인터페이스 수준 골드 속성, 세 가지 통제된 돌연변이(mutant), 및 형식 검증 증거를 포함한다. EquivSVA는 12개 카테고리에 걸친 120개 행동 패밀리, 480개 참조 RTL 구현, 914개 골드 속성, 360개 돌연변이를 담는다. 모든 최종 패밀리는 RTL 동등성, 골드 속성 증명, 속성 도달 가능성(reachability), 돌연변이 구별 가능성, 돌연변이에 대한 골드 속성 검사를 포함하는 고정 17-job 검증 스위트를 통과한다. 또한 패밀리 단위로 안전한 고정 학습·개발·테스트 분할을 제공한다. 데이터셋이 가능하게 하는 분석의 소규모 시연으로, Apache-2.0 라이선스로 공개된 Qwen2.5-Coder-7B-Instruct 모델을 보류 테스트 분할에서 평가한다. 인터페이스만 사용해 생성된 293개 속성 중 93개가 형식적으로 건전(sound)하며, 건전한 속성의 개수는 24개 테스트 패밀리 중 14개에서 동등한 구현들 간에 달라진다. 이러한 결과는 행동 패밀리 구성이 의도된 기능 변경 없이 단언 생성 견고성(robustness)에 대한 통제된 연구를 지원할 수 있음을 보여 준다. 데이터셋, 생성기, 검증 스크립트, 사례 연구 산출물은 https://github.com/aditigupta96/EquivSVA 에서 공개된다.

arXiv:2609.26718v1cs.LG

사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때

The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence

긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/

arXiv:2609.26621v1cs.LG

그리디 디코딩은 정밀도 불변이 아니다: LLM 추론에서의 정밀도 간 출력 발산

Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference

대규모 언어 모델(LLM)의 그리디 디코딩(greedy decoding)은 일반적으로 결정론적인 것으로 간주된다. 본 연구에서는 이것이 정밀도(precision) 불변이 아님을 보인다. 동일한 모델, 프롬프트, 디코딩 알고리즘이라도 동일한 하드웨어에서 BF16과 FP16 간에 서로 다른 출력을 생성한다. 6개 모델(1.1B~7B 매개변수, 4개 제품군; 12B에서도 발산 특성을 추가로 규명함)과 3개 벤치마크에 걸친 평가에서, 49~100%의 프롬프트가 발산하며 단일 토큰 뒤집힘(token flip)이 궤적 수준의 발산으로 이어지는 경우가 많았다. 우리는 실증적 오차 전파 분석을 개발하여 22개 레이어에 걸쳐 누적된 바디 오차가 뒤집힘 단계와 비뒤집힘 단계를 구별 짓지 못한다는 것을 발견했다. 즉, 결과는 상위 2개 후보 간의 방향성 섭동(directional perturbation) 대비 LM 헤드에서의 상위 2개 로짓 마진(top-two logit margin)에 주로 좌우된다. 이 분석은 더 많은 FP32 연산을 적용할수록(더 넓은 범위 적용) 일치도가 더 나빠진다는 점을 포함하여 개입 결과에 대한 5가지 검증 가능한 예측을 제시한다. 실험 결과는 이 5가지 예측과 모두 일치했다. 우리가 평가한 가장 우수한 저오버헤드 개입 방식인 선택적 FP32 LM 헤드 재연산(마진이 임계값 아래로 떨어질 때만 트리거됨)은 저배치(배치 크기 <=4) 단일 스트림 추론에서 4% 미만의 지연 시간 오버헤드로 A10G에서 +22~36 pp(+12~21 pp on L4 및 A100)의 완전 일치율을 달성한다. 우리는 6개 모델과 4개 배치 크기에 걸쳐 적용 가능성 경계를 매핑하고, 학습(training) 시점의 정밀도 안정성이 결정적인 요인이라는 가설을 세운다. 이 방법은 보편적인 결정론 보장이라기보다는 부분적인 완화책이다. 본 연구의 테스트에서 배치 크기 >=8 및 엔드투엔드 FP8 환경을 포함하여 바디에서 비롯된 오차가 지배적일 때는 그 이점이 사라진다.

arXiv:2607.04945v2cs.CL

You Frame It: 개념적 표현이 반유대주의에 대한 LLM 탐지 및 추론을 어떻게 형성하는가

You Frame It: How Conceptual Representations Shape LLM Detection and Reasoning about Antisemitism

대규모 언어 모델(LLM)은 추론 시점에 외부 개념 자원의 통합을 가능하게 하여, 반유대주의와 같이 이념적·역사적으로 복잡한 현상을 탐지하는 새로운 기회를 창출한다. 본 연구는 서로 다른 형태의 개념적 그라운딩이 4개의 최신 LLM에 걸쳐 반유대주의 탐지 및 설명 동작에 어떤 영향을 미치는지 조사한다. 전문가 주석 데이터셋 두 개를 활용하여 반유대주의에 대한 정의적 표현, 세분화된 분류체계적 표현, 예시 보강 표현, 대규모 맥락 표현을 비교한다. 세분화된 분류체계적 표현은 재현율을 크게 향상시키는 동시에 정밀도를 낮춘다는 사실을 발견하였다. 놀랍게도 훨씬 더 큰 개념 자원을 제공하더라도 추가적인 정량적 이점은 나타나지 않는다. 홀로코스트 이후 반유대주의는 모든 모델과 구성에 걸쳐 가장 지속적인 도전 과제로 남는다. 설명에 대한 분석은 개념적 참조의 과잉 생성, 어휘적 단서에 대한 의존, 과신, 그리고 미묘하거나 정당화 형태의 반유대주의에 대한 처리 어려움 등 체계적인 한계를 추가로 드러낸다. 본 연구의 결과는 반유대주의 탐지 및 추론을 위한 개념적으로 그라운딩된 LLM의 잠재력과 남아 있는 한계를 모두 부각시킨다.

arXiv:2607.01733v2cs.CL

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.

arXiv:2606.28358v2cs.IR

LLM은 어떻게 인용하는가? 검색-증강 생성에서 귀속(attribution)의 메커니즘적 해석

How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 외부 문서에 출력을 그라운딩하고 검증 가능성을 위해 인라인 인용을 활용함으로써 대규모 언어 모델(LLM)의 신뢰성을 높이는 것을 목표로 한다. 그러나 이러한 인용의 충실성, 즉 모델이 답변 생성 시 실제로 해당 출처를 활용하는지 여부는 중요하지만 검증되지 않은 가정으로 남아 있다. 본 논문은 대규모 언어 모델이 사실형 질문에 답변할 때 인라인 인용을 첨부할지 여부를 결정하는 방식에 대한 최초의 메커니즘적 설명을 제시한다. PopQA 데이터셋을 기반으로 한 통제된 실험 환경에서 Llama-3.1-8B-Instruct 모델을 사용하여 활성화 패칭(activation patching) 방법을 적용하였다. 인용을 담당하는 내재 메커니즘을 분석한 결과, 이는 단일하고 국소적인 구성 요소가 아니라 어텐션 헤드와 MLP 레이어로 구성된 분산된 다단계 귀속(attributional) 앙상블임을 확인하였다. 해당 핵심 헤드와 MLP만을 증폭 또는 약화시킴으로써 PopQA에서 누락된 인용의 90% 이상을 복원하고 허위 인용의 69%를 제거하면서도 답변 정확도를 해치지 않음을 보였다. 다중 문서 벤치마크인 HotpotQA에서의 성능 향상은 제한적이나, 동일한 구성 요소 집합이 의도한 방향으로 인용률을 변화시켜 해당 내재 메커니즘이 특정 데이터셋에 종속되지 않음을 시사한다. 이 결과는 모델의 외견상 추론과 내부 계산 경로 사이의 잠재적 괴리를 드러내며, 인라인 인용이 허위 안전감을 조성할 수 있음을 시사한다.

arXiv:2606.22570v2cs.CL

LLM 추론을 위한 강화학습 업데이트의 핵심 요인은 무엇인가?

What are Key Factors for Updates in RL for LLM Reasoning?

LLM 추론용 검증 가능한 보상 강화학습(RLVR)에서 롤아웃당 그래디언트 스텝 수로 결정되는 오프-정책 정도가 중요도 샘플링 비율 분산과 클리핑 동작을 바꿔 업데이트를 지배하는 토큰을 달리한다는 점을 이론 분석으로 설명하고, 토큰 그룹별 중요도 샘플링 비율 분산에 맞춰 클리핑 경계를 조정하는 Adaptive Clip Policy Optimization(ACPO)을 제안한다. 3B·7B 모델의 수학 문제 풀이, 표 QA, 논리 퍼즐 등 추론 벤치마크에서 ACPO가 DAPO, CISPO 등 강력한 베이스라인을 능가한다.

arXiv:2606.22419v3cs.CL

지식 그래프 그라운딩은 대규모 언어 모델의 학습 범위 외 지식에만 도움이 된다: 임상 질의응답에 대한 통제된 연구

Knowledge-Graph Grounding Helps LLMs Only for Out-of-Training Knowledge: A Controlled Study on Clinical Question Answering

임상 질의응답에서 공개 생의학 KG PrimeKG 위 그래프+벡터 엔진(samyama-graph)으로 단순 트리플 검색과 에이전틱 자연어-투-Cypher 질의를 적용해도 MedQA는 모델 강도와 무관하게 유의미한 향상이 없었고, Nature Medicine 연구의 HealthBench 헤드라인 점수가 전체 벤치마크가 아닌 Consensus 변형에 해당함을 재현하며 점수를 낮추는 채점기 버그도 지적했다. 학습 범위 밖 사실이 결정적인 합성·하이브리드 벤치마크에서는 동일 파이프라인이 정확도를 무작위 수준에서 약 100%까지 끌어올리지만 이미 알려진 사실에서는 개선이 없어, 지식 그래프 그라운딩은 모델이 학습하지 못한 지식에만 효과가 있다.

arXiv:2606.18389v2cs.CL

더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

저자원 언어 합성 데이터 생성에서 퓨샷 프롬프팅의 추론 비용과 어휘적 앵커링 문제를 피하기 위해, 언어 정체성을 조절하는 Language Steering과 사람이 쓴 텍스트와 역번역 텍스트를 대조해 형식적 적절성을 잡는 Quality Steering 같은 활성화 스티어링(activation steering)을 제안합니다. 11개 언어에서 감정·주제 분류용 합성 데이터를 만들고 소형 분류기를 파인튜닝해 평가한 결과, 초기 레이어 스티어링이 생성 다양성을 높이면서 특히 저자원 언어에서 다운스트림 성능도 자주 개선됩니다.

arXiv:2505.19893v2cs.LG

ESLM: 효율적인 사전학습을 위한 위험 회피적 선택적 언어 모델링

ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining

대규모 언어 모델 사전학습은 연산 집약적이지만, 많은 토큰이 학습에 미미하게만 기여하여 비효율성을 초래한다. 우리는 온라인 토큰 단위 배치 선택을 수행하여 학습 효율성과 분포적 강건성을 개선하는 위험 인식 알고리즘인 효율적 선택적 언어 모델링(Efficient Selective Language Modeling, ESLM)을 소개한다. ESLM은 토큰별 통계량(예: 엔트로피 또는 손실)을 활용하고, 배치마다 가장 정보량이 많은 토큰만을 유지하기 위해 위험가치(Value-at-Risk) 임계화를 적용한다. 이러한 데이터 중심적 메커니즘은 학습 손실을 재구성하여 고위험 토큰을 우선시하고 불필요한 그래디언트 계산을 제거한다. 우리는 ESLM을 이중 수준(bilevel) 게임으로 구성한다: 모델은 제약된 임계화 규칙 하에서 최악의 경우 토큰 부분집합을 선택하는 마스킹 적대자와 경쟁한다. 손실 기반 설정에서 ESLM은 조건부 위험가치(Conditional Value-at-Risk, CVaR) 손실 최소화로 귀결되며, 이는 분포적으로 강건한 최적화(distributionally robust optimization)와의 원칙적인 연결성을 제공한다. 우리는 이 접근법을 학습 중 선택 신뢰도를 적응적으로 조정하는 Ada-ESLM으로 확장한다. GPT-2 사전학습 실험 결과, ESLM은 기준선 대비 퍼플렉서티(perplexity)와 다운스트림 성능을 유지하거나 개선하면서도 학습 FLOPs를 크게 감소시키는 것으로 나타났다. 이 접근법은 또한 모델 크기와 사전학습 말뭉치 전반에 걸쳐 확장 가능하며, 지식 증류와도 자연스럽게 통합된다.

arXiv:2505.14468v2cs.LG

ServerlessLoRA: 저지연 서버리스 멀티 LoRA 서빙 지원

ServerlessLoRA: Enabling Low-Latency Serverless Multi-LoRA Serving

멀티 LoRA(Low-Rank Adaptation) 서빙은 가벼운 어댑터를 부착하여 특화된 여러 대규모 언어 모델(LLM) 변형들이 동일한 베이스 모델을 공유할 수 있도록 합니다. 이는 도메인별, 테넌트별, 작업별 모델의 대규모 카탈로그를 서빙하는 데 매력적인 방식입니다. 그러나 기존 배포 방식은 거의 사용되지 않는 어댑터에 자원을 낭비하며, 서버리스 플랫폼에서 LoRA 추론(inference)을 직접 실행하는 것은 높은 메모리 오버헤드, 반복되는 콜드 스타트(cold start), 그리고 비효율적인 스케줄링 결정을 초래합니다. 본 논문에서는 서빙 상태를 공유 백본 상태, 재사용 가능한 변형 웜(warm) 상태, 요청 전용 상태로 분리하는 서버리스 멀티 LoRA 서빙 시스템인 ServerlessLoRA를 제안합니다. ServerlessLoRA는 각 백본을 한 번만 로드하여 격리된 LoRA 함수 간에 읽기 전용으로 공유하고, 선택된 백본 연산을 배치 처리하며, 변형 상태를 선택적으로 웜 상태로 유지하고, 상태 지역성 및 GPU 경합을 기반으로 요청을 라우팅합니다. 산업용 트레이스에 기반한 평가에서 ServerlessLoRA는 서버리스 베이스라인 대비 첫 번째 토큰 생성 시간(time-to-first-token)을 최대 92.3% 단축하며, vLLM-LoRA 및 dLoRA 대비 각각 1.66~3.01배, 2.20~3.26배 높은 지연 시간 대비 비용 효율성을 달성합니다.

arXiv:2609.24927v1cs.AI

Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류

Et Tu, Brute? Economic Misalignment in Personal AI Agents

개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.

arXiv:2609.24921v1cs.AI

BackTrend: 후향적 재구성을 통한 과학적 약신호 예측 평가

BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction

과학적 약신호(weak signal)는 초기에는 가시성이 낮지만 나중에 성숙한 과학적 연구 주제의 핵심이 되는 연구 방향을 의미합니다. 그러나 트렌드 추적, 인용 예측, 미래 예측 보고서와 같은 기존 리소스는 구체적인 초기 전조(precursor)와 이후의 패러다임을 연결하는 검증된 참조 데이터셋을 제공하는 경우가 거의 없습니다. 본 논문에서는 성숙한 타깃 주제와 시점 기반 근거 제약이 주어졌을 때, 시스템이 잘 알려지지 않은 연구 문제인 문제 공간 신호와 알려진 문제에 대한 새로운 방법론인 해결책 공간 신호라는 두 가지 유형의 전조를 복원해야 하는 소급적(retrospective) 벤치마크인 BackTrend를 소개합니다. BackTrend는 인공지능 및 머신러닝 분야의 성숙한 타깃 주제 25개와 인간 검증을 거친 66개의 약신호를 포함하며, 2019~2024년 논문 출판 빈도 궤적에 각 후보를 그라운딩(grounding)하여 대규모 문헌으로부터 재구성되었습니다. 본 연구에서는 의미적 매칭 및 커버리지 기반 지표를 사용하여 프론티어 대규모 언어 모델(LLM), 검색-증강 생성(RAG) 시스템, 에이전트(agent) 기반 연구 시스템을 평가(evaluation)합니다. 현재 시스템들은 그럴듯하지만 정렬(alignment)되지 않은 전조를 생성하는 경우가 흔하며, 주제 이탈, 세분성 불일치, 아슬아슬한 미스 매칭, 불완전한 커버리지를 보입니다. 가장 우수한 시스템도 F1 점수가 10.1%에 불과하며, Coverage10은 참조 신호의 최대 18.5%에만 도달합니다. 예산 분석 결과, 추가적인 검색 및 웹 검색 근거는 적정 예산 범위 내에서 성능을 향상할 수 있지만, 이것만으로는 상당한 성능 격차를 완전히 좁히지 못함을 보여줍니다.

arXiv:2609.24881v1cs.AI

Pinocchio: 블랙박스 언어 모델을 위한 빠른 불확실성 추정

Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models

대규모 언어 모델(LLM)을 활용하는 중대한 의사결정 응용 분야에서 실무자는 정확한 LLM뿐만 아니라 예측에 대한 불확실성 추정(uncertainty estimate)도 필요로 합니다. 기존의 LLM 불확실성 추정 방식은 모델이 출력하는 로그 확률(log-probability)에 접근할 수 있거나 미세조정(fine-tuning) 권한이 있어야 합니다. 그러나 다수의 산업용 LLM 제품은 비공개 소스 API 모델을 사용하며, GPT와 같은 많은 API 모델은 로그 확률을 반환하지 않고 미세조정을 허용하지 않을 수도 있습니다. 본 논문에서는 블랙박스 API 모델의 응답 정확도를 추정하는 외부 캘리브레이터(calibrator)인 Pinocchio를 소개합니다. 7개 LLM의 응답으로 공동 학습된 Pinocchio는 동일한 모델들의 홀드아웃(held-out) 응답에 대한 정확도 예측에서 0.862 AUROC를 달성하며, 8개 기관의 13개 미확인 모델에 대해서도 제로샷(zero-shot) 전이 성능을 보여줍니다. 본 모델은 불확실성 추정을 생성하기 위해 단 한 번의 순전파(forward pass)만 필요로 하며, 대상 모델의 로짓(logits), 가중치, 내부 상태에 대한 접근을 전혀 요구하지 않습니다. 경량 텍스트 전용 0.8B 체크포인트는 가장 큰 모델의 AUROC와 대등한 성능을 보입니다. 단 두 줄의 추가 코드만으로 기존 저장소에 불확실성 추정을 추가할 수 있는 코드를 공개합니다.

arXiv:2609.24859v1cs.HC

아이디어 발상을 지원하기 위해 AI 위험을 브레인스토밍하는 에이전트의 좁은 세상 네트워크

Small-world Networks of Agents Brainstorm AI Risks to Support Ideation

참여형 AI 위험 평가의 아이디어 발상(ideation) 단계는 백지 상태나 사전에 정의된 제한된 위험 목록에서 시작하는 경우가 많아, 간접적이거나 시스템적인 위해를 드러내기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 3단계 아이디어 발상 지원 도구를 제안합니다. 이 도구는 참여형 AI를 대체하기보다는 보완하며, 향후 영향을 받는 커뮤니티와의 참여를 집중시키는 데 도움을 줍니다. 첫째, 주어진 AI 활용에 따라 이해관계자를 동적으로 발굴하고 바깥으로 재귀적으로 확장하여 간과되거나 간접적인 이해관계자가 드러날 수 있도록 합니다. 둘째, 대규모 언어 모델(LLM)로 이러한 이해관계자들을 시뮬레이션하고, 주어진 토폴로지의 네트워크로 이들을 연결하여 위험에 대해 아이디어를 내도록 합니다. 셋째, 네트워크 중심성 측도를 사용하여 위험의 우선순위를 지정합니다. 초기 평가에서 좁은 세상(small-world) 네트워크로 연결된 에이전트들을 통해 실행되는 매개 중심성(betweenness centrality)이 가장 효과적임을 발견했습니다. 이는 단절된 그룹을 연결하는 이해관계자가 제기한 위험을 부각하여, 전통적인 방식에서는 종종 놓치는 새롭고 시스템적인 위해를 표면화하기 때문입니다. AI 챗봇 컴패니언 사용 사례에서 이 접근 방식은 식별된 위험의 타당성이나 심각성을 줄이지 않으면서도, 정규화된 5점 리커트 척도 기준으로 단일 LLM 브레인스토밍 대비 약 1.1점, 에이전트 기반 LLM 브레인스토밍 대비 0.5점만큼 식별된 위험의 신규성을 높였습니다. 본 프레임워크가 미래 바퀴(Futures Wheel) 접근 방식을 사용하는 인간 주도 아이디어 발상 세션에 도움이 되는지 테스트하기 위해, 참여형 AI 위험 평가에서 비서구권 젊은 챗봇 사용자로 구성된 11개 팀을 대조군(팀)과 실험군(팀)의 두 가지 유형으로 나누었습니다. 대조군 팀은 초기 평가에서 45명의 AI 실무자가 생성한 위험 목록에서 시작했고, 실험군 팀은 본 프레임워크가 생성한 목록에서 시작했습니다. 실험군 팀은 전반적으로 더 많은 위험을 식별했으며, 더 많은 시스템적 위험, 인간-컴퓨터 상호작용(HCI) 위험, 환경적 위험을 식별했습니다.