PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25186v1cs.CY

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.25048v1cs.CL

온-정책 증류에서 프롬프트 폭과 롤아웃 갱신의 상호작용

Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation

온-정책 증류(on-policy distillation, OPD)에는 얼마나 많은 프롬프트가 필요하며, 그 답은 학습 응답을 생성하는 학생 정책에 따라 어떻게 달라지는가? 본 연구는 프롬프트 폭(prompt breadth)과 롤아웃 갱신(rollout refresh)이라는 두 가지 제어 요소를 함께 연구한다. 3x3 수학적 추론 실험은 14,080개의 궤적(trajectory)과 110회의 옵티마이저 업데이트를 고정한 채, 프롬프트 뱅크와 응답을 생성하는 정책 스냅샷의 수를 달리한다. 스냅샷이 10개일 때, 8개의 프롬프트로 평균 정확도 24.09%에 도달하며, 이는 14,080개의 서로 다른 프롬프트를 사용했을 때의 24.51%에 근접한 수치이다. 그러나 응답을 초기 정책에 고정한 경우에는 프롬프트 폭을 늘리면 정확도가 21.16%에서 19.05%로 낮아지는 반면, 업데이트마다 갱신하는 경우에는 정확도가 23.61%에서 25.57%로 높아진다. 그 결과로 나타나는 상호작용은 4.07%p이며, 질문 단위로 짝지은(question-paired) 95% 구간은 [2.00, 6.28]이다. 두 교사 모델(teacher)에서 매칭된 비교를 수행하면 두 번째 역전 현상이 드러난다. 주기적으로 갱신한 모델은 짧은 예산에서 더 높은 정확도와 답변 완결률을 보이지만, 32K 출력 제한에서는 응답 토큰을 1.7~1.8배 더 사용하는 응답 고정 모델이 평균 정확도에서 앞선다. 이러한 결과는 OPD에서 프롬프트 효율성이 갱신 방식과 추론 예산 모두에 의존할 수 있음을 보여준다.

arXiv:2609.25028v1cs.CL

QMSum에서 효율적인 질의 중심 회의 요약을 위한 검색된 스팬 학습

Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum

QMSum은 채점기(scorer)를 제공하지 않아 질의 중심 회의 요약 결과를 비교하기 어렵게 만듭니다. 본 연구에서는 단일 구현 환경에서 15개 시스템을 재채점하거나 생성합니다. 공통 추론 포트를 통해 공개된 406M Fusion-in-Decoder 전문 모델은 제한된 긴 입력에서 2,000단어의 검색된 스팬(retrieved span)으로 전환될 때 6.30 ROUGE-1의 손실을 보입니다. 이러한 스팬 체제에서 모델을 미세조정하면 해당 손실이 회복됩니다. 테스트 셋에서 이 모델은 36.33 ROUGE-1을 기록하여 본 연구의 1.2B 시스템의 35.41과 비교되며, 그 차이에 대한 회의 군집 95% 신뢰구간은 [-0.27, +2.22]로 나타나 QMSum상에서 통계적으로 유의미하게 구분되지 않습니다. 더 작은 시스템은 전체 파라미터를 약 3분의 1만 사용하며 최대 추론 메모리는 절반 미만으로 사용합니다. 고정된 1.2B 베이스 내에서는 스팬 체제 미세조정으로 5.29 [+4.02, +6.56]가 향상되는 한편, 트랜스크립트 앞부분 4,500단어를 검색된 2,000단어로 대체하면 테스트에서 1.55, 검증에서 0.29가 추가됩니다. 별도로 단일 간결한 프롬프트 및 참조 중복 채점기 환경에서 공개된 406M 전문 모델은 5개의 독점 호스팅 모델보다 ROUGE-1 기준으로 최소 6.2 이상 앞서지만, 출력 길이와 인간 평가 또는 사실성 평가의 부재로 인해 이러한 순위 매기기에는 한계가 있습니다. 본 결론은 QMSum 및 자동 평가 지표에 국한됩니다.

arXiv:2608.27855v2cs.CL

AI 작성자는 일관된 문체 측정학적 흔적을 남기지만, AI 편집자는 그렇지 않다

AI Writers Have a Consistent Stylometric Footprint, but AI Editors Do Not

대규모 언어 모델(LLM)이 생성한 텍스트는 사람이 작성한 텍스트와 문체 측정학(stylometry)적으로 구별된다는 점이 밝혀져 왔다(Andre et al., 2023; Shah et al., 2023; Opara, 2024; Soto et al., 2024; Li and Zhang, 2025; Selvioglu et al., 2025). 그러나 LLM은 텍스트를 생성할 뿐만 아니라 사람이 작성한 글을 편집하는 데에도 점점 더 많이 활용되고 있으며, 두 행위가 동일한 흔적을 남기는지는 불분명하다. 본 연구에서는 AI 생성이 일관된 "문체 측정학적 흔적(stylometric footprint)"을 남긴다는 것을 보인다. 즉, 주로 엔트로피(entropy)와 어휘 다양성(lexical diversity)으로 구성된 소수의 특징 부분집합이 8개의 LLM과 5개 도메인 전반에서 AI 생성 텍스트를 사람이 작성한 글과 일관되게 구분하는 반면, 나머지 특징들은 도메인과 생성 모델에 크게 의존한다. 그러나 AI 편집은 이러한 동일한 흔적을 재현하지 않는다. 사람이 작성한 원본과 비교했을 때, AI가 편집한 텍스트는 AI 생성의 특징인 동반 증가 대신 어휘 다양성의 미미한 증가와 엔트로피 감소만을 보인다. 생성에는 거의 기여하지 않던 어휘 밀도(lexical density)가 편집과 관련된 지배적인 신호로 작용하게 된다. 따라서 문체 측정학적 특징은 AI 편집 텍스트를 AI 생성 텍스트와 구분하지만, 사람이 작성한 텍스트와 구분하는 데는 훨씬 덜 효과적이다. 본 연구 결과는 "AI 텍스트"가 단일한 현상이 아니며, 생성과 편집은 질적으로 서로 다른 문체 측정학적 흔적을 남기므로 별도로 연구되어야 함을 시사한다.

arXiv:2603.29492v2cs.CL

방사선 판독문 생성을 위한 보정된 확신도 표현

Calibrated Confidence Expression for Radiology Report Generation

방사선 판독문 생성에서 대규모 비전-언어 모델(LVLM)을 안전하게 배포하기 위해서는 정확한 예측뿐만 아니라, 출력을 면밀히 검토해야 할 시점을 임상적으로 해석 가능하게 알려주는 지표가 필요하며, 이를 통해 영상의학과 전문의의 선택적 검증을 가능하게 하고 환각(hallucination)된 소견이 임상적 결정에 영향을 미치는 위험을 줄일 수 있다. 이에 대한 한 가지 직관적인 접근법은 모델이 자신의 확실성을 명시적으로 진술하는 언어화된 확신도(verbalized confidence)이다. 그러나 현재의 최첨단 언어 모델은 종종 과도한 확신(overconfident)을 가지며, 방사선 판독문 생성과 같은 멀티모달 환경에서의 캘리브레이션(calibration, 보정)에 관한 연구는 제한적이다. 이러한 공백을 해결하기 위해, 우리는 방사선 판독문과 함께 보정된 언어화된 확신도 추정치를 생성하도록 의료 LVLM을 미세조정(fine-tuning)하는 강화학습(reinforcement learning) 프레임워크인 ConRad(Confidence Calibration for Radiology Reports)를 도입한다. 우리는 단일 판독문 수준의 확신도 점수와 각 주장에 확신도를 할당하는 문장 수준 변형이라는 두 가지 설정을 연구한다. 두 방식 모두 오보정(miscalibration)에 불이익을 주어 진실된 자기 평가를 유도하고 보상 극대화 시 최적의 캘리브레이션을 보장하는 로그 점수 규칙(logarithmic scoring rule) 기반 보상(reward) 함수와 함께 GRPO 알고리즘을 사용하여 학습된다. 실험을 통해 ConRad가 캘리브레이션을 실질적으로 개선하고 경쟁 방법들보다 뛰어난 성능을 보임을 확인하였다. 임상적 평가에서는 ConRad의 판독문 수준 점수가 임상의의 판단과 잘 일치함을 보여준다. ConRad는 집중적인 검토를 위해 전체 판독문이나 확신도가 낮은 진술을 강조 표시함으로써 판독문 생성을 위한 AI 보조 기능의 보다 안전한 임상 통합을 지원할 수 있다.

arXiv:2409.02244v3cs.HC

NLP 과제로서의 치료: CBT 세션에서 LLM과 인간 동료 상담자의 행동 비교

Therapy as an NLP Task: Comparing LLMs and Human Peers Behaviors in CBT Sessions

대규모 언어 모델(LLM)이 임시 상담사로 점점 더 많이 사용되고 있다. 기존 연구에서는 LLM이 단일 턴의 공감적 응답을 생성하는 데 있어 인간 상담사보다 뛰어나다고 밝혔지만, 여러 턴에 걸친 세션 전반에서 두 주체의 행동을 비교한 연구는 적다. 본 연구에서는 동일한 매뉴얼로 훈련받아 다중 턴, 단일 세션 인지행동치료(CBT)를 제공하는 인간 동료 상담자와 LLM의 세션 수준 행동을 비교한다. 본 연구는 세 단계의 혼합 방법론으로 진행되었다. (a) 동료 지원 플랫폼에 대한 18개월간의 민족지학 연구로, 7명의 상담자가 110회의 자가 상담 세션과 60회의 주간 포커스 그룹을 통해 CBT 프롬프트를 반복적으로 개선하였다. (b) 일치된 조건에서 인간 상담자와 LLM 상담자를 직접적이고 통제된 방식으로 비교할 수 있게 하는 새로운 세션 생성 방법으로, 내담자 응답은 공개된 인간 주도 CBT 세션에서 가져오고 상담자 응답은 CBT 프롬프트를 적용한 LLM이 생성하였다. (c) 3명의 임상심리 전문가 자격 보유자가 수행한 전문가 평가. 데이터 삼각검증을 통해 본 연구의 결과는 상충 관계(trade-off)를 보여준다. 인간 동료 상담자는 관계적 기법을 활용하여 미묘한 단서를 해석하고, CBT를 사용자의 가치관과 문화적 맥락에 맞게 조정하며, 잡담이나 맥락에 적절한 자기 개방과 같은 전략으로 라포를 형성하고 세션을 이끌지만, 이는 종종 세션의 구조와 치료적 초점을 희생하는 대가를 수반한다. 반면 LLM 상담자는 CBT 기법에 대해 더 높은 방법론적 준수도를 보이지만, 턴 주고받기를 유지하는 데 어려움을 겪고, 임상적으로 중요한 내용과 사소한 내용을 구별하지 못하는 경우가 잦으며, 설교를 하거나 해결책을 강요하는 경향이 더 강하다. 또한 LLM 상담자는 '기만적 공감(deceptive empathy)', 즉 과도하게 의인화된 응답을 생성하는 경향이 있으며, 이는 진정한 인간적 돌봄에 대한 사용자의 기대를 부풀릴 수 있다.

arXiv:2606.18389v2cs.CL

더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

저자원 언어 합성 데이터 생성에서 퓨샷 프롬프팅의 추론 비용과 어휘적 앵커링 문제를 피하기 위해, 언어 정체성을 조절하는 Language Steering과 사람이 쓴 텍스트와 역번역 텍스트를 대조해 형식적 적절성을 잡는 Quality Steering 같은 활성화 스티어링(activation steering)을 제안합니다. 11개 언어에서 감정·주제 분류용 합성 데이터를 만들고 소형 분류기를 파인튜닝해 평가한 결과, 초기 레이어 스티어링이 생성 다양성을 높이면서 특히 저자원 언어에서 다운스트림 성능도 자주 개선됩니다.

arXiv:2307.00852v3cs.CL

VOLTA: 변분 상호정보 극대화 오토인코더를 통한 생성 다양성 향상

VOLTA: Improving Generative Diversity by Variational Mutual Information Maximizing Autoencoder

자연어 생성(NLG) 분야는 트랜스포머 모델 덕분에 큰 성공을 거두었다. 비록 최첨단 생성 품질을 달성했지만, 생성 다양성은 종종 소홀히 한다. 이 문제를 다룬 기존 시도들은 모델 용량이 낮거나 지나치게 복잡한 아키텍처라는 한계를 겪는다. 최근 일부 방법은 다양성 향상을 위해 VAE 프레임워크를 사용하지만, 잠재 변수가 입력 컨텍스트에 전적으로 의존하여 잠재 공간 탐험을 제한한다. 본 논문에서는 VOLTA를 제안한다. 이는 기존의 임베딩 연결(concatenation)이나 합(summation) 방식에서 벗어나, 더 효과적인 cross-attention 기반 연결을 통해 트랜스포머와 VAE를 연결함으로써 생성 다양성을 높이는 프레임워크이다. 또한 InfoGAN 스타일의 잠재 코드를 통합하여 입력과 독립적인 변동성을 가능하게 하고, 생성을 더욱 다양화한다. 게다가 본 프레임워크는 연속 입력에 대한 기존 지원에 더해 이산 입력도 수용한다. 우리는 서로 다른 세 가지 NLG 과제의 여섯 데이터셋에서 두 종류의 트랜스포머로 포괄적 실험을 수행하여, 제안 방법이 생성 품질을 유지하면서 생성 다양성을 크게 향상할 수 있음을 보인다.

arXiv:2609.24881v1cs.AI

Pinocchio: 블랙박스 언어 모델을 위한 빠른 불확실성 추정

Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models

대규모 언어 모델(LLM)을 활용하는 중대한 의사결정 응용 분야에서 실무자는 정확한 LLM뿐만 아니라 예측에 대한 불확실성 추정(uncertainty estimate)도 필요로 합니다. 기존의 LLM 불확실성 추정 방식은 모델이 출력하는 로그 확률(log-probability)에 접근할 수 있거나 미세조정(fine-tuning) 권한이 있어야 합니다. 그러나 다수의 산업용 LLM 제품은 비공개 소스 API 모델을 사용하며, GPT와 같은 많은 API 모델은 로그 확률을 반환하지 않고 미세조정을 허용하지 않을 수도 있습니다. 본 논문에서는 블랙박스 API 모델의 응답 정확도를 추정하는 외부 캘리브레이터(calibrator)인 Pinocchio를 소개합니다. 7개 LLM의 응답으로 공동 학습된 Pinocchio는 동일한 모델들의 홀드아웃(held-out) 응답에 대한 정확도 예측에서 0.862 AUROC를 달성하며, 8개 기관의 13개 미확인 모델에 대해서도 제로샷(zero-shot) 전이 성능을 보여줍니다. 본 모델은 불확실성 추정을 생성하기 위해 단 한 번의 순전파(forward pass)만 필요로 하며, 대상 모델의 로짓(logits), 가중치, 내부 상태에 대한 접근을 전혀 요구하지 않습니다. 경량 텍스트 전용 0.8B 체크포인트는 가장 큰 모델의 AUROC와 대등한 성능을 보입니다. 단 두 줄의 추가 코드만으로 기존 저장소에 불확실성 추정을 추가할 수 있는 코드를 공개합니다.

arXiv:2609.24855v1cs.AI

논증을 분류만이 아니라 추출하기: 생성형 구성요소 탐지를 위한 지시 미세조정 LLM

Extracting Arguments, Not Just Classifying Them: Instruction-Tuned LLMs for Generative Component Detection

논증적 구성요소 탐지(ACD)는 논증 마이닝(AM)의 핵심 하위 과제이며, 주장(claim)과 전제(premise) 등의 구성요소로 논증 구간을 동시에 한정하고 분류해야 하므로 그중에서도 가장 어려운 측면 중 하나이다. 이 하위 과제에 대한 연구는 다른 AM 과제에 비해 상대적으로 제한적이지만, 기존 접근법의 대부분은 이를 단순화된 시퀀스 라벨링 문제, 구성요소 분류, 또는 구성요소 분할 뒤 분류하는 파이프라인으로 형식화한다. 본 논문에서는 간결한 지시 기반 프롬프트를 사용하는 지시 미세조정 대규모 언어 모델(LLM)에 기반한 새로운 접근법 ITFACD를 제안하고, ACD를 언어 생성 태스크로 재구성하여 사전 분할된 구성요소에 의존하지 않고 평문에서 논증을 직접 식별할 수 있게 한다. 표준 벤치마크에서의 실험 결과, 본 접근법이 최신(state-of-the-art) 시스템보다 더 높은 성능을 달성함을 보여준다. 우리가 아는 한, 이는 ACD를 생성 태스크로 완전히 모델링한 최초의 시도 중 하나이며, 복잡한 AM 문제에 대한 지시 미세조정의 잠재력을 부각한다. 코드와 사용된 데이터셋은 다음 GitHub 저장소에서 공개적으로 이용할 수 있다.

arXiv:2609.24847v1cs.AR

SPECTRA: 런타임 재구성 가능한 타일형 아키텍처 상에서의 추측 디코딩 적응형 실행

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

엣지 디바이스에서의 LLM 추론은 연산 및 메모리 자원의 제약을 받아, 효율적인 자기회귀적(autoregressive) 디코딩을 어렵게 만든다. 추측 디코딩(speculative decoding)은 더 작은 드래프트 모델(draft model)로 토큰을 생성하고, 배치된 타겟 모델(target model) 패스로 여러 토큰을 병렬로 검증함으로써 이러한 병목을 완화한다. 그러나 검증(verification) 과정은 디코딩에서의 메모리 바운드(memory-bound) 범용 행렬-벡터 곱(GEMV) 연산과 프리필(prefill)에서의 연산 바운드(compute-bound) 범용 행렬-행렬 곱(GEMM) 연산 사이에 런타임에 의존적인 중간 영역(intermediate regime)을 만들어내는데, 이는 산술 강도(arithmetic intensity)가 추측 길이(speculation length)와 수락률(acceptance rate)에 따라 달라지기 때문이다. 우리는 전체 추측 디코딩 파이프라인에 걸쳐 높은 활용률을 유지하는 런타임 재구성 가능한 타일형 아키텍처인 SPECTRA를 제시한다. 각 타일 내에서 연산 엔진은 GEMM을 위한 시스톨릭(systolic) 실행과 GEMV를 위한 벡터 레인(vector-lane) 실행 사이를 전환한다. 타일 간에는 SPECTRA가 타일 개수, 커널 분할(kernel partitioning), 통신 패턴을 선택함으로써 연산 병렬성을 동적으로 적응시킨다. 타일 수준과 시스템 수준의 재구성 모두 커널 단위로 동작하여, 이러한 다양한 영역에서 효율적인 실행을 가능하게 한다. Pythia, SmolLM2, GPT-2 계열에 걸쳐 20개 타일 FPGA 프로토타입에서 평가한 결과, SPECTRA는 고정 설계 대비 타일 수준 재구성으로 최대 $2.09\times$의 속도 향상을, 시스템 수준 적응성으로부터 추가로 $1.25\times$의 향상을 달성한다.

arXiv:2609.23877v1cs.AI

대규모 설명 가능 추천: YouTube Music 아티스트 발견을 위한 LLM 근거

Explainable Recommendations at Scale: LLM Rationales for YouTube Music Artist Discovery

현대 음악 스트리밍 플랫폼은 익숙한 콘텐츠를 활용하는 것과 새로운 항목의 탐험을 촉진하는 것 사이에서 지속적인 트레이드오프에 직면한다. 사용자는 종종 발견을 원하지만, 검증된 선호 아티스트 대신 낯선 아티스트를 선택하는 데 주저한다. 아직 탐색하지 않은 항목이 왜 추천되는지 설명하는 투명한 자연어 근거를 제공하면 이 장벽을 낮출 수 있다. 그러나 대규모 언어 모델(LLM)은 이러한 미묘한 설명 가능성에는 뛰어나지만, 실시간 배포는 과도한 추론 비용과 계산 오버헤드로 인해 심각한 병목에 걸린다. 본 논문에서는 지연 시간을 희생하지 않으면서 탐험을 성공적으로 확장하는 분리형 추천 아키텍처의 산업 사례 연구를 제시한다. 우리 시스템은 LLM 추론을 비동기적으로 오프라인으로 분리하여, 맞춤형 근거와 함께 미발견 아티스트에 대한 개인화 후보 풀을 사전 계산한다. 대규모 온라인 A/B 실험이 우리 설계를 검증한다. LLM 기반 추천과 이러한 설명적 근거를 결합하면 새 콘텐츠에 대한 신뢰 장벽이 크게 낮아지며, 발견 표면에서 사용자 탐험과 전반적 참여 모두에서 통계적으로 유의미한 개선을 이끈다는 것을 보여준다.

arXiv:2609.23860v1cs.AI

멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습

Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.

arXiv:2609.23735v1cs.AI

ScholarStack: 과학 에이전트를 위한 계층형 연구 자산 오케스트레이션 및 태스크 간 재사용

ScholarStack: Layered Research Asset Orchestration and Cross-Task Reuse for Scientific Agents

과학 에이전트는 검색, 질의응답, 근거 기반 생성, 주장 평가 등 문헌 기반 연구 태스크를 폭넓게 지원한다. 그러나 대부분의 기존 시스템은 개별 태스크 중심으로 구성되어, 동일한 논문을 반복적으로 검색·분할·해석하고 한 태스크에서 쌓인 이해를 다음 태스크에서 재사용하기 어렵다. 본 논문은 ScholarStack을 제안한다. 이는 논문 집합을 세 가지 상보적 수준에서 재사용 가능하고 버전 관리되며 출처가 보존된 자산으로 컴파일하는 계층형 연구 자산 프레임워크이다: 출처에 근거한 논문 수준 진술, 도메인 수준 조직, 근거 기반 교차 논문 종합. 공통 접근 인터페이스는 각 태스크가 요구하는 증거 세분성에서 태스크별 뷰를 반환하며, 연구 조건, 출처 추적 가능성, 검증 상태를 보존한다. 프레임워크를 열 가지 태스크 설정에 걸친 네 가지 태스크 패밀리에 구현하고, 컴파일된 자산을 사용하는 에이전트를 동일 베이스 모델 하의 태스크별 베이스라인과 비교한다. 품질 향상은 다중 논문 질의응답 및 문헌 리뷰 생성처럼 교차 논문 증거가 필요한 태스크에 집중되며, 측정된 모든 태스크에서 쿼리 시점 토큰 비용은 감소하고, 자산은 한 번 컴파일되어 태스크 전반에 재사용된다. 이 결과는 계층형 연구 자산이 과학 에이전트의 공유 인프라로 기능할 수 있음을 시사하며, 문헌 기반 지원을 고립된 문서 처리에서 누적적·근거 기반 워크플로로 전환할 수 있음을 보여준다.

arXiv:2609.23640v1cs.AI

인간에 정렬된 모델은 인간의 모델인가? 선호 정렬에서의 튜링 테스트 간극

Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment

인간 피드백 정렬은 언어 모델을 유용한 어시스턴트로 만들었으며, 흔히 모델을 인간에 맞춘다고 설명된다. 그러나 사람들이 AI에게 선호하는 응답이, 그들 스스로 내놓을 응답과 같을 필요는 없다. 우리는 인간 선호에 대한 정렬과 인간 행동에 대한 정렬을 구분하고, 선호와 응답이 모두 전적으로 인간으로부터 나온 경우에도 인간 선호 정렬이 모델 행동을 덜 인간답게 만들 수 있음을 보인다. 우리는 이를 튜링 테스트 간극(Turing-test gap)이라 부른다. 선호 정렬이 인간 응답 분포를 보존하는 것은 제한적인 조건 하에서만 성립함을 보이고, 실제 인간 선호가 그 조건을 만족한다는 일관된 증거는 찾지 못했다. 실증적으로, 인간 응답 가능도의 손실은 선호 가중의 방향과 관계없이 그 강도가 커질수록 증가하며, 이 간극은 표준 DPO에서도 나타난다. 이러한 결과는 인간다움을 선호 정렬에서 자연스럽게 따라온다고 가정하는 것이 아니라, 정렬의 명시적 차원으로 확립한다.

arXiv:2609.23130v1cs.AI

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2609.23071v1cs.AI

대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기

Tutoring Large Language Models to be Domain-adaptive, Precise and Safe

본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.

arXiv:2609.23043v1cs.AI

구조화된 지식 트리를 통한 LLM 기반 탐정 게임의 서사 신뢰성 및 인식론적 페이싱 강제

Enforcing Narrative Reliability and Epistemic Pacing in LLM-Driven Detective Games via Structured Knowledge Trees

대규모 언어 모델(LLM)은 인터랙티브 게임에서 개방형 대화를 가능하게 하지만, 비결정적 출력 때문에 작가적 통제, 사실적 일관성, 의도된 정보 공개 순서를 유지하기 어렵다. 이러한 문제는 조기 공개나 날조된 세부사항이 플레이어 진행의 논리를 훼손할 수 있는 탐정 게임에서 특히 크다. 본 연구는 개방형 심문 게임에서 대화를 제어하기 위해 구조화된 지식 트리(Structured Knowledge Tree) 아키텍처와 3-에이전트 LLM 파이프라인을 제안한다. 이 시스템은 지식 검색, 대화 생성, 응답 검증을 분리하여 가상 용의자가 현재 서사 상태에서 허용된 정보만 공개하도록 한다. 플레이 가능한 탐정 게임 테스트베드인 The Interrogation of Adrian Gale과 환각 감소, 작가가 작성한 공개 순서 준수, 지각된 논리적 진행을 조사하는 공식 사용자 연구를 통해 접근법을 평가한다. 결과에 따르면 구조화된 아키텍처는 중대한 환각을 64.78% 감소시키고 서사의 조기 공개를 완전히 방지한다. 엄격한 기계적 제약이 강제적 대화 공개와 관련된 사용성 트레이드오프를 야기했지만, 시스템은 엄격한 인식론적 페이싱을 성공적으로 강제하고 플레이어에게 사건 해결을 향한 명확한 주관적 진행감을 제공한다.

arXiv:2609.22537v1cs.AI

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

arXiv:2609.20581v2cs.AI

확산에서 신뢰도의 한계

Limits of Confidence in Diffusion

remasking 및 uniform-state sampler를 포함한 이산 확산(discrete diffusion)은 매 스텝마다 여러 토큰 위치에 기록하며, 각 위치는 위치별 분포에서 샘플링하고 어떤 위치를 기록할지도 동일한 분포들로부터 선택하는 방식으로 시퀀스를 생성한다. 픽셀, 음소, 단어 등 일반적인 관심 영역에서는 토큰 간 본질적인 종속성이 존재한다. 우리는 한 스텝이 학습 분포와 일치하는 것은 그 스텝이 기록하는 위치들이 이미 고정된 토큰들이 주어졌을 때 조건부 독립일 때에만 해당함을 보이고, 위치별 분포의 곱은 종속적인 그룹과 일치할 수 없으며, 위치별 분포가 그룹의 종속 여부를 결정하지 않음을 보인다. 두 결합 분포가 동일한 위치별 주변 분포를 가지면서도 어떤 값 조합이 발생하는지는 달라질 수 있다. 결합 분포를 폐형식으로 알 수 있는 합성 과제 ScanAndAdd에서, confidence ranking이 기록하는 미정 위치 두 개 이상의 모든 그룹이 종속임을 검증하고, 생성 분포의 총 변동(total variation)을 샘플링 노이즈 바닥의 $29\times$로 측정한 반면 샘플당 지표는 $1.0$이다.