PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14118v1cs.CL

실행 인식 LLM 연구 아이디어 생성을 위한 예산 기반 부분집합 정제(Budgeted Subset Refinement)

Budgeted Subset Refinement for Execution-Aware LLM Research Ideation

대규모 언어 모델(LLM)은 전문가 심사자에게 신선해 보이는 연구 아이디어를 생성할 수 있지만, 최근 연구는 이러한 아이디어가 다양성이 부족하고, LLM이 신뢰성 있게 평가하기 어렵고, 실제로 강력한 실행 프로젝트로 이어지지 못할 수 있음을 보여준다. 본 논문은 실행 전 스캐폴딩(scaffolding) 문제에 대한 통제된 프록시 벤치마크를 평가한다. LLM이 생성한 연구 아이디어의 노이즈가 있는 풀(pool)이 주어졌을 때, 고정된 루브릭(rubric) 하에서 시스템이 제한된 정제(refinement) 노력을 어떻게 배분해야 인간 연구자를 위한 더 강력하고, 더 다양하며, 더 실행 인식적인 포트폴리오를 구성할 수 있는가 하는 문제이다. 우리는 Budgeted Subset Refinement(예산 기반 부분집합 정제)를 소개한다. 이는 모든 후보를 균일하게 정제하는 대신 선별된 부분집합만 정제하는 전략군이다. 10개의 무작위 시드와 10개의 연구 아이디어 생성 환경에 걸친 통합 공유 후보 풀 평가에서, 원시 생성과 재순위화(reranking)만으로는 벤치마크 루브릭 하에서 연구 강도(research-strong) 기준을 충족하는 비중복 아이디어를 생성하지 못하며, 정제는 강력한 프록시 등급 포트폴리오에 필요하다. 균일 정제는 강력한 개별 아이디어를 생성하지만 최적의 포트폴리오 수준 연산 할당은 아니다. Random-k 정제는 강력한 저비용 기준선(baseline)이며, 다양성 인식 MMR-k 정제는 최상의 전체 프록시 트레이드오프를 제공한다. 최고의 연구 강도 비중복 수율, 성공적 방법들 중 최저 중복률, 연구 강도 비중복 아이디어당 최상의 비용을 달성한다. 균형 잡힌 72개 항목 샘플에 대한 맹검(blinded) 외부 심사자 견고성 검사는 독립적 모델 계열에 걸친 광범위한 정제 효과를 뒷받침하는 한편, 정제 전략 간 항목별 순위는 심사자에 따라 달라짐을 보여준다. 이 결과는 LLM 연구 아이디어 생성 시스템을 아이디어 생성기뿐 아니라 예산 제약 지원 할당 시스템으로 평가해야 함을 시사한다. 해당 주장은 프록시 등급 포트폴리오 품질에 한정되며, 전문가 검토나 실행 기반 검증(validation)을 대체하지 않는다.

arXiv:2607.14114v1cs.CL

CoEvoT: 그래프-LLM 추론을 위한 공진화 사고의 연쇄 프롬프팅

CoEvoT: Co-Evolving Chain-of-Thought Prompting for Graph-LLM Reasoning

분포 이동(distribution shift) 하에서의 그래프 학습은 지속적인 과제이며, 모델은 제한적이거나 심지어 감독이 전혀 없는 상황에서 새로운 그래프에 적응해야 한다. 최근 그래프-LLM 접근법은 그래프를 프롬프트로 선형화하고 대규모 언어 모델(LLM)을 예측기로 사용하여 레이블 효율적인 예측을 향해 나아가며, LLM의 다단계 추론 능력을 활용하기 위해 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅을 채택할 수 있다. 그러나 기존 CoT 기반 그래프-LLM 방법은 고정된 그래프 토큰을 조건으로 하여 중간 사고를 생성하므로, 구조적 단서의 단계별 정제가 제한된다. 본 논문에서는 그래프-LLM 추론을 위한 단순하면서도 효과적인 공진화 CoT 프롬프팅 프레임워크인 CoEvoT를 제안한다. CoEvoT는 텍스트-그래프 토큰 재작성과 그래프-텍스트 추론 안내를 폐루프로 결합한다. 각 중간 텍스트 사고는 경량 조건 네트워크를 통해 그래프 토큰 증거 상태를 갱신하는 데 사용되며, 갱신된 토큰은 다음 단계 지시에 다시 입력되어 후속 LLM 추론을 안내한다. 이를 통해 고정된 그래프 스냅샷에 대한 추론이 아니라, 단계별·상태 인식 증거 정제가 가능해진다. 8개 데이터셋에 대한 광범위한 실험에서 CoEvoT는 최신 베이스라인을 일관되게 능가함을 보여준다.

arXiv:2607.14112v1cs.CL

언어 모델의 신뢰성과 스케일링에 대한 정보이론적 한계

Information-Theoretic Limits of Reliability and Scaling in Language Models

대규모 언어 모델(LLM)은 충분한 스케일이 주어지면 어떤 작업에서든 완벽한 신뢰성을 달성할 수 있는 것처럼 평가된다. 우리는 이 가정이 정보이론적으로 정당화될 수 없음을 보인다. 모든 생성 작업에는 관측 가능한 컨텍스트로부터 해결할 수 있는 출력 불확실성의 양에 의해 결정되는, 어떤 모델도 초과할 수 없는 신뢰성 상한이 존재한다. 이 격차는 추가 컨텍스트로 메울 수 있는 해결 가능한 성분과 작업 모호성에 내재된 주관적 성분으로 분해된다. 자기회귀 생성은 출력에서 토큰 간 상관관계를 정량화하는 작업의 의존성 커널에 의해 지배되는 속도로 이 상한을 더욱 저하시킨다. 이 두 가지 기본 요소로부터, LLM 성능이 더 희소한 자원—학습 데이터 또는 모델 용량—에 의해 병목을 받는 제1원리 스케일링 법칙을 유도한다. 이 법칙은 Chinchilla 스케일링 법칙을 특수한 경우로 복원하며, 스케일링이 신뢰성을 향상시키는 조건에 대한 구조적 설명을 제공한다. 스케일링을 넘어, 우리의 프레임워크는 검색-증강의 이점과 치명적 망각의 스펙트럴 메커니즘 같은 다양한 실용적 현상을 통합한다. 우리의 연구는 도메인 전반에 걸쳐 모델 성능을 지배하는 자원-복잡도 트레이드오프를 형식화하여, 생성형 언어 모델의 성능 한계에 대한 통합 이론을 제시한다.

arXiv:2607.14111v1cs.CL

내성 미세조정(IFT): 소형 LLM의 내성 학습

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

소형 언어 모델이 자신의 내부 활성화(activation)에 대한 교란(perturbation)을 탐지하고 보고할 수 있는가? 우리는 활성화 조향(activation steering)의 관점에서 이 질문을 조사한다: 모델의 잔차 스트림(residual stream)에 개념 벡터(concept vector)를 주입하고, 모델이 교란에 대해 정확하게 보고할 수 있는지 측정한다. 우리는 먼저 선행 연구에서 사용된 이진 탐지 패러다임—주입된 thought를 탐지하는지에 대해 모델에게 'Yes' 또는 'No'로 답하도록 프롬프트하는 방식—이 소형 모델에서 교란 요인(confound)이 작용함을 보인다. 조향(steering)이 질문 내용과 무관하게 모델을 긍정적 응답으로 편향시키기 때문이다. 따라서 우리는 두 가지 교란 요인 없는(confound-free) 평가 패러다임을 제안한다: 문장 국소화(sentence localization)($N$개 문장 중 어떤 문장이 교란되었는지 식별, 우연 확률 $= 1/N$) 및 강도 비교(strength comparison)(두 문장 중 어느 쪽이 더 강한 주입을 받았는지 식별, 우연 확률 $= 50\%$). 두 계열(Llama-3.2 및 Gemma-4)의 6개 모델을 대상으로 평가한 결과, 2B 매개변수만큼 작은 모델도 우연 수준을 훨씬 상회하여 내성(introspect)을 안정적으로 수행하며, 내성 능력은 일반적으로 규모와 함께 증가한다. 그러나 Llama-1B는 우연 수준 이하 또는 그에 준하는 성능을 보인다. 그다음 \emph{Introspection Fine-Tuning}(IFT)을 도입한다: 모델 자체의 교란된 순전파(forward pass)로 구성된 문장 국소화 예제에 대한 지도 미세조정(supervised fine-tuning). IFT는 Llama-1B의 문장 국소화 정확도를 $9.6\%$에서 $60.6\%$로 끌어올린다($6\times$ 향상), 그 이득은 홀드아웃(hold-out) 강도 비교 과제에 제로샷(zero-shot)으로 일반화된다($30.2\% \to 52.2\%$). IFT는 3B 및 8B 모델의 내성도 향상시키며, 표준 역량 벤치마크에서는 미미한 성능 저하만 유발한다. 우리의 결과는 내성 능력이 규모만으로 고정되지 않음을 시사한다: 직접 학습할 수 있으며, 이를 통해 잠재된 자기 모니터링(self-monitoring) 능력을 개방하여 AI 투명성(transparency)과 정렬(alignment)에 함의를 갖는다. 코드는 \href{https://anonymous.4open.science/r/IFT-introspection-2092/README.md}{여기}에서 확인할 수 있다.

arXiv:2607.14108v1cs.CL

Eta Given Delta: 한계 도구 효용(Marginal Tool Utility)을 통한 LLM 도구 효율성 정의

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

본 논문은 LLM 에이전트 궤적(trajectory)에서 유용한 도구 호출의 비율을 평가하는 새로운 정량적 지표인 도구 효율성(tool efficiency)을 제안한다. 도구 효율성이 잘 정의되도록, 도구 호출마다 정의되는 또 다른 정량적 지표인 한계 도구 효용(marginal tool utility)도 함께 도입한다. 이 지표는 해당 도구가 유용한지, 아니면 정확도에 영향을 주지 않으면서 도구 효율성을 높이도록 도구 모음(tool suite)에서 안전하게 제거할 수 있는지를 나타낸다. 본 논문에서는 LLM-as-a-judge를 사용하여 궤적 내 각 도구 호출에 대한 한계 도구 효용의 부호를 결정한다. LLM의 도구 사용을 개선하는 기법을 개발하고 정확도를 대리 지표(proxy)로 삼아 효율성을 간접적으로 측정하는 평가 방법을 설계한 선행 연구가 많지만, 본 연구는 사후(post hoc) 궤적 분석에서 본 논문이 제안한 정량적 지표를 통해 효율성을 직접 측정하는 것에 초점을 둔다. 본 연구가 LLM 평가 연구의 최전선에 기여하여, 정확도와는 보완적이지만 구별되는 지표를 최적화하는 미래 벤치마크 설계 및 에이전트 하네스(agent harness) 엔지니어링(특히 간결한(lean) 도구 모음 구축)의 발판이 되기를 기대한다.

arXiv:2607.14107v1cs.CL

Polestar: 확산 LLM의 효율적 추론을 위한 드리프트 인식 캐시 보정 및 토큰 커밋

Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs

확산 대규모 언어 모델(dLLM)의 추론 효율은 두 가지 과제에 의해 제약된다. 양방향 어텐션은 효율적인 KV-cache 재사용을 막고, 정적 신뢰도 임계값으로 디코딩 병렬성을 높이면 생성 품질이 저하될 수 있다. 우리는 두 과제 모두 공통 현상에서 비롯된다는 것을 관찰한다. 토큰이 디코딩될수록 양방향 어텐션을 통한 문맥 통합으로 인해 토큰 표현이 디코딩 단계마다 드리프트(진화)한다. 이 통찰은 Polestar를 동기 부여한다. Polestar는 토큰 표현 드리프트를 통합 신호로 사용하여 두 과제를 함께 해결하는 학습 없는 추론 프레임워크이다. Polestar는 두 구성 요소로 이루어진다. Polestar-Cache는 드리프트를 통해 오래된 KV-cache 위치를 식별하고 희소 KV-cache 갱신을 수행하여 효율적 재사용을 가능하게 하며, Polestar-Commit은 급격한 드리프트 이벤트를 감지하여 커밋 준비가 된 토큰을 신뢰성 있게 식별한다. 여러 dLLM 계열에서 수학 및 코딩 벤치마크에 걸쳐 Polestar는 정확도-처리량 Pareto 프론티어에서 새로운 최고 수준을 달성하며, 기존 베이스라인 대비 최대 10.73% 정확도 향상, 최대 3.7배 높은 처리량, 순전파당 3.67 토큰의 높은 디코딩 병렬성을 달성한다.

arXiv:2607.14105v1cs.CL

작업별 최적화를 위한 프롬프트 가이드라인 자동 진화

Automatically Evolving Prompt Guidelines for Task-Specific Optimization

대규모 언어 모델(LLM)이 사용자 질의에 신뢰할 수 있게 답변하려면, 사용자는 요구사항, 문맥, 제약을 명확히 명시해야 한다. 그러나 실제로는 사용자 질의가 불완전하게 명시되는 경우가 많아, 모델이 암묵적 가정을 추론해야 하며, 이는 실제 사용자 의도와 어긋날 수 있다. 기존 프롬프트 엔지니어링 가이드라인은 이 문제를 완화하려 하지만, 일반적으로 범용적이고 작업에 무관하여 실용적 효용이 제한된다. 또한 기존 가이드라인은 수동으로, 체계적이지 않은 방식으로 작성된다. 이에 본 연구는 프롬프트 가이드라인 최적화를 다룬다: 주어진 작업과 모델에 대해 더 잘 명시된 프롬프트를 작성하는 데 도움이 되는 작업별 가이드라인을 자동 생성하는 문제이다. 핵심 관찰은 기존 (완료된) 작업 예시(즉, 참조 답변)가 불완전하게 명시된 질의를 완료하는 데 필요한 누락 정보—행동 제약, 문맥적 가정, 평가 기준 등—를 암묵적으로 인코딩하는 경우가 많다는 것이다. 이에 AGOPS를 제안한다. 이는 프롬프트 LLM 작성기, 솔버 LLM, 프롬프트 진화를 포함하는 최적화 기법을 통해 작업별 가이드라인을 진화시키며, 예시 집합(참조 답변을 갖춘 사용자 질의)에서 하류 효과를 극대화하는 자동 접근법이다. 추론 시점에 본 가이드라인은 사용자가 잘 명시된 프롬프트를 작성하도록 돕고, LLM의 효과를 높인다. 수학적 추론, 의학 질의응답, 코딩 작업 전반에 걸쳐, 프롬프트 불완전 명시가 하류 작업 성능에서 (잘 명시된 프롬프트 대비) 최대 95.3%의 큰 하락을 초래함을 보이며, 더 중요한 것은 기존 프롬프트 최적화 기법으로는 이 하락을 거의 회복하기 어렵다는 점이다. AGOPS 가이드라인을 따르는 사용자는 이 손실을 회복할 수 있으며(평균 15.5~81.7%의 성능 향상), 모든 벤치마크에서 일관되게 나타난다.

arXiv:2607.14104v1cs.CL

게임 플레이를 통한 우즈베크어 학습을 위한 UzWordnet과 생성형 AI

UzWordnet and Generative AI for Learning Uzbek by Game Playing

본 논문은 학습자가 게임 플레이를 통해 우즈베크어를 연습할 수 있게 하는 교육 시스템 아키텍처를 제시한다. 이 아키텍처는 UzWordnet과 현재 이용 가능한 최대 규모의 우즈베크어 정서법 사전을 핵심 어휘 자원으로 통합하며, 학습 지원을 위한 핵심 구성 요소로 생성형 AI를 함께 사용한다. 우리는 우즈베크어 학습을 촉진하기 위해 네 가지 교육용 게임을 설계하고, 게임 역학의 직접적인 부산물로 UzWordnet을 개선하기 위한 게임 기반 방법론을 제안한다. 우리의 접근법은 게임 설계와 어휘 자원을 결합하여 교육적 목표(언어 학습)와 어휘적 목표(어휘 자원의 개선 및 확장)를 동시에 달성한다.

arXiv:2607.14103v1cs.CL

언어 모델 에이전트 간 잠재 통신: 채널, 정렬, 그리고 텍스트의 한계

Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

다중 에이전트 시스템(MAS)은 다양한 맥락과 많은 분야에서 활용된다. 이러한 MAS는 에이전트 간 통신에 의존하며, 이는 보통 평문 메시지 전달로 구현된다. 우리는 복잡한 개념을 전달해야 할 때, 대규모 언어 모델(LLM)이 텍스트로 표현 가능한 범위를 넘어서는 세계 모델(world model)을 이용할 수 있을 가능성이 있다고 가설한다. 본 연구의 목표는 구조화된 실험을 통해 이 가설의 증명에 근접하는 것이다. 본 논문에서는 텍스트를 통해 통신하는 LLM 에이전트가 정보를 잃는다는 점을 보이며, 이를 Sparse Autoencoder(SAE) 특징 분석으로 정량화한다. 우리는 세 가지 통신 채널을 구성하고 각 채널에서 개념을 구별하는 정보를 측정한다. 먼저 SAE-sparse 채널이 dense-latent 채널 대비 28배 압축에서 99.4%의 probe 정확도를 유지하는 반면, text 채널은 80.4%임을 보인다. 이어서 sparse 잠재 공간 정렬(sparse latent space alignment)을 이용해 아키텍처 간 통신에서도 동일한 분석을 수행한다. Procrustes 정렬(Procrustes alignment)의 경우 Llama와 Mistral 간 top-1 검색에서 92%를 확인한다. 텍스트 왕복(text round-trip)을 통해 특징 생존 분석(feature survival analysis)을 수행한 결과, 텍스트 직렬화가 SAE 특징의 88%를 파괴하고 이를 다른 특징 집합으로 대체함을 발견한다. 우리는 이 손실을 감쇠(attenuation)가 아닌 동일성 대체(identity replacement)에 기인한다고 귀인한다. 분석을 통해 선형 Procrustes 정렬에 3–10%p의 성능 페널티가 있음을 귀인할 수 있었으며, 비선형 정렬 방법으로 이는 개선된다. 과제 수준 평가(task-level evaluation)에서는 잠재 채널이 교차 언어 개념 과제에서 text 채널과 동등하지만 이를 초과하지는 않는다. 잠재 특징으로 text를 증강해도 이점이 없으며, 이는 초기 가설에 대한 부정적 결론으로 이어진다: 손실된 특징은 대부분 또는 전적으로 과제 관련 의미가 아니라 표면 형태(surface form)를 인코딩한다. text 채널 대비 잠재 통신의 실질적 이점을 특정하려면, 복잡한 개념을 유도하는 더 깊은 과제와 이에 대응하는 분석 프레임워크가 필요하다.

arXiv:2607.14101v1cs.CL

LBA: 낮은 쿼리 예산 하의 텍스트 hard-label 적대적 공격

LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets

낮은 쿼리 예산으로 고품질 적대적 텍스트를 생성하는 것은 hard-label 시나리오에서 여전히 어려운 문제로 남아 있다. 대부분의 기존 접근법은 탐욕(greedy) 알고리즘에 의존하며, 텍스트의 한 위치를 선택해 치환한 뒤 다른 위치들을 순차적으로 치환한다. 이러한 지역 탐색(local search) 방식은 고품질 적대적 예제를 찾지 못할 수 있으며, 종종 과도한 쿼리 비용을 초래한다. 이상적으로는 최적의 적대적 샘플이 텍스트 내 모든 가능한 위치 조합을 고려해야 하지만, 완전 탐색(exhaustive search)은 계산적으로 실현 불가능하다. 이 문제를 해결하기 위해, 우리는 사전(prior) 지식과 사후(posterior) 지식을 통합하여 고품질 적대적 예제의 근사 분포를 구성하고 이 분포를 샘플링에 활용하는 샘플링 기반 방법 LBA를 제안한다. 샘플링이 진행됨에 따라 사후 지식이 근사 분포를 갱신하고, 이는 다시 더 효과적인 샘플링을 이끈다. 4개 데이터셋에 걸쳐 소규모부터 대규모 아키텍처까지 6개 언어 모델에 대한 광범위한 실험 결과, LBA가 모든 평가(evaluation) 지표에서 최신(state-of-the-art) 베이스라인을 크게 능가함을 보여준다. 또한 대규모 언어 모델(LLM) 기반 평가 결과, LBA가 의미를 더 잘 보존하고 이해 가능한 적대적 텍스트를 생성함을 나타낸다.

arXiv:2607.10079v3cs.AI

MAG: 멀티모달 액션 및 가이드 생성을 위한 웹 에이전트 벤치마크 및 하네스

MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation

디지털 도입 플랫폼(DAP)은 웹 시스템에 내장된 오버레이로, 사용자가 페이지 내 작업을 수행할 수 있도록 안내하여 익숙하지 않은 인터페이스를 빠르게 익힐 수 있게 돕는다. 그러나 실제 작업을 완료하는 것은 단일 페이지에서 버튼 몇 개를 클릭하는 수준에 그치지 않으며, 변화하는 페이지 상태에 걸쳐 펼쳐지는 일련의 액션을 필요로 한다. 기존 연구들은 자동화된 웹 에이전트 액션과 가이드 텍스트 생성을 별개의 문제로 다루어 왔으며, 대부분 인간이 실제로 조작하는 렌더링된 화면 대신 DOM이나 접근성 트리와 같은 텍스트 기반 페이지 표현을 모델에 제공한다. 본 연구에서는 작업 실행과 가이드 작성을 단일 멀티모달 액션 및 가이드 태스크로 통합한 최초의 벤치마크 MAG를 소개하며, 스크린샷에 대한 두 가지 그라운딩 방식인 Set-of-Mark 요소 선택과 원시 픽셀 좌표를 지원한다. 또한 이 복합 태스크를 위한 완전한 하네스를 구축하여, LLM 지원 어노테이션 및 인간 검증, 학습, 실제 환경에서의 평가, 그리고 액션과 가이드를 위한 통합 지표를 포함한다. 이 하네스를 통해 최신 API 모델과 오픈 멀티모달 모델을 평가하고 세부 분석 결과를 보고한다. 마지막으로, 전문가 궤적으로 보강된 GRPO 학습 방법을 설계하여, 지도학습 기반 9B 에이전트의 성공률을 거의 두 배(6.9%에서 13.2%)로 끌어올리는 동시에 가이드 품질도 향상시킨다. 가장 강력한 모델조차 전체 태스크의 40% 미만을 완료하여, 향후 연구를 위한 충분한 개선 여지가 남아 있다.

arXiv:2607.09142v3cs.AI

MedRealMM: 중국 온라인 의료 상담을 위한 실세계 멀티모달 벤치마크

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

대규모 언어 모델(LLM)은 온라인 의료 상담에 점점 더 많이 배포되고 있으나, 기존 벤치마크는 실제 임상 진료와의 정합성이 낮다. 많은 벤치마크가 합성 대화나 환자 시뮬레이터에 의존하거나, 환자가 업로드한 의료 이미지를 생략하거나, 임상 품질을 제대로 반영하지 못하는 객관식 또는 어휘 중복 지표로 개방형 임상 응답을 평가한다. 본 논문에서는 전국 단위 중국 인터넷 병원에서 수집된 비식별화된 환자-의사 상호작용을 기반으로 구축한 멀티모달 온라인 의료 상담용 대규모 벤치마크인 MedRealMM을 소개한다. MedRealMM은 멀티모달 임상 도전 지점(MCCP, Multimodal Clinical Challenge Point) 추출 프레임워크를 활용하여 실제 상담 궤적에서 임상적으로 까다로운 순간을 식별하고, 이전의 텍스트-이미지 컨텍스트를 보존하면서 각각을 표준화된 다음 응답 생성 과제로 변환한다. 각 인스턴스에는 임상적으로 바람직한 행동에 보상을 부여하고 불안전하거나 근거 없거나 모순된 응답에 페널티를 부과하는, 의사가 정제한 사례별 루브릭이 함께 제공된다. 현재 공개된 버전은 64개 임상 과에 걸쳐 5,620개의 실세계 멀티모달 케이스를 포함한다. 텍스트 전용 시스템과 멀티모달 시스템을 포함하여 범용 및 의료 특화 LLM 19개를 평가한다. 결과에 따르면 이미지 정보는 신뢰할 수 있는 임상 성능에 매우 중요하며, 현재 최전선 모델들은 온라인 의사 응답 수준에 미치지 못한다. 일부 최전선 모델은 의사만큼 또는 그 이상의 긍정적 임상 기준을 충족하지만, 더 많은 부정적 기준을 유발하여 안전성에 민감한 오류 회피가 여전히 핵심 병목임을 나타낸다. MedRealMM은 실세계 온라인 상담에서 멀티모달 의료 추론을 평가하기 위한 현실적이고 재현 가능한 벤치마크를 제공한다. 데이터셋은 https://huggingface.co/datasets/jdh-algo/MedRealMM에서 Hugging Face를 통해 공개될 예정이다.

arXiv:2607.08208v2cs.CL

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2606.31693v2cs.IR

ShopX: 에이전트 쇼핑에서 인텐트-아이템 이행을 위한 파운데이션 모델

ShopX: A Foundation Model for Intent-to-Item Fulfillment in Agentic Shopping

AI 네이티브 애플리케이션의 물결은 쇼핑 경험을 페이지·피드 기반 브라우징에서 대규모 언어 모델(LLM) 에이전트가 조율하는 인텐트 중심 경험으로 전환시키고 있다. 일반적인 설계 방식은 기존 검색·추천 파이프라인을 LLM으로 감싸는 형태인데, 이는 복잡한 인텐트를 저대역폭 검색 또는 랭킹 인터페이스로 억지로 통과시켜 언어 이해와 아이템 공간 이행 사이에 간극을 남긴다. 생성적 추천(Generative Recommendation)은 시맨틱 ID(SID)를 통해 LLM에 직접적인 아이템 공간 인터페이스를 제공하지만, 기존 모델들은 유연한 인텐트를 아이템 공간 결과로 변환하기보다 검색을 위한 후보를 생성하는 데 그친다. 우리는 이 병목을 해결하기 위해 ShopX를 제안한다. ShopX는 인텐트 이해, 실행 계획, 그리고 유연한 SID 네이티브 아이템 공간 연산을 단일 파운데이션 모델로 통합한다. 우리는 모델 대면 액션 프로토콜을 정의하고 컨텍스트 접근, 카탈로그 그라운딩, 상태 관리를 위한 지원 인터페이스를 제공하는 서빙 하네스를 갖춘 모델 네이티브 아이템 이행 프레임워크를 통해 ShopX를 에이전트 쇼핑 워크플로에 배포한다. 이 프레임워크 내에서 ShopX는 SID 빔 서치 검색, 리스트와이즈 랭킹, 상품 번들링 등 SID 기반 아이템 공간 연산을 계획하고 조합한다. 이러한 모델 중심 설계는 에이전트 조율과 아이템 공간 실행 사이의 손실성 핸드오프를 줄인다. ShopX 구축을 위해 시맨틱 복원 가능하고 LLM이 조작 가능한 SID와, 일반 LLM을 유연한 멀티턴 아이템 공간 이행에 적합하게 만들면서 동시에 쇼핑 에이전트에 필요한 지식 및 인스트럭션 따르기 능력을 유지하는 학습 레시피를 설계한다. 우리는 ShopX 프레임워크를 익명화된 Taobao 프로덕션 로그에서 도출한 단일턴 및 멀티턴 이행 태스크에서 도구 매개 에이전트 시스템과 비교 평가하여, 모델 네이티브 이행이 전반적인 프레임워크 동작을 개선하며 특히 복잡하거나 모호한 요청에서 효과적임을 보인다.

arXiv:2606.22030v2cs.AI

신념 기반 에이전트 메모리는 언제 도움이 되는가? 신뢰도 조건부 갱신과 출처 상한 기반 중독 방어

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

우리는 신념 기반 메모리가 실제로 대규모 언어 모델(LLM) 에이전트를 언제 개선하는지 조사한다. 우리의 수단은 Nous로, 각 엔티티-속성 쌍을 범주형 확률 분포로 표현하고 닫힌형(closed-form) 베이지안 추론으로 갱신하는 장기 메모리 아키텍처이지만, 정보 이론적 놀람(surprise)이 신념 수정을 이끌고 엔트로피 기반 망각이 적용된다. LoCoMo 벤치마크에서의 통제된 ablation은, 기존 대화형 메모리 벤치마크가 모순되거나 신뢰도가 다른 증거를 거의 포함하지 않기 때문에, 베이지안 신념 갱신만으로는 단순한 last-write-wins 대비 이점이 거의 없음을 보여준다. 이어서 우리는 인식론적(epistemic) 언어로 관측별 신뢰도를 추정하는 신뢰도 조건부 갱신을 도입하고, 통제된 모순 벤치마크에서 관측의 신뢰성이 다를 때 신념 갱신이 last-write-wins 및 원시 메모리 검색(raw-memory retrieval)을 크게 능가함을 보인다. 내용에서 파생된 신뢰도는 그 자체로 조작에 취약하기 때문에, 우리는 추가로 출처 상한(provenance-capped) 신념 갱신을 제안하며, 여기서는 신뢰가 텍스트적 확신(confidence)이 아니라 출처(provenance)에 의해 상한이 정해진다. 통제된 메모리 중독(memory-poisoning) 실험에서, 이 접근법은 대량(volumetric) 중독 공격에 저항하면서 출처 인식(provenance-aware) 메모리의 유틸리티 비용과 구현 요건을 드러낸다. 마지막으로, 동일한 출력에 대해 엄격한 토큰-F1과 LLM-as-judge 평가 사이의 27.5점 차이를 정량화하여, 장기 메모리 벤치마크에 대한 중요한 재현성 우려를 강조한다. 우리의 결과는 확률적 신념 기반 메모리가 기존의 대화형 회상만을 요구하는 환경보다, 상충하고 신뢰도가 서로 다른 증거에 대한 추론이 필요한 환경에서 가장 유익함을 시사한다.

arXiv:2606.21005v2cs.AI

다중모달 소스로부터 과학 큐레이션을 위한 에이전트 하네스 구축

Building Agent Harnesses for Scientific Curation from Multimodal Sources

과학적 발견 워크플로는 종종 문헌으로부터의 구조화된 큐레이션에 의존한다. 현재의 에이전트에게 이는 어려운 일인데, 핵심 근거가 긴 텍스트, 밀집된 표, 그림에 흩어져 있고, 최종 기록은 단일 구간을 복사하는 것이 아니라 여러 근거 조각에 걸친 추론을 요구하는 경우가 많기 때문이다. 우리는 다중모달 소스로부터의 과학적 큐레이션을 연구하고, 과학 논문에서 구조화된 정보를 추출하면서 뒷받침하는 근거에 대한 출처(provenance)를 보존하는 에이전트 하네스인 Beaver를 소개한다. Beaver는 프론티어 에이전트와 다중모달 근거 도구, 태스크 스캐폴딩(task scaffolding), 아티팩트 기반 자동 연구(artifact-grounded autoresearch)를 결합한다. 이러한 구성 요소들은 큐레이션을 단계별로 감사 가능한 워크플로로 바꾸고, 지속적인 실행 아티팩트가 단계별 실패를 드러내고 하네스 업데이트를 안내하는 반복적인 평가-진단-수정(evaluate-diagnose-revise) 루프를 가능하게 한다. 실험 결과 Beaver는 골드 큐레이션 기록과의 일치도를 속성 수준에서 측정하는 Gold-Referenced Attribute Score(GRAS)에서 81.0을 달성하며, 프론티어 에이전트보다 절대값 23점 이상 우수한 성능을 보인다. 어블레이션(ablation) 결과, 태스크 스캐폴딩, 다중모달 근거 도구, 출처 추적(provenance traces)이 각각 성능에 의미 있는 기여를 하며, 속성 수준 분석에서는 교차 모달 추론과 정규화를 요구하는 고가치 속성에서 가장 큰 향상이 나타났다. 이 결과는 다중모달 근거가 있는 논문으로부터의 과학적 큐레이션에서 하네스 설계가 에이전트 성능의 핵심 결정 요인임을 보여준다.

arXiv:2606.13572v2cs.CL

ArogyaSutra: Indic 언어 멀티모달 의료 추론을 위한 멀티 에이전트 프레임워크

ArogyaSutra: A Multi-Agent Framework for Multimodal Medical Reasoning in Indic Languages

멀티모달 대규모 언어 모델(MLLM)은 일반 도메인에서 유망한 추론 능력을 보여주었지만, 의료와 같은 전문 분야, 특히 다국어 및 저자원(low-resource) 시나리오에서는 성능이 여전히 제한적이다. 이러한 격차는 농촌 인도와 같은 지역에서 특히 중요한데, 환자들은 종종 모국어인 Indic 언어로 복잡한 의료 질문을 표현하고 의료 영상과 같은 멀티모달 입력에 의존하기 때문이다. 기존의 영어 중심 MLLM은 이러한 사용 사례를 지원하는 데 어려움을 겪으며, AI 기반 의료 지원에 대한 공평한 접근을 제한한다. 이 과제를 해결하기 위해, 우리는 8개의 이질적 출처로 구성된 대규모 다국어 멀티모달 의료 질의응답 데이터셋 ArogyaBodha를 제시한다. 이 데이터셋은 영어와 7개의 주요 인도 언어에 걸쳐 31개 신체계, 6개 영상 모달리티, 21개 임상 도메인을 포괄한다. 또한 actor-critic 기반 멀티 에이전트 프레임워크 ArogyaSutra를 제안한다. 이 프레임워크는 단계별 추론 인식 의사결정을 위해 도구 그라운딩(tool grounding)과 이중 메모리 메커니즘을 통합하며, 저장된 actor-critic 시뮬레이션 궤적을 지식 증류(distillation)에 활용한다. 실험 결과, 우리의 데이터셋과 프레임워크가 모든 Indic 언어에 걸쳐 다국어 의료 추론 정확도를 향상시키며, ablation을 통해 각 구성 요소의 기여를 검증하였다. 소스 코드와 데이터셋은 https://iitp-cse.github.io/ArogyaSutra/ 에서 이용할 수 있다.

arXiv:2605.03723v2cs.CL

변화점 탐지를 통한 인간-LLM 공동 작성 텍스트 세분화

Segmenting Human-LLM Co-authored Text via Change Point Detection

대규모 언어 모델(LLM)의 등장으로, 진정성과 사회적 신뢰를 확보하기 위해 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 구별할 필요성이 긴절해졌다. 기존 탐지기는 일반적으로 전체 구절에 대해 이진 분류를 제공하지만, 인간-LLM 공동 작성 텍스트에서는 목표가 인간 또는 LLM이 작성한 특정 구간을 국소화하는 것이므로 이 방식으로는 부족하다. 이 격차를 해소하기 위해, 텍스트를 인간 작성 부분과 LLM 작성 부분으로 세분화하는 알고리즘을 제안한다. 핵심 관찰은, 이러한 세분화 작업이 시계열 분석의 고전적 변화점 탐지(change point detection)와 개념적으로 유사하다는 점이다. 이 유추를 활용하여, LLM 생성 텍스트 탐지에 변화점 탐지를 적용하고, 이질적인 탐지 점수 변동성을 수용하기 위한 가중 알고리즘과 일반화된 알고리즘을 개발하며, 우리 방법의 minimax 최적성을 확립한다. 실험적으로, 다양한 기존 베이스라인 대비 우리 방법의 강력한 성능을 입증한다. 제안 방법의 Python 구현은 https://github.com/Mamba413/DetectLLMSegmentation 에서 제공된다.

arXiv:2604.26258v3cs.CL

FlowBot: 이뉴 최적화와 텍스트 기울기를 통한 LLM 워크플로우 유도

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

LLM 워크플로우는 개별 LLM/에이전트에 대한 구조화된 호출을 조율하여 특정 목표를 달성하는 방식으로, 다양한 작업을 처리할 수 있는 강력한 AI 시스템을 구축하는 유망한 경로를 제공한다. 그러나 이러한 워크플로우를 구축하는 기존 접근법은 일반적으로 사람이 작성한 파이프라인과 프롬프트에 의존하며, 이는 실제 배포에서 상당한 병목을 야기한다. 데이터 기반 방식으로 LLM 기반 에이전트와 워크플로우를 자동으로 유도할 수 있는 방법은 무엇인가? 본 논문은 에이전트와 LLM 워크플로우를 자동으로 유도하기 위한 간단한 데이터 기반 접근법을 설명한다. 우리는 워크플로우 유도를 이뉴 최적화(bilevel optimization) 문제로 공식화한다: 외부 루프는 워크플로우의 고수준 개요(특히 LLM 호출이 어떻게 구조화되어야 하는지)를 최적화하고, 내부 루프는 각 개별 LLM 호출을 하나씩 최적화한다. 두 루프 모두 ``텍스트 기울기(textual gradients)''로 최적화되며, 내부 루프에서는 ``역전파'' 텍스트 기울기를 층별로 수행하여 각 구성 요소를 모듈식으로 최적화한다. 우리는 \textsc{FlowBot} (work\textbf{flow} induction through \textbf{b}ilevel \textbf{o}ptimization and \textbf{t}extual gradients) 접근법을 통해 발견된 LLM 워크플로우가 사람이 작성하거나 생성된 워크플로우를 사용하는 강력한 베이스라인 대비 경쟁력 있는 성능을 보인다는 것을 확인한다.

arXiv:2510.24891v2cs.CL

Idea2Plan: AI 기반 연구 계획 수립 탐구

Idea2Plan: Exploring AI-Powered Research Planning

대규모 언어 모델(LLM)은 데이터 분석, 가설 생성, 다양한 과학 분야에서의 혁신적 접근을 지원하는 유용한 도구로서 과학적 발견을 가속화할 상당한 잠재력을 보여 왔다. 본 연구에서는 LLM이 개념적 연구 아이디어에서 잘 구조화된 연구 계획으로의 전환을 어떻게 처리할 수 있는지 탐구한다. 효과적인 연구 계획 수립은 과학자들의 연구 진전을 지원할 뿐만 아니라 자율 연구 에이전트(agent) 개발을 위한 핵심 역량이기도 하다. 중요성에도 불구하고, 이 분야에서는 LLM의 연구 계획 수립 역량에 대한 체계적 이해가 부족하다. 이 역량을 엄밀하게 측정하기 위해, 우리는 Idea2Plan 태스크와 Idea2Plan Bench를 제안한다. Idea2Plan Bench는 주요 LLM 학습 컷오프 이후에 공개된 ICML 2025 및 Nature Mental Health 논문들로 구축된 벤치마크(benchmark) 모음이다. 각 벤치마크 인스턴스는 연구 아이디어와 유효한 계획의 핵심 구성 요소를 포착하는 채점 루브릭을 포함한다. 또한 전문가 주석과 대비하여 LLM 기반 심사자의 신뢰성을 평가하는 보완적 벤치마크인 Idea2Plan JudgeEval을 제안한다. 실험 결과, GPT-5가 벤치마크에서 최고 성능을 달성했으나, 개선을 위한 상당한 여지가 남아 있음을 보여준다. 본 연구는 LLM의 연구 계획 수립 역량에 대한 새로운 통찰을 제공하고, 향후 발전을 위한 기반을 마련한다.