PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05217v2cs.CY

공공 AI 정보 서비스에서 큐레이션 검색 대 오픈 웹 검색: 커버리지-신뢰도 트레이드오프

Curated retrieval versus open web search in public AI information services: a coverage-trust trade-off

공공 AI 정보 서비스에서 검색-증강 생성(RAG) 기반 큐레이션 코퍼스와 오픈 웹 검색을 비교한 전문가 평가 연구로, EU 관련 질문에 답하는 아이슬란드 서비스 Evrópuvefur의 449개 AI 생성 답변을 분석한 결과 웹 검색 답변의 35%에서 신뢰할 수 없는 출처가 인용된 반면 큐레이션 코퍼스는 신뢰도는 높지만 커버리지가 제한적임을 확인하였다. 출처 신뢰도는 답변의 유창성이나 주제 적합성과 무관하게 나타났으며, 시스템 프롬프트에 신뢰 도메인 목록을 추가해도 인용 비율이 12%에서 21%로 소폭 개선되는 데 그쳐 프롬프트 수준의 조정만으로는 출처 품질 통제에 한계가 있음을 보였다.

arXiv:2607.05196v2cs.CL

텍스트 지능의 퇴보 없는 통합 오디오 지능

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

arXiv:2607.05132v2cs.CY

에이전트가 거짓말할 때: 반복 게임에서의 사전 계획, 지속성, 그리고 활용

When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games

LLM 에이전트가 반복 게임에서 공개 선언을 어기는 행동을 3단계 프로토콜(사적 계획 → 공개 선언 → 최종 행동)로 분석한 결과, 약속 위반의 90% 이상이 이미 사적 계획 단계에서 의도된 사전 계획적 기만임이 밝혀졌다. 또한 서로 다른 모델은 공개 선언을 구속력 있는 약속 또는 값싼 말로 상이하게 해석하며, 이종 모델 혼합 시스템에서는 0라운드부터 시작되어 10라운드 내내 지속되는 보상 격차가 발생해 배포 전 실증적 상호작용 검증이 필수적임을 시사한다.

arXiv:2607.03863v2cs.CL

에이전틱 시대의 과학적 발견 재고

Rethinking Scientific Discovery in the Agentic Era

인공지능은 과학적 발견을 발전시켜 왔지만, 대부분의 AI4Science 시스템은 문제 공식화, 문헌 그라운딩, 모델 활용, 시뮬레이션, 검증, 지식 재활용을 인간이 조율하는 데 의존하는 단편적인 도구로 남아 있다. 본 논문은 에이전틱 조직적 연결 허브 기반의 과학적 협력 혁신 시스템인 SCION(Scientific Collaborative Innovation with Agentic Organizational Nexus)을 제안한다. SCION은 조직적 연결 허브(organizational nexus)로서 기능하는 에이전틱 과학 운영 체제이다. 메타-하네스(Meta-Harness)로 작동하는 사이언스 에이전트(Science Agent)를 통해, SCION은 과학적 태스크, 도구, 에이전트, 아티팩트, 메모리를 연결하여 연구를 실행 가능하고 감사 가능하며 재사용 가능한 운영 프로세스로 전환한다. 핵심에는 연구 실행 계획(Research Execution Plan, REP)이 있으며, 이는 고수준의 과학적 의도를 단계적 목표, 의존성, 검증 체크포인트, 도구 요구사항, 예상 아티팩트, 폴백 조건으로 컴파일한다. SCION은 장기적 과학 연구를 지원하기 위해 계층적 멀티 에이전트 실행, 프로파일 기반 전문화, 선택적 컨텍스트 구성, 통제된 위임, 층화된 인식론적 메모리를 추가로 통합한다. 우리는 SCION 하에서의 발견을 목표 조건부 역탐색(Target-conditioned Inverse Search)으로 공식화하고, 유한한 실험 예산 하에서의 배치 능동 탐색을 통해 숨겨진 목표 설정으로 이를 확장한다. 소재 분석, 분자 설계, 단백질 또는 항체 스크리닝 응용 사례와 함께 과학적 읽기, 아이디어 생성, 분자 생성, 항체 스크리닝에 대한 실험을 통해, SCION이 기존 자율 연구 에이전트 기준선을, 특히 분해, 검증, 정제, 메모리 재사용 측면에서 능가함을 보인다. 전반적으로 SCION은 AI를 고립된 도구에서 추적 가능하고 재사용 가능한 과학적 혁신을 위한 조율된 운영 층으로 전환시킨다.

arXiv:2606.28815v2cs.DL

Mathswitch에서 LLM 투표 앙상블을 활용한 수학적 개념 분류

Categorizing Mathematical Concepts with LLM Voting Ensembles in Mathswitch

Mathswitch는 Wikidata 등 여러 소스에서 수학적 개념 레코드를 가져와 연결하는 오픈소스 프로젝트로, 협력 편집된 지식 그래프 특성상 비수학적이거나 모호한 항목이 포함되는 노이즈 문제를 겪는다. 이 연구에서는 LLM 판정자들의 투표 앙상블(voting ensemble)을 활용해 해당 노이즈를 필터링하고, 불일치 사례를 퇴화된 설명·범위 바이어스·편집 범위 불일치의 세 범주로 분류하여 각각의 개선 전략을 제시한다.

arXiv:2606.27229v3cs.CL

CARVE: 청크 병렬 선형 어텐션을 위한 콘텐츠 인식 순환 및 값 효율성

CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

CARVE는 순환 델타-규칙 모델의 두 가지 구조적 결함—입력 토큰만으로 게이팅을 결정하는 메모리 맹목성과, 값 축 결합으로 인해 WY-형식 청크 병렬 학습이 불가능해지는 문제—을 키 축 전용 게이팅 제약 하나로 동시에 해결한다. 청크 경계 상태를 청크당 한 번만 읽어 저랭크 프로젝션에 대수적으로 접목하는 콘텐츠 인식 게이팅과 단일 실행 메가커널 스케줄링을 통해, 1.3B 파라미터/100B 토큰 학습에서 GDN-2 대비 WikiText 퍼플렉서티 15.72(vs 15.90) 달성, 상식 추론 +0.63 pp 향상, RULER 및 실세계 재현율 최고 수준을 기록하면서도 학습 속도는 최대 +19.3% 빠르다.

arXiv:2606.26529v2cs.CL

부주의 공백: 태스크 조건부 언어 및 비전 모델은 그 외의 경우엔 보고 가능한 안전 임계 신호를 누락한다

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

좁은 태스크에 조건화된 언어 및 비전 모델이 제약 없을 때는 보고할 수 있는 안전 임계 신호를 억제하는 현상(부주의 공백, Inattentional Gap)을 영상의학·운전·흉부 X선 태스크에서 실증하며, 이 억제가 모델 규모와 무관하게 모든 테스트 모델에서 나타났다. 각 좁은 보고를 독립적인 개방형 비평 모델로 라우팅하면 누락된 소견이 복원됨을 보여, 벤치마크 안전성과 실제 배포 안전성의 괴리를 해소하기 위한 보고 완전성 평가(reporting-complete evaluation) 도입을 제안한다.

arXiv:2606.20023v2cs.SE

낮은 권한이 충분할 때: LLM 에이전트에서의 과도한 권한 도구 선택 조사

When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents

LLM(대규모 언어 모델) 에이전트가 도구를 자율적으로 선택하는 일이 증가함에 따라, 서로 다른 권한을 가진 도구들 사이에서의 선택은 안전성과 관련된 문제가 되고 있습니다. 그러나 기존의 도구 선택 연구는 안전성을 고려하지 않는 메타데이터 선호도에 초점을 맞추어, 권한 수준에 민감한 선택은 충분히 탐구되지 않았습니다. 이러한 격차를 해결하기 위해, 우리는 에이전트가 충분한 기능을 제공하는 낮은 권한의 대안이 존재함에도 불구하고 더 높은 권한의 도구를 선택하거나 권한을 상향 조정하는 '과도한 권한 도구 선택(over-privileged tool selection)'을 연구합니다. 우리는 에이전트가 충분한 낮은 권한의 대안이 있음에도 불구하고 더 높은 권한의 도구를 선택하는지 평가하기 위해 ToolPrivBench를 도입하며, 초기 선택과 일시적인 도구 실패 후의 권한 상향 조정을 모두 측정합니다. 8개 도메인과 5가지 반복되는 위험 패턴에 걸친 실험 결과, 과도한 권한 도구 선택은 주류 LLM 에이전트에서 흔하게 발생하며, 일시적인 실패에 의해 더욱 증폭됨을 발견했습니다. 또한, 일반적인 안전성 정렬(safety alignment)이 최소 권한 도구 선택으로 신뢰할 수 있게 전이되지 않으며, 프롬프트 수준의 제어는 일시적인 실패 상황에서 제한적인 완화 효과만 제공함을 확인했습니다. 따라서 우리는 에이전트가 충분한 기능을 제공하는 낮은 권한의 도구를 선호하고 필요한 경우에만 권한을 상향 조정하도록 학습시키는 권한 인식 사후 학습(post-training) 방어 기법을 도입합니다. 완화 실험 결과, 이 방어 기법이 일반적인 능력을 유지하면서 불필요한 높은 권한 도구 사용을 상당히 줄여줌을 확인했습니다.

arXiv:2606.12569v3cs.CL

eCREAM-MedCorpus: 이탈리아어 임상 노트 대규모 코퍼스

eCREAM-MedCorpus A Large-Scale Corpus of Clinical Notes for Italian

이탈리아 병원 응급실에서 수집한 약 420만 건의 익명화된 임상 노트로 구성된 이탈리아어 최대 규모의 공개 임상 코퍼스 eCREAM-MedCorpus를 소개하며, 호흡곤란과 의식 소실 두 가지 환자 상황에 대해 132개 항목으로 전문가 주석된 약 6천 건의 하위 집합을 포함한다. CRF 작성(CRF-filling)을 새로운 구조화 정보 추출(information extraction) 벤치마크로 제안하고, Gemma-27B와 MedGemma-27B를 활용한 제로샷 기준선 결과를 제시한다.

arXiv:2605.31480v2cs.CL

언어 모델은 합성적으로 참조를 해석할 수 있지만, 그것이 본래의 강점은 아니다: Personal Relation Task 사례

Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

LLM과 인간이 자연어의 합성적 해석(compositional interpretation)에서 어떻게 다른지 평가하기 위해, Personal Relation Task를 활용하여 지시 대상을 찾는 외연적 과제(Extensional task)와 형식 표현(예: friend(parent(amber)))을 생성하는 내포적 과제(Intensional task)에서 각각의 성능을 비교하였다. 실험 결과, 인간은 외연적 과제에서, LLM은 내포적 과제에서 더 높은 성능을 보였으며, 이는 LLM 학습에서 참조적 그라운딩(referential grounding)의 부재가 인간과 유사한 언어 이해를 모방하는 데 결정적으로 누락된 요소임을 시사한다.

arXiv:2605.19723v2cs.CL

대규모 언어 모델의 수학적 추론: 벤치마크, 아키텍처, 평가 및 미해결 과제

Mathematical Reasoning in Large Language Models: Benchmarks, Architectures, Evaluation, and Open Challenges

대규모 언어 모델(LLM)의 수학적 추론 능력을 시스템 수준에서 분석한 서베이로, 약 120편의 논문을 바탕으로 데이터셋 분류 체계, 아키텍처, 학습 전략, 평가 방법론 간의 상호작용을 종합적으로 검토한다. 벤치마크 성능 향상이 추론 능력 자체의 개선보다 추론 유도 방식이나 검증 메커니즘에서 비롯되는 경우가 많다는 점을 밝히며, 신뢰할 수 있는 수학적 추론 시스템 개발을 위해 충실한 추론 메커니즘, 과정 수준 평가, 기호적 그라운딩 강화 등의 연구 방향을 제시한다.

arXiv:2605.14152v2cs.CL

ROK-FORTRESS: 국가 안보 및 공공 안전을 위한 지정학적 트랜스크리에이션 효과 측정

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

ROK-FORTRESS는 영어-한국어 언어 쌍과 미국-대한민국 지정학적 축을 활용해 언어 효과와 지정학적 그라운딩 효과를 분리 평가하는 이중 언어 문화 적대적 NSPS(국가 안보·공공 안전) 벤치마크로, 1,235개 태스크에 걸쳐 트랜스크리에이션 매트릭스(transcreation matrix)를 적용한다. 최첨단 모델과 한국어 최적화 모델 모두에서 한국어 변형이 일관된 유해 출력 억제 효과를 나타냈으며, 이는 번역 전용 평가가 포착하지 못하는 언어-맥락 상호작용이 LLM 안전성 동작을 형성함을 보여준다.

arXiv:2604.24222v2cs.SE

실행으로부터 학습: 비공개 라이브러리 코드 생성을 위한 자기 진화 메모리

Learning from Execution: Self-Evolving Memory for Private-Library Code Generation

비공개 라이브러리 코드 생성 시 기존 RAG 방식이 정적 API 문서만 제공해 "어떻게 사용하는지(how-to-use)"를 가르치기 어렵다는 한계를 분석하고, 실행 피드백으로부터 API·교차 API·태스크 수준의 Usage Guidelines를 축적·재사용하는 자기 진화 메모리 프레임워크 MEMCoder를 제안한다. NdonnxEval과 NumbaEval 벤치마크에서 다양한 규모의 LLM과 RAG 백본에 걸쳐 평균 pass@1을 18.41 퍼센트포인트 향상시켰다.

arXiv:2604.11290v2cs.CL

폴리글랏 교사: 다국어 합성 데이터 생성을 위한 언어 모델 평가

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

다국어 SFT 데이터 합성 시 교사 모델 선택이 흔히 최대 규모 모델로 임의 결정되는 문제를 분석하고자, Polyglot Score(PG-Score)라는 내재적·외재적 평가 지표를 도입해 6개 언어에서 10개 언어 모델을 체계적으로 비교했다. 모델 규모보다 프롬프트 다양성, 길이, 응답 유창성 같은 데이터 품질 요소가 학생 모델 성능의 93.3% 이상을 설명하며, Gemma 3 27B와 Aya Expanse 32B가 일관되게 우수한 다국어 교사 모델로 나타났다.

arXiv:2604.02537v2cs.CL

PolyJarvis: 비정질 단일중합체의 전원자 분자동역학 시뮬레이션을 자동화하는 LLM 오케스트레이션 에이전트

PolyJarvis: An LLM-Orchestrated Agent for Automated All-Atom Molecular Dynamics of Amorphous Homopolymers

PolyJarvis는 대규모 언어 모델(LLM)을 EMC 및 LAMMPS와 Model Context Protocol(MCP) 서버로 연결해, 자연어 입력만으로 비정질 단일중합체의 전원자 분자동역학(MD) 시뮬레이션을 end-to-end로 자동화하는 에이전트다. 9종의 고분자를 대상으로 한 검증에서 25개 물성 비교 중 18개가 실험 기준값의 수용 범위(유리전이온도 50K, 밀도 5%, 체적 탄성률 30% 이내)를 충족해 LLM 기반 에이전트의 고분자 MD 워크플로 자동화 가능성을 실증했다.

arXiv:2603.15600v2cs.RO

수동적 관찰자에서 능동적 비평가로: 강화학습이 로봇 조작을 위한 과정 추론을 이끌어내다

From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation

정확한 과정 감독(process supervision)은 장기 로봇 조작(long-horizon robotic manipulation)에서 여전히 핵심적인 과제로 남아 있다. 주요 병목은 현재의 비디오 다중모달 대규모 언어 모델(MLLM)이 주로 지도 미세조정(SFT) 패러다임으로 학습되어, 최종 작업 목표 대비 현재 상태를 평가하는 것이 아니라 진행 중인 이벤트를 인식하는 수동적 '관찰자'로 기능한다는 점이다. 본 논문에서는 비디오 MLLM을 능동적 '비평가'로 변환하는 7B 규모의 프레임워크인 PRIMO R1(Process Reasoning Induced Monitoring)을 소개한다. 우리는 결과 기반 강화학습을 활용하여 진행도 추정(progress estimation)을 위한 명시적 사고의 연쇄(Chain-of-Thought) 생성을 유도한다. 또한, 우리의 아키텍처는 초기 상태와 현재 상태 이미지 사이에 비디오 시퀀스를 명시적으로 고정(anchoring)함으로써 구조화된 시간적 입력을 구성한다. 제안된 PRIMO 데이터셋 및 벤치마크를 바탕으로, 다양한 도메인 내 환경과 도메인 외 실세계 휴머노이드 시나리오에 걸친 광범위한 실험을 통해 PRIMO R1이 최첨단 성능을 달성함을 입증한다. 정량적으로, 7B 모델은 특화된 추론 기준선(reasoning baselines) 대비 평균 절대 오차를 50% 감소시키며, 72B 규모의 범용 MLLM 대비 유의미한 상대적 정확도 향상을 보인다. 나아가, PRIMO R1은 어려운 실패 감지(failure detection) 작업에서 강력한 제로샷(zero-shot) 일반화 능력을 발휘한다. 우리는 RoboFail 벤치마크에서 67.0%의 정확도로 최첨단 성능을 수립하며, OpenAI o1과 같은 클로즈드소스 모델을 6.0% 상회한다.

arXiv:2602.00846v2cs.CL

Omni-RRM: 자동 루브릭 기반 선호도 합성을 통한 옴니 보상 모델링 발전

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

기존 보상 모델이 비전 중심적이고 불투명한 스칼라 점수에 의존하는 한계를 극복하기 위해, Omni-RRM은 텍스트·이미지·비디오·오디오 전반에 걸쳐 루브릭(rubric) 기반 다차원 보상 신호를 생성하는 옴니모달 보상 모델을 제안한다. 자동 루브릭 기반 선호도 합성으로 구축한 Omni-Preference 데이터셋과 점진적 SFT+GRPO 학습 방식을 통해 ShareGPT-Video 80.2%, Audio-HH-RLHF 66.8% 등 5개 벤치마크 전체 정확도 70.4%로 최고 수준의 성능을 달성했다.

arXiv:2601.12494v3cs.SD

저자원 아랍어 음성 LLM을 위한 데이터 스케줄링 기반 멀티태스크 지시 미세조정

Multi-Task Instruction Tuning via Data Scheduling for Low-Resource Arabic SpeechLLMs

오디오 대규모 언어 모델(LLM)은 통합된 음성 이해 및 생성을 가능하게 하지만, 아랍어-영어와 같이 언어적으로 복잡하고 방언이 풍부한 환경에 적응시키는 것은 여전히 어렵다. 우리는 자원 제약 환경에서 아랍어 중심 오디오 LLM에 대한 멀티태스크 지시 미세조정의 통제된 연구를 제시한다. 생성 태스크로는 자동 음성 인식(ASR), 음성 및 텍스트 요약이 포함되며, 판별 태스크로는 방언 식별(DID)과 음성 감정 인식(SER)이 포함된다. 종단간 아랍어 음성 요약을 지원하기 위해, 우리는 아랍어 중심 오디오 LLM의 학습 및 벤치마킹을 위해 설계된 최초의 아랍어 음성 요약 데이터셋인 AraMega-SSum을 소개한다. 우리는 네 가지 학습 전략을 비교한다: (i) 균일 혼합(UM), (ii) 태스크 점진적 커리큘럼(TPC), (iii) 학습 시 배치 구성을 위한 정렬기 기반 다양성 샘플링(ADS), (iv) 2단계 TPC->ADS 전략. 결과는 명확한 효율성-견고성 트레이드오프를 보여준다. TPC는 ASR과 요약을 포함한 생성 태스크에서 가장 강한 성능을 달성한다. ADS는 준언어적(paralinguistic) 태스크를 개선하지만, 단독으로 사용할 경우 생성 안정성을 저하시킨다. 2단계 TPC->ADS 전략은 최상의 전반적 균형을 제공하며, DID 및 SER에서 가장 강한 성능을 달성하는 동시에 판별 태스크에서 Gemini-2.5-Pro와 같은 대형 독점 모델을 능가한다. 우리는 아랍어 음성 이해에 관한 미래 연구를 지원하기 위해 AraMega-SSum과 모든 실험 자료를 공개적으로 배포할 예정이다.

arXiv:2507.22758v2cs.CL

MASCA: 신용 평가를 위한 LLM 기반 다중 에이전트 시스템

MASCA: LLM based-Multi Agents System for Credit Assessment

신용 평가(credit assessment)에 LLM 기반 계층적 다중 에이전트 시스템 MASCA를 제안하며, 데이터 수집·맥락화, 다차원 위험-보상 평가, 전략적 최적화 레이어로 구성된 아키텍처와 대조 학습을 결합해 기존 제로샷 및 단일 에이전트 기준선 대비 GPT-4o와 o3-mini 이종 조합에서 정확도 60%, F1 73.33%로 최대 20%p 이상 성능을 향상시켰다.

arXiv:2507.10177v2cs.CL

Detoxify: 대규모 언어 모델을 활용한 혐오 텍스트 변환 프레임워크

Detoxify: A framework for abusive text transformation using LLMs

Detoxify는 혐오 발언과 비속어가 포함된 텍스트를 원래의 감성과 의미를 유지하면서 비혐오 텍스트로 변환하기 위해 Gemini-1.5-flash, GPT-4o, DeepSeek-V3, Groq(llama3-8b-8192) 등 네 가지 대규모 언어 모델(LLM)을 비교 평가한 프레임워크로, BERT 기반 감성·의미론적 분석 결과 Groq가 지나친 긍정적 표현으로 원래 맥락을 훼손하는 반면 GPT-4o와 DeepSeek는 유사한 변환 패턴을 보임을 확인했다.