PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.22272v1physics.chem-ph

머신러닝 퍼텐셜에서 전이 상태를 찾는 신경망 경로 최적화

Neural Network Path Optimization for Finding Transition States on a Machine Learned Potential

전이 상태는 화학 반응의 속도와 결과를 좌우한다. 이를 찾는 것은 계산화학의 주요 과제다. 양끝점 탐색은 반응물과 생성물의 구조를 바탕으로 전이 상태를 구한다. 그러나 대개 퍼텐셜 에너지 표면의 평가 비용이 큰 밀도 범함수 이론을 위해 개발된 이산 경로 표현에 의존한다. 머신러닝 원자 간 퍼텐셜(MLIP)은 이 비용을 크게 줄이고, 자동 미분으로 고차 도함수를 효율적으로 구할 수 있다. Popcornn은 MLIP 위에서 연속 신경망 경로를 최적화해 전이 상태를 찾는다. 병렬화한 적응형 수치 적분기를 함께 사용한다. 이 조합은 경로를 이산화할 때 생기는 인공적 오차를 없애고 하이퍼파라미터 민감도를 낮춘다. 또한 퍼텐셜 에너지 표면의 2차 정보를 활용해 국소 특성에 갇히지 않는 비국소 최적화를 가능하게 한다. 수천 건의 유기 반응과 여러 MLIP에서 Popcornn은 넛지 탄성 밴드와 성장 스트링 같은 표준 방법보다 올바른 전이 상태를 일관되게 더 많이 복원했다. 대량의 전이 상태를 자동으로 탐색하는 데 쓸 수 있는 강건한 방법임을 보였다. 경로 목적함수, 적분 전략, 최적화 알고리즘을 바꿀 수 있어 MLIP 기반 경로 최적화의 미해결 문제를 조사하는 도구이자 연구 플랫폼이 될 수 있다.

arXiv:2611.22270v1cs.IR

검색 피드백으로 언어 모델에 불리언 특허 검색의 범위를 좁히는 법 가르치기

Teaching Language Models to Narrow Boolean Patent Searches from Search Feedback

특허 선행기술 조사자는 줄마다 불리언 쿼리를 작성한다. 처음에는 범위를 넓혀 관련 문서를 찾고, 이후에는 후보를 검토할 수 있을 만큼 범위를 좁힌다. 일본 특허청의 검색 보고서 38,397건에서 실행 가능한 전문가 전략을 추출해 다시 실행했다. 생성한 전략은 인용 문헌의 재현율과 각 인용 문헌을 포함하는 가장 작은 결과 집합으로 평가했다. 프롬프트 기반 모델은 재현율이 높은 유효한 전략을 작성했으나, 인용 문헌이 속한 집합이 너무 커서 검토하기 어려웠다. 점수를 매긴 롤아웃으로 생성기를 오프라인에서 두 방식으로 적응시켰다. 전략 수준 학습은 검토 부담을 반영한 전체 전략 점수를 사용한다. 쿼리 줄 수준 학습은 이미 찾은 인용 문헌을 더 작은 집합에 남기는 줄에 높은 가중치를 준다. 같은 롤아웃에서 쿼리 줄 수준의 기여도 부여는 전략 수준 점수보다 검토 관련 평가지표에서 우수했다. 이를 반복하자 인용 문헌을 포함하는 집합의 크기 중앙값이 768개에서 50개 미만으로 줄었다. 문서가 100개 미만인 집합에서 전문가보다 더 많은 인용 문헌을 찾았으나 재현율은 낮았다. 전략 수준 선호 학습은 거의 완전한 재현율을 달성했다. 두 방식은 서로 보완적이다.

arXiv:2611.22263v1cs.AI

충실도 후회: 검증 가능한 설계에서 시뮬레이터 오지정 측정하기

Fidelity Regret: Measuring Simulator Misspecification in Verifiable Design

RLVF는 검증기가 관심 대상 양을 평가한다고 가정한다. 유전자 회로 설계에서 위상 검증기는 프로그램이 목표 함수를 계산하는 유효한 회로임을 확립할 수 있지만, 물리적 성능의 순위를 매기려면 시뮬레이터가 필요하다. 본 논문은 저렴한 시뮬레이터가 설계를 선택할 때 발생하는 기준 단순 후회인 충실도 후회를, 측정된 5개의 게이트 라이브러리와 3개의 생물체에 걸친 21,362개 설계의 조합 부분공간에서 측정한다. 정확한 순서 할당 검사는 시험한 모든 셀에서 양의 후회를 유지하면서 그 크기를 양방향으로 이동시킨다. 평균 정규화 후회는 72개 셀에서 0.369이며 후회가 0인 셀은 6개뿐이다. 이 불일치는 기준 축에 크게 의존한다. 효모 라이브러리 SC1C1G1T1의 평균 후회는 세포계수 품질에서 0.113, 성장 부담에서 0.801이며, 평가한 모든 라이브러리--회로 크기 쌍은 양의 부담 후회를 가진다. 위상 검증은 모든 유효한 게이트 할당을 동점으로 처리하며, 설계 공간의 최소 25%를 유지해야 하는 조건의 오라클 화이트리스트도 52개 셀 중 30개에서 양의 후회를 남긴다. 설계 공간 최적화와 고정된 언어 모델을 이용한 피드백 기반 탐색은 높은 후회 영역에 도달하지만, 일치하는 후회 0 대조군에서는 추가 최적화가 오히려 후회를 줄인다. 모델링된 비용 예산을 맞추면 완화 효과는 예산과 라이브러리에 의존한다. 예산의 $\alpha{=}0.34$를 상위 저렴한 시뮬레이터 설계의 재채점에 쓰는 표본 내 고정 규칙은 평균 초과 후회 0.016을 달성하며, 이는 저렴한 시뮬레이터만 쓴 경우의 0.305, 기준만 쓴 선택의 0.034와 비교되고, 360개 셀 중 330개에서 저렴한 시뮬레이터만 쓴 경우보다 개선된다. 더 일반적으로, 시뮬레이터나 디지털 트윈을 통해 최적화되는 모든 워크플로는 검증기를 만족하면서도 의도한 물리적 목표에서는 성능이 낮을 수 있다. 충실도 후회는 최적화 이전에 이러한 격차를 탐지하고 예산을 고려한 해결책을 과학 분야 전반에서 비교하기 위한 전이 가능한 틀을 제공한다.

arXiv:2611.22262v1cs.CL

OfficePrism: 기업 업무 기능 전반에서 단일 영역 작업을 수행하는 에이전트 평가

OfficePrism: Benchmarking Agents on Single-Domain Operations Across Enterprise Business Functions

직장 업무를 폭넓게 평가한 점수에는 개별 업무 기능의 수행 능력과 여러 기능 및 시스템을 조율하는 추가 부담이 함께 반영될 수 있다. 그러면 실패가 어디에서 생겼는지 찾기 어렵다. OfficePrism은 여러 기능을 조율하기 전에 필요한 단일 영역 능력을 평가한다. 벤치마크가 공통으로 정의한 L1~L3 과제 구조 수준에서 일곱 가지 기업 업무 기능의 단일 영역 과제 420개를 다룬다. 각 과제를 새로운 환경에서 실행하며, 공통의 합성 조직에 특정 업무 기능의 영역 하나와 타입이 지정된 상태 접근을 결합한다. 파이프라인은 근거가 있는 기록, 업무 규칙, 도구 스키마를 사용해 중국어 업무 티켓, 숨겨진 실행 가능한 참조 검증 절차, 기대 응답을 함께 만든다. 이후 자동 필터링과 수동 선별을 거친다. 같은 과제 집합을 전체 스키마 패키지와 검색·호출 패키지로 평가한다. 모델, 실행 환경, 패키지의 조합 124개에서 자연어 응답과 데이터베이스 조건을 모두 충족한 사례별 통과율은 22.6~76.4%였고 중앙값은 67.9%였다. 모든 조합에서 L1의 점수가 가장 높았고, 122개에서 L2가 L3보다 높았다. 두 패키지에 같은 실행 환경과 모델을 쓴 조합 50개 중 검색 방식은 30개에서 더 높고, 1개에서 같았으며, 19개에서 더 낮았다.

arXiv:2611.22252v1cs.AI

멀티모달 대규모 언어 모델을 이용한 스캔 인지·행동 평가서의 시각 정보 추출 시스템

A Visual Information Extraction System Using Multimodal Large Language Models for Scanned Cognitive and Behavioral Assessments

목적. 환자 진료에는 종이 평가서가 흔히 쓰인다. 그러나 손글씨와 스캔 과정에서 생기는 왜곡 때문에 대량 처리가 어렵다. 사람의 감독을 받아 항목과 점수를 추출하는 모듈식 멀티모달 대규모 언어 모델(LLM) 시스템을 제안한다. 손으로 그린 그림을 분석하는 데 LLM을 사용하는 방법을 정성적으로 살펴봤다. 재료 및 방법. 인지 평가인 MMSE, MoCA, Mini-Cog와 NICHQ Vanderbilt 평가서를 두 모듈로 처리한다. 먼저 분류기가 스캔한 페이지의 양식 유형을 정한다. 이어 유형에 맞는 추출기가 항목과 점수를 스키마에 맞게 추출한다. 두 모델의 판정이 다를 때만 사람이 주석을 확인하는 검증 구조로, 처리하기 어려운 페이지만 수동으로 검토한다. 결과. 인지 평가의 종단 간 정확도는 88%였으며 대부분 양식에서 90%를 넘었다. NICHQ Vanderbilt의 전체 정확도는 97.5%였고 모든 양식에서 96%를 넘었다. 사람의 검토를 도입하자 인지 평가 정확도가 97.5%로 높아지면서 수동 작업량은 63.8% 줄었다. Mini-Cog의 시계 그리기 과제를 정성적으로 분석한 결과, 전체 추출 오류의 62.3%는 그림이 모호해서 생겼으며 이 경우에도 LLM은 합리적인 해석을 했다. 논의. 기존 수동 입력에 비해 처리 시간은 10분의 1~20분의 1, 비용은 12분의 1 미만으로 줄었다. 모듈식 설계로 다른 양식도 추가할 수 있다. 결론. 손글씨 종이 양식에 머물던 데이터를 정확하고 비용 효율적으로 구조화해 임상 의사결정을 지원하며, 대규모 처리에도 적용할 수 있다.

arXiv:2611.22250v1cs.LG

복잡한 플랫폼 게임을 위한 PCGRL: 팽창 포락체와 순방향 커리큘럼을 활용한 플레이 가능하고 다양한 레벨 합성

PCGRL for Complex Platformers: Synthesizing Playable and Diverse Levels via Inflated Envelopes and Forward Curricula

강화학습을 통한 절차적 콘텐츠 생성(PCGRL)은 게임 개발 자동화에 활용할 수 있다. 그러나 기존 PCGRL 프레임워크는 엄격한 강체 규칙과 비선형 운동학적 경계가 있는 긴 시퀀스 생성 과제에서 심한 탐험 병목과 확장 한계를 겪는다. 플랫폼 게임이 대표적인 예다. 따라서 큰 맵에서는 기존 방식으로 만든 레벨이 풀 수 있는 상태를 안정적으로 유지하지 못하는 경우가 많다. 이를 해결하기 위해 물리적 제약을 반영하고 커리큘럼을 적용하는 PCGRL 프레임워크를 제시한다. 첫째, 팽창 체적 포락체를 구성한다. 연속 운동학적 실행 가능성을 마르코프 결정 과정(MDP)의 이산 상태 공간에 반영하는 물리 제약 표현을 제공한다. 둘째, 매우 긴 의사결정 시퀀스에서 보상이 희소한 문제를 완화하기 위해 중간 상태 전이 피드백과 다단계 순방향 확장 커리큘럼 학습을 도입한다. 이를 통해 긴 궤적에 걸쳐 충분한 정보로 가치를 추정하고 기여도를 안정적으로 배정한다. 셋째, 수렴한 결정론적 정책이 지나치게 단조로운 경로를 생성하는 문제를 줄이기 위해 합성 단계에서 엔트로피가 높은 확률적 추론을 사용한다. 사후 병렬 거부 필터로 결과를 제어한다. 실험에서 여러 규모의 환경에서 물리적으로 플레이할 수 있는 수준을 유지하면서 구조적 다양성이 크게 높아졌다. 다양한 크기의 맵을 비교했을 때 수렴 안정성과 차원 확장성이 더 높았다. 기존 PCGRL 기준선의 성능이 저하되는 조건에서도 풀 수 있는 레벨을 안정적으로 합성했다.

arXiv:2611.22248v1cs.MA

OAK-Mind: 지식 기반 다중 에이전트 LLM으로 수동 센싱 데이터에서 별도 학습 없이 정신 건강 변화 추론하기

OAK-Mind: Zero-Training Mental Health Change Inference from Passive Sensing via Knowledge-Grounded Multi-Agent LLMs

웨어러블과 스마트폰 센서는 정신 건강과 관련된 행동 신호를 수집한다. 이 신호에서 정신 건강 상태를 추론하는 전통적 방법은 레이블이 필요하고 예측 근거를 파악하기 어려운 지도 모델에 의존했다. 대규모 언어 모델(LLM)로 행동 근거를 추론할 수 있으나, 기존 LLM 기반 수동 센싱 접근법도 과제별 미세조정이나 센서별 사전학습에 주로 의존했다. 수동 센싱 데이터에서 정신 건강 변화를 추론하는 별도 학습 없는 지식 기반 다중 에이전트 LLM 파이프라인 OAK-Mind를 소개한다. 센싱 데이터를 수면, 신체 활동, 위치 이동, 스마트폰 사용 등의 행동 차원으로 정리한다. 정신 건강 문헌을 참고하는 전문 에이전트들을 조율해 시간에 따른 행동 변화를 해석한다. 각 평가를 종합하고 설문 기반 증상 평정을 적용해 개인의 기초 평가에 비해 무엇이 달라졌는지 추론한다. 관찰한 행동 양상과 분야 지식을 근거로 사람이 이해할 수 있는 설명도 제공한다. 여러 데이터셋과 예측 과제에서 과제별 추가 학습을 하지 않고도 추가 레이블로 학습한 가장 강한 지도학습 기준선과 비슷하거나 더 높은 성능을 보였다. 시험한 LLM 백본 네 개 모두에서 직접 프롬프팅보다 일관되게 개선됐다. 구성 요소 제거 실험에서는 행동 해석과 증상 평정을 결합하고, 영역별 에이전트에 분석을 분담시키고, 분야 지식을 반영하는 방식의 이점을 확인했다. 이 결과는 지식 기반 다중 에이전트 LLM으로 수동 센싱 데이터에서 별도 학습 없이 정신 건강 변화를 추론할 가능성을 보여 준다.

arXiv:2611.22239v1eess.SY

최적화 솔버 없이 에너지 비용을 고려하는 AI 데이터센터의 온라인 작업 스케줄링

Solver-Free and Cost-Aware Online Scheduling of AI Data Center Tasks

AI 데이터센터에는 연산 작업이 계속 들어온다. 솔버 기반 최적화에는 실행 시간이 필요하고 전력 요금은 정산 구간별로 정해져 있어 작업 도착과 최적화 사이에 시간 차이가 생긴다. 이 차이를 줄이기 위해 쌍대 분해에서 착안한 솔버 없는 온라인 최적화 규칙을 제안한다. 작업이 들어오는 즉시 운영 제약을 충족하면서 에너지 비용을 줄이는 시작 구간을 배정한다. 시작 시점이 유연한 작업은 요금이 낮은 구간으로 옮기고 우선순위가 높은 작업은 일정에 맞춰 유지한다. A100 GPU의 실행 기록(GPU 3,456개, 작업 1,343개)으로 시뮬레이션한 결과, GPU 및 CPU 사용량을 용량 이내로 유지하면서 낮은 비용으로 작업을 스케줄링했다. 여러 시간 단위를 사용하는 최적화 벤치마크보다 비용이 낮았으며, 솔버가 필요하지 않아 계산 시간도 훨씬 짧았다.

arXiv:2611.22238v1cs.AI

문맥에도 비용이 든다: 접두 문맥 캐싱을 사용하는 LLM 코딩 에이전트에서 문맥 추가와 제거의 효과

Context Has a Price: Adding and Removing Context for LLM Coding Agents under Prefix Caching

코딩 에이전트는 대화 이력을 언어 모델에 반복해서 보낸다. 유용한 코드를 추가하면 탐색을 줄일 수 있고, 오래된 도구 출력을 제거하면 이후 프롬프트를 줄일 수 있다. 이 변경들이 실제로 과제 해결 비용을 낮추는지 측정한다. SWE-bench Verified, SWE-bench, Loc-Bench에서 공개 모델을 2만 회 넘게 실행했다. 캐시되지 않은 입력, 캐시된 입력, 출력 토큰을 따로 계산했다. 세 가지 결과를 얻었다. 첫째, 주요 근거 제공 실험에서 검색한 코드를 추가하자 읽기 및 검색 명령이 18~34% 줄었다. 그러나 캐시 입력 요금이 비캐시 입력의 10분의 1이면, 해결률에서 측정 가능한 개선 없이 비용이 33~42% 늘었다. 둘째, 오래된 관측을 제거할 때는 비용이 줄거나 늘 수 있었다. 같은 방법으로 캐시 할인이 없으면 19~36% 절감했지만, 캐시 요금이 비캐시 입력의 10분의 1이면 비용이 38~116% 늘었다. 셋째, 프롬프트가 짧아져도 에이전트가 더 많은 단계를 수행할 수 있어 실행 비용이 반드시 낮아지지는 않았다. 동시에 진행한 실험들이 캐시된 접두 문맥을 공유해 비용 비교가 왜곡될 수도 있었다. 이 결과는 문맥 관리 방법을 평가할 때 토큰 가격과 그에 따른 에이전트의 행동을 함께 살펴야 함을 보여 준다.

arXiv:2611.22234v1cs.AI

언어 모델 가지치기에서 추론 중요도 추정의 취약성

The Fragility of Reasoning-Importance Attribution for Pruning Language Models

기여도 기반 가지치기는 각 구성 요소의 인과적 기여를 점수화해 중요한 요소를 보호한다. 사고 과정을 훼손하지 않고 추론 언어 모델을 압축하는 데 점점 더 많이 쓰인다. 이 방법의 신뢰성은 추론 중요도를 충실히 측정할 수 있다는 검증되지 않은 가정에 달려 있다. 소형 추론 모델 네 개에서 가지치기 결정을 바꾸는 세 가지 측정 문제를 확인했다. 첫째, 일반적으로 사용하는 최종 답변 토큰 점수는 시험한 모든 사고 과정 모델에서 포화됐다. 모델이 추론 과정에 이미 답을 적기 때문에 답변 토큰의 음의 로그 가능도(NLL)는 $10^{-4}$~$10^{-3}$이었다. 시드 다섯 개로 검정력을 확보한 두 모델에서 최종 답변 토큰으로 헤드 가지치기를 유도하면 추론 토큰을 채점할 때보다 정확도가 각각 27.6점과 32.2점 낮았다. 펄플렉서티는 거의 달라지지 않았고 70억 매개변수 모델에서는 변화 방향이 반대였다. 둘째, 인과적 중요도를 개별 유닛에서 찾기 어렵다. 뉴런 하나의 효과는 측정 하한 수준이고 데이터 분할 간 순위는 잡음에 가깝다. 효과는 서로 상쇄된다. 그룹 전체를 제거했을 때의 효과는 그룹의 90%에서 개별 구성원의 효과를 합한 값과 부호가 달랐다. 재현 가능한 중요도는 뉴런 $\sim 100$개의 그룹에서야 나타났다. 셋째, 대조 방식으로 분리한 ‘추론 특화’ 중요도는 일반 중요도와 분리할 수 없었으며, 이를 기준으로 보호하는 방식은 원래 중요도를 기준으로 보호하는 것보다 성능이 낮았다. 증류에 따른 중요도 집중이 가지치기 비용을 예측한다는 가설도 사전 등록했으나 근거를 얻지 못했다. 실험 조합에서 집중도와 모델 규모의 효과가 섞여 있으므로 반증으로 해석하기보다 결론을 유보한다. 결과를 바탕으로 추론 토큰을 채점하고, 더 큰 단위에서 기여도를 산정하며, 펄플렉서티 대신 정확도로 평가하는 측정 원칙을 제시한다.

arXiv:2611.22219v1cs.AI

세분화된 일본어 임상 개체명 인식: BERT와 공개 가중치 대규모 언어 모델의 통제 비교

Fine-Grained Japanese Clinical Named Entity Recognition: A Controlled Comparison of BERT and Open-Weight Large Language Models

배경. 생성형 대규모 언어 모델(LLM)은 인코더 기반 임상 개체명 인식(NER)의 대안이다. 세분화된 일본어 정보 추출 과제에서의 성능과 생성 설정에 대한 민감도는 분명하지 않다. 방법. 개체 범주 113개를 정의한 iCorpus에서 미세조정한 BERT-CRF 기준선 두 개와 공개 가중치 LLM 아홉 개를 비교했다. 문서 36개의 문장 433개를 평가에, 문장 1,672개를 학습에 사용했다. JSON Schema 제약이 있는 경우와 없는 경우를 제로샷 프롬프팅으로 평가하고, 시드 세 개로 QLoRA 미세조정도 평가했다. 미세조정 모델은 출력 토큰 제한을 900개로 설정하거나 모델에 따라 2,600개 또는 4,096개로 늘려 평가했다. 문장 단위로 레이블과 표면형이 일치하는지 비교해 완화 기준 F1과 정확 표면형 F1을 구했다. 결과. 제로샷 완화 기준 F1의 최고값은 0.337로, BERT 기준선의 0.836~0.841보다 낮았다. 더 큰 출력 제한에서는 총매개변수가 130억 개 이상인 미세조정 LLM 여덟 개 모두가 BERT 기준선 두 개를 앞섰다. 완화 기준 F1은 0.882~0.914, 정확 표면형 F1은 0.840~0.880이었다. 시드 세 개의 평균에서 출력 제한을 늘리면 완화 기준 F1이 0.052~0.085 높아졌다. 재현율이 높아졌고 출력이 길이 제한에 걸리는 경우도 줄었다. 추론 중심 설정 두 개를 제외한 모델 일곱 개에서 JSON Schema 제약에 따른 완화 기준 F1 변화는 −0.014~+0.008이었다. 의료 특화 모델과 범용 모델을 짝지어 비교했을 때 특화의 이점은 일관되지 않았다. 결론. 기존 일본어 증례 보고서에 기반한 이 벤치마크에서는 과제별 미세조정과 충분한 생성 용량을 조합할 때 LLM의 추출 성능이 높았다. 출력 토큰 제한은 BERT와의 비교에 큰 영향을 줬으며, 출력 구조만 강제해서는 낮은 제로샷 정확도를 해결하지 못했다.

arXiv:2611.22218v1cs.LG

토큰 자기회귀로 최적 수송 계획 학습하기

Learning Optimal Transport Plans Via Autoregressive Token Regression

최적 수송(OT)은 확률분포 사이의 비용을 최소화하는 결합을 구하는 이론적 틀이다. 전통적인 풀이기는 여전히 이 과제의 표준이다. 동시에 OT는 학습을 통해 반복 계산 비용을 분산하는 모델이 문제 구조를 내재화할 수 있는지 연구하기 좋은 시험 대상이다. 참값 해가 있고 주변분포 제약을 명시할 수 있으며, 정확한 이산 해의 희소성도 잘 알려져 있기 때문이다. 이산 OT 계획을 토큰 자기회귀로 예측하는 트랜스포머 기반 모델 ToR-OT를 제시한다. OT를 구조화된 시퀀스 생성 과제로 바꿔 테스트 시점에 최적화 문제를 푸는 대신 희소 수송 계획을 시퀀스로 디코딩한다. 세 가지 특성을 살핀다. (a) 제로샷 일반화. 합성 OT 사례의 대규모 말뭉치에서 사전학습하면 단일 모델이 재학습 없이 새로운 분포 쌍과 여러 비용 척도에 일반화할 수 있다. (b) 희소 원문제 디코딩. 정확한 이산 OT 해의 희소성을 활용해 조밀한 결합을 출력하지 않고 0이 아닌 항목만 예측한다. (c) 연산 비용을 분산한 추론. 저차원 이산 문제에서 정확한 근사 계획을 만들며, 사례마다 최적화하는 신경망 OT 기준선과 비교해 경쟁력이 있다. ToR-OT는 아직 전통적인 풀이기를 대체할 수 없으나, 자기회귀 트랜스포머가 OT와 같은 제약 최적화 문제의 구조를 어떻게 학습하는지 이해하는 데 도움이 된다.

arXiv:2611.22215v1cs.LG

변화량만 통신하기: 활성값 압축을 통한 효율적인 전문가 병렬화

Communicate the Change: Efficient Expert Parallelism via Activation Compression

모델 규모 확대는 대규모 언어 모델(LLM)의 성공을 이끌었다. 희소 전문가 혼합(MoE) 아키텍처를 사용하면 계산량을 비례해서 늘리지 않고도 매개변수 용량을 키울 수 있다. 대규모 MoE 모델은 전문가 병렬화로 여러 기기에 전문가를 분산한다. 추론 중 각 MoE 층에는 동기식 집합 통신이 두 번 필요하다. 은닉 상태를 활성화된 전문가에게 분배하고, 각 전문가의 출력을 합친다. 연산 처리량이 연결망 대역폭보다 빠르게 늘면서 동기식 집합 통신은 MoE의 확장과 효율을 제한하는 주요 병목이 됐다. 기존 MoE 모델에 적용할 수 있는 경량 아키텍처 변경 EchoMoE를 제안한다. 처음부터 전체를 사전학습할 때의 약 8,500분의 1에 해당하는 학습 토큰을 사용한다. 트랜스포머 블록이 잔차 스트림을 조금씩 갱신한다는 점에 착안해 이전 층의 은닉 상태를 기준으로 둔다. 각 은닉 상태 전체를 전달하는 대신 현재 상태와 기준의 차이만 압축해 통신한다. EchoMoE는 기준 상태를 주기적으로 갱신하며 동기 경로에서는 압축한 차이만 보낸다. 추가 연산을 거의 발생시키지 않으면서 지연에 민감한 경로의 트래픽을 줄인다. 노드 간 통신량은 58% 줄고 처리량은 22.6% 높아졌다. 벤치마크 18개의 평균 성능 차이는 3.8%포인트 이내였다. 대역폭이 제한된 이더넷에서는 추론 처리량을 최대 2.38배 높여 광역 분산 추론의 가능성을 보였다. 통신할 표현을 양자화해도 측정 가능한 품질 손실은 없었다. 사전학습 MoE 모델에 EchoMoE를 효율적으로 적용하는 구현과 vLLM 추론 통합을 공개한다.

arXiv:2611.22203v1cs.CL

EGS: 교육용 대규모 언어 모델의 안전성을 보완하는 프레임워크

EGS: A Complementary Safety Framework for Educational LLMs

대규모 언어 모델(LLM)은 맞춤형 교육에 유용할 수 있다. 그러나 청소년이 사용하는 환경에 배포하면 유해하거나 편향되거나 오해를 일으키거나 발달 단계에 맞지 않는 콘텐츠가 노출될 위험이 생긴다. 학생의 질문은 모호하거나 호기심에서 나오는 경우가 많다. 따라서 교육 안전에서는 수락과 거절만 결정하기보다 문맥에 맞춰 안내해야 한다. 모델 자체의 정렬을 쿼리 검토, 상황별 교육 안내, 응답 검토로 보완하는 경량 런타임 프레임워크 교육용 가드레일 시스템(EGS)을 소개한다. 특정 모델에 종속되지 않으며, 입력을 위험 수준에 따라 분류하고 판단이 모호한 질문은 범주별 교육 개입으로 안내하며, 전달하기 전에 출력을 검사한다. 범용 및 교육 특화 벤치마크 실험에서 EGS는 여러 LLM의 콘텐츠 검토 성능, 거절 품질, 탈옥 시도에 대한 강건성을 높였다. 여러 단계의 안전장치를 두면 교육용 LLM에 필요한 학습 지원 능력을 보존하면서 안전성을 높일 수 있음을 시사한다. 커뮤니티에서 활용할 수 있도록 코드와 모델 가중치를 공개할 예정이다.

arXiv:2611.22188v1cs.CL

미완료상 역설에서 무어식 부조리까지: 상과 화용의 모호성에서 단일 추론 경로의 고착과 다중 후보 언어화

From Imperfective Paradox to Moorean Absurdity: Single-Chain Reasoning Lock-In and Multi-Candidate Verbalization Across Aspectual and Pragmatic Ambiguity

자연어 함의와 일관성 판단은 사건이 일어나기만 했는지, 목표 종결점에 도달했는지, 계획을 충족했는지, 여러 화용적 기준에서 평가했는지에 따라 달라지는 경우가 많다. Qwen3-8B-Q8_0으로 사전 등록하고 봉인한 정식 실험 네 개에서 단일 경로 조기 고착 가설의 관찰 가능한 결과를 검정했다. 정식 실험 단위는 16,640개이고 온도는 0.0이었다. 가설 항목 16개 중 15개는 확증 분석 지위를 유지했다. 실험별 가족 단위 오류율 0.05의 홀름 보정에서 12개가 귀무가설을 기각했으며, E3_H3는 기술적 분석으로 내렸다. 실험 1에서 Direct-CoT와 MCU는 종결점이 있는 사건을 높은 확신으로 완료됐다고 평가하는 지표에서 25.00%포인트 차이가 났다(홀름 보정 p=1.31239e-05). NLI-CoT는 중단되지 않은 비종결 사건에서 91.25%포인트 하락했다(홀름 보정 p=1.81805e-21). 다중 후보 언어화(MCV)는 한 번의 호출에서 가중치가 붙은 추정치 K=5개를 이끌어 낸다. 프롬프트를 비가중 판독(MCU) 및 자체 가중 판독(MCW)과 구분한다. 중국어 표준어(E2)와 영어(E3)의 NLI-CoT에서 중단을 기준으로 한 현실성 역설이 드러났다. 실험 4에서 MCU-CF는 암묵적 무어 문장의 지각된 일관성을 Direct-CoT보다 26.64%포인트 높였다(홀름 보정 p=0.0006). Direct-CF와 MCU-CoT도 Direct-CoT보다 각각 29.15%포인트와 17.31%포인트 높았다. OpenAI 호출 1,800회의 구성 요소 제거 실험과 개발 단계(stage="dev") P16.7의 모델 간 확장 분석에서, 이산 NLI-CoT와 스칼라 Direct-CoT 판단이 모델마다 서로 달라짐을 보였다. 외부 모델 다섯 개에서 계획하고 수집한 단위는 4,240개로, 유효 4,222개, 형식 누락 18개, 전송 누락 0개였다. 구간별 누락률은 2% 미만이었으며 OpenAI gpt-4o-mini는 top_logprobs=20에서 1,000개 모두 유효했다. 확증 결과는 관찰 가능한 프롬프트와 판독 절차에 관한 것이다. 내부 추론의 조기 고착은 가설로 남는다. 코드, 자극 자료, 사전 등록 분석 계획, 검증 도구는 https://github.com/asj252/llm-judgment-studies 에 공개되어 있다.

arXiv:2611.22180v1cs.CV

CueClash: 최첨단 비전-언어 모델은 3D 관계를 이미지 평면에 가깝게 판단한다

CueClash: Frontier Vision-Language Models Judge 3-D Relations Close to the Picture Plane

비전-언어 모델(VLM)은 이미지에 보이는 단서나 바닥면 배치를 바탕으로 3D 관계를 판단할 수 있다. 일반 사진에서는 두 근거가 대체로 일치한다. CueClash는 다섯 가지 관계별로 2D 단서가 진술의 정확히 절반에서만 맞도록 장면을 렌더링해 두 근거를 구분한다. 지름길 격차는 단서가 맞을 때의 정확도에서 틀릴 때의 정확도를 뺀 값이다. 낮은 추론 강도에서 Claude Opus 5.5, GPT-5.5, Gemini 3.6 Flash의 격차는 +18~+37%포인트였다. 단서가 틀린 항목이 경계 사례나 가림과 얽힌 관계 두 개를 제외하면 +7~+29%포인트였다. 바닥 좌표와 각 관계의 정의를 주면 정확도는 99~100%였다. 물체가 개구부를 통과할 수 있는지 판단할 때는 픽셀 측정값과 카메라 깊이 정보를 제공하면 격차의 대부분이 사라졌다. 실패는 이미지에서 공간 배치로 옮기는 단계에서 생겼다. 모델이 위에서 내려다본 장면의 지도를 그리면 깊이 순서는 대부분 유지하지만 이미지처럼 깊이를 짧게 표현했다. GPT-5.5의 지도는 이미지 복사본과 비슷했다. Opus 5.5와 Gemini의 지도는 깊이 축소의 약 0.6을 보정했다. Gemini는 그 뒤 모든 깊이를 같은 비율로 더 줄였다. Opus 5.5는 주로 개구부 통과 판단에서 이미지 단서를 따랐고, 그 지도는 실제 장면을 보는 사람과 비슷한 정도로 깊이를 보정했다. 신뢰할 만한 2D 단서가 실제와 어긋나는 CV-Bench 사진에서도 세 모델의 정확도가 떨어졌다. 공개 모델 두 개에서는 배치 정보가 언어 모델까지 도달했지만, 그린 지도에서는 그 정보의 상당 부분이 사라졌다.

arXiv:2611.22179v1cs.AI

메모리로 쓰는 RAG: 에이전트 시스템에 최소한의 메모리로 충분한 경우

RAG in a Trenchcoat: When Minimal Memory Is Enough for Agentic Systems, and When It Isn't

에이전트 메모리 연구는 검색 증강 생성(RAG)에 정보 추출, 기존 내용 대체, 성찰, 그래프 합성을 덧붙여 왔다. 그러나 시험한 메모리 벤치마크에서 이 기능들은 대부분 비용에 걸맞은 성능 향상을 내지 못했다. 이를 확인하기 위해 관측 메모 연결, BM25와 코사인 유사도를 결합한 검색, 시간순 출력으로만 구성한 간결한 RAG 메모리 BRIDGE를 사용했다. 동일한 판독 모델에서 BRIDGE는 LongMemEval-S와 BEAM의 기존 최고 성능과 부트스트랩 신뢰구간 안에서 비슷했고, EverMemBench의 최고 메모리 기준선보다 5.7~6.3점 높았다. 쿼리당 판독기 프롬프트에 약 5천~7천 토큰을 쓰고, 데이터 입력 및 쿼리마다 LLM을 한 번 호출한다. 이런 성능 동등성 자체가 연구 결과라고 본다. 표준 벤치마크는 메모리에서 무엇을 검색했는지 평가하지만, 에이전트가 행동할 때 무엇을 할 수 있게 됐는지는 평가하지 않는다. 후자를 시험하기 위해 규칙 적용의 두 조건, 문체 및 절차의 패턴 유도, 동적으로 진행하는 다중 턴으로 이루어진 난도 높은 탐침 다섯 개를 도입했다. 생성 시 여러 공급사의 모델을 거치는 검증 절차로 평가하며, 각 쿼리는 명시하지 않은 규칙이나 패턴을 기억해 적용해야만 풀 수 있다. 탐침 다섯 개와 시나리오 20개의 조합에서 모든 조건을 이긴 아키텍처는 없었다. 개별 사실 추출기 LangMem은 규칙 적용에서, BRIDGE의 블록 요약 메모리는 패턴 유도에서 우수했다. 이 결과는 네 도메인, 평가기 세 개, 판독 모델 세 계열에서 유지됐다. 각 설계가 실패하는 원인은 재현율 벤치마크로는 발견하기 어렵다. 개별 사실 추출기는 시연한 패턴의 형태를 버린다. 블록 요약 메모리는 규칙을 검색해도 판독기가 적용하지 않는 경우가 있으며, 규칙을 더 눈에 띄게 제공하면 이 격차가 대부분 줄어든다. 따라서 에이전트 메모리는 검색 결과에 더해 에이전트가 수행할 수 있게 된 행동을 기준으로 평가할 필요가 있다.

arXiv:2611.22178v1cs.AI

CorrectCast: 강수 초단기 예측의 스케일 인식 잔차 보정을 위한 선택적 멀티모달 문맥

CorrectCast: Selective Multimodal Context for Scale-Aware Residual Correction in Precipitation Nowcasting

강수 초단기 예측 모델은 강도, 위치, 공간 구조에서 오차를 보인다. 예측기 백본을 다시 학습해 오차를 줄이는 데에는 계산 비용이 들며 아키텍처에 따라 수정해야 한다. 이 한계를 해결하기 위해 기본 예측기를 동결한 채 완성된 초단기 예측을 정제하는 분리형 잔차 보정 프레임워크 CorrectCast를 제안한다. 예측 강수장을 입력으로 처리하므로 경량 보정기만 학습하면 된다. 연산 부담을 줄이면서 여러 초단기 예측 모델에 공통 보정 인터페이스를 제공한다. 보정기는 기본 예측과 과거의 정량 강수 추정(QPE) 및 가강수량(PWV) 관측을 조건으로 멀티모달 문맥을 선택한다. 스케일을 고려한 변조로 잔차 보정값을 추정한다. 미시시피강 유역(MRB)과 미국 본토(CONUS) 데이터셋에서 외삽 기반, 결정론적, 생성형 등 기본 예측기 여섯 개의 성능을 모두 높였다. 여섯 모델의 평균 CSI 절대 개선 폭은 각각 평균 0.0233과 0.0290이었다.

arXiv:2611.22177v1cs.AI

수익 우위는 학습 때 외운 정보에서만 나왔다: 실적 발표와 악재 전후의 LLM 거래 에이전트

The Only Edge Was Memorized in Training: LLM Trading Agents Around Earnings and Bad News

대규모 언어 모델(LLM) 거래 에이전트는 뉴스로 평가하는 경우가 많다. 그러나 뉴스의 영향은 몇 분 안에 주가에 반영된다. 뉴스 제목을 공개 시점에 맞춰 재생한 벤치마크에서는 이를 거래에 사용해도 초과수익이 없었다. 수익 기회가 남을 수 있는 시점은 실적 발표처럼 날짜를 미리 아는 뉴스가 나오기 전과, 시장의 하락이 지나쳤을 경우 악재가 나온 뒤다. 그러나 LLM과 실적 발표를 다룬 연구는 발표와 동시에 또는 발표 뒤에 공개된 문서를 읽는다. 반전 효과 연구는 월별 포트폴리오를 정렬한다. 따라서 에이전트가 이 시점에 거래 비용을 빼고도 수익을 낼 수 있는지는 두 접근법 모두 알려 주지 못한다. 미래 정보가 유입되지 않는 같은 벤치마크에서 미국 대형주의 실적 발표 전 598건과 악재로 급락한 뒤 409건을 시험했다. 결정일 장 마감까지의 입력만 제공하고, 여러 단계로 진행하는 에이전트를 단일 호출, 단순 규칙, 로지스틱 회귀와 비교했다. 주식 이름을 공개하거나 가린 상태에서 각각 결정하게 했다. 공급사 네 곳의 모델 다섯 개에서 어떤 에이전트도 단순 전략을 앞서지 못했다. 실적 발표 전에는 주로 매수했고, 모든 발표 전에 매수하는 경우와 비슷한 수익을 냈다. 악재가 나온 뒤에는 Gemini 기반 에이전트가 거의 모든 하락을 과잉 반응으로 판단했으며, 모든 하락 종목을 매수하는 것보다 더 나은 종목을 고른 에이전트는 없었다. 유일한 우위는 모델이 학습 중 외운 정보에서 나왔다. 종목 코드와 날짜만 알려 줬을 때 GPT 기반 모델은 학습 기준일 전 실적 발표 뒤의 주가 방향을 59.2%, 기준일 이후의 방향을 53.3% 맞혔다. 따라서 이벤트 기반 에이전트는 단순 전략과 비교하고, 학습 기준일 이후의 데이터에서 종목을 가려 시험할 필요가 있다.

arXiv:2611.22174v1cs.AI

조합적 로봇 스킬 적응을 위한 절차 지식 재구성

Reconfiguring Procedural Knowledge for Compositional Robot Skill Adaptation

범용 행동 모델은 학습 중 다양한 절차 지식을 내재화한다. 그래서 새 목표와 스킬 인터페이스에 적응할 때는 완전히 새로운 행동을 배우기보다 기존 능력을 다시 구성하는 문제가 중요해진다. 이 능력을 재구성 가능성으로 정의한다. 제한된 지침만으로 기존 구성 요소와 관계를 적은 비용으로 다시 조직해 새로운 행동을 실현하는 능력이다. 과제 명세는 상위 수준 목표를 주고 절차 명세는 재사용 가능한 요인의 일부만 밝히므로, 실행에 필요한 구체적 연결과 조합은 정해져 있지 않다. 여러 절차 관점으로 스킬을 과제와 독립적으로 표현하는 RecPo를 제안한다. 저장한 상태 전이를 조합해 과제에 필요한 변화를 일으키는 실행 가능한 스킬 시퀀스를 만든다. RecPo는 스킬이 유도한 상태 전이를 담는 절차 지식 베이스를 유지한다. 각 관점은 재사용 가능한 요인을 드러내고 서로 가까운 스킬의 연결성을 보존한다. 배포 시 같은 관점으로 과제 명세를 해석하고, 저장 관계에서 조합 쿼리를 해결해 실행에 사용할 스킬을 연결한다. 확장한 Franka Kitchen 벤치마크의 장기 과제에서 제공하는 절차 정보와 과제 기록의 희소성을 바꿔도, RecPo는 에피소드당 과제 추론 1.0ms로 순서에 맞게 완료한 비율 91.9%를 달성했다. 실제 로봇 실험에서는 과제별 재학습 없이 메모리의 일부만 고쳐 적응할 수 있음을 보였다.