PyTorchKR Papers

최신 논문

총 2,732편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.06722v2cs.CL

불확실성이 층별 추론 역학에 미치는 영향

On the Effect of Uncertainty on Layer-wise Inference Dynamics

대규모 언어 모델(LLM)이 내부적으로 예측을 어떻게 표현하고 처리하는지 이해하는 것은 불확실성을 탐지하고 환각을 방지하는 데 핵심적이다. 여러 연구가 모델이 불확실성을 은닉 상태에 인코딩한다는 것을 보여 주었지만, 이것이 그러한 은닉 상태를 처리하는 방식에 어떤 영향을 미치는지는 충분히 탐구되지 않았다. 본 연구에서는 확실한 출력과 불확실한 출력에 대한 층별 출력 토큰 확률의 역학이 대체로 정렬되어 있음을 보여 주며, 불확실성은 추론 역학에 영향을 미치지 않는 것으로 보인다는 점을 드러낸다. 구체적으로, 우리는 Logit Lens의 변형인 Tuned Lens를 사용하여 11개 데이터셋과 5개 모델에 걸쳐 최종 예측 토큰의 층별 확률 궤적을 분석한다. 인식론적(epistemic) 불확실성이 더 높은 경우를 잘못된 예측으로 간주하여, 확실한 예측과 불확실한 예측 모두 유사한 층에서 신뢰도가 급격히 증가하는 정렬된 궤적을 보인다는 결과를 얻었다. 우리는 이러한 발견과 균형을 맞추기 위해, 더 유능한 모델은 불확실성을 다르게 처리하도록 학습할 수 있다는 증거를 제시한다. 우리의 발견은 추론 시점에 불확실성을 탐지하기 위해 단순한 방법을 활용하는 것의 타당성에 의문을 제기한다. 더 넓게 보면, 본 연구는 해석 가능성(interpretability) 방법이 불확실성이 추론에 미치는 영향을 조사하는 데 어떻게 활용될 수 있는지를 보여 준다.

arXiv:2604.00784v2cs.CV

비전-언어 모델의 세밀한 시공간 이해를 위한 수술 영상 데이터셋 확장 접근법

An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

수술 영상 이해는 컴퓨터 보조 수술(Computer-Assisted Surgery) 발전의 중요한 전제 조건이다. 비전-언어 모델(VLM)이 최근 수술 영역에 적용되고 있지만, 기존 수술용 비전-언어 데이터셋은 복잡하고 교차된(interleaved) 시공간 동역학을 포착하고 평가하는 데 부족하다. 수술 영상 내 세밀한 시공간 관계를 정확히 반영하는 대규모 데이터셋을 구축하는 것은 수동 주석의 높은 비용, 또는 대규모 언어 모델(LLM)을 이용한 생성 과정의 오류 가능성 때문에 어렵다. 이러한 공백을 해소하기 위해, 우리는 SurgSTU-Pipeline을 제안한다. 이는 세밀한 시공간 멀티모달 이해를 위한 수술 데이터셋을 신뢰성 있게 생성하기 위해 시간적·공간적 연속성 필터링을 갖춘 결정적(deterministic) 생성 파이프라인이다. 공개 수술 데이터셋에 이 파이프라인을 적용하여 SurgSTU 데이터셋을 구축했으며, 6711개의 영상 클립과 15만 개의 세밀한 시공간 질의응답 샘플로 조밀하게 확장했다. 포괄적 평가 결과, 최첨단 범용 VLM은 제로샷 환경에서 어려움을 겪지만, 문맥 내 학습(ICL)을 통해 시공간 능력을 향상시킬 수 있음을 보였다. SurgSTU 학습 데이터셋으로 파인튜닝한 VLM이 모든 시공간 태스크에서 최고 성능을 달성해, 수술 영상에서 VLM의 시공간 이해를 개선하는 데이터셋의 효과를 검증했다. 프로젝트는 https://lennart-maack.github.io/SurgSTU-project 에서 확인할 수 있다.

arXiv:2603.19466v2cs.CV

ProactiveBench: 다중모달 대규모 언어 모델의 능동성 벤치마킹

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

효과적인 협업은 언제 도움을 요청해야 하는지 아는 것에서 시작한다. 예를 들어, 가려진 객체를 식별하려 할 때 사람은 다른 사람에게 가림을 치워 달라고 요청한다. 다중모달 대규모 언어 모델(MLLM)도 간단한 사용자 개입을 요청함으로써 이러한 "능동적(proactive)" 행동을 보일 수 있을까? 이를 조사하기 위해, 우리는 가려진 객체 인식, 이미지 품질 향상, 거친 스케치 해석 등 다양한 과제에 걸친 능동성을 검증하는, 7개의 재구성 데이터셋으로 구성된 벤치마크 ProactiveBench를 제안한다. ProactiveBench에서 22개 MLLM을 평가한 결과, (i) 전반적으로 능동성이 부족하고, (ii) 능동성은 모델 용량과 상관관계가 없으며, (iii) 능동성에 대한 "힌트(hinting)"는 겨우 미미한 향상만을 가져온다는 것을 보여준다. 놀랍게도, 대화 이력과 문맥 내 학습(ICL)이 부정적 편향을 유발하여 성능을 저해한다는 것을 발견했다. 마지막으로, 강화학습 기반의 간단한 미세조정 전략을 탐구했으며, 그 결과는 능동성이 학습될 수 있으며, 보지 못한 시나리오로까지 일반화될 수 있음을 시사한다. 우리는 능동적 다중모달 모델 구축을 향한 첫걸음으로 ProactiveBench를 공개한다.

arXiv:2606.05950v2cs.AI

Edit-R2: 다중 턴 이미지 편집을 위한 문맥 인식 강화학습

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

텍스트 기반 이미지 편집은 확산 모델(diffusion model)과 통합 멀티모달 기반 모델(unified multimodal foundation model)을 통해 빠르게 발전해 왔다. 그러나 기존 방법의 대부분은 단일 턴(single-turn) 설정에 국한되어, 사용자가 일련의 지시를 통해 이미지를 반복적으로 정제하는 보다 현실적인 시나리오인 다중 턴 문맥 내 편집(multi-turn in-context editing)을 간과하고 있다. 이 설정에서 모델은 누적된 세션 수준 제약을 유지하면서 각 새로운 지시를 따라야 하며, 두 가지 밀접히 연관된 실패 모드의 도전에 직면한다: 긴 문맥 희석(long-context dilution)—드문 텍스트 제약이 점점 늘어나는 교차 배치된 이미지-텍스트 이력에서 회복하기 어려워지는 현상—과 상태 오염(state contamination)—이전 편집 실수가 이후 생성 결과를 악화시키는 현상이다. Edit-R2를 소개한다. 이는 통합 멀티모달 모델을 위한 새로운 강화학습 사후 학습 프레임워크이다. Edit-R2는 각 편집 턴 전에 산발적인 과거 제약을 명시적 추론 추적으로 효과적으로 통합하는, 작동 중인 세션 의도(operative session intent)를 재구성한다. 또한 이산 텍스트 공간에서의 의도 재구성 생성과 연속 잠재 공간에서의 flow-matching 이미지 생성을 공동으로 최적화하는 통합 목적 함수를 통해 추론과 생성 모두에 걸친 다중 턴 RL을 가능하게 하며, 궤적 필터링(trajectory filtering) 메커니즘이 상태 오염 하에서 학습을 안정화하기 위해 손상된 rollout을 억제한다. 체계적인 평가를 위해 누적된 세션 제약에 대한 지시 따르기(IF), 콘텐츠 일관성(CC), 전역 인식(GA)에 대한 자동화된 지표를 갖춘 다중 턴 문맥 내 편집 대규모 벤치마크 MICE-Bench를 소개한다. 실험 결과 Edit-R2는 다중 턴 문맥 내 편집을 크게 개선하며, 강력한 베이스라인 대비 경쟁력 있는 성능을 달성한다.

arXiv:2506.01442v2cs.AI

에이전틱 에피소드 제어

Agentic Episodic Control

강화학습(RL)은 근본적으로 낮은 데이터 효율성과 약한 일반화로 인해 제한을 받는다. 기존 에피소드 강화학습 방법은 외부 메모리 모듈을 통해 이를 완화하려 시도했지만, 두 가지 핵심 한계가 있다: 얕은 인코더로 인한 표현 병목, 그리고 에피소드 메모리에 무차별적으로 접근하는 검색 딜레마. 이러한 과제를 해결하기 위해, 우리는 에피소드 강화학습에 대규모 언어 모델(LLM)을 통합하는 새로운 아키텍처인 Agentic Episodic Control(AEC)을 제안한다. AEC는 LLM 기반 시맨틱 증강기(semantic augmenter)를 사용해 원시 관측으로부터 시맨틱 표현을 생성하고, 중요 상태 인식기(critical state recognizer)를 통해 가치 있는 경험을 선택적으로 검색한다. 이는 메모리 사용을 수동적 유사도 매칭에서 전략적이고 문맥 인식적인 회상으로 전환한다. 다섯 개의 BabyAI-Text 환경에서 AEC는 기준선(baseline) 대비 2-6배 높은 데이터 효율성을 달성하며, UnlockLocal과 같은 복잡한 과제를 90% 이상의 성공률로 해결한 유일한 방법이다. 또한 강한 교차 과제 및 교차 환경 일반화를 보여주며, 분포 이동(distribution shift) 하에서도 성능을 유지한다. AEC는 LLM 유래 사전지식(prior)과 강화학습을 결합하면 더 샘플 효율적이고 적응력 있는 에이전트(agent)를 만들 수 있음을 보여준다.

arXiv:2606.26698v1cs.CL

논리 형식을 넘어서: 오류 논증 분류를 위한 LLM 추출 패턴

Beyond Logical Forms: LLM-Extracted Patterns for Fallacy Classification

오늘날 빠르게 변화하는 정보 시대에서, 결함 있는 추론 패턴으로 정의되는 논리적 오류는 불가피하게 정보 혼란의 증가에 기여한다. 그러나 오류 논증은 종종 미묘한 형태로 나타나 자동화된 분류를 복잡하게 만든다. 본 연구에서는 추상적 논리 구조와 문맥 수준의 언어적 단서를 결합하는 것이 오류 논증 분류에 유익한지 조사하며, 대규모 언어 모델(LLM)을 사용하여 오류 논증 사례와 그 설명으로부터 이러한 패턴을 귀납적으로 추출하는 프레임워크를 개발한다. 다양한 LLM과 실험적 제로샷·원샷 설정에서 이러한 패턴의 영향을 평가한 결과, 제로샷 기준선 대비 통계적으로 유의미한 개선을 보였으며 경쟁 접근법들을 능가했다. 데이터셋 간 실험은 일반화를 검증하며, 데이터 기반 패턴 추출이 논리적 표현 생성을 위한 효과적인 방법임을 입증한다.

arXiv:2606.26489v1cs.CL

독일 기후 뉴스에서 위협 및 해결 프레이밍 탐지를 위한 BERT 문장 쌍 분류와 퓨샷 LLM 프롬프팅 비교

Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News

독일어 기후 뉴스 문장의 위협·해결 프레이밍을 자동 분류하기 위해 퓨샷(few-shot) LLM(Llama 4 Maverick) 프롬프팅과 앞 문장을 문맥으로 활용한 독일어 BERT(deepset/gbert-large) 문장 쌍 분류를 체계적으로 비교한다. 수동 코딩된 오스트리아 신문 440편 코퍼스에서 파인튜닝 BERT는 위협·해결 과제 모두 F1 0.83을, LLM은 F1 0.78을 기록했으며, 앞 문장 문맥이 BERT 분류 성능을 단일 문장 입력보다 크게 향상시킨다.

arXiv:2606.26481v1cs.CL

과학 논문에서 문제 및 방법 문장 추출: 정형 표현 탈민감화를 활용한 문맥 강화 트랜스포머

Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization

수십억 편의 과학 논문으로 인해 방대한 텍스트에서 핵심 부분을 식별할 필요가 생겼다. 과학 연구는 문제를 제기하는 것부터 방법을 사용하는 것까지의 활동이다. 과학 논문에서 주요 아이디어를 파악하기 위해, 우리는 문제 및 방법 문장 추출에 집중한다. 과학 논문 내 문장에 주석을 달기는 노동 집약적이어서 소규모 데이터셋만 만들어지고, 이는 모델이 학습할 수 있는 정보량을 제한한다. 이러한 제한된 정보로 인해 모델은 특정 형식에 과도하게 의존하게 되며, 그 결과 일반화 능력이 저하된다. 본 논문은 소규모 데이터셋으로 인한 문제를 세 가지 관점에서 해결한다: 데이터셋 규모 확대, 특정 형식에 대한 의존성 감소, 문장 내 정보의 풍부화. 첫 두 가지 아이디어를 구현하기 위해, 우리는 정형 표현(formulaic expression, FE) 탈민감화 개념을 도입하고, 합성 데이터를 생성하고 모델의 FE 의존성을 줄이기 위한 FE 탈민감화 기반 데이터 증강기를 제안한다. 세 번째 아이디어에 대해서는, 문맥을 활용하여 대상 문장 내 단어의 중요도를 측정하고 문맥의 노이즈를 줄이는 문맥 강화 트랜스포머를 제안한다. 또한 본 논문은 대규모 언어 모델(LLM) 기반 문맥 내 학습(ICL) 방법을 이용한 실험을 수행한다. 정량적·정성적 실험 결과, 제안 모델은 두 과학 논문 데이터셋에서 기준선 모델보다 더 높은 macro F1 점수를 달성했으며, 각각 3.71% 및 2.67%의 향상을 보였다. LLM 기반 ICL 방법은 문제 및 방법 추출 작업에 적합하지 않은 것으로 나타났다.

arXiv:2606.25450v2cs.LG

The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms

단일 i.i.d. 테스트 점수로는 드러나지 않는 표본별 일반화를, 정확 회상(D0)부터 구현·문맥·카테고리 전이 및 비페어 기준선(D4)까지 전이 거리별 테스트 변형으로 구성한 Generalization Spectrum 평가 프레임워크로 진단한다. 경쟁 프로그래밍 벤치마크에서 동일 암기 수준으로 비교한 결과 RL은 SFT 계열보다 암기를 근거리 전이로 더 효율적으로 전환하고 ICL은 강하지만 대응 관계에 의존하며, 추상화·힌트는 국소 전이를, RFT는 SFT 대비 원거리 전이 꼬리를 더 잘 보존하는 등 국소 이득이 일반화 반경 확대와 항상 일치하지 않음을 프로파일로 보여준다.

arXiv:2606.11502v3cs.CL

롤플레이할 때, 모델은 자신이 말하는 것을 믿는가?

When Role-playing, Do Models Believe What They Say?

언어 모델은 "지구가 태양을 공전한다"고 말할 수 있고, 아리스토텔을 롤플레이할 때는 정반대를 주장할 수 있다. 최근 연구는 페르소나 채택이 언어 모델의 행동 방식에 근본적이라고 주장하며, 모델이 주어진 맥락에 가장 적합한 페르소나를 선택한다고 본다. 이러한 롤플레이는 단순히 모델의 출력만 바꾸는 것인가, 아니면 모델이 내부적으로 진실로 표상하는 내용에도 영향을 미치는가? 우리는 현대적 합의와 다른 신념을 가진 인물의 롤플레이를 사용해 이 질문을 연구하고, 프롬프팅(prompting), 문맥 내 학습(ICL), 지도 미세조정(SFT), Open Character Training(OCT), Emergent Misalignment(EM) 등 여러 방법으로 페르소나를 유도한다. 우리는 진실 프로브(truth probes)와 행동 테스트(behavioral tests)로 이러한 접근법들에서의 신념 내재화(belief internalization)를 측정하여, 신념 내재화의 넓은 스펙트럼을 발견한다. 프롬프팅, ICL, 지도 미세조정은 표상적 변화는 거의 없이 모델이 말하는 내용만 바꾼다. EM은 모델의 진실 표상에서 크고 폭넓은 변화를 만들며, OCT는 더 작은 변화를 만들는데 이는 더 큰 모델에서 가장 분명하다. 학습이 단순히 행동만 바꾸는 것이 아니라 모델의 세계관을 바꿀 때를 이해하는 것은 AI 시스템에 더 큰 자율성과 영향력이 부여될수록 점점 더 중요해질 수 있다.

arXiv:2604.15877v2cs.AI

경험 압축 스펙트럼: LLM 에이전트에서 메모리, 스킬, 규칙의 통합

Experience Compression Spectrum: Unifying Memory, Skills, and Rules in LLM Agents

장기·다중 세션 LLM 에이전트에서 축적된 경험 관리 병목을 다루기 위해, 상호작용 추적에서 재사용 가능한 지식을 추출하는 에이전트 메모리와 스킬 발견 연구를 에피소드 메모리(5–20×)부터 서술적 규칙(1,000×+)까지 압축률이 증가하는 단일 축인 Experience Compression Spectrum(경험 압축 스펙트럼)으로 통합하는 프레임워크를 제안한다. 20개 이상 시스템을 이 스펙트럼에 매핑한 결과 모두 고정된 압축 수준에서만 동작하고 적응적 교차 수준 압축(missing diagonal)을 지원하는 시스템은 없으며, 두 커뮤니티 간 교차 인용률은 1% 미만으로 나타났다.

arXiv:2601.03388v3cs.CL

은유는 대규모 추론 모델의 교차-도메인 비정렬의 원인이다

Metaphors are a Source of Cross-Domain Misalignment of Large Reasoning Models

학습 데이터의 은유가 대규모 추론 모델(LRM)에서 한 도메인의 비정렬 패턴이 다른 도메인으로 창발적으로 전이되는 현상에 기여한다는 점을 지속적 사전학습·파인튜닝·재정렬에 대한 은유 기반 개입 실험으로 규명하고, 은유와 연관된 잠재 특징 활성화를 모니터링해 비정렬 콘텐츠를 높은 정확도로 예측하는 탐지기를 제안한다.

arXiv:2606.27251v1cs.RO

고립된 스킬에서 일상적 물리적 자율성으로: 옴니모달 체화 에이전트의 발전

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

비구조화 환경에서 지속적으로 동작하는 체화 에이전트를 구축하려면, 사이버(API, IoT)와 물리(조작, 내비게이션) 영역에 걸친 이질적 도구의 통합적 조율과, 장기 운용 중 불가피하게 발생하는 물리적 실패로부터의 자율적 복구가 필요하다. 기존 시스템은 이를 별개의 문제로 취급한다. VLM 기반 플래너는 통합된 사이버-물리 행동 공간을 갖추지 못하고, 에이전트 프레임워크는 무제한적으로 컨텍스트를 누적하여 시간적 일관성을 저하시키며, VLA 정책은 자신의 실패를 감지하지 못한 채 개방 루프(open-loop)로 실행된다. 우리는 지속적 자율성이 단일(monolithic) 모델이 아니라 계획, 메모리, 검증을 명시적으로 분리한 계층적 비동기 아키텍처를 필요로 한다고 주장한다. 이를 위해 우리는 통합 행동 공간 전반의 스킬 라우팅을 위한 멀티모달 의미론적 플래너, 이벤트 경계 기반 압축으로 아래 선형(sub-linear) 컨텍스트 증가를 달성하는 적응형 계층적 메모리, 물리적 실행 중 의미론적 루프를 닫는 비동기 시각적 선점(preemption) 엔진을 통합한 프레임워크 OmniAct를 제시한다. 두 로봇 플랫폼에서 네 대의 IoT 기기를 조율하는 40개의 실세계 장기(long-horizon) 태스크에서 OmniAct는 모든 복잡도 수준에서 end-to-end 성공률을 일관되게 향상시키고, 10만 개 이상의 누적 상호작용 토큰에 걸쳐도 거의 평탄한 토큰 소비를 유지하며, 중간 규모 오픈 가중치 모델을 독점(proprietary) 수준 성능으로 끌어올린다.

arXiv:2606.26981v1cs.RO

문맥 내 모델 예측 생성: 언어 모델에서 물리까지의 개방 어휘 모션 합성

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

텍스트 설명 기반 인간 모션 합성에서 의미론적 충실도와 물리적 현실감의 트레이드오프를 해소하기 위해, ICMPG는 LLM 플래너가 생성한 후보 모션을 물리 시뮬레이션과 의미 정렬로 평가·선택하는 모델 예측 제어(MPC)형 폐루프 프레임워크를 제안한다. 표준·제로샷 개방 어휘 설정에서 과제별 정책 재학습 없이도 다양한 명령에 강건하게 일반화하며, 평가 벤치마크에서 기존 방법보다 물리적으로 더 타당하고 의미론적으로 더 충실한 모션을 생성한다.

arXiv:2503.15283v2cs.CV

TF-TI2I: 텍스트-대-이미지 모델의 다중 모달 암묵적 컨텍스트 학습을 활용한 학습 없는 텍스트-및-이미지-대-이미지 생성

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

추가 학습 없이 SD3 같은 MM-DiT 기반 T2I 모델을 활용해 텍스트 지시와 복수의 참조 이미지를 동시에 반영하는 TF-TI2I를 제안하며, MM-DiT의 텍스트 토큰이 비전 토큰으로부터 시각 정보를 암묵적으로 학습하는 특성을 활용한다. Reference Contextual Masking과 Winner-Takes-All 모듈로 다중 참조 간 간섭과 분포 이동 문제를 해소하고, 새로 제안한 FG-TI2I Bench를 포함한 18개 평가 지표 중 12개에서 최고 성능을 달성했다.

arXiv:2510.01163v2cs.LG

사전학습 분포는 문맥 내 학습을 어떻게 형성하는가? 근본적인 트레이드오프

How Does the Pretraining Distribution Shape In-Context Learning? A Fundamental Trade-Off

대규모 언어 모델(LLM)에서 문맥 내 학습(ICL)의 성능을 이끄는 요인들은, 모델이 소수의 예시만으로 새로운 태스크에 적응할 수 있다는 ICL의 놀라운 효과성에도 불구하고, 아직 제대로 이해되지 않고 있다. 이러한 능력을 명확히 규명하고 향상시키기 위해, 우리는 사전학습 분포의 통계적 특성(예: 꼬리 거동, 커버리지)이 ICL을 어떻게 형성하는지 분석한다. 우리는 일반화와 태스크 선택을 포괄하는 이론적 프레임워크를 개발하고, 분포적 특성이 샘플 효율성, 태스크 검색, 그리고 강건성을 어떻게 지배하는지 보인다. 이를 위해 기존의 집중 결과(concentration results)를 중꼬리 사전(heavy-tailed priors) 및 종속 시퀀스로 일반화하여 LLM 사전학습 데이터의 구조를 보다 잘 반영한다. 우리의 프레임워크는 근본적인 설계 트레이드오프를 드러낸다: 중꼬리 사전학습 분포는 분포 이동 하에서 강건한 태스크 선택을 촉진하지만, 특히 데이터가 적은 환경에서 일반화에는 해롭다. 이어서 확률 미분 방정식 및 메모리를 가진 확률 과정과 같은 어려운 태스크에서 사전학습 분포에 따라 ICL 성능이 어떻게 달라지는지를 연구함으로써 우리의 예측을 실증적으로 평가한다. 이러한 결과들은 종합적으로, 사전학습 분포의 핵심 통계적 특성을 제어하는 것이 ICL 능력을 갖춘 신뢰할 수 있는 LLM을 구축하는 데 필수적임을 시사한다.

arXiv:2606.25342v1cs.LG

Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

Softmax 어텐션의 이차 복잡도와 무한히 커지는 KV 캐시 때문에 트랜스포머는 고정 하드웨어에서 임의 길이의 평생(lifelong) 문맥 내 학습(ICL)에 한계가 있으며, 선형 어텐션·상태공간 모델·테스트타임 학습 등 파라미터형 어텐션으로 키-값 관계를 테스트 시 온라인 회귀로 압축해야 한다고 주장한다. 다만 현재 파라미터형 방식은 메모리 용량 부족과 비용 큰 온라인 업데이트로 평생 학습에 미치지 못해, 장기 에이전트를 위한 개방 질문과 연구 방향을 정리한다.

arXiv:2606.25010v1cs.LG

Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns

트랜스포머 언어 모델의 창발적(emergent) 다운스트림 능력은 학습 중 초기화에 따라 무작위 시점에 급격히 나타나며, 더 큰 모델일수록 평균적으로 더 일찍 획득한다. 패턴 완성·간접 목적어 식별 등은 과제 관련 희소 어텐션(attention) 패턴을 학습하는 순간과 대응하고, 합성 선형 사상·세포자동기 과제에서 컨텍스트 길이와 패턴 희소성이 학습 병목을 좌우하며 어텐션 헤드 수를 늘리면 효율이 개선됨을 보였다.

arXiv:2606.24995v1cs.LG

Are Tabular Foundation Models Robust to Realistic Query Distribution Shifts in Microbiome Data?

마이크로바이옴 풍부도 데이터에서 표 형식 기반 모델(TFM)의 현실적 쿼리 분포 이동 견고성을 평가하기 위해, 미교란 지원 집합을 문맥으로 두고 쿼리 샘플에만 생물학적 섭동을 적용하는 문맥 내 학습(ICL) 벤치마크를 제안한다. 6개 장내 미생물군 데이터셋 실험에서 판별적 분류군을 보존해도 모든 섭동이 성능을 떨어뜨렸고, 허위 0이 아닌 값 주입(zero-imputation)이 가장 큰 손실을 낳았으며, zero-inflation 기반 희소화는 랜덤 포orest보다 TFM에 더 불리하게 작용했다.

arXiv:2501.18916v2cs.LG

LLM Program Optimization via Retrieval Augmented Search

프로그램 최적화에 대규모 언어 모델(LLM)을 적용하기 위해, 느린-빠른 프로그램 쌍 학습 데이터에서 in-context 예시를 검색하며 beam search로 후보를 탐색하는 검색-증강 탐색(RAS) 블랙박스 적응 방법을 제안한다. LLM이 생성한 자연어 프로그램 설명 기반 문맥 검색(contextual retrieval)이 소스 코드 기반 검색보다 효과적이며, C++ PIE 벤치마크에서 기존 최고 수준 대비 최대 2.06배, 원자적 편집(atomic edits)으로 해석 가능성을 높인 AEGIS는 최대 1.37배 성능을 달성하고 Python에서는 평균 런타임 백분위를 10.27 개선한다.