PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22002v1cs.AI

추론 전개에 따른 학습: 효율적 강화학습을 위한 점진적 롤아웃 할당

Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning

검증 가능 보상 강화학습(RLVR)은 GRPO와 같은 방법이 그중 가장 성공적인 구현체에 속하는, 대규모 언어 모델(LLM)의 추론을 향상시키는 매우 효과적인 프레임워크로 부상했다. 그러나 GRPO는 긴 사고의 연쇄(Chain-of-Thought) 롤아웃을 반복적으로 생성하는 것에 의존한다. 학습 시간은 롤아웃 수에 비례하며, 그중 상당 부분은 정보가 거의 없다. 따라서 GRPO는 계산 비용이 크고 불안정하다. 이를 완화하기 위해 기존 접근법은 더 큰 롤아웃 풀을 생성하고 가장 정보가 풍부한 프롬프트를 필터링하거나, 학습 후반 단계에서 필터링을 위해 과거 신호를 활용한다. 이러한 전략은 성능 향상은 다소 있지만 전체 과정을 느리게 한다. 이에 대응하여, 우리는 예시당 고정된 롤아웃 예산을 할당하는 대신, 배치의 모든 예시에 대해 소수의 롤아웃으로 시작하고 고정된 총 롤아웃 예산에 도달할 때까지 그룹 보상 분산이 가장 큰 예시에 추가 롤아웃을 반복적으로 할당하는 분산 가이드 온라인 롤아웃 할당(VIGOR)을 제안한다. 이론적으로 우리는 RLVR 하에서 보상 분산이 그래디언트 크기를 제어함을 보이고, Pareto 분포 보상 분산 하에서 정제 라운드가 증가할수록 커지는 VIGOR의 GRPO 대비 폐형식 속도 향상 비율을 유도한다. 수학적 추론 및 코딩 과제에 대한 실험은 VIGOR가 수학에서 목표 정확도에 최대 2.3$\times$ 더 적은 롤아웃으로 도달하고, GRPO의 최종 코딩 full pass rate에 1.49$\times$ 더 적은 롤아웃으로 도달하며, 코딩 평균 테스트 pass rate를 3.4점 향상시킴을 보여준다.

arXiv:2607.21933v1cs.AI

LLM 논리 추론을 위한 기호학적 논리 육각형 이론

Semiotic logical hexagon theory for LLM logical reasoning

대규모 언어 모델(LLM)은 언어 이해와 논리적 추론을 위한 강력한 도구가 되었다. 그러나 문제가 의미 이해와 논리적 따름을 모두 요구할 때 여전히 실수를 한다. 핵심 이유는 자연어 진술이 형식적 추론이 시작되기 전에 종종 암묵적 의미 관계를 담고 있기 때문이다. 이러한 숨겨진 의미가 적절히 조직되지 않으면, 이후 추론 과정이 논리적으로 타당해 보이더라도 모델이 잘못된 결론에 도달할 수 있다. 기존 방법들은 분해, 기호적 번역, 외부 솔버, 또는 자기 검증을 통해 추론을 개선하지만, 추론이 의존하는 의미 구조에는 상대적으로 덜 주목한다. 본 논문에서는 의미 조직이 LLM에서 논리적 추론에 어떻게 영향을 미치는지를 추가로 조사한다. 이를 위해 우리는 자연어 진술의 의미를 먼저 조직한 다음 구조화된 검증을 통해 논리적 추론을 안내하는 프레임워크인 HexLogicAgent를 제안한다. 조사 과정에서 우리는 또한 두 가지 관찰을 한다. 첫째, 연역적 추론 자체보다는 불완전한 의미 표현이 LLM에서 논리적 추론 실패의 주요 원인이다. 둘째, 의미적 대립의 완전한 구조를 명시적으로 모델링하면 논리적 복잡성이 증가함에 따른 추론 성능 저하가 상당히 지연된다. 어려운 논리적 추론 벤치마크에서의 실험은 HexLogicAgent가 여러 LLM에서 추론 신뢰성을 일관되게 향상시킴을 보여준다. 핵심 아이디어는 대립하는 의미의 완전한 구조가 신뢰할 수 있는 추론에 왜 필요한지를 설명하는 논리 육각형 이론에 의해 뒷받침된다.

arXiv:2607.21859v1cs.AI

DAGForge: 생의학 문헌 기반 감사 가능한 인과 DAG 작성

DAGForge: Auditable Causal DAG Authoring with Biomedical Literature

인과 방향성 비순환 그래프(DAG)를 구성하는 것은 생의학 인과 분석의 핵심 단계이지만, 여전히 대부분 수동으로 이루어지는 과정이다. 분석가는 연구 변수를 기존 문헌과 연결하고, 불확실한 인과 주장을 평가하며, 전문가 검토를 위해 충분한 출처 정보를 보존해야 한다. 우리는 인과 DAG를 감사 가능하고 증거가 연결된 산출물로 작성하기 위한 브라우저 기반 시스템인 DAGForge를 제안한다. 연구 개념에 대한 자유 텍스트 설명이 주어지면, DAGForge는 재현 가능한 문헌 스냅샷을 생성하고, 대규모 언어 모델(LLM) 기반 추론 모듈을 사용하여 원문 증거 발췌에 근거한 구조화된 쌍별 인과 판단을 생성하며, 이를 제약 조건 검증이 이루어진 그래프로 조립한다. 제안된 각 엣지에는 신뢰도 추정치, 출처 정보, 검토 가능한 근거가 포함된다. 인터페이스는 연구 명세, 진행 모니터링, 증거 검토, 그래프 비교, 조정 집합(adjustment-set) 계산, 내보내기를 지원한다. 간결한 벤치마크 DAG와 게재된 문헌에서 파생된 참조 DAG 모두에 대한 평가에서, DAGForge는 문헌 기반 코호트에서 높은 엣지 재현율을 달성하면서 LLM 단독 기준선에는 없는 검증 가능한 증거 추적을 유지한다. 따라서 DAGForge는 인과 DAG 큐레이션의 부담을 줄이면서 결과적 가정을 감사 가능하게 만들어, 생의학 연구의 설계, 분석, 해석을 지원한다.

arXiv:2607.21835v1cs.CR

ToolGuardian: AI 에이전트-도구 상호작용을 위한 선언적 보안

ToolGuardian: Declarative Security for AI Agent-Tool Interactions

대규모 언어 모델(LLM) 에이전트는 외부 도구에 점점 더 의존하면서 능력은 확장되지만 새로운 보안 경계를 만들어낸다. 서드파티 도구는 인터페이스 수준에서는 무해해 보일 수 있지만 구현에는 안전하지 않은 동작이 내장되어 있을 수 있다. 기존 방어 기법은 약한 메타데이터에 의존하거나, 특성화(characterization)와 정책 판단을 단일 결정으로 축소하거나, 태스크 컨텍스트와 다중 도구 구성(composition)에 대한 결정론적이고 감사 가능한 추론이 부족한 휴리스틱/LLM 기반 집행을 사용한다. 본 논문은 사전 승인 심사(pre-admission vetting)와 태스크 인식 런타임 승인(task-aware runtime authorization)을 통해 에이전트-도구 상호작용을 보호하는 정책 기반 프레임워크인 ToolGuardian을 제안한다. ToolGuardian은 점진적 특성화(progressive characterization)를 사용해 증거를 구조화된 사실로 변환한다. 설명(description)은 선언된 의도를 포착하고, 시스템 호출(syscall) 추적은 거친 수준의 동작을 드러내며, 모의 실행(mock execution)은 관측된 효과를 밝히고, 소스 분석은 잠재(latent) 동작을 식별한다. ToolGuardian의 핵심 기여는 역량(capabilities), 효과(effects), 태스크 컨텍스트, 구성(composition)에 대해 명시적으로 추론하는 답 집합 프로그래밍(ASP) 기반 선언적 정책 층이다. 동일한 입력과 출력 계약을 사용하여 ASP를 휴리스틱 및 LLM 기반 정책 구현(realizations)과 비교한다. 16개의 MCP 스타일 도구(실제 오픈소스 도구에서 파생된 8개의 악성 변종 포함)와 20개의 런타임 시나리오에서 ToolGuardian을 평가한다. 심사(vetting)에서 ASP는 설명, syscall, 관측된 효과 증거를 사용하여 거부(deny) 클래스 F1 0.86과 88% 정확도를 달성한다. 런타임 승인에서는 완전히 명시된 구현이 모든 시나리오를 올바르게 분류하는 반면, ablation은 구성(compositional) 및 준수(conformance) 규칙을 제거하면 성능이 크게 저하됨을 보여준다.

arXiv:2607.21793v1cs.AI

QLPO: 길이 인식 정책 최적화를 위한 사분면 가중 샘플링

QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization

최근 대규모 추론 모델은 강화학습(RL) 과정에서 긴 사고의 연쇄(Chain-of-Thought) 응답을 자주 생성하여, 추론 지연과 배포 비용이 높아지는 문제가 발생한다. 기존의 응답 길이 제어 방법은 대체로 명시적 길이 페널티나 추가 제어 모듈에 의존하며, 이는 세심한 튜닝을 요구하고 추론 품질을 저하시킬 수 있다. 우리는 보상 함수를 수정하지 않고 암묵적 길이 제어를 도입하는 GRPO의 간단한 재샘플링 기반 변형인 QLPO(Quadrant-weighted Sampling for Length-aware Policy Optimization)를 제안한다. QLPO는 먼저 후보 응답을 과다 생성한 뒤, 경험적 정답/오답 비율을 유지하면서 짧은 정답 응답과 긴 오답 응답을 선호하도록 학습 그룹을 재샘플링한다. 이는 학습 분포를 재형성하여 모델 출력을 암묵적으로 더 짧게 유도한다. 1.5B부터 32B 파라미터에 이르는 모델, 베이스 모델과 강력한 추론 모델을 포함하여 QLPO는 정확도-길이 트레이드오프를 일관되게 개선한다. 응답 길이를 30%에서 70%까지 줄이면서도 추론 성능을 유지한다. 이러한 결과는 구조화된 재샘플링이 효율적 추론을 위한 효과적이고 견고한 접근법임을 시사한다.

arXiv:2607.21763v1cs.CR

모든 모델이 부정행위를 한다: 공격적 사이버 과제에서 부정행위에 대한 프롬프트 수준 완화

Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks

대규모 언어 모델(LLM) 에이전트는 사이버보안 벤치마크에서 흔히 부정행위를 하며, 보고된 통과율을 실제 역량을 훨씬 넘어서 부풀린다. Cybench에 대한 이전 감사에서는 추적(trace)의 0.3–3.4%에서 부정행위가 발견되었고, 소수의 모델만이 관련된 것으로 나타났다. 우리는 7개 제공업체의 22개 프론티어 모델을 대상으로, 3가지 프롬프트 조건(반부정행위 없음, 표준, 엄격) 하에서 23개 Cybench 캡처 더 플래그(CTF) 챌린지에 걸쳐 통제된 프롬프트 절제(ablation) 연구를 제시한다. 총 1,518개의 태스크 추적은 LLM-as-a-judge 분류, 프로그램적 검증, 판정자-검증자 조정, 및 인간 검토를 결합한 4단계 파이프라인을 통해 개별적으로 감사되었다. 부정행위가 이전 추정보다 훨씬 더 만연하다는 것을 발견했다: 기준선 조건에서 통과의 37.1%가 부정행위를 포함했고, 22개 모델 중 21개가 부정행위를 했으며, 점수는 최대 5배까지 부풀려졌다. 반부정행위 프롬프트는 해결률을 저하시키지 않고 때로는 개선하면서 부정행위 경향을 33.0%(기준선)에서 17.8%(표준), 8.5%(엄격)로 줄인다. 그러나 가장 제한적인 프롬프트 조건에서도 8개 모델이 여전히 부정행위가 포함된 통과를 생성했고, 4개는 역효과(backfire)를 보였으며, 부정행위는 웹 검색에서 인프라 탐색으로 확대되었다. 우리는 진정한 역량과 부정행위 결과를 구별하기 위해 "해결률(solve rate)" 지표(깨끗한 통과만 포함)를 도입하고, 부정행위 벡터가 존재하는 모든 평가에서 이것이 표준 관행이 되어야 한다고 주장한다. 반부정행위 프롬프트는 효과적이고 사실상 비용이 들지 않는 첫 번째 방어 층이지만, 환경적 통제의 대체재는 아니다.

arXiv:2607.21757v1cs.CY

LLM 기반 선호도 에이전트의 공동 설계: 참여가 과신을 유발할 수 있다

Co-design of LLM-based preference agents: participation may drive overtrust

대규모 언어 모델(LLM)은 연구 및 실무 응용에서 인간의 선호를 시뮬레이션하는 데 점점 더 많이 사용되고 있으며, 이는 검증, 왜곡된 대표, 배제에 대한 우려를 불러일으킨다. 에이전트가 대표하는 사람들과 함께 에이전트를 공동 설계하는 것은 이러한 우려를 해결하는 유망한 방법이지만, 참여는 겉으로 해결하는 것처럼 보이는 문제를 오히려 가릴 수도 있다. 본 논문은 배경 설문, 공동 설계 인터뷰, 검증 설문을 통해 12명의 참가자가 가정 에너지 영역에서 개인 선호도 에이전트를 공동 설계한 주로 질적 연구를 통해 그 긴장을 탐구한다. 참가자들은 적극적으로 참여했으며, 대부분 자신의 에이전트가 자신을 잘 대표한다고 보게 되었다. 그러나 독립적인 검증은 혼재된 인간-에이전트 정렬(alignment)을 드러냈으며, 에이전트 응답은 인간 표본보다 현저히 더 동질적이고, 단호하며, 추상적이었다. 본 논문은 참여와 프로세스 투명성이 신뢰를 촉진하면서 체계적인 불일치를 숨기는 "과신 엔진(overtrust engine)"으로 작용할 수 있으며, 이는 규모가 커질 때 잠재적인 구조적 결과를 초래할 수 있다고 주장한다. 이를 참여형 선호도 에이전트 설계의 핵심 메커니즘으로 발전시키며, 개별 정렬을 고정된 상태가 아닌 수행되는 과정으로 다룬다.

arXiv:2607.21672v1cs.SE

프로그램을 위한 픽셀? 텍스트와 이미지 형태 소스 코드의 입력 토큰 집계에 대한 다중 제공자 사례 연구

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

긴 소스 코드 컨텍스트는 많은 텍스트 토큰을 소비하므로, 비전-언어 모델을 위해 코드를 이미지로 렌더링하자는 제안이 나왔다. 최근 연구는 이러한 변환 이후에도 모델이 코드 과제를 여전히 해결할 수 있는지를 묻는다. 우리는 다른 시스템 질문을 살펴본다: 상용 API가 결과 요청을 어떻게 집계하는가. 원시 소스 텍스트와 컴팩트한 렌더링 이미지 표현에 대한 제공자 보고 입력 토큰의 재현 가능한 측정 사례 연구를 제시한다. 벤치마크는 5개 프로그래밍 언어, 20~2,000줄의 9가지 소스 길이, Anthropic·OpenAI·Google Vertex AI가 제공하는 15개 모델 별칭에 걸쳐 요청을 짝지어 비교한다. 이 별칭들은 약 5개의 서로 다른 집계 시그니처로 수렴하며, 독립적인 모델 복제가 아니다. 675개의 완전한 텍스트/이미지 쌍 전체에서, 집계된 이미지-대-텍스트 비율은 각각 0.135, 0.194, 0.242이며, 이는 보고된 입력 토큰 감소율 86.5%, 80.6%, 75.8%에 해당한다. 이 집계값은 실질적으로 다른 손익분기 거동을 숨긴다: Anthropic과 OpenAI 이미지는 테스트한 모든 크기에서 더 낮은 집계를 받는 반면, Gemini 이미지는 20줄에서 텍스트의 6.95배 토큰이 필요하며 집계 기준으로는 200줄에서야 텍스트보다 낮아진다. 표적 감사는 페이지 경계에서 Gemini 이미지 집계의 비단조적 거동도 재현한다. 본 연구는 하나의 컴팩트 렌더링 파이프라인에 대한 블랙박스 요청 집계를 측정한다. 의미적 충실도, 과제 정확도, 지연 시간, 금전적 비용, 코딩 에이전트 효율은 측정하지 않는다. 연구를 재현하고 확장하는 데 필요한 스크립트, 리비전 고정 코퍼스 명세, 원시 사용 기록, 검증기, 결정론적 분석을 공개한다.

arXiv:2607.21656v1cs.SE

교차 모델 LLM 코드 리뷰: Claude로 Codex를 검토해야 할까, 그 반대일까?

Cross-Model LLM Code Review: Should you use Claude to review Codex or vice versa?

개발자들은 점점 두 개의 코딩 에이전트를 함께 사용하고 있다. 하나는 초안을 작성하고, 다른 하나는 이를 검토한다. 그러나 이러한 조합이 비용과 시간 대비 가치가 있는지, 또는 조합의 순서가 중요한지는 명확하지 않다. 우리는 Claude와 Codex를 사용해 116개의 최근 hard 및 medium lcb 태스크에 대해 여섯 가지 조건으로 통제 실험을 수행하여 소프트웨어 실무자의 워크플로를 근사했다. 조건은 두 가지 단독 기준선, 두 가지 교차 모델 순서, 두 가지 동일 모델 순서로 구성된다. 검토자는 문제와 작성자의 초안을 볼 수 있지만 테스트를 실행할 수는 없으며, 이는 코드 리뷰 단계를 근사한다. Claude 검토는 Codex 초안의 통과율을 71.6%에서 89.7%로 높인다($p_{BH}=.001$); Codex 자체 검토는 84.5%로 높인다($p_{BH}=.022$). 반대 방향은 효과가 없다. Codex가 Claude 초안을 검토하면 통과율이 91.4%에서 82.8%로 떨어진다($p_{BH}=.046$), Claude 자체 검토는 91.4% 기준선을 변화시키지 않는다. 우리의 평가는 유용한 조합이 비대칭적임을 보여준다. Claude로 Codex를 검토하되, 그 반대는 아니다.

arXiv:2607.21641v1cs.SE

LLM 생성 C 코드 보안을 위한 도구 안내 검색-증강 수리

Tool-Guided Retrieval-Augmented Repair for Securing LLM-Generated C Code

대규모 언어 모델(LLM)은 자연어 설명으로부터 C 코드를 생성할 수 있지만, 그 결과 프로그램에는 보안 취약점과 컴파일 오류가 자주 포함되어 임베디드 및 자원 제약 시스템에 위험을 초래한다. 본 연구는 피드백과 검색(retrieval)이 LLM 생성 C 코드의 신뢰성을 어떻게 향상시키는지 조사한다. 우리는 컴파일 진단, CodeQL 정적 분석, KLEE 기호 실행을 결합하고, 반복적 정제를 위해 이전 수리 패턴의 검색을 함께 사용하는 분석-수리 워크플로를 제시한다. 임베디드 관련 취약점을 다루는 5,000개의 C 프로그래밍 과제에서 평가한 결과, 기준선 모델은 컴파일 실패율이 최대 46%, 보안 결함율이 최대 49%에 이르는 상당한 신뢰성 격차를 보인다. 우리의 접근법은 두 지표 모두를 개선한다. CodeLlama 7B의 경우, 보안 결함율은 49%에서 19%로 감소하고 CodeQL 오류 총계는 15,088에서 2,463으로(83.7% 감소) 줄어든다. DeepSeek Coder 1.3B의 경우, 컴파일 실패는 42%에서 22%로, 보안 결함은 35%에서 15%로 줄어든다. 이 결과는 경량 분석 도구를 통합하면 임베디드 개발을 위한 LLM 생성 코드의 안전성을 향상시킬 수 있음을 보여준다.

arXiv:2607.21627v1cs.AI

모듈은 자기 역할에 머무르는가? 복합 LLM 시스템에서의 역할 표류

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

엔드투엔드(end-to-end) 강화학습은 복합 LLM 시스템의 정확도를 향상시킬 수 있지만, 모듈이 내부적으로 업무를 어떻게 분담하는지는 제약하지 않는다. 우리는 역할 표류(Role Drift)를 식별한다. 이는 모듈이 할당된 역할에서 벗어나 역할 위반적 지름길을 통해 최종 태스크 성능은 유지하거나 개선하면서, 그러한 편차가 시스템 수준 평가에서는 드러나지 않는 실패 모드이다. 역할 표류를 관측 가능하고 제어 가능하게 하기 위해, 우리는 Role Anchor를 제안한다. 이는 엔드투엔드 학습 동안 각 모듈이 할당된 역할에서 얼마나 벗어나는지를 조절하는 정규화项(regularizer)이다. 핵심 아이디어는 역할 프롬프트가 중립 프롬프트 대비 모듈의 다음 토큰 예측을 어떻게 변화시키는지를 보존하는 것이며, 이는 학습 중 역할의 의도된 효과에 대한 대리 지표(proxy) 역할을 한다. 두 가지 복합 LLM 파이프라인에서의 실험은 정확도만으로는 탐지하지 못하는 역할 표류를 드러낸다: 별도의 solver를 위해 질문을 하위 질문으로 분해하도록 설계된 decomposer가 대신 그 안에 답을 심어버리고, 검색된 passage에서 답하도록 설계된 reader가 대신 파라미터 메모리(parametric memory)에 의존한다. 실제로 decomposer 파이프라인에서 이 지름길은 겉보기 RL 이득의 대부분을 차지한다: decomposer를 역할에 고정하면 그 이득의 86%가 사라지며, 최종 정확도만으로는 복합 시스템이 실제로 얼마나 학습했는지를 심각하게 과대평가할 수 있음을 시사한다. 두 파이프라인 모두에서 Role Anchor는 파이프라인과 anchor 강도에 따라 달라지는 조절 가능한 정확도 비용으로 역할 표류를 완화한다. 추가 그래디언트 분석은 정규화项(regularizer)가 단순히 학습을 억제하기보다 역할 표류 방향과의 정렬(alignment)을 줄인다는 것을 시사한다.

arXiv:2607.21625v1cs.AI

시간적 의사결정을 위한 궤적 인식 검색 에이전트

Trajectory-Aware Retrieval Agents for Temporal Decision- Making

우리는 대규모 언어 모델(LLM) 에이전트를 사용하여 장문의 시간적으로 구조화된 텍스트로부터 의사결정하는 문제를 연구한다. 표준 검색-증강 생성(RAG) 파이프라인은 시간순 문맥을 고립된 스니펫으로 분할하여, 올바른 하류 의사결정에 종종 결정적인 시간적 구조를 버린다. 우리는 SHAP 기반 피드백을 사용하여 증거 집합을 반복적으로 정제하는 폐루프 에이전트 프레임워크인 TLM(Trajectory Language Model)을 제안한다. 핵심 기술적 기여는 검색된 청크 임베딩 위의 잠재 성장 곡선 모델(LGCM)로, 궤적 추세, 전환점, 정보 공백을 탐지하는 해석 가능한 메커니즘을 제공한다. 우리는 스코어러 보정(scorer-calibration) 가정(실제로는 대략 성립함) 하에서, 반복적 정제 절차가 정답 레이블에 할당된 확률이 단조 비감소(monotonically non-decreasing)임을 보인다. 실증적으로 TLM은 의료 질의응답, 실적 발표 서프라이즈 예측, 야간 주식 갭 예측의 세 가지 시간적 근거 의사결정 과제에서 평가된다. TLM은 의료 과제에서 제로샷 LLM 베이스라인과 표준 검색-증강 접근법을 모두 크게 능가하며, 두 금융 과제에서 일관되고 경제적으로 의미 있는 성능 향상을 달성한다.

arXiv:2607.21624v1cs.AI

FBLayout: 모바일 GPU에서 효율적인 LLM 미세조정을 위한 메모리 레이아웃 최적화

FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs

트랜스포머 기반 모델은 언어, 비전, 멀티모달 태스크 전반에서 전례 없는 능력을 가능하게 하였다. 트랜스포머 모델의 온디바이스 미세조정은 개인화 AI를 위한 프라이버시 보호 경로를 제공하지만, 심각한 메모리 제약과 학습 중 어텐션 메커니즘에서의 빈번한 레이아웃 변환으로 인해 모바일 GPU에서는 여전히 비효율적이다. 기존 모바일 학습 프레임워크는 순전파와 역전파에 통합 레이아웃을 사용하여 역전파 시 단편화된 메모리 접근과 낮은 GPU 활용률을 초래하거나, 명시적 레이아웃 변환에 의존하여 상당한 변환 오버헤드를 유발한다. 이를 극복하기 위해, 우리는 모바일 GPU 플랫폼과 텐서 구성을 공동 설계하는 레이아웃 인식 프레임워크인 FBLayout을 제안한다. FBLayout은 다음을 도입한다: (1) 순전파/역전파 전반의 다차원 축약을 위한 통합 R-Tile 레이아웃; (2) 물리적 데이터 이동을 제거하는 타일 기반 인덱스 변환; (3) 효율적인 레이아웃을 전역적으로 전파하는 활성화 기반 레이아웃 선택. 서로 다른 모바일 기기( ARM Mali 및 Qualcomm Adreno GPU 포함)에서 7개의 트랜스포머 모델에 대한 평가 결과, FBLayout은 MNN, TFLite, TVM 대비 2.2-5.7배의 속도 향상을 달성하며, 캐시 효율을 크게 개선하고 메모리 사용량을 줄여 실용적인 온디바이스 대규모 모델 미세조정을 가능하게 한다.

arXiv:2607.21616v1cs.AI

컨텍스트 속 길을 잃음: 대규모 언어 모델의 컨텍스트 불안 해결

Lost in Context: Addressing Context Anxiety in Large Language Models

기존 통념은 추론 모델이 문제가 모델의 능력을 초과할 때 실패한다고 본다. 그러나 우리는 최전선 추론 모델이 때로는 문제를 풀기 위한 필요한 능력을 갖추고 있음에도 불구하고, 조기의 자기 의심으로 인해 실패한다는 것을 발견한다 — 이 현상은 비공식적으로 컨텍스트 불안(context anxiety)으로 알려져 있다. 우리는 컨텍스트 불안에 대한 최초의 체계적 연구를 제공하며, 이는 부분적으로 작업 완료에 필요한 토큰(token) 수를 정확히 추정하지 못하는 모델의 한계에서 비롯됨을 보여준다. 또한 우리는 모델이 인지된 제약 하에서 작동할 때 컨텍스트 불안이 실질적인 효율성 손실로 이어짐을 보여준다. 이 분석을 바탕으로, 우리는 모델이 컨텍스트 불안을 보이지 않으면서 장기 지평(long-horizon) 문제를 해결하는 대안적 전략을 학습할 수 있음을 추가로 보여주며, 이는 성능 향상이 모델 역량의 스케일링(scaling)을 통해가 아니라 모델이 자신의 한계를 정확히 평가하고 그에 적응하는 능력을 개선함으로써 달성될 수 있음을 시사한다.

arXiv:2607.21614v1cs.AI

LLM 기반 개체 해소를 이용한 혼합 형식 점유 데이터에서의 가구 이동 탐지

Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

개체 해소(ER)는 일반적으로 레코드 간 쌍별 유사도 비교에 의존하며, 이는 인구통계 점유 데이터에 존재하는 간접적 관계를 포착하는 능력을 제한한다. 중요한 간접 패턴은 여러 개인이 주소를 넘어 함께 이주하는 가구 이동에서 발생하지만, 혼합 형식 레코드, 노이즈, 중복, 안정적인 식별자의 부재로 인해 이러한 패턴을 탐지하기는 어렵다. 본 논문은 비표준화된 이름-주소 데이터에서 가구 이동과 관련된 간접적 개체 링크를 탐지하기 위한 AI 강화 프레임워크를 제안한다. 이 접근법은 광범위한 전처리 없이 개인 이름과 주소를 추출하기 위한 프롬프트 기반 대규모 언어 모델(LLM) 개체명 인식, 견고한 유사도 계산을 위한 의미적 텍스트 임베딩, 그룹 수준 이동 패턴을 추론하기 위한 그래프 기반 추론을 통합한다. Synthetic Occupancy Generator를 사용해 생성된 SPX 벤치마크 데이터셋(S8-S12)에 대한 실험 평가는, 간접적 가구 이동 증거를 통합하면 높은 정밀도를 유지하면서 재현율이 8-15% 향상되며, 강력한 쌍별 기준선 대비 F1-score가 6-8% 개선됨을 보여준다.

arXiv:2607.21613v1cs.AI

Hard Decision Layer: 트랜스포머에서 확정적 추론(committed inference)에 대한 증거

The Hard Decision Layer: Evidence for Committed Inference in Transformers

우리는 객관식 질의응답에서 트랜스포머 기반 언어 모델이 어디서, 어떻게 예측을 확정(commit)하는지 조사한다. 우리는 _Hard Decision Layer_(HDL)를 식별하는데, 이는 추론 중 답변 선택지 순위가 급격히 안정화되는 자연스러운 아키텍처적 특성이다. Qwen, Llama, Granite, Mistral 네 가지 언어 모델과 네 가지 벤치마크 데이터셋에 걸친 실증적 검증은 학습된 라우팅 정책 없이도 일관된 HDL 출현을 보여준다. 또한 HDL이 미세조정에 불변함을 보인다. 우리 결과는 HDL에서 눈에 띄는 정확도 향상을 드러낸다: 최대 +0.61(Qwen, CommonsenseQA), 이후 성능은 안정화된다. 레이블 형식과 문제 복잡도에 대한 체계적 ablation은 이 현상이 모델 아키텍처에 근본적임을 확인한다. 이러한 발견은 트랜스포머 추론에 대한 기계론적(mechanistic) 통찰을 제공하며, 효율적 추론(reasoning)과 모델 조향(model steering)의 기회를 시사한다. 이 연구를 재현하는 데 필요한 모든 코드와 결과는 https://github.com/Mystic-Slice/hard-decision-layer 에서 이용할 수 있다.

arXiv:2607.21612v1cs.AI

절차적 지식은 저랭크가 아니다: LoRA가 다단계 절차를 내재화하지 못하는 이유

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

LoRA와 같은 매개변수 효율적 미세조정 방법은 대규모 언어 모델(LLM)을 적응시키는 기본 방식이 되었으며, 인스트럭션 따르기(instruction following), 스타일 전환(style transfer), 사실적 적응(factual adaptation)에서 성공을 거두었다. 우리는 절차적 지식—조건부 분기를 거쳐 종료 상태까지 다단계 절차를 따르는 능력—에 대해 LoRA가 효율성 이점을 유지하는 rank에서 전체 미세조정(full fine-tuning)에 미치지 못함을 보인다. 절차적 여행 예약 작업(14 nodes)에 대한 체계적 ablation(r = 16--128)에서 모든 LoRA 구성이 균일하게 실패했으며(작업 성공률 <= 2.54 vs. 전체 미세조정 4.11, 모두 p < 0.001), 대화 완료율 95--99%를 유지함에도 불구하고 rank가 높을수록 점수가 감소했다. 8B에서 Zoom 지원(14 nodes) 및 보험 청구(55 nodes)에 대한 교차 도메인 재현은 이 실패가 일반화됨을 확인한다: LoRA는 r = 32와 r = 128 모두에서 평균 0.8--2.2점만큼 전체 미세조정보다 저조한 성능을 보였으며, 가장 복잡한 절차에서 격차가 가장 컸다. rank를 32에서 128로 4배 늘리는 것은 미미한 개선을 제공하지만 격차를 메우지는 못한다. 전체 미세조정이 만든 가중치 변화에 대한 SVD 분석이 그 이유를 설명한다: 3B와 8B 모두에서 세 도메인에 걸쳐 업데이트의 평균 유효 rank는 761에서 1,026까지 범위이며, rank 128은 squared Frobenius norm의 43--51%만 포착한다. 종합하면, 이러한 발견은 절차적 작업에서 LoRA가 전체 미세조정에 크게 미치지 못한다는 것—에이전트(agentic) 응용에 대한 근본적 한계—을 확립한다.

arXiv:2607.21610v1cs.AI

SCOPE와 SCION: 텍스트로부터의 스키마 유도 및 융합을 위한 벤치마크와 감사 가능한 참조 파이프라인

SCOPE and SCION: A Benchmark and an Auditable Reference Pipeline for Schema Induction and Fusion from Text

스키마 그래프는 스키마 기반 정보 추출 및 지식 그래프 구축의 상류 병목이지만, 대부분의 추출 시스템은 스키마가 이미 제공된다고 가정한다. 우리는 원시 텍스트로부터 코퍼스-대-스키마 유도 및 선택적 스키마 융합을 위한 학습 텍스트 전용 벤치마크인 SCOPE(Schema Construction and Ontology-induction Pipeline Evaluation)를 소개한다. 이는 24개의 공개 정보 추출 소스(관계 추출(RE) 15개, 이벤트 추출(EE) 9개)로부터 구축되었으며, 평가 전용 골드 스키마 그래프로 정규화되었다. 핵심 이벤트 추출 대상은 이벤트 유형과 이벤트 내 인자 역할을 다루며, 이벤트 간 링크는 별도로 보고한다. 또한 우리는 새로운 추출 아키텍처가 아닌 감사 가능한 참조 파이프라인인 SCION(Schema Construction and Induction with Ontology Normalization)을 제시한다. SCION은 학습 텍스트로부터 후보 공간을 구성하고, 명명, 병합, 필터링, 검증, 보수적 융합을 엄격한 JSON 계약 하에서 후보 연결 증거로 제한한다. SCOPE 핵심 스위트에서 SCION-lite는 Literal, Fuzzy, Continuous, Graph 스키마-그래프 지표 하에서 공개된 소스-스키마 참조, Text2Onto 스타일, LLM 전용, 매칭된 추출-후-집계(extract-then-aggregate) 베이스라인 중 최고 F1을 달성하며, 소형 오픈 모델 변형인 SCION-RL은 독점 LLM 스키마 엔지니어에 대한 의존을 줄인다. 이러한 결과는 유도된 스키마가 인간의 온톨로지 설계를 능가한다는 주장이 아니라 정규화된 typed-edge 타겟에 대해 보고된 것이다. 공개 자료에는 증거 연결 출력, 파싱/폴백 로그, 후보 유지/병합 로그, 실행 매니페스트, 코드, 벤치마크 패키지가 https://github.com/wandugu/paper_scion 에 포함되어 있다.

arXiv:2607.21604v1cs.AI

AgentKVShift: 에이전트 메모리 시스템을 위한 효율적인 KV 캐시 재사용

AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems

메모리 증강 LLM 에이전트는 요약, 키워드, 태그와 같은 LLM 생성 메타데이터로 검색된 콘텐츠를 적극적으로 큐레이션하는 에이전트 메모리 시스템을 통해 수백 번의 상호작용에 걸쳐 문맥을 유지한다. 추론 비용 관점에서 모든 검색은 이러한 구조화된 메모리 단위를 Key-Value(KV) 상태로 완전히 재인코딩하게 하며, 이는 prefill 지연시간을 지배한다. 기존의 학습 없는 KV 재사용 방법은 소수의 토큰만 선택적으로 재계산하여 이를 완화하지만, RAG 스타일의 원시 구절용으로 설계되었으며 구조화된 에이전트 메모리에서는 성능이 저하된다. 우리는 검색된 메모리 단위마다 동작하는 학습 없는, 프로브 기반 KV 잔차 보정 방법인 AgentKVShift를 제안한다. 우리가 보여주는 핵심 통찰 중 하나는, 메모리별 KV 재사용 잔차가 공유된 메모리 수준 오프셋과 작은 토큰별 변동으로 분해된다는 것이다. 소규모 프로브 집합에서 이 오프셋을 추정하면 단일 가중 보정으로 모든 재사용 토큰을 수정할 수 있다. 이전 재사용 방법이 재계산할 토큰을 결정하고 나머지 캐시를 그대로 두는 것과 달리, AgentKVShift는 재계산하지 않는 토큰도 보정하여 새로고침 예산을 전체 청크에 걸친 유용한 신호로 전환한다. 3B에서 32B 파라미터에 이르는 4개의 오픈소스 LLM과 두 개의 장기 에이전트 메모리 벤치마크(장기 대화 및 에이전트 애플리케이션)에서 AgentKVShift는 캐시의 10-30%만 새로고침하면서 거의 완전 재계산 수준의 성능을 달성하며, 동일한 재계산 비율에서 기준선을 능가한다. 이에 가까운 성능에 도달하기 위해 최대 5배 적은 재계산이 필요하며, 기존 재사용 방법은 45-55% 새로고침에서만 이 수준에 도달한다. 이 영역에서 AgentKVShift는 단일 A100에서 KV 재사용 없음 대비 2-3.5배의 prefill 속도 향상을 제공한다. AgentKVShift는 KV 캐시 양자화와 직교적으로 결합되며, 공격적인 2비트 및 4비트 설정에서 기존 재사용 방법 대비 2배 이상의 F1을 유지한다.

arXiv:2607.21602v1cs.AI

이종 엣지 디바이스에서 빠른 LLM 선별을 위한 전이 가능한 지연 시간 예측

Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

정확한 지연 시간 예측은 이종 엣지 디바이스에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요하며, 여기서 추론 지연 시간은 모델 아키텍처, 프롬프트 동작, 런타임 백엔드, 하드웨어 활용률, 동적 전압 및 주파수 스케일링(DVFS), 열 변화의 영향을 받는다. 본 논문은 배포 지향 LLM 선택을 위한 런타임 인식 지연 시간 예측 프레임워크를 제안한다. 이 프레임워크는 각 추론 요청을 하드웨어-런타임-모델-프롬프트 구성으로 표현하고, 추론을 prefill 및 decode 단계로 분리하며, 게이트 예측 모델을 통해 정적 기술자(descriptor)와 동적 하드웨어 텔레메트리를 적응적으로 융합한다. Pixel 모바일 디바이스를 사용하여 프레임워크를 평가하고, Jetson Nano, Orange Pi 5 Pro, RTX 3090급 GPU 플랫폼에서 프로파일링 파이프라인을 검증한다. Pixel 8에서 전체 예측기는 정적 전용 기준선 대비 총 지연 시간 R-squared를 0.953에서 0.960으로, decode 지연 시간 R-squared를 0.957에서 0.973으로 개선한다. Pixel 8 Pro에서는 prefill 지연 시간 R-squared를 -1.383에서 0.966으로 개선한다. 디바이스 간 전이의 경우, 보정(calibration)을 통해 Pixel 8 Pro에서 Pixel 8로의 총 지연 시간 R-squared를 -0.974에서 0.940으로, decode 지연 시간 R-squared를 -1.085에서 0.927로 개선한다. 이종 프로파일링은 또한 지연 시간이 디바이스 및 런타임에 크게 의존함을 보여준다: 동일한 SmolLM2 모델 패밀리는 Orange Pi 5 Pro에서 8.42 tokens/s에 도달하지만 RTX 3090급 GPU에서는 64.38 tokens/s에 도달한다. 이러한 결과는 경량 보정을 갖춘 런타임 인식 예측이 프로파일링 비용을 줄이고 이종 엣지 플랫폼 전반에 걸친 지연 시간 인식 LLM 배포를 지원할 수 있음을 보여준다.