PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22497v1cs.AI

인공 숙의 군중의 지혜

The Wisdom of Artificial Deliberative Crowds

많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.

arXiv:2609.22478v1cs.AI

호스팅 LLM에서 지속성 없는 재현: 행동 시점 믿음 평가의 측정 민감도

Replication Without Persistence in Hosted LLMs: Measurement Sensitivity in Action-Time Belief Evaluation

호스팅 언어 모델의 행동 평가는 실행마다 평가 대상 서비스, 측정 도구, 또는 둘 모두가 달라질 수 있어 결과가 달라질 수 있다. 우리는 세 가지 검증 질문을 구분한다. 과거 구성 아래 신선한 데이터에서 선행 발견이 재발하는지(재현(replication)), 동일 식별자 아래 평가-추론 구성을 재구축할 때 종점(endpoint)이 바뀌는지(측정 민감도(measurement sensitivity)), 하나의 공통 도구 아래 이후에 시험한 식별자들에 걸쳐 발견이 지속되는지(지속성(persistence))이다. Regent Chess라는 순차 환경(environment)에서 이 질문들을 연구한다. 이 환경에서는 숨겨진 가변 상태가 정확히 기록되어, 행동 시점(action time)에 진술된 믿음(stated beliefs)을 그라운드 트루스(ground truth)에 대해 채점할 수 있다. 양의 종점 값은 matched-uniform 비교군(comparator)보다 성능이 더 나쁨을 의미한다. 이전에 보고된 Gemini 3.1 Flash-Lite 결함(deficit)은 과거 구성 아래 신선한 게임에서 재발한다(+0.0530, 95% CI [+0.0329,+0.0714]). 동일한 공개 식별자 아래 같은 날 연속(back-to-back) H/R 비교에서, 재구축된 구성 아래 model-minus-uniform 종점은 0.0429 더 낮다(H-minus-R 대비의 95% CI [+0.0182,+0.0667]). 여섯 구성 요소가 모두 공동으로 변하므로 어떤 요소도 고립(isolate)되지 않는다. 재구축된 R 아래, 사전에 고정(frozen)된 interleaved same-window 4K 비교는 릴리스와 제품 tier가 다른 식별자인 Gemini 3.1과 Gemini 3.7 사이에서 부호가 뒤집힌다. 추가 서술적·탐색적 셀에서도 동일한 방향 패턴이 나타난다. 추가적인 serving-period 기여는 여전히 미확정이다(-0.0166, [-0.0483,+0.0157]). 따라서 재현, 측정 민감도, 지속성은 하나의 평가 안에서 서로 다른 결론을 낼 수 있으며, 이는 호스팅 모델의 행동 주장을 시험한 식별자, serving period, 측정 도구, 추론 구성으로 명시적으로 색인(indexing)할 필요를 부른다.

arXiv:2609.22476v1cs.SE

송전망 운영자 제어실 의사결정 지원을 위한 거버넌스 인식 대규모 언어 모델 오케스트레이션 에이전틱 디지털 트윈

A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support

송전망 운영자(TSO)는 재생에너지 연계, 관성 감소, 더욱 엄격해진 보안 여유도로 인해 증가하는 복잡성에 직면해 있습니다. 대규모 언어 모델(LLM)은 자연어 기반 의사결정 지원을 제공하지만, 환각(hallucination), 통제되지 않는 도구 사용, 미흡한 추적성은 제어실의 요구사항과 상충합니다. 본 논문에서는 송전망 제어실을 위한 거버넌스 인식 에이전틱 디지털 트윈을 제시합니다. 대규모 언어 모델은 화이트리스트에 등록된 분석 도구만 선택하고 파라미터를 지정하며, 제안된 모든 동작은 모델이 우회할 수 없는 거버넌스 층을 통과합니다. 이 층은 매 실행마다 네 가지 규칙을 강제합니다. 화이트리스트에 등록된 도구만 실행됩니다. 어떤 실행도 단계 예산(step budget)을 초과하지 않습니다. 부작용(side effect)이 있는 동작은 운영자의 명시적 승인 없이는 실행되지 않습니다. 답변의 모든 숫자는 단위, 변수, 시점과 함께 백엔드 결과로부터 해당 층에 의해 렌더링됩니다. 이 규칙들은 그리스 송전망의 디지털 트윈 상에서 분석, 시뮬레이션, 다단계 워크플로, 12개 계열의 적대적 입력을 다루는 공개된 118개 작업 벤치마크의 모든 실행에 대해 영구 감사 추적(audit trail)을 통해 검증됩니다. 기본 모델의 590회 실행 전반에서 도구 선택은 96.5%, 작업 성공률은 93.7%에 달했으며, 네 가지 규칙 모두 예외 없이 유지되었습니다. 4개의 대규모 언어 모델에 걸쳐 총 1,416회 실행된 별도의 3회 반복 연구에서도 해당 규칙들은 매 실행마다 유지되었으며, 약 95% 하한은 99.8%였습니다. 해당 층을 제거하자 동일한 모델이 승인이 필요한 45회의 실행을 모두 승인 없이 실행했으며, 백엔드 기반 숫자를 포함한 답변은 39.2%에 불과했습니다. 규칙 강제에 소요되는 비용은 요청당 12~16밀리초입니다.

arXiv:2609.22475v1cs.AI

목표 기반 변형 범주화

Goal-driven Variant Categorization

프로세스 발견(process discovery)은 드물게 단일의 일관된 프로세스 구조를 산출한다. 분석을 위해 일반적인 단계는 구조적 유사성에 기반하여 프로세스 변형을 클러스터링한 뒤, 그렇게 얻은 그룹에 비즈니스적 의미를 부여하는 것이다. 이러한 분할은 조직의 목표에서 도출된 것이 아니므로, 분석가는 변형을 수동으로 해석하고 비즈니스적으로 의미 있는 범주로 통합해야 한다. 변형의 수와 복잡성이 커질수록 이 판단 집약적 단계는 점점 더 어려워진다. 본 논문에서는 이러한 워크플로를 뒤집는 목표 기반 변형 범주화 접근법을 제안한다. 먼저 범주화 축을 사전에 정의하는 조직의 목표 모델(goal model)을 작성한다. 각 변형은 그 동작을 설명하는 텍스트 서술로 변환되고, 대규모 언어 모델(LLM)이 목표 모델의 맥락에서 이를 해석하여 변형을 가장 적절한 범주에 할당한다. LLM 기반 의미론적 추론은 저수준 프로세스 동작과 분석가가 정의한 비즈니스 목표를 연결한다. 이 접근법을 종단(end-to-end)으로 구현하고, 규모와 행동 다양성에서 실질적으로 다른 세 개의 공개 로그에 대해 평가한다. 목표 모델 가이던스는 무방향 귀납(unguided induction)으로 생성된 분할과 다른 분할을 산출하며, 선언된 대안에 대한 통제된 수정에 반응하지만, 목표 모델을 작성해야 한다는 비용이 따른다.

arXiv:2609.22285v1cs.RO

ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크

ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI

연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.

arXiv:2609.22161v1cs.AI

교과서적 지식인가 임상 사례인가? 데이터 유형이 의료 대규모 언어 모델을 형성하는 방식

Didactic knowledge or Clinical Cases? How Data Types Shape Medical Large Language Models

의료 대규모 언어 모델(Medical LLM)은 흔히 교육용(didactic) 데이터(예: 교과서)와 임상(clinical) 데이터(예: 환자 기록)를 혼합하여 학습하지만, 이러한 데이터 유형이 모델 역량을 어떻게 다르게 형성하는지는 여전히 불분명하다. 우리는 교육용 대 임상 비율을 바꾸는 토큰(token) 매칭 실험으로 이 문제를 다루고, 데이터 구성이 지식 집약형 및 임상 지향 과제 전반에서 성능, 역량 프로필, 오류 패턴에 어떤 영향을 미치는지 분석한다. 과제 유형 간 비대칭적 전이를 밝힌다: 임상 데이터는 임상 지향 과제를 개선하면서 지식 집약형 과제에서도 경쟁력을 유지하는 반면, 교육용 데이터는 주로 지식 집약형 과제를 개선한다. 오류 분석은 아는 것과 하는 것 간의 격차(knowing-doing gap)를 시사하며, 지식 회상의 개선이 임상 추론으로 일관되게 일반화되지 않는다. 또한 소량의 임상 데이터만으로도 EHR 기반 과제에서 대부분의 이득을 얻을 수 있음을 관찰했으며, 최적 혼합 비율은 하류 과제의 지식 및 임상 추론 요구에 따라 달라진다. 이러한 결과는 의료 LLM 데이터 큐레이션이 응용 주도적이어야 하며, 추론 집약형 사용 사례에서는 임상 데이터 비중을 더 높이는 것이 바람직함을 시사한다.

arXiv:2609.21677v2cs.AI

GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각

GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation

최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.

arXiv:2609.17637v2cs.AI

보이지 않는 것도 여전히 배우는 것: 증거 마스킹이 조합적 일반화를 이끈다는 사전등록 60-사회 확인

What You Can't See Is Still What You Learn: A Preregistered Sixty-Society Confirmation That Evidence Masking Drives Compositional Generalization

모듈이 읽을 수 있는 것을 제한하면 시스템이 계산하도록 학습하는 내용이 개선될 수 있다. 우리는 동결된 언어 모델 백본을 공유하고 학습된 연속 패킷으로 통신하는 60개의 4-셀 시스템을 사용한 사전등록 확인 연구에서 이를 검증한다. 다섯 가지 조건은 하나의 새로운 태스크 세계에서 여섯 개의 초기화 클러스터(각각 두 가지 데이터 순서)에 걸쳐 증거 마스킹, 소유권 마커, 외부 증거를 동일 토큰 길이의 중립적 필러(태스크와 무관한 텍스트)로 대체하는 방식을 변화시킨다. 두 체제 모두에서 마커를 사용할 수 있을 때, 마스킹은 보류된 2연산 및 3연산 조합에 대한 정확도를 중앙값 쌍별 차이 0.846 및 0.859만큼 개선했고, 12쌍 모두 필요한 여유를 넘겼으며, 전체 사전등록 행동 기준을 통과했다. 마커 없는 복제 실험도 통과했다. 마커가 있는 전역 가시성(G+) 시스템은 어느 것도 마커 추종 검사를 통과하지 못했으므로, 사용 가능한 역할 정보의 효과는 여전히 미결정이다. 필러 조건은 7명의 완전 일반화자를 산출했으나 분해 기준은 결론을 내리기에 불충분했다. 감사 대상 18개 마스킹 시스템 전체에서 패킷 개입은 적격 사례에서 예측된 중간값 변화를 따랐으나, 이러한 유한하고 성공 조건부 감사는 매개를 입증하지는 않는다. 결과는 검증된 마스킹 체제의 큰 이점을 확인하면서, 더 세밀한 귀속과 일반성은 열린 상태로 남긴다. 프로토콜, 결과, 체크포인트는 공개되어 있다.

arXiv:2609.17475v2cs.AI

JustFit: 로컬 LLM 서빙을 위한 적시 상태 관리

JustFit: Just-in-Time State Management for Local LLM Serving

로컬 에이전트는 모델 실행과 작업 이력을 위해 메모리가 필요하다. 우리는 겹치는 할당을 조율하는 MLX 런타임 JustFit을 제시한다. KVExec는 제한된 워크스페이스에서 4비트 KV를 실행하고 체크포인트하며, PhaseSwap은 단계 의존적 구성 요소를 로드하고, StateTrans는 실행 모드 간 이력을 보존한다. 24 GiB M4 Pro MacBook에서 Qwen3.8-27B MXFP4로 JustFit은 두 요청에 걸쳐 327,680개의 유지 위치에 도달하며, 이는 평가된 기준선의 단일 요청 기록 30,720 위치의 10.67배이다. 한 요청은 중앙값 5.986 tokens/s로 전체 262,144 위치의 네이티브 윈도우를 완료한다. 각 shape는 세 개의 새 프로세스에서 요청당 16,384 출력을 완료한다. B1은 cold build 1회와 접두 문맥 확장 2회를 사용하고, B2는 순서대로 된 접두 문맥 확장 3회를 사용한다(Section 4). 이미지 인코딩은 활성 196,608 입력 텍스트 요청을 유지한 채 진행할 수 있다. 통제된 반복 32K+6K 워크로드는 15,626 MiB에서 중앙값 18.284 tokens/s에 도달한다. 별도의 AIME 2026 평가에서는 29/30점을 기록한다. 실행과 상태 수명을 조율하면 개인 하드웨어에서 더 긴 이력을 다루는 것이 가능해진다.

arXiv:2609.15727v2cs.AI

LLM은 훌륭한 금융 사용자 시뮬레이터인가? 다중 관점 투자자 논리 정렬(MILA)

Are LLMs Good Financial User Simulators? Multi-view Investor Logic Alignment (MILA)

대규모 언어 모델(LLM)이 사용자 시뮬레이터로 점점 더 많이 활용되고 있지만, 모델의 예측이 개별 사용자의 변화하는 의사결정을 충실히 재현하는지는 여전히 불분명합니다. 본 연구에서는 80명의 참가자를 대상으로 한 통제된 종단적 모의투자 연구를 통해 이 질문을 조사하며, 롤링 익일 예측 프로토콜에 따라 사용자 상호작용, 모의 거래, 가상 포트폴리오 상태, 시점별 시장 정보를 정렬합니다. 거래 발생 여부부터 행동 구조, 자산 선택, 다운스트림 포트폴리오 결과에 이르기까지 행동 충실도를 계층적으로 평가합니다. 정렬된 1,239건의 사용자-일(user-days) 전반에 걸쳐, 평가 대상이 된 어떤 LLM도 사용자의 거래 여부를 예측하는 데 있어 단순한 최근 활동 지속성 기준선(baseline)을 안정적으로 능가하지 못했습니다. 더 미세한 수준에서는 충실도가 더욱 악화됩니다. 모델들은 매수-매도 구조와 거래된 자산을 복원하는 데 어려움을 겪으며, 유사한 활동 수준 예측이라 하더라도 상당히 다른 포트폴리오 궤적으로 이어질 수 있습니다. 통제된 증거 어블레이션 분석에 따르면 최근 거래 내역이 활동 예측을 강하게 지배하는 반면, 자산 선택은 활용 가능한 증거에 실질적으로 훨씬 더 민감한 것으로 나타났습니다. 관찰 분석에서는 특정 티커(ticker)에 대한 집중적인 조사가 임박한 거래를 예측하지만, 진단 테스트 결과 인과적 해석은 지지되지 않는 것으로 나타났습니다. 이러한 결과는 현재의 LLM이 유용한 단기 행동 규칙성을 포착하지만, 아직 안정적인 개인 의사결정 메커니즘을 복원하지는 못하고 있음을 시사합니다.

arXiv:2609.15364v2cs.AI

RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험

RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments

디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.

arXiv:2609.13995v2cs.AI

마케팅 연구에서의 합성 데이터: 평가 방법과 신뢰할 수 있는 시점

Synthetic Data in Marketing Research: How to Evaluate and When to Trust

마케팅 연구에서 합성 데이터(synthetic data)에 대한 논쟁은 대규모 언어 모델(LLM)이 인간 응답자를 불필요하게 만든다는 주장과 이를 전면 배제해야 한다는 요구 사이에서 양극화되어 왔습니다. 우리는 두 입장 모두 합성 응답자가 효과가 있는지 여부가 아니라 '언제' 효과가 있는가라는 더 유용한 질문을 흐린다고 주장합니다. Brand, Israeli, and Ngwe (2026)를 기반으로 하여, 본 연구는 세 가지 기여를 제시합니다. 첫째, 세 가지 유형의 합성 데이터(비그라운딩 LLM 응답, 세그먼트 수준 페르소나, 개인 수준 디지털 트윈)를 구분하고 각각이 지원할 수 있는 의사결정과 매핑합니다. 둘째, 정확도 측정 항목을 네 가지 계열의 분류 체계로 정립하고, 거의 완벽한 수준에서 무작위 확률 수준에 이르기까지 보고된 트윈 정확도의 넓은 범위가 방법론의 질적 차이라기보다는 주로 무엇을 측정하고 있는가의 차이를 반영한다는 점을 시사합니다. 집계 측정 지표는 LLM에 제공된 정보가 거의 없을 때도 좋은 성능을 보이는 경우가 많으며, 응답자 수준의 변별력이 전혀 존재하지 않는 현상을 가릴 수 있습니다. 셋째, 현장 연구에서 질문이 누락되는 '누락된 질문 문제(forgotten question problem)'를 기존 데이터를 트윈 기반으로 증강하는 설정으로 도입합니다. 우리는 그라운드 트루스(ground truth)가 필요 없는 사전 답변 가능성 진단법으로, 트윈을 구축하는 데 사용된 데이터로부터 트윈의 출력을 예측하는 랜덤 포레스트의 R^2을 제안합니다. 전국 대표 표본 설문조사(N = 3,063)의 108개 태도 질문 전반에서 R^2 > 0.7 기준으로 스크리닝하면 트윈-인간 간 개인 수준 평균 상관관계가 15% 상승하고 잘못 답변된 질문의 비율이 25.9%에서 4.3%로 감소합니다. 임베딩 유사도와 숙련된 연구자의 판단 또한 상관관계가 있는 스크리닝 기준을 제공하지만 상대적으로 효과가 더 약합니다.

arXiv:2609.12708v2cs.SE

나와 당신의 차이는 무엇인가? 인간 작성 코드와 AI 생성 코드 간 품질 격차 벤치마킹

What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code

AI 코딩 어시스턴트는 프로덕션 소프트웨어의 공동 작성자가 되어 가고 있으나, 평가는 기능적 정확성에 집중되어 있어 생명주기 비용을 좌우하는 품질 차원에서 그 코드가 인간 코드와 다른지는 여전히 열려 있다. 본 연구는 인간 작성 코드와 AI 생성 코드를 대규모로 비교한다. Python, Java, C에 걸친 787,562개의 함수 쌍으로, 각 인간 함수는 오픈소스 저장소에서 추출했고, 동일 docstring으로 세 AI 어시스턴트(OpenAI GPT 모델, DeepSeek-Coder, Qwen2.5-Coder)가 생성한 구현과 짝을 이룬다. 구조적 복잡도와 통계적 자연스러움(naturalness)을 특성화하고, 정적 분석 결과를 결함에는 Orthogonal Defect Classification, 취약점에는 Common Weakness Enumeration에 매핑하여 작성자와 언어를 직접 비교 가능하게 했다. AI 생성 코드는 구조적으로 압축되고 스타일적으로 템플릿화되어 있다. 대략 인간 코드의 절반 크기와 분기 수이며, 스타일 수준에서 별도로 클러스터링된다. 결함 프로파일은 종류가 다르다. 인간 코드는 성숙한 코드베이스의 이슈에 집중하고, AI 코드는 반복적 보일러플레이트에 집중한다. 보안은 언어에 따라 달라지며, LLM은 Python과 Java에서 더 많고 더 심각한 발견을 내지만 C에서는 인간보다 고심각도 메모리 안전성 발견은 적다. 크기를 통제하면 복잡도 지표는 신호가 거의 없고, naturalness가 작성자를 구분한다. 마지막으로 품질 보증과 보안 테스트를 위한 베이스라인 및 평가 파이프라인을 갖춘, 이슈 발생 가능 작업 27,346개로 구성된 벤치마크 CQBench를 공개한다.

arXiv:2609.12551v2cs.DC

RoofLang: AI 주도 LLM 추론 시스템 아키텍처 설계 활성화

RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems

AI가 LLM 추론 최적화에 실질적인 기여를 하기 시작했다. 기존 AI 최적화는 대부분 프로파일링 기반이다. 프로파일링에 묶인 피드백은 탐색을 기존 소프트웨어 스택의 역량과 성능 범위 안으로 한정하여, LLM 추론 시스템의 근본적으로 더 나은 아키텍처가 밝혀지는 것을 막는다. AI 주도 LLM 추론 시스템 아키텍처링 루프를 가능하게 하려면 일반적인 워크로드 표현, 검증 가능한 변이 공간, 구현에 독립적인 평가자가 필요하다고 우리는 주장한다. 우리는 이러한 기능을 제공하는 RoofLang 도메인 특화 언어(DSL)를 제시한다. 평가에서 RoofLang은 DeepSeek V4 시리즈 모델이 다른 대표 모델들보다 3.5–39.5$\times$ 더 높은 최대 디코드 처리량을 달성할 수 있음을 보여준다. 이 격차는 총 매개변수 수와 비례하지 않으며, 더 큰 배치를 지원하고 메모리 트래픽을 줄이는 컴팩트 KV-cache 설계에서 대체로 비롯된다. 지속형 옵티마이저 에이전트는 NVIDIA B300에서 DeepSeek V4 Pro의 처리량과 상호작용성을 모두 6.23–50.1% 개선하는 여러 새로운 아키텍처를 추가로 발견했다.

arXiv:2609.11677v2cs.SE

Ecdysis: LLM 에이전트를 위한 런타임 하네스의 효율적이고 효과적인 학습

Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents

자체 진화형(self-evolving) 런타임 하네스는 대규모 언어 모델(LLM) 에이전트의 역량을 크게 향상시킬 수 있으며 에이전트 실행을 최적화하기 위한 유망한 패러다임을 제공합니다. 기존의 실패 기반(failure-driven) 접근 방식은 관찰된 에이전트의 실패를 하네스 수정을 위한 직접적인 근거로 취급하는 경우가 많습니다. 실패 기반 하네스 진화의 주요 난제는 관찰된 실패가 기반 모델의 한계를 반영할 수도 있고 하네스의 체계적인 결함을 반영할 수도 있다는 점입니다. 따라서 개별 실패에 대해 직접 최적화하면 모델별 편향된 적응(model-specific accommodation)을 유발하고 작업 및 모델 전반에 걸친 일반화를 저해할 수 있습니다. 본 연구에서는 작업 인스턴스 전반에 걸쳐 축적된 실패 근거가 하네스 학습(training)을 위한 더 신뢰할 수 있는 신호를 제공할 수 있는지 조사합니다. 우리의 핵심 통찰은 서로 다른 작업에서 반복되는 실패가 고립된 실패보다 하네스의 체계적 결함에 대한 더 강력한 귀납적 근거를 제공한다는 것입니다. 이러한 통찰을 바탕으로, 우리는 반복되는 실패 패턴을 영구적인 하네스 진화로 승격시키기 전에 여러 작업 인스턴스 전반의 실패 근거를 집계하여 개별 모델의 행동을 넘어 일반화될 가능성이 더 높은 수정 방향으로 진화를 유도하는 Ecdysis를 제안합니다. 나아가 Ecdysis는 협업적 실패 분석을 활용하여 수정 명세를 정제함으로써, 진화 단계에서의 추가적인 추론 비용을 수정 품질 향상과 맞바꿉니다. 여러 LLM과 벤치마크 전반에서 Ecdysis는 기존 하네스 진화 방식 대비 진화된 하네스의 추론(reasoning) 정확도를 18.56% 향상시키는 동시에 하네스 학습 속도를 최대 1.84배 가속합니다. 또한 Ecdysis는 데이터 효율성이 더 높은 학습을 가능하게 합니다. 세부 분석에 따르면 Ecdysis는 진화 과정에서 모델 특화된 적응을 줄이는 한편, 결과로 도출된 하네스는 더 강력한 LLM 간 일반화 성능을 보이고 추론(inference) 시점의 토큰 소비량을 절감하는 것으로 나타났습니다.

arXiv:2608.28021v2cs.CR

무엇과 비교할 것인가? LLM이 생성한 Infrastructure-as-Code를 위한 인간 기준 보안 벤치마크

Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code

대규모 언어 모델(LLM)이 Infrastructure-as-Code(IaC)를 작성하는 사례가 점점 늘고 있으며, 이 경우 안전하지 않은 기본값 하나가 그대로 프로덕션에 프로비저닝된다. 기존 평가는 모델별 취약점 수만 보고하므로, 모델이 자신이 보조하는 엔지니어보다 더 나쁜지 여부는 말해 주지 못한다. 본 논문은 GenIaC-SecBench를 제시한다. 이는 6개 벤더의 오픈 및 클로즈드 웨이트 모델 12개 구성에 걸친 100개 배포 시나리오로 이루어져 있으며, 세 가지 정책 엔진(Checkov, Trivy, KICS)이 완전한 커버리지로 스캔한 1,196개의 아티팩트를 산출한다. 무엇보다 동일한 툴체인으로 사람이 작성한 IaC 템플릿 634개를 스캔하여, 이 작업에 대한 최초의 크기 매칭(size-matched) 인간 보안 기준선을 확보했다. 취약점 밀도는 아티팩트 크기와 강한 역의 관계(Spearman $\rho=-0.55$, $p<10^{-77}$)를 보이므로, 크기를 맞추지 않은 비교는 보안이 아니라 크기를 측정하게 된다. 크기를 맞추면 모든 구성이 인간 기준선을 $3.21\times$에서 $3.87\times$ 초과하며, 과제가 단순할수록 격차가 커진다(리소스 1개에서 $4.9\times$, 20개 이상에서 $1.4\times$). 시나리오의 다수는 기능만 명시하는 데 그치지 않고 보안 상태까지 규정하므로, 프롬프트 유형별로 층화하였다. 전체를 합산하면 격차는 $3.50\times$이며, 안전하지 않은 구성을 명시적으로 요청하는 시나리오를 모두 제외하더라도 모든 구성이 기준선을 웃돈다($2.4\times$에서 $4.2\times$). 이 코퍼스는 프롬프트로 유도되지 않은 기본 보안 태세를 분리해 낼 수 없으며, 이 한계를 밝힌다. "추론"을 표준 생성, 프롬프트 기반 사고의 연쇄(Chain-of-Thought), 벤더의 extended-thinking API로 분해해 보면, extended thinking이 프롬프트 기반 CoT보다 우수한 반면($-12.0\%$, $p=0.0013$), 프롬프트 기반 CoT만으로는 표준 생성과 구별되지 않는다($-1.3\%$, 유의하지 않음). extended thinking은 출력 예산의 $1\%$ 미만만 사용하므로 그 효과의 범위가 제한된다. 두 가지 부정적 결과도 보고한다. 더 많이 배포 가능한 모델이 더 취약하지는 않으며($r=0.158$, $p=0.625$), 완전 사례(complete-case) Friedman 검정은 이 데이터에서 계산할 수 없어 Skillings-Mack 검정을 사용하게 된 동기가 된다. 모든 코드와 데이터를 공개한다.

arXiv:2608.05926v2cs.NI

BALANCE: 네트워크 엣지에서의 하이브리드 자기회귀-추측 LLM 추론

BALANCE: Hybrid Autoregressive-Speculative LLM Inference at the Network Edge

엣지 추론은 차세대 모바일 네트워크에서 대규모 언어 모델(LLM) 추론 서비스를 제공하기 위한 유망한 패러다임이다. LLM 추론은 주로 두 가지 접근에 의존한다. 자기회귀 디코딩(AD)은 출력 토큰을 순차적으로 생성하여 긴 지연을 초래한다. 추측 디코딩(SD)은 소형 언어 모델(SLM)을 사용해 LLM 검증을 위한 여러 초안(draft) 토큰을 생성함으로써 추론을 가속하지만 추가 메모리 비용이 발생한다. 이러한 지연-메모리 트레이드오프로 인해, 제한된 엣지 컴퓨팅 자원 하에서 이질적인 수요를 가진 사용자를 어느 한 접근만으로는 효율적으로 서비스할 수 없다. 이 문제를 해결하기 위해 우리는 엣지 LLM 추론을 위한 하이브리드 자기회귀-추측 추론(BALANCE) 프레임워크를 제안한다. BALANCE에서는 엣지 서버가 SLM과 LLM을 모두 호스팅하고, 사용자를 수용하며, 수용된 각 사용자를 AD 또는 SD 모드에 배정하고 두 모드를 동시에 수행한다. 서비스 가능한 사용자 수를 최대화하기 위해, 사용자 지연 요구사항과 서버 메모리 제약 하에서 사용자 수용과 AD와 SD 간 컴퓨팅 자원 할당을 공동으로 결정하는 작업 처리량(task throughput) 최대화 문제를 수식화한다. 문제가 NP-hard이므로, 원 문제를 두 개의 하위 문제로 변환하고 상수 근사 보장을 갖는 차준 최적(sub-optimal) 해를 구하는 다항 시간 알고리즘을 개발한다. 실험 결과 BALANCE가 기존 AD 및 SD를 일관되게 능가하며 작업 처리량을 크게 향상시킴을 보여준다.

arXiv:2608.03921v3cs.AI

트랜스포머 혁명, 파트 1: 출력-가중치 상호연결을 통한 동적 처리

The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections

본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.

arXiv:2608.03600v2cs.AI

편미분방정식 워크플로를 위한 대규모 언어 모델

Large language models for partial differential equation workflows

수치 방법과 심층 학습은 편미분방정식(PDE)으로 기술되는 시스템의 모델링과 시뮬레이션을 발전시켜 왔지만, 방정식 수립, 솔버 구성, 시뮬레이션을 설계 및 제어 결정으로 전환하는 일은 여전히 상당한 도메인 전문성과 계산 자원을 요구한다. 대규모 언어 모델(LLM)은 과학적 지식, 수학적 추론, 코드 생성, 도구 사용을 결합하여 이러한 작업을 자동화하고 조율할 기회를 제공한다. 본 논문에서는 발견, 해결, 최적화를 포함한 세 단계에 걸친 LLM 보조 PDE 연구를 검토한다. LLM이 물리적 지식, 수치 방법, 계산 피드백과 어떻게 상호작용하여 모델을 수립하고, 해법 절차를 구현하며, 설계와 제어를 안내하는지 살펴본다. 또한 과학적 타당성, 계산 성능, 워크플로 신뢰성을 평가하기 위한 기존 벤치마크와 평가 관행을 검토한다. 마지막으로, 특정 PDE 문제에 맞춘 수학·물리 추론 개발, 도메인 특화 및 멀티모달 사후 학습을 통한 전이 가능한 도메인 전문성 구축, 개방형 문제를 위한 능동적 실험 설계와 과학적 검증의 통합이라는 상호 연결된 세 가지 과제와 기회를 논의한다. 이러한 방향은 PDE 연구 전반에서 과학적 아이디어와 계산 방법을 개발하고 검증하는 데 LLM이 보다 실질적인 역할을 수행할 수 있는 경로를 제시한다.

arXiv:2607.09786v4cs.AI

길이 페널티는 사고의 연쇄 모니터링 가능성을 저하시킨다

Length Penalties Make Chain-of-Thought Less Monitorable

최근 연구에서는 지나친 사고(overthinking)를 억제하고 추론 비용을 절감하기 위해 길이 페널티를 적용하여 추론 모델을 학습시킨다. 본 논문에서는 이러한 페널티가 사고의 연쇄(Chain-of-Thought)를 모니터링하기 어렵게 만든다는 점을 보인다. 길이 압축 모델은 여전히 오해를 불러일으키는 힌트에 영향을 받아 답변을 도출하지만, 그 영향력을 덜 언어화한다. 연구진은 기준선 사고의 연쇄 길이의 60%에서 30% 수준을 목표로 길이 페널티를 적용한 강화학습으로 Qwen3-4B 및 Qwen3-14B를 학습시킨 후, 미공개 MMLU-Pro-R 및 4개 전이 벤치마크에서 9가지 유형의 편향 유도 힌트를 통해 이들을 평가했다. 사고의 연쇄는 대규모 언어 모델(LLM) 모니터가 이를 바탕으로 힌트가 답변에 영향을 미쳤음을 식별할 수 있을 때 충실하다(faithful)고 본다. 30% 목표치에서 정확도는 기준선 근처로 유지되며 오답 힌트가 답변을 변경시키는 빈도는 이전과 동일하다. 그러나 두 모델 모두 모든 평가 세트에서 충실도가 하락했으며, MMLU-Pro-R에서 Qwen3-14B는 39%, Qwen3-4B는 35% 하락했다. 동일한 정확성 및 형식 보상을 부여하되 길이 페널티 없이 학습된 대조군은 충실도를 그대로 유지하거나 오히려 높였다. 단순한 길이 단축만으로는 이러한 하락을 설명할 수 없다. 압축된 사고의 연쇄는 두 모델 크기와 5개 평가 세트 전반에 걸쳐, 무작위 문장 삭제를 통해 동일한 길이로 축소된 비압축 모델의 사고의 연쇄보다 힌트를 언급하는 빈도가 7~35%포인트 낮았다. 따라서 길이 페널티는 모니터가 의존하는 증거를 제거함으로써 모니터링 가능성을 추론 비용과 맞바꾼다.