PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.21651v1cs.CL

일관성은 교정이 아니다: LLM 에이전트에서 신뢰도, 기권, 복구의 분리

Consistency Is Not Correction: Separating Confidence, Abstention, and Recovery in LLM Agents

답변을 재샘플링하거나, 더 큰 모델로 에스컬레이션하거나, 기권하는 컨트롤러는 보통 신뢰도 신호로 정당화된다. 그러나 그러한 신호에 대한 세 가지 주장은 서로를 함의하지 않는다. 신호가 답변의 순위를 매긴다(판별), 일부 답변을 보류하는 것을 뒷받침한다(선택적 예측), 그리고 답변을 더 나은 방향으로 바꾼다(교정 효용)는 것이다. 본 논문은 세 번째 주장을 게이트된 복구에서 게이트된 손해를 뺀 값으로 정확하게 분해하며, 이는 비교가 실행되기 전에 성공 가능 여부를 제한한다. 제안만 교체하는 게이트는 기본 정책이 이미 틀린 곳에서만 작동할 수 있으므로, 초기 오류 수가 올바른 게이트가 만들어 낼 수 있는 불일치 쌍의 상한이 된다. 이 상한이 쌍체 검정이 필요로 하는 수보다 작으면, 실험은 정상 작동하는 메커니즘에 대해 긍정적 결과를 낼 수 없으며 한 번도 발동하지 않은 게이트와 구별할 수도 없다. 두 가지 모델 규모에서 세 가지 대상을 모두 측정한 결과 이 한계가 실제로 구속력을 가짐을 확인하였다. 소형 모델 스위트에서 섭동 일치 검증기는 정책 내 AUROC 0.990(95% 구간 [0.95, 1.00])에 도달하지만, 모든 에피소드 결과는 호출 횟수가 4.32배인 단일 샘플 디코딩과 일치한다. 통제된 840개 에피소드 연구에서는 60개의 GSM8K 결정 중 어느 것에서도 검증기가 제안을 교체하지 않았으므로 그 비교는 아무것도 검증하지 못했다. 여섯 컨트롤러에 걸친 GSM8K 이득 전체는 하나의 과제에서 나온 것이며, 이는 동일한 온도 0 반복 실행 결과가 서로 달랐던 과제, 즉 서비스가 재현하지 못하는 하나의 답변이다. 진단 세트에서 게이트가 도달할 수 있는 오류는 네 개였으나 검정에는 여섯 개가 필요했으므로, 완벽한 게이트조차 유의미한 결과를 얻을 수 없었다. 예산을 쓰기 전에 이를 발견할 수 있었을 두 가지 점검을 보고하고, 순위의 동점 처리, 동점 선택 컷오프, 불균등한 출력 제한이 같은 데이터셋에서 각각 대표 수치를 바꿀 수 있음을 보인다. 이 문헌의 구속 조건은 신호의 선택이 아니라 측정 해상도이다.

arXiv:2611.21650v1cs.CL

선호 데이터에서 개인화까지: 대규모 언어 모델의 아첨 현상 추적

From Preference Data to Personalization: Tracing Sycophancy in Large Language Models

대규모 언어 모델의 아첨(sycophancy)은 흔히 사용자에 대한 동의 정도로 측정되지만, 사용자의 주장이 타당하거나 선호가 진정한 것이거나 경험이 인정받을 만한 경우에는 동의가 적절할 수 있다. 본 연구는 아첨을 부적절한 동의, 즉 맥락상 교정, 단서 제시 또는 반박이 필요한 상황에서 주장, 선호 또는 자기 평가를 인정하는 행위로 다룬다. 우리는 타당성을 고려하는 아첨 채점기와 SycoDrift를 제안한다. SycoDrift는 사용자의 개방성과 사안의 중대성에 대해 통제된 주석을 갖춘, 타당성이 주석된 3,298개의 탐침으로 이루어진 페르소나 대상 평가 세트이다. 이 틀을 사용하여 동의 압력의 세 가지 원천, 즉 인간 선호 데이터, 자동화된 평가자 명세, 문맥 내 개인화를 분석한다. 첫째, 인간 데이터셋(Chatbot Arena, HH-RLHF, Community Alignment)에서 인정하는 응답에 대한 선호는 약하며, 동의가 흔히 적절한 영역에 집중되어 있다. 둘째, 선택된 가치를 대상으로 한 단일 모델 실험에서 강조된 평가 기준은 짝지어진 억제 기준에 비해 일관되지만 완만한 증가를 낳았으며, 이는 학습 단계에서 증폭이 일어나는 그럴듯한 메커니즘을 보여 준다. 셋째, 14개 모델에 대한 오프폴리시 평가에서 추론 시점의 개인화는 부적절한 동의를 증가시키며, 질의 바로 앞에 일치하는 사용자 프로필을 배치할 때 효과가 가장 크다.

arXiv:2611.21649v1cs.CL

문학 언어 매시업: 대규모 언어 모델로 소설을 큐레이션하기

Literary Language Mashup: Curating Fictions with Large Language Models

본 논문에서는 GrAImes 프레임워크 안에서 LLM 자체를 평가자로 활용하여 문학 소설에 대한 인간 평가를 대체할 수 있는 방안을 제안한다. 이 방법론을 스페인어로 쓰인 인간 창작 및 AI 생성 초단편소설에 적용하여 문학 박사 교수 5명과 문학 애호가 16명에게 평가를 받았으며, 스페인어와 영어의 단편소설에도 적용하였다. LLM의 평가를 인간 평가자의 평가와 비교하여 두 관점 간의 일치와 차이의 정도를 살펴보고, 이를 통해 LLM이 보조적 문학 평가자로 활용될 수 있는지 검토한다. 분석은 LLM의 응답이 인간 평가자의 응답과 얼마나 일치하는지에 초점을 두며, 문학 평가에서 LLM의 잠재력에 대한 통찰을 제공한다. 실험 결과, Krippendorff의 알파 신뢰도 계수가 0.66 미만으로 나타나 LLM은 문학적 초단편소설과 단편소설 평가에서 인간 평가자를 대체할 수는 없지만, 해당 텍스트의 편집적 품질에 대한 초기 관점을 제공하는 유용한 도구로 활용될 수 있음이 드러났다. 전반적으로 본 연구는 문학에서 인공지능의 역할을 둘러싼 지속적인 논의에 기여하며, 방법론적 한계와 보완적 자원으로서의 잠재력을 함께 강조한다.

arXiv:2611.21648v1cs.CL

LLM은 꿈을 꿀 수 있는가? 텍스트 기억을 가진 에이전트에서 과적합된 뇌 가설 검증

Can an LLM dream? Testing the overfitted brain hypothesis on an agent with text memory

Hoel(2021)은 뇌가 최근 사건에 과적합되지 않도록 꿈이 재생되는 경험을 왜곡한다고 제안하였다. 우리는 이 가설을 학습한 내용을 텍스트 기억에 저장하고 매일 밤 그날의 대화 기록으로 그 기억을 다시 쓰는 LLM 에이전트(Claude Opus 5.5)에서 검증한다. 에이전트는 LongMemEval을 바탕으로 구성된 10일간의 모의 대화를 거친다. 매일 밤 기억을 다시 쓰기 전에 대화 기록의 턴 중 5, 10, 20 또는 40퍼센트를 두 가지 방식 중 하나로 손상시킨다. 세부 정보 손상은 한 턴의 한두 가지 세부 정보를 그럴듯하지만 틀린 것으로 바꾸거나, 해당 턴을 이전 날의 같은 화자의 턴으로 대체한다. 무작위 텍스트 손상은 선택된 턴의 절반을 『모비 딕』의 한 구절로 대체하고 나머지 절반에는 『모비 딕』의 단어를 삽입한다. 인간의 자유 회상 데이터를 바탕으로 설정한 기억 크기 제한은 열흘 밤 동안 19,500토큰에서 117,000토큰으로 증가하며, 이로 인해 에이전트는 망각하게 된다. 그 결과, 30회 실행(열 가지 조건, 세 가지 서로 다른 대화 이력)에서 손상이 에이전트가 이전 대화에서 학습한 내용을 새로운 과제에 적용하는 데 도움이 되지 않았음을 확인하였다. 턴의 40퍼센트에서 세부 정보를 대체하자 회상률이 76퍼센트에서 60퍼센트로 낮아졌다. 무작위 텍스트는 모델이 이를 손상된 것으로 인식하여 기억에서 제외하였기 때문에 회상에 일관된 영향이 없었으며, 40퍼센트에서 짝지은 차이는 0 $\pm$ 2 포인트였다. 대체된 세부 정보는 올바른 값을 담은 다른 턴이 있는 경우에도 사실로 저장되었으며, 에이전트는 해당 질문의 40퍼센트에 정답을 냈는데, 손상이 없는 경우에는 75퍼센트였다. 이러한 결과는 사전학습된 모델이 손상된 텍스트를 실제 사건과 구분할 수 있음을 시사하므로, 공정한 검증에는 이러한 구분을 쉽게 하지 못하는 학습자, 예를 들어 손상된 날들로 미세조정된 모델이나 가상의 세계에서 하루하루가 진행되는 에이전트가 필요하다.

arXiv:2611.21641v1cs.CL

RAW: 실제 환경에서의 거절 회피, 배포된 LLM을 위한 인과적 측정 방법

RAW: Refusal Aversion in the Wild, A Causal Measurement Method for Deployed LLMs

배포된 LLM은 하루에 수억 건의 대화를 처리하며 사용자 요청의 상당 부분을 거절하지만, 거절에 따른 사용자 측 비용, 즉 사용자가 이탈하는지와 그 정도는 어떤 상용 모델에서도 측정된 바 없으며, 이는 이러한 모델 위에 구축된 소비자 대상 플랫폼의 사각지대이다. 거절에 대한 A/B 테스트는 최전선 연구소의 제품에서는 윤리적·운영적으로 제약을 받고, 고정된 API를 통해 이 모델을 배포하는 제3자 플랫폼에서는 수행할 수 없다. 우리는 LLM의 확률성을 자연 실험으로 활용하는 방법 RAW를 소개한다. 기존 로그의 거의 동일한 프롬프트에서 같은 모델이 때로는 거절하고 때로는 거절하지 않으며, 이 변이가 거절의 인과적 사용자 측 효과를 식별해 준다. 이 방법을 사용자 군집 추론과 함께 LMSYS-Chat-1M과 WildChat의 15개 배포 LLM에 적용한 결과, 정밀하게 측정할 수 있는 모델의 약 절반에서 거절은 이후 재참여를 3~17 퍼센트 포인트 감소시켰으며, 나머지는 구분 가능한 효과를 보이지 않았다. 그중 한 배포 사례의 양의 점추정치는 끈질긴 사용자가 거절된 요청을 재시도한 데서 비롯된 것으로 추적하였다. 우리의 기여는 로그만으로 어떤 배포 모델에서든 대화 1,000건당 약 \$0.30의 비용으로 실행되는 측정 방법이다. 레이블, 조정(moderation) 점수, 프롬프트 임베딩, 파이프라인 코드를 공개한다.

arXiv:2611.21638v1cs.HC

AI가 AI를 설명할 수 있는가? 멀티모달 LLM 생성 설명이 XAI 시각화의 지각된 이해도와 지각된 신뢰에 미치는 영향

Can AI Help Explain AI? Effects of Multimodal LLM-Generated Explanations on Perceived Understanding and Perceived Trust in XAI Visualizations

설명 가능한 인공지능(XAI)은 기계학습 모델을 이해할 수 있게 만드는 것을 목표로 하지만, 많은 XAI 시각화는 최종 사용자가 해석하기 여전히 어렵다. 본 연구에서는 멀티모달 LLM이 생성한 텍스트 설명으로 XAI 출력을 보강하면 지각된 이해도와 지각된 신뢰가 향상되는지 평가한다. 우리는 일곱 가지 의사결정 시나리오와 다섯 가지 XAI 기법에 걸쳐, LLM 생성 설명이 있는 경우와 없는 경우를 비교하는 사전 등록된 개체 내 실험($N = 128$)을 수행하였다. 설명은 지각된 이해도와 지각된 신뢰를 5점 척도에서 각각 0.35점과 0.26점 향상시켰다(둘 다 $p < .001$). 이러한 향상은 일곱 개 시나리오 모두에서 나타났고, 지역 설명과 전역 설명 간에 차이가 없었으며, XAI 사전 경험이 가장 적은 참가자에게서 가장 컸다. 매개 분석은 지각된 이해도를 통해 지각된 신뢰에 이르는 간접 효과가 있음을 보여 준다. 이러한 결과는 멀티모달 LLM이 전문가 집단을 넘어 XAI를 위한 유용한 해석 계층을 제공할 수 있음을 시사한다.

arXiv:2611.21633v1cs.SE

하이브리드 SE 팀의 효과적 협업을 위한 조기 지표로서 인간-AI 정렬 측정

Measuring Human-AI Alignment as an Early Indicator for Effective Collaboration in Hybrid SE Teams

AI 에이전트가 소프트웨어 공학(SE) 프로세스에 점점 더 통합됨에 따라, 이러한 하이브리드 팀에서 효과적인 협업을 보장하는 것이 중요한 과제가 되고 있다. 기존 지표는 동적인 런타임 성능을 관찰하는 데 초점을 맞추고 있어, 초기 단계의 인간-AI 정렬, 즉 AI의 행동과 그 세분화 수준이 인간의 기대와 부합하는 정도에 대한 체계적이고 정적인 측정이 부족하다. 이 포지션 페이퍼는 소프트웨어 아키텍처, 조직 심리학, 인간-컴퓨터 상호작용의 원리를 바탕으로 SE에 특화된 정렬 지표 모음을 개발하기 위한 연구 의제를 제안한다. 더 나아가 비즈니스 프로세스 모니터링(BPM)의 개념과 기법을 활용한 검증 방법론을 제시하고, 선언적 BPM 언어를 활용하여 에이전트가 프로젝트별 제약 조건을 준수하도록 보장하는 정적 평가 도구를 소개한다.

arXiv:2611.21632v1cs.SE

파편화된 지표와 엇갈린 결과: AI 코딩 어시스턴트와 개발자 생산성에 관한 체계적 문헌 고찰

Fragmented Markers, Mixed Results: A Systematic Review of AI Coding Assistants and Developer Productivity

AI 코딩 어시스턴트는 소프트웨어 공학 실무에 점점 더 깊이 자리 잡고 있지만, 문헌은 여전히 이들이 소프트웨어 개발자 생산성에 미치는 영향에 대해 누적적이고 쉽게 해석할 수 있는 그림을 제공하지 못하고 있다. 핵심 문제는 연구의 부족이 아니라 비교 가능성의 부족이다. 선행 연구들은 이질적인 지표, 환경, 보고 방식으로 생산성을 조작적으로 정의하여 연구 간 결론 도출을 어렵게 한다. 이를 해결하기 위해 우리는 단계적 체계적 문헌 고찰을 수행한다. 첫 번째 단계에서는 개발자 생산성을 명시적으로 검토한 연구를 종합한다. 두 번째 단계에서는 이론에 기반한 관점으로 SPACE를 사용하여 범위를 생산성 관련 개발자 성과로 확장하고, 명시적 생산성 연구가 흔히 누락하는 인간 중심의 증거를 포착한다. 두 단계 모두에서 생산성이 어떻게 조작적으로 정의되는지, 어떤 교란 요인이 논의되는지, 보고된 효과가 어떻게 분포하는지를 분석한다. 우리는 187개의 고유한 생산성 및 생산성 관련 지표를 확인하였으며, 개별 연구는 통상 다섯 개만 사용하여 증거 기반이 폭넓지만 매우 파편화되어 있음을 보여 준다. 명시적 생산성 연구는 시간, 산출물, 아티팩트 중심의 대리 지표가 지배적인 반면, 더 넓은 SPACE 정렬 코퍼스에서는 만족도, 심리적 측면, 웰빙이 훨씬 더 뚜렷하게 드러난다. 보고된 효과는 대체로 긍정적이지만, 이러한 경향은 객관적이거나 통계적으로 평가된 결과보다 지각 기반 및 경향 기반 결과에서 더 강하다. 종합하면, 문헌은 AI 코딩 어시스턴트가 생산성을 뒷받침할 수 있음을 시사하지만, 현재의 증거는 단순하고 맥락에 독립적인 결론을 아직 뒷받침하지 못한다. 따라서 본 고찰의 핵심 기여는 생산성 증거를 연구 간에 더 해석 가능하고, 다차원적이며, 비교 가능하게 만들기 위한 구조화된 토대를 제공하는 것이다.

arXiv:2611.21479v2cs.CV

LynnReal-Hand: 손으로 조작하는 동영상 세계 모델

LynnReal-Hand: Unlocking World Interaction with Hand Control

상호작용형 동영상 세계 모델에서는 텍스트와 카메라 조작으로 세계를 탐색할 수 있다. 물체와 직접 상호작용하려면 더 세밀한 제어가 필요하다. 손은 자연스러운 조작 수단이지만, 손과 물체 사이의 복잡한 동역학을 다루고 실시간으로 많은 연산을 수행해야 하므로 연속적인 손동작을 일관된 시각적 반응으로 바꾸기는 어렵다. 이 문제를 해결하기 위해 정밀한 상호작용 모델링과 효율적인 스트리밍 생성을 결합한 손 제어 동영상 세계 모델 LynnReal-Hand를 제안한다. 다양한 실제 및 합성 환경에서 상호작용 영상 클립 10만 개를 선별하고, 세밀한 손동작과 물체 상호작용의 품질을 높이기 위해 손 정보를 반영하는 지도 신호를 설계했다. 이를 바탕으로 적은 단계로 영상을 생성하는 인과적 흐름 맵을 학습한다. 이어 영상과 이미지의 상호 보완적인 사전 정보를 결합하는 영역 인식 점수 증류로 상호작용의 움직임과 시각적 외형을 개선한다. 추론 지연 시간을 더 줄이기 위해, 훨씬 적은 연산 비용으로 높은 재구성 충실도를 유지하는 소형 동영상 디코더 Ultra-Fast-VAE를 제안한다. HandBench에서 폭넓게 평가한 결과, 기존 방법보다 손동작을 따르는 정확도와 시각적 품질이 높았다. 전체 시퀀스 모델은 FVD 181.67과 MANO Dice 점수 93.02를 기록했으며, 3단계 인과 모델은 MANO Dice 점수 92.49를 유지했다. 단일 H200에서 540p 해상도로 실시간 스트리밍하면 초당 18.03프레임과 741ms의 지연 시간을 달성한다. 최적화 후 최대 GPU 메모리 사용량은 34.89GB다. 손으로 제어하는 동영상 세계 모델 연구를 지원하기 위해 데이터셋, 모델 가중치, 전체 학습 및 추론 코드를 공개할 예정이다.

arXiv:2611.21072v2cs.AI

Sage S2.1 Flash 기술 보고서

Sage S2.1 Flash Technical Report

우리는 과학적 증거에 대해 추론하고 상호작용 환경에서 행동하도록 설계된 3,200억 파라미터 범용 전문가 혼합(MoE) 모델인 Sage S2.1 Flash를 소개한다. Sage Sci-Perception은 분자 그래프와 생물학적 서열을 위한 전용 인코더를 사용하며, 스펙트럼을 측정값의 순서화된 패치로 표현한다. 모달리티별 프로젝터가 이러한 표현을 공유 백본의 입력 공간으로 매핑하며, 백본은 이를 텍스트 및 이미지와 함께 처리한다. 모델의 에이전트 역량을 개발하기 위해 우리는 도구 사용, 검색, 코딩을 위한 검증 가능한 환경과 함께, 기계학습 실험 및 과학 소프트웨어를 포함하는 특화된 워크플로를 구축한다. 과제 완료 여부는 실행 결과, 환경 상태의 변화, 또는 제출된 산출물을 기준으로 확인된다. 우리는 일곱 개 도메인에 걸친 33개 벤치마크에서 Sage S2.1 Flash를 평가한다. 다섯 개 기준 모델과의 주요 비교에서, 이 모델은 OfficeQA Pro(72.2), MLE-bench Lite(90.3 HumanRank), Harvey LAB, SpreadsheetBench 2에서 1위를, OSWorld-Verified(85.2), WebArena-Verified(67.6), DeepResearch Bench II(54.2)에서 2위를 차지한다. 이러한 결과는 문서 증거의 활용, 검증 가능한 워크북 생성, 기계학습 과제 수행에서 특히 강점을 보이며, 시각적 피드백에 따라 행동해야 하는 데스크톱 및 브라우저 워크플로에서도 경쟁력 있는 성능을 보임을 나타낸다.

arXiv:2611.21001v2cs.CL

목소리도 중요한가? 실제 임상 음성 에이전트 통화에서 환자의 답답함 탐지 평가

Does the Voice Matter? Evaluating Frustration Detection on Deployed Clinical Voice-Agent Calls

자율 음성 에이전트가 일상적인 임상 추적 통화를 맡으면서 일부 분류 작업도 자동화할 수밖에 없다. 환자가 답답함을 느끼는지 파악하는 것이 그중 하나다. 이런 시스템은 대개 실제 음성 대신 음성 인식으로 만든 전사문만 읽는다. 실제 임상 통화에서 전사문만으로 충분한지는 거의 검증되지 않았다. 본 연구는 실제 배치된 임상 음성 에이전트가 환자와 통화할 때 발화 차례별로 답답함을 탐지하는 성능을 살폈다. 주석자 세 명이 레이블을 붙인 통화 6건의 발화 150개와 길이를 맞춘 연기 음성 말뭉치를 대조용으로 사용했고, 통화 30건의 발화 714개를 평가했다. 실제 환자 발화는 대부분 매우 짧았다. 실제 통화에서는 약 59%가 한두 단어였고 전체 연기 말뭉치에서는 13%였다. 연기 말뭉치의 길이를 맞추고도 두 말뭉치의 정확도 차이는 남았다. 한 단어 발화를 전사문만으로 탐지한 성능은 우연 수준일 가능성을 배제하지 못했다. 음성을 처리할 수 있는 언어 모델 다섯 개를 평가했을 때, 전사문만 사용하면 통화 30건에서 답답함을 나타낸 한 단어 발화 39개 가운데 3개 또는 4개를 찾아냈다. 단어 수만 사용한 분류기의 정확도는 57.3%였다. 음성이 도움이 되는지는 모델과 지시에 따라 달랐다. 말하는 방식에 주의를 기울이라고 지시하면, 두 Gemini 2.5 모델의 통화 30건 성능은 전사문만 사용했을 때보다 3.0%포인트 높았다(−1.0~7.5%포인트). 두 모델이 답답함이 없다고 확신한 발화 가운데 실제로 답답함이 있었던 비율은 음성 사용 시 6.9%, 전사문 사용 시 13.0%였다. 차이는 6.1%포인트였다(2.2~10.4%포인트). 통화 30건에서 두 입력에 같은 프롬프트를 사용하면 어떤 모델도 음성-전사문 차이의 구간에서 0을 배제하지 못했다. 입력별 프롬프트를 사용했을 때는 더 새로운 Gemini 모델 하나와 더 작은 공개 모델 두 개가 전사문보다 음성에서 성능이 낮았다(−3.5, −8.6, −10.6%포인트). 임상 통화로 학습한 WavLM 프로브는 전체에서 가장 좋은 프롬프트 기반 모델과 같은 정확도 71.6%를 냈지만, 추가한 통화 24건의 답답함을 나타낸 한 단어 발화를 모두 놓쳤다. 환자의 발화가 짧을 때는 전사문만으로 답답함이 없다고 판단하기 어렵다.

arXiv:2611.20827v2cs.CR

ProcReverser: 프로세서 취약성 분석을 위한 다중 에이전트 블랙박스 마이크로아키텍처 역공학

ProcReverser: Multi-Agent Black-Box Microarchitectural Reverse Engineering for Processor Vulnerability Analysis

프로세서 구현 세부 사항을 알 수 없을 때 블랙박스 마이크로아키텍처 역공학은 보안 연구자가 취약성과 관련된 하드웨어 조건을 파악하는 데 도움이 된다. 그러나 프로세서마다 실험을 설계하고 테스트 프로그램을 작성하며 결과를 분석하는 데 수작업이 많이 필요하다. 본 연구는 이 과정을 자동화하는 다중 에이전트 시스템 ProcReverser를 제안한다. ProcReverser는 실행 결과의 피드백으로 실험 계획과 테스트 프로그램을 개선하고, 측정값에서 마이크로아키텍처의 특성을 식별한다. Spectre 계열 공격과 관련된 하드웨어 메커니즘의 특성을 식별하는 과제 모음을 구성했다. 추측 실행, 분기 예측, 메모리 의존성, 캐시 동작을 포함한다. XuanTie C910, gem5 RISC-V O3 CPU 모델, SiFive P550에서 ProcReverser를 평가했다. C910에서 Pass@1과 Pass@5는 각각 81.3%와 93.8%였고, gem5 O3에서는 각각 83.0%와 100.0%였다. SiFive P550에서는 제안한 과제 모음에 포함된 마이크로아키텍처 특성도 파악했다. 이 결과는 자동화된 마이크로아키텍처 역공학이 프로세서의 취약성 분석과 방어 평가를 지원할 가능성을 보여 준다.

arXiv:2611.20140v2cs.CY

AI는 당신을 평가할 수 있는가? LLM 보조 채용 시스템의 배포 준비도 실증 감사

Can AI Judge You? An Empirical Audit of Deployment Readiness in LLM-assisted Hiring Systems

이력서 선별을 대규모 언어 모델(LLM)에 맡기려면, 조직은 시스템이 직무에 관련된 자격을 기준으로 지원자를 구분할 수 있는지, 선별 규칙 변경이나 예외 승인 권한이 있는 사용자만 그런 조치를 취할 수 있는지 확인해야 한다. 이를 위해 지원자에 관한 근거, 평가, 권한 제어, 평가 기록을 분리하는 시스템 아키텍처를 개발하고, 배포 준비도를 두 가지 상호 보완적인 측면에서 실증적으로 조사한다. 첫째, 14개 직무의 이력서 210개와 여섯 가지 의사결정 인터페이스를 사용하는 통제 실험으로 LLM 네 종의 운영 준비도를 평가한다. 둘째, 권한이 없는 사용자의 요청과 이력서에 삽입한 지시를 어떻게 처리하는지 시험해 규칙 준수 준비도를 평가한다. 운영 성능은 평가 인터페이스에 따라 달랐다. 수치 점수는 대체로 단순한 합격·불합격 판단보다 자격 요건의 차이를 잘 구분했으며, 비교 판단은 제시 순서에 민감했다. 명시적인 권한 규칙을 적용하고 이력서 내용과 지시를 분리하면 권한 없는 요청을 따르는 일이 줄었다. 효과의 크기는 LLM과 사용 문맥에 따라 달랐다. 또한 LLM 평가기의 결정이 제시한 판단 근거와 일치하지 않는 경우가 많았다. 본 프레임워크는 채용 과제에서 LLM 자체의 성능 평가를 넘어, 구성을 마친 이력서 평가 시스템을 감사해 실제 배포 여부를 판단할 수 있도록 한다.

arXiv:2611.19345v2cs.AI

리플레이 없이 순환 상태를 이전할 때의 정보 한계

Information Limits of Replay-Free Recurrent State Migration

순환 모델을 교체할 때 기존 모델의 상태만으로는 새 모델이 같은 이력을 처리했을 때의 상태를 결정하지 못할 수 있다. 본 연구는 어떤 모델로 교체할지 알기 전에 보존해야 하는 정보를 규명한다. 시간 불변 아핀 선형 계열에서 $k$차 국소 이전에 필요한 최소 연속 인과 메모리는 확장 계수 시스템의 도달 가능 차원에서 기준 상태가 담은 정보를 뺀 값이다. 스칼라 입력을 받고 제어 가능한 $d$상태 모델은 스트리밍이 끝난 뒤 임의의 행렬 교체 방향이 알려져도 실수 좌표를 최대 $kd$개 더 저장하면 된다. 단일 랭크 1 방향에서도 $kd$개 모두가 필요할 수 있다. 조건부 특잇값과 보조 비트 수의 경계로 이 국소 정보 법칙을 허용 오차가 고정된 복원 문제와 구분한다. 불변 부분공간 및 미래 출력에 기반한 구성법도 제시한다. 통제 실험에서 얻은 표현들을 비교했다. 소형 언어 모델에서는 메모리 크기를 같게 맞춘 3차 보간이 3차 계수 방식보다 평균 상태 충실도가 높았으나 의미 있는 예측 개선은 없었다. 결합 식별 과제에서는 해석적으로 구한 이력 기저가 유용한 적응 정보를 더 적은 메모리로 보존했다. 느린 극점이 중복된 경우에는 전체 상태의 오차가 커도 이력 좌표 여덟 개로 적합 시드 다섯 개에서 정규화 출력 오차 $10^{-4}$ 기준을 충족했다. 극점을 서로 다른 값으로 나누면 시험한 폭 중 처음으로 기준을 충족한 값은 64였다.

arXiv:2611.19292v2cs.AI

구조화 데이터셋의 목표 변수 예측과 분류를 위한 제로샷 가중치 공간 프로그래밍

Zero-Shot Weight-Space Programming for Prediction and Classification of Target Variables in Structured Datasets

가중치 공간 프로그래밍은 경사하강법 없이 순전파 신경망의 모든 매개변수를 직접 정한다. 기존의 모든 시연은 목표 함수를 규칙으로 모델에 줬기 때문에 컴파일 문제에 해당했다. 지도학습 데이터셋에는 그런 명세가 없다. 따라서 통계적 추론부터 수행한 뒤 주어진 매개변수화 안에서 결과를 표현해야 한다. 본 연구는 대규모 언어 모델이 두 작업을 모두 할 수 있는지 조사한다. 작은 데이터셋 전체와 순전파 신경망의 아키텍처를 보여 주고, 모델이 모든 가중치와 바이어스를 숫자로 직접 작성하도록 했다. 옵티마이저, 그래디언트, 코드 실행, 사전 평가 기회는 제공하지 않았다. 각 결과를 확정해 변경하지 않도록 하고 예상 점수를 사전 등록했다. 단계별 과제 모음은 장난감 문제 두 개에서 시작해, 숨겨진 회전으로 구조를 가린 합성 문제 아홉 개를 거쳐, 고전적 벤치마크와 실제 공학 회귀 문제 하나까지 이른다. 가중치를 고정한 신경망은 최적해가 선형인 모든 문제에서 닫힌 형태의 최적해와 일치했다. 최적해가 비선형인 세 단계에서는 데이터 생성 과정의 비가역적 오차 한계에 도달했으며, 그중 두 단계에서는 경사하강법으로 학습한 동일 아키텍처를 포함해 적합한 모든 기준선을 앞섰다. 두 단계에서는 찾아야 할 구조가 분석한 좌표축에 비스듬히 놓여 실패했다. 다른 모델 세 종으로 구성 실험을 해 보니 점수 하나로는 구분할 수 없는 두 실패 유형이 드러났다. 한 모델은 가장 어려운 단계에서 매개변수 벡터를 반환하지 못했다. 다른 모델은 모든 단계에서 벡터를 냈지만 평균값을 예측하는 것보다 성능이 낮은 신경망을 작성했다. 실패 사례 중 하나는 피할 수 있었다. 또 다른 모델은 비스듬한 힌지 과제를 다중 비교 보정 후에도 유의한 차이로 해결했다. 은닉층이 실제로 유용한지는 선형 분리기의 학습 오차로 예측할 수 있었지만, 종합 복잡도 지수는 이를 포착하지 못했다.

arXiv:2611.18244v2cs.IR

RACE: 효율적인 순차 추천을 위한 순위 불확실성 인지 용량 적응형 맞춤화

RACE: Ranking-Uncertainty Aware Capacity-Adaptive Customization for Efficient Sequential Recommendation

효율적인 순차 추천은 실시간 개인화 서비스를 제공하기 위한 유망한 패러다임으로 부상하였다. 자원 제약 환경에 모델을 배포하려면 모델 압축이 필수적이지만, 기존 방법은 대개 균일한 압축률을 적용하여 사용자 의도 복잡도의 이질성을 간과한다. 이러한 "일률적" 접근은 근본적인 용량-복잡도 불일치(Capacity-Complexity Mismatch)를 초래하여, 연산 자원이 단순한 인스턴스에는 낭비되거나 복잡한 인스턴스에는 부족하게 된다. 이를 해결하기 위해 본 논문은 불확실성 인지 압축률로 모델 구조와 입력 시퀀스를 모두 동적으로 조정하는 프레임워크 RACE(Ranking-uncertainty Aware Capacity-Adaptive Customization for Efficient Sequential Recommendation)를 제안한다. 용량 적응형 추론을 보장하기 위해 RACE는 예측에 대한 모델의 내재적 불확실성을 포착하여 이를 능동적 자원 할당기로 변환한다. 구체적으로 top-$K$ 예측의 분포 안정성으로부터 리스트 단위 순위 불확실성 지표를 도출하며, 이는 인스턴스 복잡도의 측정 가능한 대리 지표로 기능한다. 이후 경량 예측기를 자기 지도 방식으로 학습시켜 초기 층 특징으로부터 이 불확실성을 예측한다. 이 신호에 따라 RACE는 두 차원에서 인스턴스별 슬리밍을 수행한다. 하이퍼네트워크 방식의 채널 민감도 추출기는 파라미터 중복을 식별하고, 중요도 인지 점진적 시퀀스 필터링은 데이터 중복을 완화한다. 널리 쓰이는 네 가지 데이터셋에 대한 폭넓은 실험에서 RACE는 정확도, 효율성, 적응성 면에서 최신 기준선을 능가함을 보인다.

arXiv:2611.16728v2cs.RO

EgoX: 임바디먼트 드리밍을 활용한 자기중심 교차 임바디먼트 조작

EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming

범용 조작 정책은 인간, 실제 로봇, 시뮬레이션 에이전트의 상호 보완적인 경험으로부터 이점을 얻을 수 있다. 그러나 형태, 센싱, 제어 인터페이스의 차이로 인해 이들의 시연을 결합하여 효과적으로 학습하기는 어렵다. 본 논문에서는 센싱 및 제어 인터페이스는 임바디먼트별로 유지하면서, 세밀하고 의미적으로 대응되는 관측 및 행동 모달리티를 통해 조작 구조를 공유하는 자기중심 교차 임바디먼트 학습 프레임워크인 EgoX를 제안한다. EgoX는 이러한 혼합 데이터로 Modular Embodiment Dreamer(MED)를 사전학습하고, 목표 임바디먼트의 시연으로 미세조정한다. 각 임바디먼트 내에서 MED는 관측 모달리티마다 전용 토크나이저를, 행동 모달리티마다 전용 전문가를 할당하며, 트랜스포머 트렁크는 임바디먼트 간에 공유한다. 학습 시에만 사용하는 임바디먼트 드리밍 목적함수는 미래의 시각 및 고유수용성 상태의 잠재 표현을 예측하여, 공유 트렁크가 각 임바디먼트의 동역학을 모델링하도록 유도한다. 다섯 가지 과제와 다섯 대의 실제 로봇 및 한 대의 시뮬레이션 휴머노이드를 포함한 여섯 가지 로봇 임바디먼트에 걸친 13개의 과제-임바디먼트 쌍에서, 교차 임바디먼트 사전학습은 MED의 평균 정규화 과제 진행도를 처음부터 학습한 경우의 0.63에서 0.80으로 향상시켰다. 이러한 향상은 분포 외 조건에서 특히 두드러져, 평균 과제 진행도가 0.53에서 0.77로 증가하였다. 절제 실험은 더 폭넓은 사전학습 혼합 데이터, 모듈식 인터페이스, 임바디먼트 드리밍의 이점을 보여 주며, 드리밍은 임바디먼트 간에 더 유사한 잠재 기하 구조를 만들어 낸다. 프로젝트 페이지: egox-dream.github.io.

arXiv:2611.15920v2cs.SE

Spec-Driven PBT: 에이전트 기반 속성 기반 테스팅을 위해 코드 명세로부터 의미적 불변식 도출하기

Spec-Driven PBT: Deriving Semantic Invariants from Code Specifications for Agentic Property-based Testing

소프트웨어는 점차 자연어 명세로부터 구현을 생성하는 AI 에이전트가 작성하고 있으며, 이러한 관행을 에이전트 코딩이라 한다. 코드는 이제 검토되는 속도보다 빠르게 생산되며, 고유한 특징적 실패 패턴을 보이는 것으로 나타났다. 속성 기반 테스팅(PBT)은 프로그램의 불변 속성을 다수의 생성된 입력에 대해 검사하는 오랜 기법으로, 최근 LLM 에이전트가 속성을 작성하는 방식으로 재조명되어 오랫동안 도입을 가로막아 온 불변식 도출의 높은 노력을 제거하였다. 그러나 기존 방법은 구현만으로 이러한 속성을 도출한다(Code-driven PBT). 한편 제품 요구사항 문서와 같은 상세한 명세는 에이전트 코딩에서 일상적인 것이 되었지만, 결과 코드를 테스트하는 데 있어 명세의 역할은 충분히 탐구되지 않았다. 본 연구는 에이전트가 작성한 코드를 테스트하기 위한 속성의 원천으로서 명세의 가치를 연구한다. 핵심 통찰은 구현과 달리 명세는 코드가 무엇을 하도록 의도되었는지를 기록하므로, 명세에서 도출한 불변식은 특정 구현 선택에 의해 편향되지 않는다는 점이다. 본 논문에서는 먼저 명세로부터 불변식을 자연어로 표현한 다음에야 구현을 살펴 이를 구체적인 테스트로 변환하는 에이전트인 Spec-Driven PBT를 제안한다. ViBench의 25개 애플리케이션에서 Spec-Driven PBT는 Code-driven PBT가 놓치는 새로운 버그 집합을 찾아내면서도 속성 테스트는 2.4배 적게 작성한다. 두 접근법이 발견하는 버그 수는 대체로 비슷하지만 겹치는 부분은 적어, 전체 169개 버그 중 거의 60%가 둘 중 하나에서만 발견된다. 정성적으로, Spec-Driven PBT에서만 발견되는 버그는 문서화된 제품 워크플로를 위반하는 경향이 있는 반면 Code-driven PBT에서만 발견되는 버그는 구현의 견고성에 집중되어, 에이전트가 작성한 코드의 버그 발견에서 상호 보완적인 가치를 제공한다.

arXiv:2611.15507v2cs.LG

ReShap: 고차원 다중 행동 환경을 위한 해석 가능한 강화학습

ReShap: Interpretable Reinforcement Learning for High-Dimensional Multi-Action Settings

심층 강화학습(RL)은 복잡한 과제를 해결하는 데 중요한 역할을 하지만, 심층 신경망에 의존하기 때문에 학습된 정책이 불투명하다. RL 정책의 신뢰성을 높이기 위해 기존 연구(예: SILVER 프레임워크 [Li et al., 2025])는 Shapley 기반 해석 가능성에 초점을 맞추었으나, 일반적으로 저차원 상태 공간, 이진 행동 설정, 단일 부류의 선형 대리 모델로 제한된다. 본 논문에서는 Shapley 기반 해석 가능성을 고차원 다중 행동 환경으로 확장하는 정책 증류 프레임워크 ReShap을 제안한다. ReShap은 원시 이미지 관측에서 간결한 특징 표현을 추출하고, SHAP 기반 특징 기여도 분석을 수행하여 각 특징이 정책의 결정에 어떻게 기여하는지 규명하며, 정책이 방문하는 분포를 따른 (상태, 정책 행동) 쌍 전체로 학습된 해석 가능한 대리 모델로 심층 RL 정책을 증류한다. 대리 모델을 세 가지 해석 가능한 모델군(결정 트리, 선형 회귀, 로지스틱 회귀)으로 구현하고 이들의 충실도와 과제 수익을 비교한다. 세 가지 심층 RL 알고리즘을 사용하여 Atari와 Box2D 환경에서 ReShap을 평가하고, 결과 정책의 명료성과 신뢰성을 평가하기 위해 인간 피험자 연구를 수행한다. 결과는 ReShap이 경쟁력 있는 과제 성능을 유지하며, 결정 트리가 대체로 선형 및 로지스틱 회귀보다 우수하고, 선형 회귀가 대부분의 설정에서 가장 약함을 보여 준다.

arXiv:2611.15481v2cs.AI

SkillEarth: 스킬 진화를 통해 범용 에이전트가 지구 위에서 행동하도록 가르치기

SkillEarth: Teaching General-Purpose Agents to Act on Earth via Skill Evolution

최근 개발된 원격 탐사(RS) 에이전트는 다단계 도구 호출을 통해 복잡한 워크플로를 가진 실제 과제를 수행한다. 그러나 이러한 에이전트는 일반적으로 사전 정의된 전문 지식이나 파라미터 업데이트에 의존한다. 따라서 새로운 도구, 과제, 실행 패턴이 등장할 때마다 전문가 지식을 갱신하거나 모델을 재학습해야 하므로, 동적인 지구 환경에서의 지속적 적응성이 제한된다. 본 연구에서는 전문가의 개입이나 파라미터 업데이트 없이 시연된 궤적으로부터 자동으로 추출할 수 있는 RS 도구 호출 지식을 범용 에이전트에 갖추게 하고자 한다. 구체적으로, RS 도구 호출 지식을 재사용 가능하고 검색 가능하며 진화 가능한 스킬 파일로 외재화하고 관측 기반 진화를 통해 이를 정제하는 자기 진화형 스킬 추출 방법인 SkillEarth를 제안한다. 결과 중심 반성에 의존하여 스킬을 전체적으로 정제하는 기존 자동 스킬 추출 방법과 달리, SkillEarth는 스킬 진화를 실제 도구 체인 실행에 근거하며 이중 판정 피드백과 근거 기반 관측 라우팅 그래프를 결합하여 정밀한 구성 요소 수준의 정제를 수행한다. 그 결과 얻은 스킬은 일반화 가능하고 신뢰할 수 있으며 전이 가능하다. 이 스킬은 세 가지 최신 LLM과 네 가지 오픈소스 LLM에 걸쳐 전반적인 RS 도구 호출 성능을 향상시키고, 실제 도구 실행 피드백을 통해 정제되며, 재학습 없이 모델 간 재사용을 지원한다. OpenEarth-Bench와 Earth-Bench에서의 실험은 SkillEarth가 기존 RS 에이전트 및 스킬 추출 방법보다 더 나은 도구 선택, 인자 정확도, 실행 순서 일관성, 과제 완수를 달성함을 보여 준다.