PyTorchKR Papers

최신 논문

총 24,492편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.00791v2cs.CV

PhoneValue-Bench: 스마트폰 리커머스 검수를 위한 이중 정답 스코어카드 벤치마크

PhoneValue-Bench: A Dual-Ground-Truth Scorecard Benchmark for Smartphone Recommerce Inspection

원격 스마트폰 리커머스가 빠르게 확대되고 있으며, 기기가 도착하기 전에 판매자 사진과 진단 화면으로 재매입 제안을 확정하는 것이 핵심 운영 과제가 되었다. 기존 멀티모달 자원은 주로 결함 위치 파악, 카탈로그 속성, 화면 판독을 대상으로 한다. 이들은 선언된 입력 계약 하에서 외관과 작동 상태의 이중 정답을 갖춘 지급 관련 스코어카드를 간과한다. 이러한 공백은 두 가지 난제에서 비롯된다. (1) 소규모의 감수된 순위 평가 구간과 분리된 대규모 약한 레이블의 중고 보상판매 코퍼스가 부족하다는 점, (2) 순서 없는 사진 묶음을 하나의 프롬프트로 평탄화하거나 평가를 단일 가격 스칼라로 축약하는 아키텍처라는 점이다. 이러한 난제를 해결하기 위해, 본 논문은 주문 21,550건과 이미지 278,748장으로 약한 학습을 수행하는 PhoneValue-Corpus와, 품질 검증을 거친 주문 335건으로 구성된 유일한 리더보드 PV-Rank를 갖춘 이중 정답 리커머스 프레임워크 PhoneValue-Bench를 제안한다. 시스템은 LeadGate 하에서 CardScore로 순위가 매겨지며, Cosmetic Fill과 Operational Fill은 진단 지표로 사용되고, 등급과 가격은 리더보드에서 제외된다. 특히 ValueAgent는 시점을 정규화하고, 영역별 결함을 탐지하며, 스크린샷을 판독하고, 창고 방식의 규칙 하에서 증거를 융합하는 6단계 지각 융합 기준 시스템이므로, 이미지 묶음 프롬프팅이 유일한 평가 단위는 아니다. 동일한 PV-Rank 구간과 고정된 채점기에서 이 전체 시스템 및 입력 계약 비교는 ValueAgent가 CardScore 84.1로, 가장 강력한 Flat 비전-언어 모델의 69.9를 앞서며 CosFill에서 가장 큰 격차가 보고되는 반면, 선언된 두 계약 하에서 OpsFill은 제한적인 수준에 머무른다는 것을 보여 준다. CardScore는 견적 정확도가 아니라 필드 채움의 완결성을 측정한다.

arXiv:2611.00515v2cs.CL

AStockArena: 수익률을 넘어, 금융 에이전트의 결정에 실제 자본을 맡길 수 있는가?

AStockArena: Beyond Returns, Can We Entrust Real Capital to the Decisions of Financial Agents?

대규모 언어 모델(LLM)은 동적 금융 거래에 점점 더 많이 사용되고 있으나, 실시간 거래 벤치마크는 주로 누적 수익률과 위험 조정 성과로 에이전트를 평가한다. 이러한 결과 지표만으로는 거래가 충실하게 보고되었는지, 이용 가능한 증거로 뒷받침되는지, 계좌 상태와 일관되는지를 알 수 없다. 본 논문은 중국 A주 시장에서의 연속 거래를 위한 실시간 의사결정 감사 벤치마크 AStockArena를 제안한다. 공유된 시장 조건과 체결 제약 하에서 개방형 및 폐쇄형 모델 13개를 대상으로 3,198건의 순차적 결정을 평가한다. AStockArena는 보고서, 거래 요청, 체결 응답, 계좌 상태를 정렬하여 계좌에 실제로 반영된 행동을 재구성하고, 체결 추적 가능성(O), 증거 충분성(RK), 금융 메타 인식(B)에 걸친 여덟 가지 검사로 이를 감사하며, 기록 검증과 합의 기반 전문가 주석을 결합한다. 거래 시점 1,070개 중 72.99%가 하나 이상의 감사 공백을 보이며, 모델별 비율은 52.2%에서 91.2%에 이르고 증거 공백이 가장 흔하다. 과거 거래 필터링 재생 실험은 포트폴리오 성과가 이렇게 표시된 거래에 민감함을 추가로 보여 준다. 따라서 의사결정 과정 감사는 금융 에이전트에 대한 수익률 기반 평가를 보완하는 검증 가능한 수단을 제공한다.

arXiv:2610.39685v2cs.SD

음향학에서 에이전트 시스템의 실용적 평가

Practical Assessment of Agentic Systems in Acoustics

공학 분야에서 인공지능의 응용은 지금까지 대체로 대리 모델과 최적화 과제에 국한되어 왔다. 대규모 언어 모델은 말로 주어진 과제로부터 소프트웨어를 작성할 수 있어 이를 바꾸어 놓았다. 정보를 검색하고 소프트웨어를 실행할 수 있게 하는 구성 요소 체계인 하네스 안에 배치되면, 이러한 모델은 반복적인 공학 과제를 맡을 수 있는 에이전트가 된다. 본 연구는 두 가지 일반적인 음향 응용에서 모델과 하네스의 요소가 에이전트의 성능과 행동을 어떻게 형성하는지 측정한다. 첫 번째 응용에서 에이전트는 차량 실내의 오디오 녹음에서 결함을 거의 완벽한 정확도로 탐지하고 위치를 파악한다. 이 과제의 벤치마크는 약한 모델이 어떤 하네스 설계로도 넘을 수 없는 한계를 설정하며, 설계 선택은 모델이 이를 활용할 만큼 충분히 유능할 때에만 효과를 낸다는 점을 보여 준다. 두 번째 응용인 메타물질 단위 셀 설계 사례 연구에서 에이전트는 주어진 주파수 범위에서 지정된 삽입 손실을 달성하는 설계를 안정적으로 찾아낸다. 이러한 결과는 독자가 에이전트의 각 요소가 무엇을 기여하는지, 그리고 음향 과제를 위한 에이전트를 어떻게 설계할지 이해하도록 돕는 것을 목표로 한다.

arXiv:2610.34747v2cs.AI

리프티드 추론을 위한 질의 주도 학습

Query-Driven Learning for Lifted Reasoning

학습과 추론은 지능형 에이전트에 모두 필수적이지만, 전통적으로 두 개의 별개 단계로 취급되어 왔다. 즉 먼저 데이터로부터 지식 베이스를 학습하거나 주어진 것으로 받아들이고, 이후 지식 베이스가 완전하다고 가정하여 질의를 검증한다. 이러한 분리는 하위 목표가 소수의 질의만 검증하는 것일 때 비효율적임이 밝혀져 있다. 더욱이 데이터와 지식 베이스가 부분적이지만 상호 보완적인 정보를 담고 있을 가능성을 간과하므로, 에이전트는 질의를 정당화하거나 반박하기 위해 두 출처를 결합해야 한다. 학습과 추론을 더 긴밀히 통합할 필요성에 동기를 얻어, 본 논문은 추론을 위한 질의 주도 학습 문제를 연구한다. 보다 구체적으로, 기존 연구를 일차 논리 설정으로 확장하는데, 이는 기저 원자의 수가 일반적으로 급격히 증가하기 때문에 실용적 응용에 중요하다. 먼저 부분적인 데이터와 지식 베이스가 주어졌을 때 전칭 질의를 검증하거나 반박하는 것이 언제 가능한지를 묻고, 경계 은닉(bounded concealment)이라는 필요충분조건을 규명한다. 이어서 이 과제를 리프티드 수준에서 해결하는 준다항 시간 알고리즘을 제안한다. 마지막으로 공간 제한 리프티드 증명에 대한 건전성과 완전성 보장을 준다항 표본 및 실행 시간 한계와 함께 증명하여, 제약 없는 지식 베이스 학습이 효율적이지 않은 경우에도 리프티드 질의 주도 추론은 효율적일 수 있음을 보인다.

arXiv:2610.33122v2physics.soc-ph

키친 사이클의 디지털-에너지 재구성: 미국 IT 및 아일랜드 데이터센터 시계열(1995-2025)에 대한 탐색적 증거

The Digital-Energy Recomposition of the Kitchin Cycle: Exploratory Evidence from U.S. IT and Irish Data-Centre Series (1995-2025)

1995년 1분기부터 2025년 4분기까지의 분기별 FRED 및 CSO Ireland 데이터를 사용하여, 미국 IT 투자와 아일랜드 데이터센터 전력이 에너지 및 컴퓨팅 기반 자산을 중심으로 키친 사이클을 재구성하고 있는지 검토한다. 세 가지 결과가 두드러진다. 첫째, Quandt-Andrews sup-Wald 검정은 미국 IT-GDP 상관관계에서 2014년 3분기에 유의한 구조 변화를 찾아내며(sup-W $= 9.69$; $r$은 $+0.45$에서 $-0.12$로 하락), Fisher $r$-$z$ 검정은 Bonferroni 보정 후에도 유의하다($z = +3.11$, $p_{\text{Bonf}} = 0.006$). 반면 부과된 클라우드 대 AI 경계에 대한 유사 검정은 유의하지 않아($p_{\text{Bonf}} = 0.164$), '전략적 디커플링'은 AI 시대보다 약 6년 앞선다. 둘째, 아일랜드에서 계측된 데이터센터 전력과 실질 GDP 사이의 AI 시대 동시점 상관은 크지만($r = +0.41$, $N = 16$), \emph{실질 GDP를 실질 GNP로 대체하면 $r \approx 0$으로 붕괴한다}. 이는 해당 수치가 하이퍼스케일러 운영과 아일랜드 총생산 사이에 공유된 다국적 기업 조세 구조의 영향에서 비롯된 인공물일 가능성이 크다는 점을 시사한다. 셋째, 아일랜드의 교차상관 프로파일은 선행지표 해석과 반대 방향으로 비대칭적이다. 가장 큰 양의 계수가 $k < 0$ 쪽에 몰려 있어(GDP가 데이터센터 부하에 선행), 컴퓨팅 용량은 동행 또는 다소 후행하는 지표로 보는 것이 더 적절하다. AI 시대 표본이 작고 GNI*와 같은 분기별 다국적 기업 조정 집계 지표가 없으므로 모든 계수는 탐색적이다. 이러한 단서 하에서 미국 키친 사이클은 2014년 3분기로 시기를 구분하는 것이 가장 적절하며, 아일랜드의 에너지-데이터 연계는 다국적 기업 활동이 지배한다.

arXiv:2610.31511v2cs.AI

DuoCook: 시각적 계획과 협업을 위한 Overcooked 기반 벤치마크

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

요리 과제에서 두 플레이어를 조율하려면 비전-언어 에이전트가 변화하는 장면 상태를 추적하고, 레시피 단계를 순서화하며, 시간 제한 하에서 공유 자원을 할당해야 한다. 본 논문은 코딩 에이전트를 사용해 구축한 언리얼 엔진 환경에서 이러한 능력을 평가하는 Overcooked 기반 벤치마크를 소개한다. 단일 비전-언어 모델이 \rev{플레이어별 별도 의사결정 호출을 통해} 하향식 시각 관측으로부터 두 플레이어를 모두 제어하며, 엔진이 내비게이션을 수행하는 동안 고수준 행동과 \rev{이미지에 표시된 목표 셀}을 선택한다. 벤치마크는 다섯 범주의 20개 맵으로 구성된다. 이 범주들은 장비 경합, 변화하는 지형, 인계 의존성 하에서의 \rev{두 플레이어} 협업 평가를 지원한다. 소품 범례와 냄비 재료 개수 표시기는 명시적인 시각 단서를 제공하고, 격자 기반 목적지는 공간 그라운딩을 지원한다\rev{. 텍스트는 스테이션 좌표를 제공하지 않으므로 목표 위치는 주로 이미지에서 얻어진다}. 평가는 \rev{20개 맵 전체에서 다섯 개의 VLM과 특권 정보를 가진 스크립트 기준 정책}을 비교하며, 과제 점수, 주문 완료, 배달 정밀도, \rev{조준 정확도}, 모델 API 비용을 측정한다. \rev{20개 맵 전체에 대한 두 개의 짝지은 절제 실험은 공유되는 자기 작성 노트북을 켜고 끄며, 이미지는 고정한 채 텍스트 프롬프트를 약 3,600단어에서 약 440단어로 줄인다.} \rev{가장 강한 모델은 주문의 35\%를 완료하며 정답 스테이션 정보에 접근할 수 있는 스크립트 기준 정책을 능가한다. 노트북의 효과는 부호가 일관되지 않고 통계적으로 신뢰할 만하지 않으며, 프롬프트 텍스트를 줄이면 두 모델의 점수는 낮아지고 나머지 세 모델은 거의 변하지 않는다.} 종합하면 이 환경 설계와 평가 프로토콜은 시각적 상태 추적과 과제 스케줄링이 협업 요리 행동에 어떻게 기여하는지 탐구하기 위한 틀을 제공한다.

arXiv:2610.26924v3cs.AI

DataPraxis: 검증된 워크스페이스 진화를 통한 분석 과제의 확장

DataPraxis: Scaling Analytics Tasks via Verified Workspace Evolution

범용 에이전트는 지속적인 추론, 반복적 조사, 신뢰할 수 있는 근거를 요구하는 전문적인 분석 업무를 수행할 것으로 점점 더 기대된다. 이러한 능력을 학습시키려면 다양하고 도전적인 과제가 필요하다. 그러나 원시 데이터에서 직접 과제를 생성하면 분석을 통해 드러나는 더 깊은 질문을 간과하는 경우가 많고 검증을 위한 근거도 제한적이다. 이러한 한계를 해결하기 위해 본 논문은 검증된 워크스페이스 진화에 기반한 분석 과제 합성 프레임워크 DataPraxis를 제안한다. 이 프레임워크는 검증된 발견과 산출물로 워크스페이스를 점진적으로 풍부하게 한 뒤, 이러한 워크스페이스를 상속하고 결합하여 더 깊은 질문을 도출한다. 누적된 발견과 그 의존성으로부터 과제를 구성하며, 진화 과정과 과제 조립 이후 모두에서 분석 결과를 검증한다. 이 프레임워크를 사용해 다양한 도메인과 출력 형식에 걸친 5,000개의 검증된 궤적으로 구성된 데이터셋 DataPraxis-5K를 구축하고, 이를 통해 DataPraxis-27B와 DataPraxis-35B-A3B를 학습시켰다. DataPraxis-27B는 DABStep에서 55.11, JobBench에서 51.9를 달성하여 GLM-5.2와 같은 최전선 모델과 대등하거나 이를 능가한다. DataPraxis-5K는 huggingface.co/datasets/stargazerhust/DataPraxis-5k에서 이용할 수 있다.

arXiv:2610.26829v2cs.AI

ProteinGeoBench: 최전선 구조생물학 에이전트는 조회에는 능숙하지만 기하학에서는 길을 잃는다

ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry

ProteinGeoBench는 에이전트에게 단백질 구조 파일을 제공하고, 기록된 사실을 조회하거나, 서열을 확인하거나, 원자 좌표로부터 기하 구조를 계산하거나, 구조에 대해 추론하도록 요구하는 131개 과제의 모음이다. 우리는 최전선 모델 4종을 모든 과제에서 여러 차례 실행했고(총 4,249회 실행), 26개 모델은 일부 과제에서 실행했다. 단일 종합 점수는 서로 다른 두 가지 능력을 가린다. 최전선 모델 4종 중 3종은 사실 조회에서 가장 우수하고 좌표 기반 계산에서 가장 부진하다. Claude Opus 5는 조회에서 0.907, 계산에서 0.716을 기록한다. Gemini 3.1 Pro는 예외이다. 기하학 과제는 가장 어려운 과제들 사이에서 과도하게 많이 나타난다. 네 모델이 모두 실패하는 12개 과제 중 절반이 계산 과제이며, 계산 과제는 전체 구성의 5분의 1에 불과하다. 또한 12개 중 8개는 26개 모델 중 어느 모델도 풀지 못했다. 상위 세 모델은 서로 0.031 이내의 차이를 보여 순위를 매기기에는 너무 가깝고, 과제당 1회 실행하는 경우 부트스트랩 재표본의 24%에서 다른 모델이 1위를 차지한다. 따라서 보고서는 과제 유형별 점수와 과제당 실행 횟수를 제시해야 한다. 또한 모델을 실행하는 소프트웨어인 에이전트 하네스와 그 네트워크 접근 여부도 명시해야 하는데, 이 둘이 점수를 변화시키기 때문이다. 15개 과제 부분집합에서 8개의 구조 데이터베이스를 차단하면 점수가 낮아졌고, 네트워크 접근을 제거하면 점수가 더 크게 낮아졌다. 우리의 하네스를 각 제공자의 자체 명령줄 에이전트로 교체하자 점수가 어느 방향으로든 최대 0.09만큼 변했다. 26개 모델 전반에서, 다른 과제에서 더 높은 점수를 받은 모델이 계산에서도 더 높은 점수를 받았다.

arXiv:2610.26651v2cs.LG

The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models

Pretraining filtering is one of the most common safeguards for open-weight language models. Here we study its effectiveness, durability and scalability using the ESM-2 family of protein language models. We find that filtering viral proteins from the pretraining data meaningfully degrades masked language modelling, mutation effect prediction and long-range contact prediction on viral proteins, while largely preserving performance on non-viral proteins. These effects are concentrated among proteins from human-infecting viruses, and grow as we scale models from 8M to 3B parameters. As models increase in size, we find that stringent filtering becomes more effective. However, fine-tuning on sequences from the removed viral families restores the lost performance. Although the cost to recover performance increases with model scale, even for the largest models it costs about 80 USD of H100 time. This work establishes pretraining filtering as moderately effective at selectively degrading performance on viral proteins, but not durable against fine-tuning with modest computational resources and access to relevant data.

arXiv:2610.25096v3cs.AI

이종 데이터 소스 기반 기업 리테일 워크플로를 위한 에이전트형 검색 증강 생성을 향하여

Toward Agentic Retrieval-Augmented Generation for Enterprise Retail Workflows over Heterogeneous Data Sources

기업 리테일 워크플로에서는 에이전트가 구조화된 상품 및 주문 기록부터 비정형 문의와 리뷰에 이르기까지 이종 소스에 걸쳐 증거를 연결해야 하지만, 기존의 에이전트형 RAG 벤치마크는 이러한 과제를 거의 반영하지 못한다. 이러한 워크플로를 통제된 방식으로 평가할 수 있도록, 우리는 페르소나 기반 시뮬레이션으로 구축한 조합형 리테일 벤치마크인 RetailBridge를 소개한다. 이 벤치마크의 질문은 이종 소스 간에 엔티티와 중간 답변을 연결하여 구성되며, 에이전트가 관련 소스를 식별하고, 소스 간에 증거를 전달하며, 근거에 기반한 답변을 생성하도록 요구한다. 이러한 리테일 워크플로에서 LLM을 체계적으로 평가하기 위해, 우리는 자동 스키마 브리핑, 소스 라우팅 계획 연쇄, 진단 기반 계획 수정을 갖춘 리테일 특화 프레임워크 RetailRAG를 개발한다. RetailRAG는 모든 평가 축에서 기존 에이전트형 RAG 기준선을 일관되게 능가하여, 리테일 워크플로에서 LLM 에이전트를 평가하기 위한 강력한 참조 시스템의 역할을 한다. RetailBridge에서 RetailRAG로 10개의 LLM 백본을 평가한 결과, 다중 소스 연쇄가 제공자와 모델 규모를 막론하고 지배적인 병목임이 드러났으며, 이는 신뢰할 수 있는 리테일 에이전트에는 규모 확장만이 아니라 명시적인 소스 간 오케스트레이션이 필요함을 시사한다. 코드와 데이터는 https://github.com/DISL-Lab/RetailBridge 에서 공개되어 있다.

arXiv:2610.23297v2cs.CV

FlashReFocus: 수 초 만에 이루어지는 대화형 이미지 리포커싱

FlashReFocus: Interactive Image Refocusing in Seconds

단일 이미지 리포커싱은 촬영 후 사진의 초점면과 피사계 심도를 변경한다. 사용자는 한 장의 사진에서 여러 초점 선택을 비교하므로, 품질과 속도 못지않게 편집 간 내용의 안정성이 중요하다. 최근의 생성 기반 방법은 먼저 전 초점 이미지를 복원하는 경우에도 편집할 때마다 대규모 확산 모델을 다시 실행하므로, 편집 사이에 내용이 일관되지 않게 바뀔 수 있다. 그러나 매우 부정정(ill-posed)한 것은 이 복원 단계뿐이며 생성 사전분포의 이점도 이 단계에서만 얻는 반면, 블러 렌더링은 대체로 깊이와 초점면에 의해 결정된다. 따라서 우리는 사진당 확산을 한 번만 실행하고 각 편집을 경량 네트워크로 렌더링하는 FlashReFocus를 제안한다. 디코더 정제기를 갖춘 단일 단계 확산 디블러러는 충실도와 지각 품질의 균형을 유지하면서 미세한 디테일을 효율적으로 복원한다. 렌더러는 제어를 위해 명시적인 디포커스 맵을 사용하고, 유사한 블러 크기를 가진 토큰 간의 정보 교환을 촉진하기 위해 디포커스 편향 어텐션을 사용한다. 모든 편집이 동일한 복원 결과를 재사용하므로 초점이 맞은 내용은 편집 간에 일관되게 유지되며, 맵을 편집하면 틸트시프트 및 이중 평면 효과도 구현할 수 있다. 우리는 또한 보지 못한 광학계에 대한 일반화를 평가하기 위해 세 가지 카메라-렌즈 시스템에서 얻은 89쌍으로 구성된 벤치마크 3CReal을 수집한다. EBB! Val176과 3CReal에서의 제로샷 보케 렌더링에서 FlashReFocus는 평가된 방법들 중 충실도와 지각 품질 모두에서 선두를 차지한다. 1536x1536 해상도에서 RTX PRO 6000 한 대로 전체 리포커싱에는 2.45초가 걸리고 이후 각 편집에는 0.46초가 걸린다.

arXiv:2610.17895v4cs.LG

Interaction-as-a-Judge: 상호작용 기반 평가

Interaction-as-a-Judge

코딩 에이전트는 웹사이트, 데스크톱 애플리케이션, 게임과 같은 정교한 대화형 애플리케이션을 생성하는 작업을 맡는다. 사람은 이러한 애플리케이션을 직접 상호작용하며 평가하지만, 현재의 자동화된 LLM 평가는 주로 코드 분석과 단위 테스트에 초점을 맞춘다. 이러한 불일치로 인해 LLM 심사자는 사람 사용자에게는 즉각적으로 드러나는 실패를 놓칠 수 있다. 본 연구는 컴퓨터 사용 에이전트(CUA)가 애플리케이션과 직접 상호작용하며 평가하는 패러다임인 Interaction-as-a-Judge를 연구한다. 우리는 Interaction-as-a-Judge가 대화형 애플리케이션의 평가와 생성을 모두 개선할 수 있음을 보인다. 이를 위해 서로 보완적인 두 가지 데이터셋을 수집하여 공개한다. 하나는 사람의 선호와 해당 에이전트 트레이스가 포함된 $6,858$쌍의 애플리케이션이고, 다른 하나는 사람이 검증한 요구사항 레이블이 포함된 $222$개의 애플리케이션이다. 기존의 비상호작용 방식과 비교하여, Interaction-as-a-Judge는 사람의 선호 예측($65.6\% \to 69.1\%$)과 요구사항 검증($77.0\% \to 81.6\%$) 측면에서 평가를 개선함을 확인했다. 또한 확장에 따른 이점도 관찰했는데, 선호 정렬과 요구사항 검증 모두에서 더 높은 품질의 상호작용이 성능을 향상시켰다. 마지막으로 추론 시점과 학습 시점의 실험을 통해 Interaction-as-a-Judge가 생성된 산출물의 품질 또한 개선할 수 있음을 보인다. 추론 시점에서 Interaction-as-a-Judge는 다섯 번의 시도 내에 깨진 요구사항의 $75.5\%$를 수정했으며, 이는 코드 기반 자기 피드백의 $55.4\%$와 대비된다. 학습 시점에서는 Interaction-as-a-Judge를 보상 신호로 사용하여, 코드 기반 보상 신호와 비교해 기본 모델 대비 승률을 $6.7$pp 향상시키는 동시에 생성된 코드 길이를 $35.7\%$, 빌드 실패율을 $7.2$pp 감소시켰다.

arXiv:2610.15463v3cs.AI

MemeLogos: 유해 밈 탐지를 위한 지식 기반 검색 증강 추론

MemeLogos: Knowledge-Driven Retrieval-Augmented Reasoning for Harmful Meme Detection

소셜 미디어가 급속히 확산됨에 따라 유해 밈은 온라인 생태계에 대한 위협으로 커지고 있다. 유해성은 시각, 텍스트, 맥락 단서 간의 복잡한 상호작용을 통해 암묵적으로 전달되는 경우가 많아 정확한 탐지가 어렵다. 최근 연구들은 검색 증강 생성(Retrieval-Augmented Generation, RAG)과 외부 지식을 유해 밈 탐지에 도입하였다. 그러나 기존 방법은 주로 유사한 사례나 보조 정보를 검색하는 데 그쳐, 재사용 가능한 유해성 지식과 그 기저의 추론 메커니즘을 포착하는 능력이 제한되며, 그 결과 탐지 성능과 해석 가능성이 모두 제약된다. 이러한 문제를 해결하기 위해 본 논문은 유해 밈 탐지를 위한 지식 기반 검색 증강 추론 프레임워크인 MemeLogos를 제안한다. MemeLogos는 다양한 유해 사례에서 반복적으로 나타나는 유해성 패턴과 추론 구조를 추상화하여 재사용 가능한 지식 단위로 만들고, 이를 전용 별 모양 지식 그래프로 조직한다. MemeLogos는 구조화된 지식 검색과 인지 메커니즘에서 착안한 명시적 다단계 추론 과정을 결합하여, 검색된 지식을 유해성 추론의 지침으로 활용함으로써 탐지 신뢰성과 해석 가능성을 모두 향상시킨다. 광범위한 실험 결과, MemeLogos는 기존 유해 밈 탐지 방법을 일관되게 능가하면서 더 일관되고 해석 가능한 추론을 생성하였으며, 이는 멀티모달 콘텐츠 이해에서 구조화된 유해성 지식이 효과적임을 보여준다.

arXiv:2610.14226v2cs.CV

CAPTOR: 흉부-복부-골반 종양 CT를 위한 비전-언어 파운데이션 모델

CAPTOR: a vision-language foundation model for Chest-Abdomen-Pelvis Oncologic CT

목적: 종양 흉부-복부-골반(CAP) CT를 판독하는 영상의학과 의사는 비종양성 질환도 함께 검출해야 하지만, 기존 CT 파운데이션 모델은 단일 해부학적 영역이나 비종양 데이터로 학습되었다. 본 연구에서는 해부학적으로 구조화된 전처리 전략을 사용하여 검사 전체로부터 학습하는, 종양 CAP CT용 비전-언어 파운데이션 모델 CAPTOR를 개발하고 평가하였다. 대상 및 방법: CAPTOR는 후향적 다기관 데이터셋(북미, 유럽, 아시아)의 주로 종양 환자인 CAP CT-판독문 쌍 25,512건(단일 또는 다중 시리즈)으로 사전학습된 대조 비전-언어 모델이다. 보류된 내부 및 공개 테스트 세트에서의 분류와 검색, 그리고 TumorImagingBench를 이용한 생존 예측에서 5개의 CT 파운데이션 모델, 더 큰 규모의 변형 모델(CAPTOR-100K), 해부학적 전처리를 제거한 절제 모델(CAPTOR-NoPre)과 비교하였다. 신뢰구간과 쌍별 비교에는 환자 수준 부트스트랩과 순열 검정을 사용하였다. 결과: 10,794건의 테스트 검사에서 CAPTOR는 CAP(차선 모델 0.695 대비 0.767, p<0.001)와 종양 하위집합(0.734 대비 0.784, p<0.001) 모두에서 5개 모델보다 높은 AUC를 달성하였고 두 경우 모두 검색 성능도 우수했으며, 4개의 종양 생존 벤치마크 중 3개에서 1위를 차지하였다. 훈련 검사 수가 크게 적음에도 CAPTOR-100K와 비슷한 성능을 보였다. 해부학적으로 구조화된 전처리를 제거하면 기관 단위로 보류된 테스트 하위집합을 포함하여 분류 성능이 저하되었다(macro-AUC 0.737 대비 CAPTOR-NoPre 0.691, p<0.01). 결론: 해부학적으로 구조화된 전처리는 다중 시리즈 촬영을 포함한 검사 전체 단위의 CAP CT 해석을 가능하게 하였고 하위 작업 성능을 향상시켰다. CAPTOR는 CAP 및 종양 하위집합에서 최신 CT 파운데이션 모델을 능가하였으며, 훨씬 더 큰 규모의 변형 모델과 대등한 성능을 보였다.

arXiv:2610.09127v2cs.AI

CADFather: 조율된 도구 사용을 통한 자율적 CAD 복원

CADFather: Autonomous CAD Reconstruction through Coordinated Tool Use

3D 형상으로부터 편집 가능한 CAD 모델을 복원하는 것은 여전히 까다로운 엔지니어링 과제입니다. 기존 방법들은 CAD 작업을 제안할 수 있지만, 단일 제안 소스가 다양한 부품 형상과 복원 단계 전반에 걸쳐 항상 일관되게 잘 작동하지는 않습니다. 본 논문에서는 상호 보완적인 도구들을 조율하여 3D 메시(mesh)로부터 파라메트릭 CAD 프로그램을 복원하는 자율 에이전트 시스템인 CADFather를 소개합니다. 비전-언어 어시스턴트는 타깃 및 중간 복원 렌더링을 검사한 후, 확장할 후보 CAD 프로그램, 호출할 도구, 생성할 제안 수, 종료 시점을 결정합니다. 학습 기반 및 알고리즘 기반 도구는 CAD 작업을 제안하고, 수치 최적화는 기존 프로그램의 파라미터를 정밀하게 조정합니다. 제안되거나 정제된 프로그램은 실행 및 평가되어 후속 결정을 위한 피드백을 제공합니다. 에이전트는 각 타깃 부품에 대해 대안 후보 프로그램들을 유지하며 복원 과정 전반에 걸쳐 유효한 최상의 결과를 보존합니다. CADFather는 추가 학습(training) 없이 사전학습된 생성 및 어시스턴트 모델을 사용합니다. DeepCAD, Fusion360, MCB의 전체 테스트 셋뿐만 아니라 CADENA-Bench, CADBench, BenchCAD에서 복원 품질과 실행 유효성을 평가합니다. 추가적으로 연산 비용과 비용 대비 복원 품질 간의 트레이드오프를 분석합니다.

arXiv:2610.04433v2cs.AI

하네스가 가져다주는 것은? 대부분 토큰이다

What Does a Harness Buy? Tokens, Mostly

코딩 에이전트는 하네스, 즉 채팅 모델이 저장소에서 작업할 수 있게 해 주는 시스템 프롬프트, 도구, 컨텍스트 관리 안에 들어 있는 언어 모델이다. 이러한 에이전트에 대한 엔지니어링은 대부분 하네스에 집중되며, 벤더와 리더보드는 점수 향상을 하네스의 공으로 돌린다. 이전 연구들은 모델을 고정하고 하네스를 교체하였으나, 그 교체가 동일한 하네스를 다시 실행했을 때보다 통과율을 더 크게 변화시키는지는 측정하지 않았다. 우리는 7개 모델을 세 가지 프로덕션 하네스인 Claude Code, mini-SWE-agent, OpenCode에서 SWE-bench Verified와 다른 종류의 두 벤치마크로 실행하고, 변경 없이 재실행하였다. 모든 모델에서 일관되게 앞서는 하네스는 없다. 데이터로 두 하네스 간 차이의 범위를 한정할 수 있는 경우 그 범위는 2~5점이며, 하네스 교체가 바꾸는 과제 결과의 수는 재실행과 비슷한 정도이다. 예외는 특정 모델과 하네스 조합에서 나타나는 하네스 효과이며, 그 방향은 모델에 따라 달라진다. OpenCode는 한 모델에서는 8~9점 뒤처지고 다른 모델에서는 14점 앞선다. 하네스 간 비용 차이 역시 모델에 따라 10% 미만에서 3~4배까지 달라진다. 따라서 어떤 하네스가 더 나은지는 모델과 별개로 답할 수 없으며, 하네스 간 차이는 재실행 결과와 함께 보고되어야 한다.

arXiv:2610.02527v2cs.RO

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

Learned visual reward models score a robot's execution from camera images and an instruction, and are increasingly used to fine-tune robot policies. Two checks decide whether to trust one: the reward model separates successes from failures, and task success rises during training. We show that both checks can pass while the policy learns to act on the wrong object. When a diffusion policy is fine-tuned against the reward model Robometer to open a drawer, task success rises by 10.2 percentage points. Wrong-object failures, which open a different drawer, rise by 10.9 points, whereas the same training on the simulator's task-completion signal raises success alone. A second reward model, RoboReward-8B, behaves the same way, and the effect reappears on a physical robot. This happens because of how the reward scores the policy's own failures. Most failures make little progress and score low, while a wrong-object failure looks like progress and scores well above them. Optimization shifts a policy toward outcomes that score above the executions they compete with, the executions they can take the place of. It therefore turns low-scoring failures into both successes and wrong-object failures, even when the reward model scores successes higher. This rule needs only executions of the initial policy, so it can be tested before training. On a stacking task we predicted which of three object placements Robometer would exploit, and training raised wrong-object stacks from 20% to 69% in that placement and in neither of the others. The same rule gives a check to run before optimization and a repair that needs no labels: scoring each execution again on frames re-rendered with the objects the instruction does not name put back removes the amplification on both tasks and on the robot.

arXiv:2610.00262v2cs.CL

부호 있는 어휘 근거를 통한 대화형 AI의 위험 보정 의도 라우팅

Risk-Calibrated Intent Routing for Conversational AI via Signed Lexical Evidence

언어 모델의 발전으로 사람들이 자신의 말로 정보를 찾고, 글쓰기 도움을 받고, 실용적인 조언을 요청할 수 있게 되면서 대화형 AI가 널리 사용되고 있다. 어시스턴트가 특정 작업을 처리할 때에는 사용자가 원하는 바를 추론하고 그 예측에 따라 행동할지 결정해야 한다. 문장 분류기의 신뢰도는 표현에 담긴 단서를 놓칠 수 있다. 본 연구는 분류기의 상위 두 점수 간 격차를 부호 있는 어휘 근거, 즉 단어와 짧은 문자 패턴에 기반한 점수와 결합한다. 이 점수는 해당 패턴이 예측된 의도를 지지하면 양수이고 다른 의도를 지지하면 음수이다. 별도의 보정 데이터와 오류율에 대한 통계적 상한을 사용하여 요청을 수락하는 데 필요한 최소 신뢰도를 설정한다. 데이터셋당 열 번의 실행에서, 제안 방법은 더 많은 요청을 수락할수록 오류가 어떻게 변하는지를 요약하는 위험-커버리지 곡선 아래 면적을, 문장 분류기 점수만 사용하는 신뢰도 모델에 비해 BANKING77, CLINC150, HWU64에서 각각 15.8%, 15.1%, 11.8% 감소시킨다. 5% 오류 목표에서 수락된 요청의 비율은 BANKING77에서 1.83%p, HWU64에서 5.14%p 상승한다. CLINC150은 해당 목표에서 이미 거의 전체 커버리지를 달성한다. 2% 목표에서는 보정 과정이 30번의 모든 실행에서 일부 요청을 수락하는 규칙을 찾아낸다. 본 연구의 기여는 표현이 원래의 의도 예측을 얼마나 강하게 지지하거나 반박하는지를 측정하여 라우팅을 개선하는 두 특징 기반 신뢰도 모델이다.

arXiv:2609.40290v3cs.IT

강한 모델로서의 궤도: 대칭성 하의 콜모고로프 구조 함수

Orbits as Strong Models: Kolmogorov Structure Function under Symmetry

알고리즘 통계학에서 강한 모델은 본질적으로 $\{0,1\}^n$의 단순한 분할의 셀이다. 본 연구는 대칭성에서 유래하는 분할, 즉 문자열에 작용하는 군의 궤도 분할과 그로부터 유도되는 구조 함수 $h^G_x$를 연구한다. 집합이 이러한 분할의 셀인 것은 그 집합의 집합별 안정자군이 그 위에 추이적으로 작용할 때 그리고 그때에 한하므로, $h^G_x$는 $G$-동차 집합으로 제한된 콜모고로프 구조 함수이다. 전체 대칭군의 경우 이는 모든 모델과 정확히 강한 모델들을 복원한다. $GL(n,2)$의 경우 셀은 선형 동차 집합이며, $h^{GL}_x$는 $C(x)-\alpha$와 $n-\alpha$ 사이의 띠에 놓이고 양쪽 경계가 모두 달성되며, 일부 확률적 정규 문자열은 선형 대칭성에는 보이지 않는 단순한 구조를 가진다. 각 순열군을 배치를 갖는 번사이드 환 유형으로 기술함으로써, 탐색할 수 있을 만큼 작은 대칭성 가설 공간은 단순한 구조를 놓칠 만큼 작다는 것을 보인다. 마지막으로 궤도 모델 탐색을 부분군 격자 위의 가치 추정으로 정식화하며, 계산 가능한 한계, 검증된 학습 목표, 그리고 몬테카를로 트리 탐색의 격자 버전을 제시한다.

arXiv:2609.32495v2cs.CR

전언(Hearsay): 배포된 에이전트 하네스가 작성한 기록을 누가 감사할 수 있는가?

Hearsay: Who Can Audit the Record a Deployed Agent Harness Writes?

에이전트의 실행 기록은 그 에이전트를 구동하는 하네스가 작성한다. 실행 이후 분쟁이 발생하면 감사자는 현장에 없었으므로 이 기록만을 가지고 판단해야 한다. 본 연구는 현장에 없었던 사람이 그 기록을 검증할 수 있는지, 그리고 그 답을 결정하는 요인이 무엇인지를 묻는다. 답은 검증이 신뢰할 수 있는 내용을 누가 작성했는가에 달려 있다. 하네스가 기록 전체를 작성했다면 그 기록은 하네스 자신의 진술에 불과하며, 우리는 이를 전언(hearsay)이라 부른다. 우리는 과제가 아니라 기록 자체를 검토하는 벤치마크인 Hearsay를 구축한다. 다섯 개의 하네스가 열네 개의 과제를 수행하고, 세 곳의 벤더가 제공한 모델 검토자와 사람 패널이 기록을 읽고 실행에 관한 질문에 답하며, 이들이 인용한 모든 구절에는 누가 작성했는지가 기계적으로 표시된다. 또한 실제 배포된 환경을 감사한 결과, 열여섯 개 프레임워크 모두에서 하네스가 유일한 작성자였다. 작성자가 하나뿐이면 독자는 최대 열 번 중 아홉 번까지 기록으로부터 결함을 짚어낼 수 있으나 기록을 검증할 수는 없다. 모델 검토자들은 자신이 제시한 근거 중 라벨이 뒷받침하는 수준보다 18~55%p 더 많은 부분이 교차 확인되었다고 주장하는데, 이 격차는 다른 벤더의 모델이 구동한 실행에 대해 예측되었고 실제로 다시 확인되었다. 또한 가장 우수한 검토자도 우리가 기록에 가한 변경 가운데 절반만 알아차리며, 결함을 가장 자주 짚어내는 두 검토자는 하네스가 누락한 내용을 구별하지 못한다. 작성자가 둘이면 기록을 검증할 수 있다. 우리의 샌드박스는 하네스와 모델 사이에 오가는 내용의 원장(ledger)을 보관하며, 원장을 기록과 양방향으로 대조하면 기록이 누락한 내용과 추가한 내용이 드러난다. 우리는 이를 감사자가 사용하는 방식대로, 한 번에 하나의 미공개 기록에 대해 시험한다. 기록이 만들어지기 전에 모든 규칙을 확정한 상태에서 세 번째 벤더의 모델이 구동한 실행에 적용했을 때, 66건의 변경 중 64건을 보고했고 84건의 정상 기록 가운데 어느 것도 오탐으로 표시하지 않았다. 다섯 가지 형식의 보류(held-out) 기록에서는 115건 중 109건을 보고했다. 기록을 증거로 만드는 것은 더 나은 독자가 아니라 두 번째 작성자이다.