PyTorchKR Papers

최신 논문

총 2,138편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26748v1stat.ME

$\beta$-통합 지역 깊이와 적응형 그룹화를 통한 자동 깊이 기반 로컬 중심 클러스터링

Automatic depth-based local center clustering via $\beta$-integrated local depth and adaptive grouping

클러스터링은 레이블이 없는 데이터를 여러 그룹으로 분할하는 비지도 학습 기법이다. 기존 대부분의 방법은 클러스터 수나 이웃 크기와 같이 사용자가 지정해야 하는 매개변수를 요구한다. 반면 우리는 수치적 매개변수 조정을 없애는 완전히 데이터 주도적인 방법인 automatic depth-based local center clustering(A-DLCC)을 제안한다. A-DLCC는 $\beta$-integrated local depth를 사용하여 여러 지역성 수준에서 일관되게 중심에 있는 점, 즉 안정적 exemplar인 local center를 식별하고, 이들을 대표성(representativeness)에 따라 순위화한다. 각 local center는 유사한 점들의 그룹을 유도하며, 그룹 수준 유사도는 제안한 비모수적 지표인 group-level local similarity로 측정한다. 병합을 안내하기 위해 그래프 이론의 bottleneck path 개념을 통합하며, 이는 우리의 적응형 병합 기준의 기반이 된다. 이 기준에 따라 그룹이 자기 자신보다 더 잘 도달하는 이웃에 흡수되거나, 양쪽 모두가 각자의 배경보다 더 도달 가능하다고 보는 이웃과 결합되는 단일 점진적 병합(agglomeration) 규칙을 설계한다. 모든 병합은 추가로 configuration-model null이 기대하는 것보다 강한 접촉(contact)에 의해 이루어져야 한다. 이 규칙은 클러스터 수를 자동으로 추정하고 병합을 중단할 시점을 결정한다. 합성 데이터와 실제 데이터에 대한 실험은 A-DLCC가 매개변수 조정 없이 해석 가능한 클러스터링 결과를 생성함을 보여준다.

arXiv:2609.26445v1stat.ML

그래프 기반 모델 검증 실무 가이드

A Practical Guide on Graphical Model Validation

이 논문은 손해보험 계리 모델링에서 가장 널리 사용되는 모델 검증(validation) 도구들을 체계적으로 정리한다. 여기에는 보정 도표(calibration plot), 실제 대 기대(actual-vs-expected) 도표, 리프트 차트(lift chart), 머피 다이어그램(Murphy diagram)과 같은 그래프 도구뿐 아니라, 브레그만 손실(Bregman loss), 편차 손실(deviance loss), 기초 손실(elementary loss), 머피 분해(Murphy's decomposition), 지니 점수(Gini score)와 같은 고전적인 통계 도구가 포함된다. 특히 보정(calibration)과 판별(discrimination)을 계약 건수 가중(policy-weighted) 모집단 측도 하에서 연구하는지, 아니면 노출 가중(exposure-weighted) 모집단 측도 하에서 연구하는지에 중점을 둔다. 이 구분은 보험료 체계가 올바른 척도에서 보정되도록 하는 데 매우 중요하다.

arXiv:2609.23512v1cs.AI

AgentBetta: 선택적 확장과 검증 기반 수축을 통한 AI 나노-에이전트의 검증 주도 적응형 구성

AgentBetta: Verification-Driven Adaptive Configuration of an AI Nano-Agent through Selective Expansion and Verified Contraction

대규모 언어 모델 에이전트는 일반적으로 사전 정의된 구성으로 배포되지만, 작업마다 필요한 모델 역량, 컨텍스트, 도구, 권한, 메모리 및 연산 자원은 상당히 달라질 수 있다. 본 연구는 이러한 요인을 실행 가능한 구성으로 표현하고, 검증 주도 진단, 선택적 확장, 검증 기반 반사실적 수축을 통해 이를 갱신하는 적응형 AI 나노-에이전트 프레임워크인 AgentBetta를 개발하고 평가한다. 평가는 통제된 메커니즘 검증과 외부 에이전트 비교를 구분한다. AB-ConfigBench 벤치마크에서 AgentBetta는 완전히 제공된 구성과 비교하여 중앙값 컨텍스트 할당을 64,000자에서 8,000 컨텍스트 문자로, 중앙값 도구 노출을 5개 도구에서 0개로 줄이면서 91.38%의 검증된 성공률을 달성했다. 구성 결핍 진단은 평가된 차원 전반에서 정밀도 1.000으로 매크로-F1 점수 0.819를 달성했으며, 선택적 확장은 관련 없는 구성 차원에 대한 불필요한 변경을 피했다. 성공 후 수축은 평가된 단일 차원 수축 프로브의 56.41%에서 검증 결과를 유지했으며, 이는 일부 성공적인 구성이 시험 조건에서 제거 가능한 역량을 포함하고 있음을 나타낸다. 외부 평가는 적응형 구성이 검증된 작업 완료와 역량 노출 사이의 균형을 개선할 수 있음을 시사하지만, 결과는 벤치마크와 에이전트 계열에 따라 달라진다. 특히 계열 간 복제는 주 백본 정확도 순위를 재현하지 못했으며, 특화 시스템은 특정 작업 도메인에서 여전히 유리했다. 이 결과는 AgentBetta를 특화된 에이전트 아키텍처의 보편적 대체재보다는 역량 할당과 추론 비용을 조절하는 구성 적응 메커니즘으로 해석하는 것을 뒷받침한다.

arXiv:2609.23360v1cs.CE

인간 유도 및 물리 제약 AI 에이전트를 통한 토양 플러그 발달에 대한 감사 가능한 모델 구축

Human-guided physics-constrained AI agents construct an auditable model of soil-plug evolution

공학적 예측은 물리적 메커니즘을 방정식, 이산화, 코드 및 검증(validation)으로 일관되게 변환해야 하지만, 국소적인 확인에도 불구하고 오류가 전파될 수 있습니다. 인공지능(AI) 에이전트(agent)는 과학적 작업을 자동화하지만, 물리적 제약과 인간의 감독 하에 이론에서 솔버(solver)에 이르는 과정을 조율하고 독립적으로 감사하는 문제는 아직 해결되지 않았습니다. 본 연구에서는 인간 전문가가 허용 가능한 물리 및 모델링 경계를 정의하고, 에이전트가 증거를 검색하고 방정식을 유도하며 솔버를 구현하고 이론-코드 체인을 감사하는 인간 참여형(human-in-the-loop) 물리 제약 멀티 에이전트 워크플로를 소개합니다. 석션 케이슨 설치 중 토양 플러그(soil-plug) 발달에 적용했을 때, 물리적 지식과 입력이 준비된 후 2.9시간의 에이전트 실행만으로 6개의 정식화(formulation)를 생성하고 감사했습니다. 이러한 정식화 중에서 기하학적 기준선(baseline)에 침투류 기반 토양 간극비 발달을 추가하자 14개 프로파일 전반에서 평균 절대 최종 융기 오차가 58.4%에서 9.0%로 감소했습니다. 최종 선정된 모델(model)은 벽체 부근 팽창(dilation)을 추가로 통합하여 9개의 최종 상태 사례에서 12.4%, 5개의 과정 이력 종점(endpoints)에서 4.2%의 평균 절대 백분율 오차를 달성했습니다. 예측 성능을 넘어, 블라인드 리플레이(blinded replay)를 통해 9개의 목표 문제를 모두 재현한 반면, 독립적인 감사를 통해 36개의 사전 정의된 검사가 통과된 후에도 5개의 구현 문제를 발견했습니다. 전반적으로 본 연구는 멀티 에이전트 AI를 단순한 작업 자동화를 넘어 인간이 관리하는 공학 솔버 영역으로 확장합니다.

arXiv:2609.23201v1cs.AI

벤치마크를 신뢰하지 말 것: 일반 LLM 순위의 한계와 과업별 평가의 필요성

Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation

벤치마크 점수는 대규모 언어 모델(LLM)의 개발, 마케팅, 선정에 점점 더 큰 영향을 미친다. 그러나 종합 점수는 평가 대상 시스템, 포함된 문항, 평가 조건과의 관계에서만 해석할 수 있다. 본 관점 논문은 일반 LLM 순위의 다섯 가지 연관된 한계를 검토한다: 평가 대상과 공개 가용 시스템 간의 차이, 외부 평가에서의 상업적 인센티브와 의존관계, 벤치마크 포화·결함 있는 테스트·데이터 오염(data contamination), 채점 절차를 악용하는 모델, 그리고 일반 점수가 사용자 업무와 관련 있는 정도의 제한. 문서화된 사례들은 이러한 문제들이 서로 다른 대응을 요구하는 이유를 보여 준다. 나는 평가 대상 구성을 공개하고, 문항과 과업의 성공적 완료를 검증하며, 성능을 비용·실행 시간과 함께 보고하고, 일반화 범위를 명시하는 평가 절차를 주장한다. 이어서 기여 문항과 반복 평가의 실용적 사례로 크라우드소싱 벤치마킹 플랫폼 \textbf{Isotanta}를 논의한다. 더 큰 문항 풀은 과업 커버리지를 개선할 수 있고, 반복 표본 추출은 그 풀에 대한 추정치의 안정성을 개선할 수 있다; 둘 다 타당성이나 개인 맞춤화를 보장하지는 않는다. 논문은 플랫폼의 현재 공유 순위와 제안된 과업별·사용자 제공 평가를 구분한다. 핵심 논지는 모델 선정이 일반 리더보드에서의 높은 순위가 아니라, 의도된 업무에서의 성능에 대한 근거를 요구한다는 것이다.

arXiv:2609.22951v1cs.AI

AgentRouter: 비용 최적 다단계 에이전트 워크플로우를 위한 이종 모델 라우팅

AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows

기업용 에이전트 시스템이 궤적의 모든 단계를 프론티어 모델로 라우팅하면, 더 작은 모델도 동등하게 처리할 수 있는 하위 과제에 추론 예산의 60–80%를 낭비한다. 기존 라우팅 솔루션은 단일 턴(single-turn) 쿼리 할당을 최적화하지만, 에이전트 워크플로우에만 있는 한 속성을 간과한다. 단일 궤적 안에서 하위 과제 복잡도가 크게 달라진다는 점이다. 계획 단계는 프론티어급 추론을 요구할 수 있는 반면, 이어지는 포맷팅 단계는 7B 모델만으로 충분할 수 있다. 우리는 단계 수준(step-level) 모델 라우팅을 에이전트 궤적에 대한 순차 할당 문제로 형식화하고 AgentRouter를 제안한다. AgentRouter는 경량 분류기(1,200만 파라미터, A100 GPU에서 단계당 5ms 미만 오버헤드)로, 라우팅 시점에 추출 가능한 다섯 가지 특징을 사용해 각 궤적 단계를 네 가지 모델 계층 중 하나에 매핑한다. 계획, 코딩, 연구, 데이터 분석 과제에 걸친 50,000개의 주석이 달린 에이전트 궤적 단계로 학습된 AgentRouter는 프론티어 전용 baseline 대비 72% 비용 절감을 달성하며, 프론티어 전용 품질의 97.3%를 유지한다(End-to-end 과제 완료율에서 3% 미만 저하). 단계별 라우팅 정확도는 최소 복잡도 단계에서 91%, efficient 계층 단계에서 85%에 이르며, 더 어려운 중간·프론티어 계층에서는 76–82%이다. 동일 벤치마크에서 RouteLLM과 FrugalGPT(단계별 적용)는 각각 31%와 44%의 비용 절감에 그친다. 이는 단일 턴 학습 신호가 궤적 수준의 품질 의존성을 포착하지 못하기 때문이다.

arXiv:2609.22512v1cs.AI

일치가 증거를 과장한다: LLM 판사 합의에서의 오류 의존성

Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus

대규모 언어 모델(LLM) 판사 간의 합의는 종종 결정이 올바르다는 강력한 증거로 받아들여집니다. 이는 판사들이 독립적으로 오류를 범한다고 가정합니다. 실제로 LLM 판사들은 종종 유사한 방식으로 학습(training)되고 평가(evaluation)되므로 동일한 실수를 저지를 수 있습니다. 본 연구에서는 이러한 의존성이 합의의 신뢰성에 어떤 영향을 미치는지 살펴봅니다. 연구 결과, 오픈 가중치(open-weight) 판사와 프론티어(frontier) LLM 판사 모두에서 상당한 오류 상관관계가 있음을 발견했습니다. 10명의 판사로 구성된 주요 그룹에서 판사 오류 간의 평균 쌍별 상관관계는 0.21이었습니다. 그 결과, 10명의 판사는 약 3.5명의 독립적인 판사에 해당하는 통계적 정보만을 제공합니다. 이러한 의존성은 서로 다른 제공업체의 판사를 포함하여 본 연구에서 평가한 높은 정확도의 프론티어 판사들 사이에서 훨씬 더 강하게 나타납니다. 비교의 최대 28%에서 공유된 오류를 무시하면 한 시스템이 유의미하게 더 낫다는 결론에 이르는 반면, 이를 고려하면 그렇지 않았습니다. 또한 오류의 패턴이 중요하다는 점도 확인했습니다. 대부분의 판사가 공유하는 오류와 더 작은 집단에 집중된 오류는 합의에 서로 다른 영향을 미치며 서로 다른 투표 방식을 선호하게 만듭니다. 따라서 전반적인 상관관계의 양만 측정하는 것으로는 불충분합니다. 본 연구 결과는 간단한 접근법을 제안합니다. 신뢰할 수 있는 소규모 예제 집합을 사용하여 판사의 정확도를 추정하고 공유된 실수를 식별하는 것입니다. 그런 다음 결과를 분석할 때 이러한 공유된 오류를 고려해야 하며, 투표 방식은 새로운 데이터에 적용하기 전에 신뢰할 수 있는 예제를 사용하여 선택되어야 합니다.

arXiv:2609.15706v2cs.AI

정확도 너머: 템플릿 문서 추출에서 비전-언어 모델의 견고성, 비용, 거버넌스 트레이드오프

Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction

비전-언어 모델(VLM)은 사업 문서에서 구조화된 필드를 추출하는 데 점점 더 많이 쓰이지만, 대부분의 평가는 깨끗한 벤치마크上的 정확도만 보고하며, 주어진 작업 복잡도에 맞는 접근을 고르는 실무자에게 거의 안내를 주지 않는다. 우리는 측정에 기반한 연구와 오픈소스 공개로 이 공백을 메운다. 11개 시스템(상용 3종, 추론형 2종, 사전학습 및 미세조정 형태의 오픈소스 VLM 5종, 비LLM OCR→정규식 하한선)을 합성 수표 750건의 홀드아웃 풀에서 채점한 결과, 3K 샘플 미세조정은 최고 오픈소스 VLM을 F1 0.98 이상으로 끌어올려 이 작업에서 모든 제로샷 상용 시스템을 넘어서게 한다—한편 GPT-5는 상용 풀에서 F1을 선도하고 Claude Sonnet 4.5는 Date에서 붕괴한다. 이 측정을 실행 가능한 선택으로 바꾸기 위해, 작업 프로필(품질, 지연 시간, 거버넌스, 처리량)을 필터링과 총비용 최소화를 통해 권장 접근에 매핑하는 실무자 지향 선택 프레임워크를 제안하며, 이를 가상의 중간 처리량 문서 추출 시나리오로 설명한다.

arXiv:2604.02279v2cs.AI

자율 운용 포트폴리오: 기관 자산 관리를 위한 에이전트형 아키텍처

The Self Driving Portfolio: Agentic Architecture for Institutional Asset Management

에이전트형 AI는 투자자의 역할을 분석적 실행에서 감독으로 전환한다. 본 연구는 44개의 전문화된 에이전트가 자본 시장 가정을 생성하고, 21가지 경쟁적 방법으로 포트폴리오를 구성하며, 서로의 출력을 비판하고 투표하는 에이전트형 전략적 자산 배분 파이프라인을 제시한다. 연구자 에이전트는 아직 반영되지 않은 새로운 포트폴리오 구성 방법을 제안하고, 메타 에이전트는 과거 예측을 실현 수익과 대조하여 향후 성과를 개선하기 위해 에이전트 코드와 프롬프트를 수정한다. 전체 파이프라인은 투자 정책 성명(Investment Policy Statement, IPS)에 의해 거버넌스되며, 인간 포트폴리오 매니저를 안내하던 동일한 문서가 이제 자율 에이전트를 제약하고 방향을 제시할 수 있다.

arXiv:2604.12935v3cs.CV

Task Alignment: A Simple Proxy for Practical Model Merging Across Diverse Vision Tasks

Efficiently merging several models fine-tuned for different tasks, but stemming from the same pretrained base model, is of great practical interest. Despite extensive prior work, most evaluations of model merging in computer vision are restricted to image classification using CLIP, where different classification datasets define different tasks. In this work, our goal is to make model merging more practical and show its relevance on challenging scenarios beyond this specific setting. In most vision scenarios, different tasks rely on trainable and usually heterogeneous decoders. Differently from previous studies with frozen decoders, where merged models can be evaluated right away, the non-trivial cost of decoder training renders hyperparameter selection based on downstream performance impractical. To address this, we introduce the task alignment proxy, and show how it can be used to speed up hyperparameter selection by orders of magnitude while retaining performance. Equipped with the task alignment proxy, we extend the applicability of model merging to multi-task vision models beyond CLIP-based classification. Project page: https://europe.naverlabs.com/task-alignment

arXiv:2607.21083v2stat.ML

매끄러운 가법 모델에서의 자동 매듭 선택

Automatic knot selection in smooth additive models

B-스플라인 회귀는 비모수 모델링을 위한 널리 사용되는 프레임워크이다. 이 방법론의 성능은 추정 과정 이전에 변화점(changepoint), 즉 매듭(knot)의 개수와 위치를 지정하는 것에 달려 있다. 이러한 매듭 시퀀스는 회귀 함수를 표현하는 데 사용되는 B-스플라인 기저(basis)의 차원과 추정해야 할 계수의 개수를 결정한다. 따라서 매듭 선택은 모델의 유연성에 영향을 미치며, 매끄러움과 적합도(goodness-of-fit)에 영향을 준다. 전통적으로 이 문제는 매듭 선택 알고리즘을 통해 매듭을 명시적으로 선택하거나, P-스플라인과 같이 회귀자의 매끄러움을 자동으로 조정하는 정규화(regularization) 방법으로 해결해 왔다. 후자는 일반화 가법 모델(GAM)에서 표준이 되었다. 반면, 계산적 또는 모델링상 한계로 인해 종종 간과되는 매듭 선택 기법은 일부 맥락에서 유용할 수 있는 특정 장점을 제공한다. 본 연구에서는 적응형 스플라인(A-splines) 매듭 선택 방법론의 확장에 기반하고, 관련 매개변수 조정을 위해 맞춤형 Fellner-Schall 방식을 결합한 GAM을 위한 새로운 명시적 매듭 선택 기법을 제안한다. 제안 방법은 다양한 합성 및 실제 데이터셋(dataset)에서 평가되었으며, P-스플라인 및 최신 매듭 선택 기법과 비교되었다. 결과는 유사한 성능을 보이면서, 훨씬 적은 수의 기저 원소로 구성된 모델(model)을 생성함을 나타낸다.

arXiv:2601.15363v3stat.ML

비정상 함수적 이중 수준 최적화

Non-Stationary Functional Bilevel Optimization

함수적 이중 수준 최적화(FBO)는 함수 공간에서의 계층적 학습을 위한 강력한 프레임워크를 제공하지만, 현재 방법들은 정적 오프라인 설정에 한정되어 있으며 온라인·비정상 시나리오에서는 차선의 성능을 보인다. 우리는 이론적 보장과 실용적 확장성을 모두 갖춘 비정상 FBO를 위한 최초의 알고리즘인 SmoothFBO를 제안한다. SmoothFBO는 윈도우 매개변수를 통해 분산을 줄이는 시간 평활화 확률적 하이퍼그래디언트 추정량을 도입하여, 아선형 후회를 갖는 안정적인 외부 루프 업데이트를 가능하게 한다. 중요하게는, 고전적인 매개변수적 이중 수준 경우가 우리 프레임워크의 특수 축약이므로 SmoothFBO는 온라인·비정상 설정으로의 자연스러운 확장이 된다. 실험적으로 SmoothFBO는 비정상 하이퍼파라미터 최적화와 모델 기반 강화학습에서 기존 FBO 방법들을 지속적으로 능가하여 실용적 효과를 입증한다. 종합하면, 이러한 결과는 SmoothFBO를 온라인·비정상 시나리오에서의 이중 수준 최적화를 위한 일반적이고 이론적으로 정당하며 실용적으로 실행 가능한 기반으로 확립한다.

arXiv:2606.21321v2cs.LG

목표-행동 정렬: 다목적 강화학습 정책 선택을 위한 진단

Objective-Behavior Alignment: Diagnostics for MORL Policy Selection

실세계 의사결정에서는 종종 여러 상충하는 목표를 동시에 최적화해야 한다. 강화학습(RL)에서는 일반적으로 스칼라화(scalarization) 함수를 통해 보상 신호를 단일 스칼라 목표로 결합하여 이를 처리하는데, 이는 불안정할 수 있다: 가중치의 작은 변화가 극적으로 다른 정책을 유발할 수 있다. 다목적 강화학습(MORL)은 대신 목표 간 트레이드오프를 명시적으로 나타내는 정책 집합을 생성한다. 하지만 이러한 정책은 일반적으로 의사결정자에게 가치 벡터(value vector)만을 통해 제시되며, 이는 상당한 행동적 변이를 가릴 수 있다: 서로 다른 궤적(trajectory)을 유발하는 정책이 기대 수익(expected return)만으로 평가될 때 구별 불가능해 보일 수 있다. 우리는 목표 값만으로는 드러나지 않는 파레토 프론트(Pareto front) 상의 행동적 변이를 자동으로 강조하는 탐색적 진단 워크플로를 제안하고, 정책 검사를 지원하는 정량적 및 시각적 도구를 함께 제공한다. 우리는 단순한 그리드 예제에서 접근법을 검증하고 연속 제어(continuous control) 벤치마크로 확장하여, 문제 복잡도가 증가할 때에도 효과적임을 보여준다.

arXiv:2209.01269v2stat.ME

분위수 회귀 및 베이지안 모델 선택 응용을 위한 베이지안 경험적 가능도 계산의 2단계 Metropolis-Hastings 방법

A Two-step Metropolis Hastings Method for Bayesian Empirical Likelihood Computation with Application to Quantile Regression and Bayesian Model Selection

최근 베이지안 프레임워크(BayesEL) 하에서 경험적 가능도 기반 방법들이 사용되어 왔다. 통계적 추론을 위해 이러한 방법들은 매개변수 사후 분포로부터 관측치를 추출하기 위한 효율적인 Markov chain Monte Carlo(MCMC) 샘플러가 필요하다. 그러나 경험적 가능도 지지(support)의 복잡하고, 특히 비볼록(non-convex)인 성질 때문에 이러한 MCMC 알고리즘을 설계하기가 더 어렵다. 이러한 어려움은 많은 응용에서 BayesEL 방법의 사용을 제한해 왔다. 본 논문에서는 BayesEL 사후 분포로부터 샘플링하기 위한 2단계 Metropolis-Hastings 알고리즘을 제안한다. 제안 방법은 매개변수의 적절한 부분집합의 현재 값과 기저 경험적 가능도를 결정하는 추정 방정식(estimating equations)을 이용하여 나머지 매개변수 값들을 제안한다. 따라서 제안 방법은 불연속 추정 방정식을 갖는 문제, 예를 들어 동시 분위수 회귀(simultaneous quantile regression) 등을 포함하여 많은 복잡한 문제에서 BayesEL 사후로부터 샘플링하기에 적합하다. 또한 제안 방법은 reversible jump Markov chain Monte Carlo 절차를 통해 BayesEL 모델 선택으로 쉽게 확장된다. 제안 방법의 여러 설명적이고 실제 응용 사례들이 제시된다.

arXiv:2501.06926v5stat.ML

장기 인과추론에의 응용을 갖춘 준모수적 이중 강화학습

Semiparametric Double Reinforcement Learning with Applications to Long-Term Causal Inference

이중 강화학습(Double reinforcement learning, DRL)은 비모수적 마르코프 결정 과정(MDP)에서 정책 가치에 대한 효율적인 오프-정책(off-policy) 추론을 제공하지만, 시점 간 중첩(intertemporal overlap)이 약하고 점유비(occupancy ratio)가 고차원인 경우 완전 비모수 추정량은 불안정해질 수 있습니다. 이러한 한계는 무작위 실험을 통한 장기 인과추론에서 특히 두드러집니다. 무작위 배정은 처치 할당의 중첩은 보장하지만 지속적인 개입 사용으로 인해 유도되는 미래 상태 궤적에 대한 중첩까지 보장하지는 않습니다. 본 연구에서는 무한 구간(infinite-horizon) $Q$-함수의 연속 선형 범함수를 위한 준모수적 DRL을 개발합니다. 보상(reward) 및 전이 법칙에 선형 MDP 구조를 강제하는 대신, 할인된 벨만 방정식의 해인 $Q$-함수 자체에 작동 준모수적 제약(working semiparametric restrictions)을 부과합니다. 이 제약이 올바를 경우, 풍부하고 잠재적으로 무한 차원인 모델을 허용하면서도 제약이 없는 DRL에 비해 효율성을 향상시킬 수 있습니다. 올바른 모델 명세에만 의존하는 것을 방지하기 위해 가중 벨만 잔차 최소화를 통해 추정 대상(estimand)을 정의합니다. 그 결과로 얻어지는 사영 목표는 오명세(misspecification) 하에서도 유의미하게 유지되며, 올바른 명세 하에서는 원래의 범함수를 복원합니다. 이러한 모수 클래스에 대해 효율적 영향 함수(efficient influence function)와 효율성 한계를 유도하고, 모델에 강건하며 자동으로 편향이 제거된 추정량을 구축하며, $Q$-함수 및 리스(Riesz) 함수 추정을 위한 미니맥스 기준을 개발합니다. 올바른 명세 하에서 최적으로 가중된 버전은 제한된 모델 내의 준모수 효율성 한계(semiparametric efficiency bound)를 달성합니다.

arXiv:2606.04525v4cs.CL

GENEB: 유전체 모델 비교가 어려운 이유

GENEB: Why Genomic Models Are Hard to Compare

유전체 파운데이션 모델 간의 비교가 어렵다는 문제를 해결하기 위해 40개 모델의 고정된 표현을 100개 작업에서 평가하는 대규모 진단 벤치마크인 GENEB을 제안합니다. 분석 결과 모델 순위는 작업 카테고리에 따라 크게 달라지며, 모델 규모보다는 아키텍처와 사전학습 데이터의 정렬이 성능에 더 큰 영향을 미침을 보여줍니다.

arXiv:2411.04440v1q-bio.QM공식 코드 · Papers with Code

AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

Protein engineering is important for biomedical applications, but conventional approaches are often inefficient and resource-intensive. While deep learning (DL) models have shown promise, their training or implementation into protein engineering remains challenging for biologists without specialized computational expertise. To address this gap, we propose AutoProteinEngine (AutoPE), an agent framework that leverages large language models (LLMs) for multimodal automated machine learning (AutoML) for protein engineering. AutoPE innovatively allows biologists without DL backgrounds to interact with DL models using natural language, lowering the entry barrier for protein engineering tasks. Our AutoPE uniquely integrates LLMs with AutoML to handle model selection for both protein sequence and graph modalities, automatic hyperparameter optimization, and automated data retrieval from protein databases. We evaluated AutoPE through two real-world protein engineering tasks, demonstrating substantial performance improvements compared to traditional zero-shot and manual fine-tuning approaches. By bridging the gap between DL and biologists' domain expertise, AutoPE empowers researchers to leverage DL without extensive programming knowledge. Our code is available at https://github.com/tsynbio/AutoPE.

arXiv:2607.24162v2cs.AI

Agent-UCT: 비용 인식 에이전트 워크플로 최적화를 위한 트리에 적용된 상한 신뢰 경계

Agent-UCT: Upper Confidence Bounds Applied to Trees for Agentic Workflow Optimization with Cost-Awareness

검색-증강 생성(RAG) 파이프라인과 같은 에이전트 워크플로의 최적화는 엄격한 평가 예산 하에서 이산적 구성 요소 선택의 조합 공간을 탐색해야 한다. 기존 접근법—휴리스틱 탐색, 블랙박스 최적화, 표준 트리 탐색 방법—은 이러한 워크플로의 구성적 구조를 명시적으로 활용하지 않아 중복 계산과 비효율적인 예산 배분을 초래한다. 우리는 Agent-UCT(Agent-based Cost-Aware Upper Confidence Bounds Applied to Trees)를 제안한다. 이는 이분 접두 문맥 재사용 그래프에서 유도된 재사용 인식 정규화 항으로 UCT를 확장한 트리 탐색 알고리즘이다. Agent-UCT는 이전에 구체화된 구성 접두 문맥을 활용하는 분기를 선호하도록 선택을 편향시켜, 효과적인 탐험을 유지하면서 중복 실행을 줄인다. 우리의 프레임워크 RAGSpace는 LongRAG, LightRAG, Self-RAG의 이질적 RAG 구성 요소를 5차원 구성 공간으로 통합하여 체계적인 프레임워크 간 재조합을 가능하게 한다. WTB(Workflow Test Bench)는 결정적 재생, 콘텐츠 주소 지정 캐싱, 트랜잭션 일관성을 제공하여 중간 상태가 한 번 구체화되어 탐색 전반에 재사용되도록 보장한다. HotpotQA와 UltraDomain에서의 실험은 Agent-UCT가 평가된 고정 프레임워크 프리셋 중에서 가장 높은 표본 외 성능을 갖는 구성을 식별함을 보여준다. 전체 풀 평가에서 이분 접두 문맥 재사용은 접두 공유 없음 비용 상한 대비 논리적 탐색 비용을 73.6% 줄인다. 전체 풀 평가와 비교하여, 샘플링 기반 평가는 추가로 wall-clock 기준 4.2배 속도 향상을 달성한다. Agent-UCT, RAGSpace, WTB는 함께 비용 인식적이고 재현 가능하며 구성적으로 효율적인 에이전트 워크플로 최적화를 위한 통합 프레임워크를 제공한다.

arXiv:2409.07314v4cs.CL

MEDIC: 임상 응용에서 LLM 안전성 및 실용성 선행 지표의 종합 평가

MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

대규모 언어 모델(LLM)은 표준화된 의료 면허 시험에서 초인적 성능을 달성하지만, 이러한 정적 벤치마크는 포화 상태에 이르렀으며 임상 워크플로의 기능적 요구와 점점 더 동떨어지고 있다. 이론적 역량과 검증된 실용성 사이의 격차를 해소하기 위해, 우리는 5개 차원에 걸친 임상 LLM 역량의 선행 지표를 수립하는 종합 평가 프레임워크인 MEDIC을 제안한다. 이러한 선행 지표는 정적 지식 검색과 기능적 실행 사이의 괴리와 같은 교차 벤치마크 역량 격차를 드러내며, 비용이 큰 배포 기반 평가 이전에 모델 선택에 정보를 제공한다. 표준 질의응답을 넘어, 결정적 실행 프로토콜과 참조 텍스트에 의존하지 않고 정보 충실도와 환각(hallucination)률을 정량화하는 새로운 교차 검증 프레임워크(Cross-Examination Framework, CEF)를 사용하여 운영 역량을 평가한다. 이질적인 과제 모음에 대한 우리의 평가는 중요한 성능 트레이드오프를 드러낸다. 우리는 정적 검색에 대한 숙련도가 임상 계산이나 SQL 생성과 같은 운영 과제에서의 성공을 예측하지 못하는, 상당한 지식-실행 격차(knowledge-execution gap)를 확인한다. 또한 수동적 안전성(거부)과 능동적 안전성(오류 탐지) 사이의 괴리를 관찰하며, 높은 거부율을 위해 파인튜닝(fine-tuning)된 모델이 사실 정확성을 위해 임상 문서를 신뢰성 있게 검토하는 데 종종 실패함을 보여준다. 이러한 결과는 어떤 단일 아키텍처도 모든 차원에서 우위를 차지하지 않음을 보여주며, 임상 모델 배포에 대한 포트폴리오 접근의 필요성을 강조한다. 우리는 이 연구와 함께 https://hf.co/spaces/m42-health/MEDIC-Benchmark 에서 공개적으로 이용 가능한 MEDIC 리더보드를 제공한다.

arXiv:2607.22961v1cs.LG

Verbalized Particle Posterior: 자연어 가설에 대한 베이지안 추론

Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses

언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.