PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.21243v5math.OC

비평활 서브모듈러-오목 함수의 오프라인 및 온라인 최소-최대 문제 해결: 영차(Zeroth-Order) 접근법

Solving the Offline and Online Min-Max Problem of Non-smooth Submodular-Concave Functions: A Zeroth-Order Approach

우리는 최소화 변수에 대해 서브모듈러(submodular)이고 최대화 변수에 대해 오목(concave)이며, 비평활(non-smooth)할 수 있는 목적 함수를 갖는 최대-최소(max-min) 및 최소-최대(min-max) 문제를 고려한다. 우리는 이 문제에 적용된 영차(zeroth-order) 방법의 성능을 조사한다. 이 방법은 최소화 변수에 대한 목적 함수의 로바스 확장(Lovász extension)의 서브그래디언트(subgradient)와, 최대화 변수에 대한 평활화된 함수의 그래디언트(gradient)를 추정하기 위한 가우시안 스무딩(Gaussian smoothing)에 기반한다. 기댓값의 의미에서, 우리는 오프라인의 경우 알고리즘이 ε-안장점(saddle point)으로 수렴(convergence)함을 증명한다. 더 나아가, 우리는 온라인 설정에서 기댓값의 의미로 알고리즘이 $O(\sqrt{N(1+\bar{P}_N)})$의 온라인 듀얼리티 갭(duality gap)을 달성함을 보인다. 여기서 $N$은 반복 횟수이고 $\bar{P}_N$은 최적 결정 시퀀스의 경로 길이(path length)이다. 모든 경우에 대한 복잡도 분석과 하이퍼파라미터(hyperparameter) 선택이 제시된다. 이론적 결과는 수치 예제를 통해 설명된다.

arXiv:2607.11555v1cs.LG

신경망 집합 함수의 완화 학습을 통한 최적 부분집합 오라클 발전

Advancing Optimal Subset Oracle via Learning Relaxation of Neural Set Functions

신경망 집합 함수 학습은 AI 기반 신약 개발에서의 화합물 선택 및 제품 추천을 포함한 광범위한 중요 응용 분야에서 핵심적인 역할을 한다. 최근 연구에서는 실용적인 약지도(weakly supervised) 설정하에서 집합 함수를 암묵적으로 학습하기 위한 최적 부분집합 오라클(optimal subset oracle)을 도입하였으며, 모델 파라미터는 평균장 변분 추론(mean-field variational inference)을 통해 최적화된다. 그러나 이러한 프레임워크는 변분 분포를 업데이트할 때 증거 하한(evidence lower bound, ELBO)의 그래디언트를 추정하기 위해 몬테카를로 샘플링에 의존한다. 반복적인 샘플링은 상당한 계산 오버헤드를 초래하며, 이로 인한 확률적 특성은 최적화 궤적을 불안정하게 만들 수 있다. 본 연구에서는 증거 하한을 집합 함수의 연속 완화(continuous relaxation)로 재해석하고, 변분 최적화 과정에서 샘플링 기반 ELBO 그래디언트 추정을 대체하는 대리 목적 함수(surrogate objective)를 학습한다. 학습된 대리 함수는 연속 도메인 전반에 걸쳐 안정적이고 효율적인 그래디언트를 제공함으로써 계산 오버헤드를 줄이고 추론을 가속화한다. 아울러, 부분모듈러 최대화(submodular maximization) 하에서 제안된 프레임워크에 대한 근사 보장을 확립하고, 변분 자유 에너지(variational free energy)와의 연관성을 규명한다. 다양한 실제 태스크에 대한 실험 결과, 기존 베이스라인 대비 일관된 성능 향상이 확인되었다.

arXiv:2607.09765v1cs.AI

정확성의 비용은 얼마인가? 약한 다중 에이전트 군집에서 강한 수정자의 예산 배치

How Much Does Correctness Cost? Budgeted Placement of Strong Correctors in a Weak Multi-Agent Swarm

신뢰할 수 없는 에이전트들로 구성된 저렴한 군집은 소수의 강력하고 비용이 높은 '오라클' 수정자에 의해 올바른 합의로 유도될 수 있다. 우리는 얼마를 지출해야 하는지, 그리고 오라클을 어디에 배치해야 하는지를 묻는다. 우리는 군집을 그래프 위의 합의 문제로 모델링하며, 각 오라클은 비용에 연계된 오목한 강도로 하나의 노드를 진실 방향으로 고정하고, 품질은 일관성 H(R)=tr M(R)^{-1}로 측정한다. 첫 번째 결과로, 오라클의 강도가 서로 다른 경우에도 H는 준모듈성(submodular)을 유지하며(각 추가 오라클의 기여는 이전보다 감소), 이로써 비용-편익 그리디 알고리즘이 임의의 예산에서 최적 배치의 1-1/e 이내를 달성한다. 예산을 역으로 보면 예산-정확성 경계 B*(eps)를 얻는데, 이는 eps-정확 합의를 보장하는 최소 지출이다: 완전 그래프에서는 닫힌 형태로, 오라클 비용이 동일한 경우 최소 오라클 수 k*로 표현된다. 주어진 예산으로 소수의 강한 오라클을 구입할지 다수의 중간 오라클을 구입할지는 비용-품질 법칙의 곡률에 달려 있다: 수확 체감 구간에서는 분산 배치가, 급격한 증가 구간에서는 집중 배치가 유리하다. Qwen3 계열(0.6B~32B)에서 측정한 결과, 이 법칙은 수학 검증에서는 오목하고 창발적(emergent) 코드 추적에서는 볼록하게 나타나, 결론은 진정으로 태스크 의존적임을 보인다. https://github.com/YehudaItkin/budgeted-oracle-placemen

arXiv:2607.09739v1cs.AI

스코어 집합보다 코어셋 먼저: LLM 벤치마크를 위한 평가-비지도 프롬프트 부분집합 선택

Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks

우리는 LLM 벤치마크 코어셋 선택을 연구한다: 여러 벤치마크에 걸쳐 소수의 프롬프트 부분집합을 선택하여, 해당 부분집합에서 유도된 모델 점수와 순위가 전체 벤치마크 스위트에서 얻은 결과와 근사하도록 한다. 평가-비지도 벤치마크 코어셋 선택(우리의 접근법)에서, 선택 알고리즘은 모델 평가 결과를 전혀 사용하지 않으며, 전체 벤치마크의 부분 컬렉션을 생성하는 것이 아니라 여러 벤치마크에 걸친 프롬프트 부분집합을 생성하는 세밀한 단위로 동작한다. 우리는 부분모듈러(submodular) 부분집합 선택을 활용하며, 이를 위해 행렬식 포인트 프로세스(DPP, determinantal point process) 기반 접근법, 부분모듈러 상호정보(mutual information) 함수, 시설 위치(facility location) 기반 함수 등 다양한 부분모듈러 함수를 개발하고 평가한다. 5가지 능력 범주, 18개의 최전선(frontier) LLM, 61K개 이상의 프롬프트를 아우르는 35개의 이질적 벤치마크로 구성된 새로운 대규모 스위트에서, 저비용 의미론적 프롬프트 임베딩만을 활용하는 시설 위치(FL) 함수가 다양한 코어셋 예산 범위에 걸쳐 12가지 점수 기반 및 다양성 기반 베이스라인보다 LLM 점수를 더 잘 보존함을 발견하였다. 나아가, 우리의 제안된 목적함수가 평가-비지도 환경에만 국한되지 않음을 보인다: 소수의 전체 벤치마크만 선택해야 하고 대량의 모델 점수가 이용 가능한 설정에서, 동일한 목적함수가 MMLU 및 MTEB 리더보드에서 최신(state-of-the-art) 베이스라인과 동등하거나 이를 능가하면서도 계산 비용이 크게 낮다. 종합하면, 우리의 결과는 부분모듈러성(submodularity)이 일반적으로 벤치마크 압축을 위한 강력하고 신뢰할 수 있는 도구임을 시사한다.

arXiv:2602.20578v2cs.LG

하강 폐쇄 볼록 집합 위 온라인 비단조 DR-부분모듈러 최대화의 상위 선형화 가능성

Upper-Linearizability of Online Non-Monotone DR-Submodular Maximization over Down-Closed Convex Sets

우리는 하강 폐쇄 볼록 집합 위에서 비단조 감소 반환(DR)-부분모듈러 함수의 온라인 최대화를 연구한다. 이는 기존의 투영 없는 온라인 방법들이 준최적 후회(regret) 및 제한된 피드백 보장을 겪는 체제이다. 우리의 핵심 기여는, 신중하게 설계된 지수 재매개변수화, 스케일링 매개변수, 대리 퍼텐셜 하에서 이 함수 클래스가 $1/e$-선형화 가능함을 보이는 새로운 구조적 결과이며, 이를 통해 온라인 선형 최적화로의 환원이 가능해진다. 그 결과, 라운드당 단일 그래디언트 질의만으로 $O(T^{1/2})$ 정적 후회를 달성하고, 적응적·동적 후회 보장을 확보하며, 세미-밴딧, 밴딧, 영차 피드백 하에서도 개선된 수렴률을 얻는다. 모든 피드백 모델에 걸쳐 우리의 상한은 최신 결과를 엄격히 개선한다.

arXiv:2606.26591v1math.OC

3목적 적분 R2 부분집합 선택: NP-난이도와 서브모듈러 근사

Three-Objective Integral R2 Subset Selection: NP-Hardness and Submodular Approximation

유한 파레토 전선 근사에서 고정된 수의 대표 점을 선택하는 것은 다목적 최적화에서 기본적인 후처리 작업이다. 본 논문은 3목적에서 적분 R2 지표에 대해 이 문제를 연구하며, 이 지표는 2차원 가중치 단체 위에서 가중 Tchebycheff 스칼라화의 하한 포락선 적분으로 정의된다. 우리는 두 가지 상호 보완적인 알고리즘 결과를 제공한다. 긍정적인 측면에서, 임의의 고정 기준선에 대한 적분 R2 개선은 단조 서브모듈러 집합 함수임을 보인다. 일반적인 이상점 기반 R2 지표에 대해 이상점이 고정된 경우, 이는 직접적인 격차 감소 보장을 제공한다: 탐욕 선택은 고정된 지배 앵커 값과 최적 cardinality-$k$ 값 사이의 최대 가능 R2 격차의 최소 $(1-1/e)$ 비율을 메운다. 또한 세분화를 통해 정확한 적분 R2 값을 계산하는 검증된 탐욕 구현을 제공하며, 최악 경우 실행 시간은 $O(n^6)$이다. 부정적인 측면에서, 정확한 고정 cardinality 부분집합 선택이 3목적에서만 이미 NP-난이도임을 증명한다. 난이도 증명은 Tchebycheff-그림자 개선을 밀도 $(x_1+x_2+x_3)^{-4}$를 갖는 가중 앵커-박스 합집합 문제로 매핑하는 원근 변환을 사용하고, Bringmann, Cabello, Emmerich의 3차원 앵커-박스 구성을 적용한다. 이 결과들을 종합하면, 다룰 수 있는 2목적 경우와 3목적 경우를 구분하면서 서브모듈러 최적화에 기반한 원칙적인 근사 경로를 제시한다.

arXiv:2606.11804v1cs.AI

신뢰할 수 있는 AI를 향하여: 연속 데이터 요약을 위한 다중 타겟 적대적 공격과 강건한 방어

Toward Trustworthy AI: Multi-Target Adversarial Attacks and Robust Defenses for Continuous Data Summarization

연속 데이터 요약 과정의 취약점을 분석하여 DR-submodular 최적화를 기반으로 다중 타겟 적대적 공격과 강건한 방어 기법을 제안합니다. 실제 데이터셋에 대한 실험을 통해 제안된 공격이 다운스트림 작업 성능을 저하시킴을 확인하고, 방어 알고리즘이 강건성을 효과적으로 향상시킴을 입증했습니다.