PyTorchKR Papers

최신 논문

총 2,138편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22641v1cs.DL

AutoCluster, AutoTopicModeling, AutoTrendAnalysis: 신흥 트렌드 예측을 위한 완전한 AutoML 파이프라인

AutoCluster, AutoTopicModeling, AutoTrendAnalysis: A Complete AutoML Pipeline for Predicting Emerging Trends

신흥 트렌드 예측은 기업, 연구자, 정책 입안자에게 필수적이지만, 기존 접근법은 종종 확장성과 적응성이 부족하다. 본 논문은 시간 속성을 갖는 텍스트 데이터셋에서 통찰을 추출하도록 설계된 자동 머신러닝(AutoML) 기반 트렌드 예측 프레임워크를 제시한다. 시스템은 날짜 필드가 동반된 주제별 텍스트 항목을 입력으로 받는다. 파이프라인은 전처리와 임베딩으로 시작하며, 이어서 메타학습(meta-learning)을 사용해 최적의 클러스터링 알고리즘을 선택하는 AutoClustering이 수행된다. AutoTopicModeling은 successive halving을 적용하여 각 클러스터의 coherence score를 기준으로 Latent Dirichlet Allocation (LDA), Latent Semantic Analysis (LSA), BERTopic, 또는 Non-negative Matrix Factorization (NMF) 중 최적의 토픽 모델링 방법을 식별한다. 트렌드 예측을 위해 AutoTrendAnalysis는 Facebook Prophet, 자기회귀 통합 이동평균(AutoRegressive Integrated Moving Average, ARIMA), Loess를 이용한 계절-트렌드 분해(Seasonal-Trend decomposition using Loess, STL), 장단기 메모리(Long Short-Term Memory, LSTM) 등 여러 모델을 평가하며, successive halving 또는 전수 비교를 통해 평균 제곱근 오차(Root Mean Square Error, RMSE)를 기준으로 가장 정확한 모델을 선택한다. 토픽은 예측 결과에 따라 강한 신호, 약한 신호, 또는 노이즈로 분류되어 신흥 트렌드를 식별할 수 있다. 클러스터링, 토픽 모델링, 시계열 예측을 자동화함으로써 본 연구는 수작업을 줄이면서 트렌드 예측 정확도를 향상시킨다. 제안 시스템은 실시간 응용과 머신러닝 전문성이 제한된 이해관계자에게 적합한 확장 가능하고 사용하기 쉬운 솔루션을 제공한다. 실험 결과, 제안 시스템의 최적 시행은 최종 RMSE 7.099를 달성하여 높은 예측 정확도를 보여준다.

arXiv:2607.22841v1cs.IR

다국어 금융 QA를 위한 언어 라우팅 RAG 및 직접 선택지 점수화: FinMMEval의 DS@GT

Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

우리는 영어, 스페인어, 그리스어, 중국어, 힌디어를 아우르는 다국어 금융 시험 질의응답 벤치마크인 FinMMEval 2026 Task 1에 대한 DS@GT의 제출 결과를 제시한다. CFA, EFPA, CPA와 같은 금융 자격 시험은 표준 자연어 처리(NLP) 벤치마크가 포착하지 못하는 구조화된 도메인 추론을 요구하며, 검색 및 표현 인프라가 미발달된 언어에서는 이 과제가 더욱 가중된다. 우리는 LangGraph 기반의 검색-증강 생성(RAG) 파이프라인을 구축하여 질의 언어를 감지하고, BGE-M3 임베딩과 FAISS 인덱싱을 사용해 30,209개 항목의 다국어 지식 베이스에서 의미적으로 관련 있는 예시를 검색한다. 시스템은 이어서 검색-증강 직접 점수화(RADS)를 통해 답을 채점하며, 자유 형식 출력을 생성하는 대신 후보 선택지 문자에 대한 다음 토큰 로그 확률을 읽는다. 저자원 언어의 경우, 가중 역순위 융합(weighted Reciprocal Rank Fusion)을 사용하여 언어별 및 교차 언어 검색 인덱스를 융합한다. 모델 선택은 언어 라우팅 방식이다: 아랍어, 중국어, 힌디어에는 Qwen3-14B; 영어에는 Qwen2.5-14B; 그리스어에는 Llama-3.1-8B를 사용하며, 이 라우팅은 상당한 언어 비대칭 성능 격차를 드러내는 실증적 ablation에서 도출되었다. 주목할 점은, 사고의 연쇄(Chain-of-Thought) 프롬프팅이 그리스어 정확도를 크게 저하시킨다(90.7%에서 20.9%로)는 것이며, Qwen3의 기본 thinking 모드를 활성화하면 아랍어 RADS 성능이 거의 무작위 수준으로 붕괴한다. 우리의 결과는 효과적인 다국어 금융 추론이 언어 인식 검색, 모델 라우팅, 그리고 의도적인 점수화 전략 선택을 필요로 함을 보여준다.

arXiv:2606.13751v4cs.CL

상속 추론에서 어떤 모델이 더 나은 성능을 보이는가?

Which Models Perform Better in Inheritance Reasoning?

본 논문은 아랍 이슬람 상속 추론에 관한 QIAS 2026 공유 과제(Shared Task)에서 PSL 팀의 참가를 소개한다. 이 과제는 법적 해석, 다단계 추론, 정밀한 수치 계산이 필요한 상속 사례를 해결하는 대규모 언어 모델(LLM)의 능력을 평가한다. 최소한의 과제별 적응으로 구조화된 법적 추론에서의 효과를 평가하기 위해 통일된 프롬프트(prompt) 전략 하에서 \textit{commercial} 모델과 \textit{open-source} 모델을 비교한다. 우리의 결과는 두 모델 계열 간 신뢰성에 뚜렷한 격차가 있음을 보여준다. 상용 모델은 적격 상속인 식별, 배제 규칙 적용, 추론 단계 전반에 걸친 일관성 유지에서 더 강한 성능을 보인다. 반면 오픈소스 모델은 특히 종속적 법적 결정과 분수 지분 조정이 수반되는 사례에서 더 큰 불안정성을 보인다. 최고 성능은 MRE $0.989$로 \textit{Gemini 2.5 Flash}가 달성한다.

arXiv:2602.21947v5cs.CL

대규모 언어 모델의 알고리즘적 맹목: 성능 예측의 보정 연구

Algorithmic Blindness in Large Language Models: A Calibration Study of Performance Prediction

대규모 언어 모델(LLM)은 놀라운 지식의 폭을 보여주지만, 계산 과정에 대해 추론하는 능력은 여전히 잘 이해되지 않았다. 알고리즘 선택과 배포를 안내하기 위해 LLM에 의존하는 실무자에게 이 격차를 메우는 것은 중요하다. 우리는 인과 발견(causal discovery)을 테스트베드로 삼아 이 한계를 다루고, 알고리즘 실행에서 도출된 정답(ground truth)에 대해 8개의 선단 LLM을 평가한다. 우리는 모델 전반에 걸친 체계적이고 거의 완전한 실패를 발견한다. 예측 범위는 실제 신뢰구간보다 훨씬 넓음에도 불구하고, 대부분의 경우 실제 알고리즘 평균을 포함하지 못한다. 대부분의 모델은 무작위 추측보다 나쁜 성능을 보인다. 최고 성능 모델의 미미한 개선은 원칙에 기반한 추론이라기보다 벤치마크 암기를 시사한다. 우리는 이 실패를 알고리즘적 맹목(algorithmic blindness)이라 명명하고, 이것이 알고리즘에 대한 선언적 지식과 보정된(calibrated) 절차적 예측 사이의 근본적 격차를 반영한다고 주장한다.

arXiv:2410.07809v2cs.CL공식 코드 · Papers with Code

다국어 지시 미세조정에는 최적의 언어 집합이 존재하지 않는다: 언어학적 정보 기반 연구의 통찰

No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study

다국어 지시 미세조정(MIT)은 다국어의 저주, 데이터 부족, 높은 계산 비용으로 인해 어려움을 겪는다. 자연스러운 가설은 언어학적으로 다양한 언어 집합을 신중하게 선택하면 보편적으로 더 나은 모델을 얻을 수 있다는 것이다. 우리는 유형론적, 지리적, 의미적, 학습된 특징에 기반한 언어학적 정보 기반 선택 전략을 무작위 기준선과 비교 평가하여, 세 가지 모델 패밀리(mGPT, mT5-xl, BLOOM)와 다섯 개의 다국어 벤치마크에 걸쳐 이를 체계적으로 검증한다. 우리의 핵심적인 부정적 발견은 고정 예산 설정에서 보편적인 언어 선택 전략이 나타나지 않는다는 것이다. 성능은 작업과 모델에 크게 의존하며, 적당한 임계값을 넘어 더 많은 언어를 추가하면 다국어의 저주와 일치하는 성능 저하가 발생한다. MIT 데이터 큐레이션에 대한 함의와 벤치마크 평균 평가의 함정에 대해 논의한다. 모든 자료는 https://github.com/GGLAB-KU/ling-informed-mit 에서 공개적으로 이용할 수 있다.

arXiv:2607.24516v1cs.CV

DecoupleMix: 확장 가능한 VLM 데이터 레시피를 위한 분리형 비율 탐색 및 볼록 할당

DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes

비전-언어 모델(VLM)의 데이터 큐레이션(data curation)은 점점 활발해지고 있지만, 사전학습 혼합(mixture) 구성에 대한 공개된 관행은 여전히 대체로 휴리스틱(heuristic)에 의존한다. 실무자들은 품질 필터를 통과한 데이터셋을 쌓아 올리고, 도메인 간 비율은 직관에 따라 설정하며, 새로운 데이터를 편입할 원칙적이고 귀속 가능(attributable)한 기준을 갖추지 못한 채 최첨단 레시피는 공개되지 않은 상태로 남아 있다. 우리는 데이터 구성을 체계적인 혼합 최적화(mixture-optimization) 문제로 공식화하고, 혼합을 두 개의 직교(orthogonal) 하위 문제—역량(capability) 간 클래스 간(inter-class) 비율과 카테고리 내 클래스 내(intra-class) 비율—로 분리함으로써 이를 재현 가능한 엔지니어링 절차로 전환한다. 클래스 간 할당에는 단일 변수 반복 탐색을 사용하고, 클래스 내 구성에는 다차원의 데이터셋 수준 평가로 품질(Quality)과 난이도(Difficulty)를 점수화한 뒤, 다양성(diversity) 목표를 갖춘 제약 볼록 최적화(constrained convex optimization)로 선택 문제를 공식화한다. DecoupleMix 프레임워크는 두 가지 핵심 기능을 제공한다: 다음에 수집할 데이터를 안내하고, 데이터셋 검증을 통제 가능하고 귀속 가능한 실험으로 만든다. 실험 결과, 우리 접근법은 휴리스틱 기준선(baseline)을 일관되게 능가한다. 더 나아가, 소규모 프록시(proxy)에서 발견한 최적 비율은 재조정(retuning) 없이 더 큰 규모로 원활히 이전(transfer)된다. 800억(80B) 개의 추가 멀티모달 지속 사전학습(continue-pretraining) 토큰을 사용하여, 우리 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력 있는 성능을 보인다.

arXiv:2607.22771v1cs.CV

저비용 프로브가 3D-CT 비전-언어 모델의 고비용 학습을 예측한다

Cheap Probes Predict Expensive Training in 3D-CT Vision--Language Models

3D-CT 비전-언어 모델(VLM)에서 고정(frozen) 이미지 인코더와 그 위의 토큰 압축(token-compression) 방식을 고르는 일은 수많은 후보를 탐색하는 것이다. 인코더가 여러 개 있고, 토큰을 압축하는 방법도 여러 가지이며, 토큰 예산(token budget)도 여러 단계가 있어 조합은 빠르게 늘어난다. 이들을 평소 방식으로 비교하려면 각 조합마다 대규모 언어 모델(LLM)을 미세조정해야 하며, 전체 스윕(sweep)을 이 방식으로 돌리면 대부분의 연구 그룹이 감당할 수 있는 연산량을 훨씬 넘어선다. 우리는 인코더의 캐시된 임베딩(cached embeddings) 위에서 수행하는 저비용 프로브가 그 비교를 대신할 수 있는지 묻는다. (encoder × compression) 셀에 걸친 이미지 그라운딩(grounded) 프로빙 벤치마크를 구축하고, 임상 속성(attribute) 패밀리와 두 가지 검증 게이트인 scale-sanity와 probe-separability를 두어 각 속성이 잘 스케일링되고 디코딩 가능하게 유지한다. 이 게이트들이 주요 방법론적 기여이다. 이 벤치마크에서 다양한 read-out head를 비교하고, 예비 연구에서는 각 프로브를 대응하는 다운스트림 태스크와 짝짓는다. 초기 신호는 고무적이다: 저비용 프로브는 후보들의 순서를 고비용 미세조정과 매우 잘 일치시키며, 지금까지 측정한 셀에서 약 $r\approx0.95$이다. 우리는 이를 서열(ordinal) 주장, 즉 정확한 추정이 아니라 순위 예측기(ranking predictor)로 해석하며, 어디까지가 예비 단계인지 명시한다. 이것이 성립하면 인코더와 압축 선택을 고정 토큰(frozen-token) 프로브로 몇 분 만에 선별할 수 있고, 전체 학습은 최종 후보에만 쓸 수 있다.

arXiv:2607.22736v1cs.CV

도메인 격차 벤치마킹: 비디오 캡슐 내시경에서 도메인 이동 하의 모델 선택 불안정성

Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy

비디오 캡슐 내시경(VCE) 분류는 일반적으로 단일 데이터셋 내에서 평가되지만, 임상 배포는 촬영 소스, 라벨링 정책, 환자 집단에 걸친 견고성을 요구한다. 본 연구는 Kvasir-Capsule, Capsule Vision 2024(CV2024), Galar의 공유 라벨 부분집합을 사용하여 이 격차를 조사한다. 표준화된 프로토콜 하에 공식 Kvasir-Capsule 폴드에서 일반 도메인 사전학습 백본(backbone) 모음을 파인튜닝하고, 문서화된 공유 라벨 의사결정 공간 내에서 동일한 체크포인트를 두 개의 비원천(non-source) 타깃에서 평가한다. 도메인 내(in-domain) 순위의 예측 가치가 타깃에 따라 달라짐을 발견한다. Kvasir-Capsule 순위는 CV2024보다 Galar와 더 밀접하게 일치하지만, 두 비원천 타깃 간의 일치는 약하다. 결과적으로, 도메인 내에서 가장 강한 백본은 한 타깃에서는 1위를 차지하지만 다른 타깃에서는 중위권으로 떨어지며, 어떤 단일 평가 타깃도 다른 타깃을 신뢰할 수 있게 예측하지 못한다. CV2024로 학습한 두 번째 구성 세트도 이 타깃 의존적 불안정성을 재현한다. 캡슐 내시경 모델 선택은 단일 데이터셋의 최고 성능이 아니라 교차 타깃 순위 안정성을 보고해야 한다고 결론짓는다.

arXiv:2607.23997v1cs.AI

콘텐츠 민감형 자원 할당을 통한 예산 제약 이미지 분류 탐구

Exploring Budgeted Image Classification with Content-Sensitive Resource Allocation

인공지능(AI)의 지속적으로 증가하는 도입은 다양한 컴퓨팅 환경에서 심층 신경망(Deep Neural Networks)을 배포할 필요를 만들어낸다. 우리는 컴퓨팅 요구사항이 변화하는 동적 환경을 고려하며, 변화하는 컴퓨팅 제약을 충족하면서 AI 분류 시스템의 복잡도를 어떻게 조정해야 정확도를 최대화할 수 있는지라는 질문을 제기한다. 우리는 이 문제를 예산 제약 이미지 분류(Budgeted Image Classification)라고 부르며, 이를 자원 할당 정수 프로그램(integer program)으로 공식적으로 정식화한다. 주어진 컴퓨팅 예산, 배치의 이미지, 그리고 서로 다른 복잡도로 결정을 내릴 수 있는(여러 결정 지점을 갖는) 분류 시스템이 주어졌을 때, 우리는 사용 가능한 예산 내에서 정확도를 최대화하기 위해 이미지를 결정 지점에 할당하는 전략을 탐구한다. 원래의 정수 프로그램은 NP-Hard이므로, 우리는 연속 완화(continuous relaxation)를 제안하며, 이는 이미지의 특정 콘텐츠를 고려하지 않고 결정 지점에 이미지를 할당하는 콘텐츠 비의존적(content-agnostic) 할당 전략으로 이어진다. 우리는 콘텐츠 민감형(content-sensitive) 전략을 제안하여 이 문제를 해결하며, 실험적으로 이 전략이 더 우수한 성능을 이끈다는 것을 보인다. 우리는 전략들의 동작을 이론적으로 연구하여, 예산 제약 분류에 적합하기 위해 결정 지점이 만족해야 하는 조건을 도출한다. 우리는 실패 사례를 분석하여 향후 연구 방향에 대한 통찰을 제공한다.

arXiv:2607.23896v1cs.AI

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2607.22644v1cs.AI

DocHRL: 비용 최적화 문서 분류를 위한 계층적 강화학습 프레임워크

DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification

실제 문서 분류 파이프라인은 일반적으로 복잡도나 유형과 관계없이 들어오는 모든 문서에 동일한 모델 시퀀스를 적용한다. 이로 인해 연산 자원과 인적 자원이 비효율적으로 사용된다: 단순한 문서는 과도하게 처리되는 반면, 어려운 문서는 충분한 검토를 받지 못할 수 있다. 우리는 문서별로 가장 비용 효율적인 분류 정책을 적응적이고 동적으로 선택하는 방법을 학습하는 계층적 강화학습 프레임워크인 DocHRL을 제안한다. DocHRL은 문서 분류를 2단계 정책 계층을 갖는 순차적 의사결정 문제로 공식화한다: 상위 수준 정책은 광범위한 옵션(비전 분류기, LLM, OCR, 인간 개입 검토) 중에서 선택하고, 옵션별 하위 정책은 호출할 구체적인 모델이나 도구를 선택한다. 보상 신호는 추론 비용, 오분류 비용, 인간 라벨링 비용을 포착하는 총 기대 비용의 음수이다. RVL-CDIP 벤치마크에서 Proximal Policy Optimisation으로 학습된 DocHRL은 16개 문서 클래스에 걸쳐 macro F1 0.973을 달성하는 동시에, 고정된 독립형 분류기가 발생시키는 훨씬 높은 비용과 비교하여 문서당 평균 비용을 2.74 정규화 단위로 줄인다. 우리 결과는 비용 인식 강화학습이 문서 이해 시스템에서 분류 성능과 운영 효율성을 동시에 향상시킬 수 있음을 보여준다.

arXiv:2607.22621v1cs.AI

Opti-Q: 다중 LLM 질문 계획을 위한 제약 기반 최적화 프레임워크

Opti-Q: A Constraint-Based Optimization Framework for Multi-LLM Question Planning

대규모 언어 모델(LLM)은 강력한 질의응답(QA)을 가능하게 하지만, 예산 내 배포는 비결정성과 이질적인 자원 프로파일(비용, 지연시간, 에너지)로 인해 복잡해진다. 우리는 다중 LLM 오케스트레이션을 위한 실행 전 계획(plan-before-execute) 패러다igm을 구현하는, 데이터베이스에서 영감을 받은 비용 기반 옵티마이저 OPTI-Q를 제안한다. OPTI-Q는 LLM 호출을 실행 방향성 비순환 그래프(DAG)의 물리적 연산자로 모델링하고, 각 질문에 대해 사용자가 지정한 자원 제약 하에서 답변 품질(QoA)을 최적화하면서 금전적 비용, 지연시간, 에너지 간 트레이드오프를 고려하는 계획을 탐색한다. 계획에는 중간 답변을 컨텍스트로 전달하는 순차 연산자와, 모델을 동시에 실행하고 출력을 병합하는 병렬/블렌드 연산자가 포함될 수 있다. 각 후보 계획을 실행하지 않고 이 공간을 탐색하기 위해, OPTI-Q는 벤치마크와 실행 트레이스로 채워지고 갱신되는 통계 카탈로그 PERFDB를 사용하여 개별 연산자와 구성된 하위 계획 모두의 QoA와 자원 비용을 추정한다. 이 추정치를 활용하여 OPTI-Q는 파레토 프론티어 탐색을 수행하고 사용자 선호에 따라 최종 계획을 선택한다. 사용자가 지정한 예산 하에서 MMLU-Pro와 SimpleQA에서 OPTI-Q는 유사한 비용에서 베이스라인 대비 평균 QoA를 각각 약 58% 및 41% 향상시켰으며, 이는 데이터베이스 스타일 계획이 다중 LLM QA에서 더 나은 품질-자원 트레이드오프를 제공함을 보여준다.

arXiv:2607.22596v1cs.AI

원자론적 시뮬레이션의 에이전트 기반 오케스트레이션

An Agentic Orchestration of Atomistic Simulations

원자론적 시뮬레이션은 재료 설계의 핵심이지만, 실행에는 상당한 인간 전문성을 요구하는 복잡한 다단계 워크플로가 포함된다. 본 연구에서는 URSA(Universal Research and Scientific Agent) 프레임워크에 내장된 에이전트 기반 시스템을 제시하며, 이는 Large-scale Atomic/Molecular Massively Parallel Simulator(LAMMPS) 도구를 사용하여 시연된 원자론적 시뮬레이션의 설계, 실행, 검증을 자동화한다. 우리 시스템은 원자간 퍼텐셜(interatomic potentials)을 자율적으로 선택하고, 시뮬레이션을 구성 및 실행하며, 폐루프(closed-loop) 워크플로 내에서 반복적 오류 복구를 수행한다. LAMMPS 및 Vienna Ab initio Simulation Package(VASP) 계산을 위한 고처리량(high-throughput) 툴킷인 LAVA의 결과와 벤치마킹하여 에이전트의 과학적 신뢰성을 평가한다. 우리 프레임워크는 수동 개입과 시행착오를 줄여, 원자론적 모델링의 엄밀성, 재현성, 확장성을 향상시킨다.

arXiv:2509.12889v5math.ST

연속 희소 정규화를 통한 미지 대각 공분산 가우시안 혼합 모델

Gaussian Mixture Model with unknown diagonal covariances via continuous sparse regularization

본 논문은 독립동일분포(i.i.d.) 표본으로부터 미지 대각 공분산을 갖는 가우시안 혼합 모델(GMM)의 통계적 추정 문제를 다룬다. 우리는 측도 공간에서 희소성을 촉진하는 볼록 최적화 프레임워크인 Beurling-LASSO(BLASSO)를 사용하여 성분 개수와 그 매개변수를 동시에 추정한다. 본 연구의 주요 기여는 BLASSO 방법론을 성분별 미지 대각 공분산 행렬을 갖는 다변량 GMM으로 확장하는 것이다. 이 설정은 공분산이 알려져 있고 동일하다고 가정했던 기존 접근법보다 훨씬 더 유연하다. 우리는 성분 평균, 대각 공분산, 가중치 및 밀도 예측에 대해 거의 모수적 수렴 속도를 갖는 비점근적 회복 보장을 확립한다. 핵심 이론적 기여는 BLASSO에 대한 통계적 보장을 확립하는 데 필수적인 도구인 비퇴화(non-degenerate) dual certificate를 구성할 수 있게 하는 혼합 성분에 대한 명시적 분리(separation) 조건의 식별이다. 우리의 분석은 통계 모델의 Fisher-Rao 기하를 활용하고 본 프레임워크에 맞춘 새로운 반거리(semi-distance)를 도입하여, 성분 분리, 매개변수 공간 기하, 달성 가능한 통계적 회복 사이의 상호작용에 대한 새로운 통찰을 제공한다.

arXiv:2505.08784v3stat.ML

PCS-UQ: Predictability-Computability-Stability 프레임워크를 통한 불확실성 정량화

PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

기계 학습(ML)이 고위험(high-stakes) 영역에 진입하면서, 신뢰할 수 있는 불확실성 정량화(UQ)는 안전성(safety)에 필수적이다. 본 논문에서는 진실에 충실한(veridical) 데이터 과학을 위한 예측 가능성(Predictability), 계산 가능성(Computability), 안정성(Stability)(PCS) 원칙에 기반한 프레임워크인 PCS-UQ를 제안한다. 후보 모델 또는 알고리즘 집합에서 출발하여, PCS-UQ는 엄격한 예측 검증(prediction-check)을 통합하여 집합 내 부적합한 모델을 걸러내고, 부트스트랩(bootstrap) 표본을 활용하여 예측 검증을 거친 알고리즘에 대해 표본 간 변동성과 알고리즘적 불안정성을 모두 포착한다. 이어서 국소 적응성(local adaptivity)을 높이기 위한 새로운 곱셈형 보정(multiplicative calibration) 방식을 도입하며, 이는 conformal prediction에서 새로운 score로 볼 수 있다. 또한 수동으로 구성한 하위군(subgroup)을 포함한 17개의 실세계 회귀(regression) 데이터셋(dataset) 모음을 구축한다. 이 벤치마크(benchmark)에서 PCS-UQ는 목표 coverage를 유지하면서, oracle로 선택된 알고리즘이 탑재된 conformal 방법들과 비교하여 구간 폭(interval width)에서 우수하거나 동등한 성능을 보인다. PCS-UQ는 일관된 하위군 coverage를 달성하여, 이러한 oracle 선택 conformal 방법들을 능가한다. 특히 PCS-UQ는 경쟁력 있는 구간 폭과 일관된 하위군 coverage를 동시에 달성한다는 점에서 두드러진다. 6개 분류(classification) 데이터셋 전반에서 PCS-UQ는 예측 집합(prediction set) 크기를 20% 줄인다. 심층 학습(deep learning)에 프레임워크를 확장하기 위해, 비용이 큰 재학습(retraining)을 우회하는 계산적으로 효율적인 변형을 제안한다. 3개의 컴퓨터 비전(CV) 벤치마크에서, 이러한 변형은 conformal baseline 대비 예측 집합 크기를 20% 줄인다. 마지막으로, 수정된 PCS-UQ 알고리즘이 exchangeability 하에서 split conformal 추론(inference)의 한 형태로서 유효한 coverage를 보존함을 이론적으로 증명한다.

arXiv:2607.21632v1cs.CL

대규모 언어 모델의 상대적 선호도 평가를 위한 합의 기반 프레임워크

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

대규모 언어 모델(LLM)의 전통적인 벤치마크는 주로 정적 데이터셋과 객관적 채점 지표에 의존하며, 여러 답이 허용되는 경우 응답 품질의 차이를 포착하지 못하는 경우가 많다. 이러한 설정에서는 정확성만으로는 명확성, 완전성, 유용성에서 차이가 나는 응답들을 구별하기에 불충분하다. 본 논문은 절대적 정확성이 아닌 모델 생성 응답 간 상대적 선호도를 측정하는 합의 기반 평가 프레임워크를 제안한다. 고정된 정답(ground truth)에 대해 출력을 평가하는 대신, 다양한 LLM 패널이 동일한 프롬프트에 대한 익명화된 후보 응답을 어떻게 순위 매기는지 평가한다. 이 접근법은 블라인드 조건 하에서 인지된 응답 품질에 대한 대리(proxy) 지표로 모델 간 집계 합의를 취급한다. 프로그래밍, 일반 지식, 안전성, 논리적 추론, 수학 등 여러 도메인에 걸쳐 최신 LLM 5개를 사용한 통제 실험을 수행한다. 각 모델은 응답을 생성하고 구조화된 투표 과정을 통해 동료 모델의 출력을 독립적으로 순위 매긴다. 점수는 상대적 지능 지수(Relative Intelligence Index, RII)로 집계되며, 이는 다른 모델들이 해당 모델의 응답을 얼마나 자주 선호하는지를 나타낸다. 실험 결과는 도메인 전반에 걸쳐 일관된 선호 패턴을 보여주며, 특정 모델이 동료 모델들로부터 더 자주 높은 순위를 받는다. 그러나 이러한 결과가 객관적 정확성이나 인간 판단이 아니라 모델 간 선호 정렬을 반영함을 강조한다. 이 프레임워크는 확장 가능한 모델 주도 비교 평가 방법을 제공하며, 여러 유효한 답이 존재하는 시나리오에서 응답 품질에 대한 대안적 관점을 제시한다. 인간 평가와 직접적으로 일치하지는 않지만, 선행 연구는 집계된 모델 선호가 인간 판단과 부분적으로 상관될 수 있음을 시사하며, 이를 대리 신호로 활용할 근거가 된다.

arXiv:2607.21671v1cs.LG

신경 특징 거버넌스: Atom Prevalence 확장

Neural Feature Governance: Extending Atom Prevalence

신경망 압축과 해석 가능성은 현대 딥러닝에서 여전히 남아 있는 과제이며, 수십억 개의 매개변수를 갖는 아키텍처는 인상적인 정확도를 제공하지만 그 대가로 투명성, 계산 효율성, 신뢰할 수 있는 불확실성 정량화를 희생한다. 본 논문은 순전파 신경망에서 구조화된 노드 수준 모델 선택을 위한 원칙적인 베이지안 프레임워크인 Neural Atom Prevalence(NAP)를 제안한다. NAP는 신경 원자(activation unit)를 도입하며, 4단계 파이프라인을 통해 작동하는 하이브리드 방법이다: Iterative Magnitude Pruning(IMP)을 통한 Bayesian Lottery Ticket(BLT) 식별, Spike and Slab Independent Gaussian(SS-IG) 모델의 소프트 변분 학습, Poisson-Binomial(PB) 최적 층 크기 선택, 그리고 희소하고 안정적이며 해석 가능하고 정확한 모델을 생성하기 위한 베이지안 미세조정. 시뮬레이션된 비선형 회귀, 두 개의 UCI 벤치마크 데이터셋(Concrete, YearPredictionMSD), MNIST 이미지 분류 과제에 걸친 광범위한 실증 검증은 NAP가 최첨단 구조적 희소성을 달성함을 보여주며, MNIST에서는 활성 노드를 원래 밀집 아키텍처의 8%까지 줄이면서 확률적으로 잘 보정된다. 알레아토릭-인식론적(aleatoric-epistemic) 불확실성 분해는 모든 실험에서 모델 무지(model ignorance)가 총 예측 분산의 3~4%만을 차지함을 밝히고, 회귀 신뢰성 다이어그램은 거의 명목적인 예측 구간 커버리지(95% 목표 대비 93.4% 관측)를 확인한다. 이러한 결과는 NAP를 베이지안 신경망에서 희소성, 정확도, 해석 가능성, 불확실성 정량화를 동시에 추구하는 문제에 대한 신뢰할 수 있고 이론적으로 정당화되며 계산적으로 다루기 쉬운 해법으로 확립한다.

arXiv:2607.21602v1cs.AI

이종 엣지 디바이스에서 빠른 LLM 선별을 위한 전이 가능한 지연 시간 예측

Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

정확한 지연 시간 예측은 이종 엣지 디바이스에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요하며, 여기서 추론 지연 시간은 모델 아키텍처, 프롬프트 동작, 런타임 백엔드, 하드웨어 활용률, 동적 전압 및 주파수 스케일링(DVFS), 열 변화의 영향을 받는다. 본 논문은 배포 지향 LLM 선택을 위한 런타임 인식 지연 시간 예측 프레임워크를 제안한다. 이 프레임워크는 각 추론 요청을 하드웨어-런타임-모델-프롬프트 구성으로 표현하고, 추론을 prefill 및 decode 단계로 분리하며, 게이트 예측 모델을 통해 정적 기술자(descriptor)와 동적 하드웨어 텔레메트리를 적응적으로 융합한다. Pixel 모바일 디바이스를 사용하여 프레임워크를 평가하고, Jetson Nano, Orange Pi 5 Pro, RTX 3090급 GPU 플랫폼에서 프로파일링 파이프라인을 검증한다. Pixel 8에서 전체 예측기는 정적 전용 기준선 대비 총 지연 시간 R-squared를 0.953에서 0.960으로, decode 지연 시간 R-squared를 0.957에서 0.973으로 개선한다. Pixel 8 Pro에서는 prefill 지연 시간 R-squared를 -1.383에서 0.966으로 개선한다. 디바이스 간 전이의 경우, 보정(calibration)을 통해 Pixel 8 Pro에서 Pixel 8로의 총 지연 시간 R-squared를 -0.974에서 0.940으로, decode 지연 시간 R-squared를 -1.085에서 0.927로 개선한다. 이종 프로파일링은 또한 지연 시간이 디바이스 및 런타임에 크게 의존함을 보여준다: 동일한 SmolLM2 모델 패밀리는 Orange Pi 5 Pro에서 8.42 tokens/s에 도달하지만 RTX 3090급 GPU에서는 64.38 tokens/s에 도달한다. 이러한 결과는 경량 보정을 갖춘 런타임 인식 예측이 프로파일링 비용을 줄이고 이종 엣지 플랫폼 전반에 걸친 지연 시간 인식 LLM 배포를 지원할 수 있음을 보여준다.

arXiv:2511.02130v2cs.AI

Re-FORC: 효율적 사고의 연쇄 추론을 위한 적응형 보상 예측

Re-FORC: Adaptive Reward Prediction for Efficient Chain-of-Thought Reasoning

우리는 Re-FORC를 제안한다. 이는 쿼리가 주어졌을 때 향후 사고 토큰 수의 함수로 기대되는 미래 보상을 예측할 수 있게 하는 적응형 보상 예측 방법이다. Re-FORC는 추론 모델에 경량 어댑터를 학습시키며, 더 긴 추론과 더 큰 모델에서 예측 성능이 향상됨을 보여준다. Re-FORC는 다음을 가능하게 한다: 1) 유망하지 않은 추론 체인의 조기 종료로, 정확도를 유지하면서 고정 예산 중단 대비 최대 26%의 연산을 절감, 2) 최적화된 모델 및 사고 길이 선택으로 단독 최대 모델을 능가하며—최대 정확도에서 1.7퍼센트포인트 더 높은 정확도에 도달하고, 최대 모델의 정확도에 맞추는 데 최대 12% 적은 연산이 필요, 3) 적응형 테스트 시간 스케일링으로, 신뢰도 기반 baseline 대비 (최대 연산에서 평균적으로) 정확도를 9.9퍼센트포인트 향상. Re-FORC는 토큰당 비용 임계값을 통해 길이 제어가 가능한 동적 추론을 허용하며, 연산 시간을 사전에 추정한다.

arXiv:2602.21473v3cs.CV

로컬 성능 기준 비주얼 장소 인식을 위한 자동 맵 밀도 선택

Automatic Map Density Selection for Locally-Performant Visual Place Recognition

비주얼 장소 인식(VPR)을 실험실에서 장기 배포로 옮기는 데 있어 핵심 과제는, 전역 평균이 아니라 환경의 서로 다른 부분 전반에 걸쳐 시스템이 사용자가 지정한 성능 요구사항을 사전에 충족할 수 있는지 보장하는 것이다. 이러한 지역 성능을 제어하는 핵심 메커니즘 중 하나는 참조 매핑 데이터베이스의 밀도이지만, 기존 연구에서는 센서, 저장소, 또는 GPS 주파수에 기반한 고정된 공학적 샘플링 밀도가 일반적으로 사용되어 이 요소가 대부분 간과되어 왔다. 본 논문에서는 운영 환경에서 얻은 두 번의 참조 주행(traversal)을 사용하여 다음 두 가지 사용자 정의 요구사항을 만족하는 적절한 맵 밀도를 자동으로 선택하는 VPR 매핑 접근법을 제안한다: (1) 목표 Local Recall@1 수준, (2) 이를 충족하거나 초과해야 하는 운영 환경의 비율로, 후자를 재현율 달성률(Recall Achievement Rate, RAR)이라 부른다. 본 접근법은 여러 맵 밀도에서 참조-참조 매칭의 공간적 일관성 및 정합(coherence) 특징을 사용하여, 보지 못한 배포 데이터에서 이러한 목표를 달성하는 데 필요한 밀도를 추정한다. Nordland 및 Oxford RobotCar 벤치마크와 두 가지 VPR 방법에 걸친 실험을 통해, 본 시스템이 환경의 사용자 지정 비율 이상에서 목표 Local Recall@1을 일관되게 충족하거나 초과함을 보인다. 대안 기준선과의 비교는 불필요하게 밀집된 맵을 피하면서 맵 밀도에서 적절한 운영 지점을 신뢰성 있게 선택함을 보여준다. 마지막으로, ablation은 참조 주행 선택 및 세그먼트 길이에 대한 민감도를 평가하며, 분석 결과 기존의 전역 Recall@1은 종종 운영상 더 의미 있는 RAR 지표의 나쁜 예측 변수임을 밝힌다.