PyTorchKR Papers

“Code Generation”

총 10,223편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.37962v1cs.IR

LLM 기반 추천 시스템의 위치 편향에 대한 통계적 탐지: 방법론과 실증적 증거

Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence

대규모 언어 모델(LLM)은 검색 증강 생성(RAG)을 통해 대화형 추천 시스템(RS)에서 추천 생성기로 점점 더 많이 사용되고 있다. 이러한 유연한 설계는 새로운 구조적 편향의 원인을 도입한다. 본 논문은 top-1 및 단일 턴 LLM 기반 RS에서의 위치 편향, 즉 추천되는 항목이 프롬프트에서 후보가 제시되는 순서에 체계적으로 의존하는 현상을 연구한다. 우리는 서로 보완적인 두 가지 탐지 방법론을 제안한다. (i) 분할표 행렬 분석과 카이제곱 독립성 검정에 기반한 POB-ICM, 그리고 (ii) 순열 기반 평가에서 균등성 귀무 모형으로부터 도출된 표본 효율적 접근법으로, 형식적인 통계적 보장과 함께 확률적 디코딩을 가능하게 하는 POB-UNBP이다. 실제 제품 카탈로그를 기반으로 구축한 제품 추천용 통제된 RAG 테스트베드, 고정된 프롬프트 템플릿, 그리고 템플릿으로 생성한 2000개의 사용자 질의(각각 20개의 순열, 총 40,000개 인스턴스)를 사용한 결과, 두 방법론 모두 평가된 모든 최신 모델에서 위치 독립성과 균등성이라는 귀무가설을 기각한다. 우리는 이러한 효과를 정량화하기 위해 순열 민감도, 위치 편향, 강한 위치 편향이라는 세 가지 상호 보완적인 지표를 도입하며, 마지막 지표는 위치가 단지 비슷하게 관련된 항목들 사이에서 선택하는 데 그치지 않고 추천을 명백히 덜 관련된 항목으로 옮기는 경우를 겨냥한다. 후보 집합 크기와 디코딩 온도에 걸친 강건성 분석은 이 편향이 구조적이며 모델에 따라 달라지고, 결정적 디코딩이나 후보 집합 크기의 산물이 아님을 보여 준다. 이러한 결과는 평가된 환경에서 위치 편향이 프롬프트 매개 추천 파이프라인의 측정 가능하고 재현 가능한 속성임을 입증하며, 배포된 LLM 기반 RS에 대해 순서 무작위화, 표준화된 프롬프팅 등 정기적인 감사와 거버넌스 통제의 필요성을 뒷받침한다. 소스 코드는 공개되어 있다.

arXiv:2611.11450v1cs.LG

온폴리시 증류는 학습-추론 불일치를 얼마나 허용할 수 있는가?

How Much Training-Inference Mismatch Can On-Policy Distillation Tolerate?

온폴리시 증류(OPD)는 고정된 교사 모델의 안내를 받아 학생 언어 모델을 자신의 응답으로 학습시킨다. 이러한 응답을 생성하는 비용이 크기 때문에 시스템은 양자화 추론과 비동기 롤아웃을 사용하여 비용을 줄인다. 그러나 두 방식 모두 롤아웃 엔진과 학습 중인 모델 사이에 학습-추론 불일치를 유발한다. 이러한 불일치는 강화학습(RL)을 불안정하게 만들 수 있으나, OPD에 미치는 영향은 아직 명확하지 않다. 본 논문은 OPD가 불일치를 얼마나 허용하는지, 그 영향이 어디에서 발생하는지, 그리고 학습 시스템이 이러한 허용 범위를 어떻게 활용할 수 있는지를 조사한다. 모든 불일치 원인을 하나의 척도로 측정하여, 세 가지 학생-교사 쌍에서 양자화를 검토하고 한 쌍에서는 가중치 노후화와 주입된 잡음에 대한 추가 실험을 수행한다. OPD는 학습 품질의 유의미한 손실 없이 상당한 불일치를 허용하지만 더 높은 수준에서는 성능이 저하되며, 이는 경험적인 불일치 예산이 존재함을 보여 준다. 불일치로 인한 품질 비용과 양자화가 유발하는 불일치는 모두 모델에 따라 달라지며, 일부 층은 정밀도 감소에 특히 민감하다. 통제된 비교에서 OPD는 RL 방법을 불안정하게 만드는 롤아웃 구성에서도 안정적으로 유지된다. 가중치 잡음이 있는 경우 불일치는 생성 중에 도달하는 접두사도 변화시켜, 토큰별 보정으로는 해결할 수 없는 오류를 일으킨다. 이러한 결과를 실제에 적용하기 위해, 후보마다 전체 학습을 수행하지 않고도 보정된 예산에 비추어 롤아웃 구성을 선별하는 경량 허용 검사를 제안한다. 모델별 FP8 레시피는 학습 품질을 유지하면서 BF16보다 최소 $1.93\times$ 많은 KV 캐시 토큰을 수용할 수 있다. FP8과 비동기 롤아웃을 결합하면 동기식 BF16 학습보다 $1.62\times$ 빠르게 동일한 학습 품질에 도달한다. 코드는 https://github.com/benyucong/train-inference-mismatch-opd 에서 확인할 수 있다.

arXiv:2606.30084v1cs.CV

순전파 한 번으로 두 번을 넘다: 정확하고 효율적인 GUI 그라운딩을 위한 InnerZoom

One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding

MLLM 기반 GUI 그라운딩 방법은 일반적으로 목표 위치 파악을 자기회귀적 좌표 생성으로 정식화하여, 모델이 MLLM의 강력한 인스트럭션 수행 및 의미 이해 능력을 활용할 수 있도록 한다. 그러나 이 정식화는 GUI 클릭에서 요구되는 공간적 정밀도로 좌표 토큰을 디코딩하는 동시에, 모델이 영역 수준의 목표 증거를 유지해야 한다는 과제를 안고 있다. 진단 분석을 통해, 목표 영역 인식이 디코더 중간 층에서 나타나지만 최종 좌표 예측에 유지되거나 반영되지 않음을 확인하였다. 기존의 ZoomIn 방식 방법들은 외부 크롭 후 재실행(crop-and-rerun) 순전파를 통해 이 문제를 해결하는데, 이는 위치 파악 성능을 향상시키지만 엔드-투-엔드 지연 시간과 계산 비용을 증가시킨다. 이러한 추가 비용 없이 2회 줌인의 정확도 이점을 유지하기 위해, 우리는 층 간 증거 브리징을 위한 단일 순전파 프레임워크인 InnerZoom을 제안한다. InnerZoom은 원래 순전파에서 목표 관련 단서를 압축된 층 간 증거 상태로 변환한 후, 이 상태를 이후 디코딩 층 전반에 걸쳐 보존·정제·재주입하여 좌표 예측을 안내한다. 광범위한 실험 결과, InnerZoom-4B는 6개의 GUI 그라운딩 벤치마크 전체에서 최고 성능을 달성하였으며, OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6을 기록하여 각각 이전 최고 결과를 4.1, 3.2, 2.9, 2.3포인트 상회하였다. 통제된 4B 설정에서 InnerZoom은 동일한 SFT+RL 기준선 대비 평균 5.3포인트 향상을 달성하고, 2회 순전파 ZoomIn보다 평균 1.3포인트 높은 성능을 보이면서, 엔드-투-엔드 지연 시간을 최대 31.8%, TFLOPs를 약 29% 감소시킨다. 코드와 모델은 공개될 예정이다.

arXiv:2504.16616v4cs.CV

EHGCN: 하이브리드 이벤트 스트림 인식을 위한 모션 인지 GCN 기반 계층적 유클리드-쌍곡 공간 융합

EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception

마이크로초 단위의 시간 해상도와 매우 높은 동적 범위(HDR)를 특징으로 하는 이벤트 카메라는 인식 태스크를 위해 고속 이벤트 스트림을 발생시킵니다. 최근 발전에서 그래프 신경망(GNN) 기반 방법론들은 이벤트 인식 분야에서 큰 잠재력을 보여주고 있습니다. 그러나 기존 방법들은 일반적으로 유클리드 공간에서의 단순한 쌍별(pairwise) 노드 연결성에 의존하므로, 장거리 의존성을 포착하고 이벤트 스트림 본연의 계층적 구조를 충실히 특징화하는 데 어려움을 겪습니다. 이를 위해 본 논문에서는 우리가 아는 한 유클리드 및 쌍곡 공간에서 이벤트 스트림을 공동으로 모델링하는 최초의 이중 공간 이벤트 인식 접근 방식인 EHGCN을 제안합니다. 이벤트 스트림 인식에 쌍곡 기하학을 도입함으로써, EHGCN은 불균일하고 모션에 의해 발생하는 이벤트 스트림의 이방성(anisotropic) 및 계층적 구조를 자연스럽게 포착할 수 있습니다. 구체적으로, 먼저 다중 스케일 복셀 그리드와 가우시안 분포 모델링을 기반으로 한 분포 인지 이벤트 선별 기법을 도입하여 무질서한 노이즈를 감쇠시키면서 판별력 있는 이벤트를 유지합니다. 그런 다음 모션 일관성 에너지 함수를 최소화하여 짧은 시간 간격 내의 일관된 전역 모션 패턴을 명시적으로 포착하는 마르코프 무작위 장(MRF) 최적화 기반 모션 인지 하이퍼에지(hyperedge) 생성 방식을 제시합니다. 이를 통해 타깃 간 가짜 연관성을 제거하고 이벤트 간의 장거리 의존성을 포착하면서 중요한 위상학적 사전 정보를 제공합니다. 마지막으로, 국소 유클리드 공간 및 전역 쌍곡 공간에서 각각 조밀하게 집계되고 계층적으로 모델링된 망막 이벤트를 융합하여 하이브리드 이벤트 인식을 달성하는 유클리드-쌍곡 GCN을 제안합니다. 객체 검출(object detection) 및 인식과 같은 이벤트 인식 태스크에 대한 광범위한 실험 결과는 제안하는 접근 방식의 유효성을 입증합니다. 소스 코드는 https://github.com/ev-lluo/EHGCN 에서 공개될 예정입니다.

arXiv:2201.01702공식 코드 · Papers with Code

Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations

Self-supervision is recently surging at its new frontier of graph learning. It facilitates graph representations beneficial to downstream tasks; but its success could hinge on domain knowledge for handcraft or the often expensive trials and errors. Even its state-of-the-art representative, graph contrastive learning (GraphCL), is not completely free of those needs as GraphCL uses a prefabricated prior reflected by the ad-hoc manual selection of graph data augmentations. Our work aims at advancing GraphCL by answering the following questions: How to represent the space of graph augmented views? What principle can be relied upon to learn a prior in that space? And what framework can be constructed to learn the prior in tandem with contrastive learning? Accordingly, we have extended the prefabricated discrete prior in the augmentation set, to a learnable continuous prior in the parameter space of graph generators, assuming that graph priors per se, similar to the concept of image manifolds, can be learned by data generation. Furthermore, to form contrastive views without collapsing to trivial solutions due to the prior learnability, we have leveraged both principles of information minimization (InfoMin) and information bottleneck (InfoBN) to regularize the learned priors. Eventually, contrastive learning, InfoMin, and InfoBN are incorporated organically into one framework of bi-level optimization. Our principled and automated approach has proven to be competitive against the state-of-the-art graph self-supervision methods, including GraphCL, on benchmarks of small graphs; and shown even better generalizability on large-scale graphs, without resorting to human expertise or downstream validation. Our code is publicly released at https://github.com/Shen-Lab/GraphCL_Automated.

arXiv:2202.02800공식 코드 · Papers with Code

Learning to be a Statistician: Learned Estimator for Number of Distinct Values

Estimating the number of distinct values (NDV) in a column is useful for many tasks in database systems, such as columnstore compression and data profiling. In this work, we focus on how to derive accurate NDV estimations from random (online/offline) samples. Such efficient estimation is critical for tasks where it is prohibitive to scan the data even once. Existing sample-based estimators typically rely on heuristics or assumptions and do not have robust performance across different datasets as the assumptions on data can easily break. On the other hand, deriving an estimator from a principled formulation such as maximum likelihood estimation is very challenging due to the complex structure of the formulation. We propose to formulate the NDV estimation task in a supervised learning framework, and aim to learn a model as the estimator. To this end, we need to answer several questions: i) how to make the learned model workload agnostic; ii) how to obtain training data; iii) how to perform model training. We derive conditions of the learning framework under which the learned model is workload agnostic, in the sense that the model/estimator can be trained with synthetically generated training data, and then deployed into any data warehouse simply as, e.g., user-defined functions (UDFs), to offer efficient (within microseconds on CPU) and accurate NDV estimations for unseen tables and workloads. We compare the learned estimator with the state-of-the-art sample-based estimators on nine real-world datasets to demonstrate its superior estimation accuracy. We publish our code for training data generation, model training, and the learned estimator online for reproducibility.

arXiv:2206.02104공식 코드 · Papers with Code

ContraCLIP: Interpretable GAN generation driven by pairs of contrasting sentences

This work addresses the problem of discovering non-linear interpretable paths in the latent space of pre-trained GANs in a model-agnostic manner. In the proposed method, the discovery is driven by a set of pairs of natural language sentences with contrasting semantics, named semantic dipoles, that serve as the limits of the interpretation that we require by the trainable latent paths to encode. By using the pre-trained CLIP encoder, the sentences are projected into the vision-language space, where they serve as dipoles, and where RBF-based warping functions define a set of non-linear directional paths, one for each semantic dipole, allowing in this way traversals from one semantic pole to the other. By defining an objective that discovers paths in the latent space of GANs that generate changes along the desired paths in the vision-language embedding space, we provide an intuitive way of controlling the underlying generative factors and address some of the limitations of the state-of-the-art works, namely, that a) they are typically tailored to specific GAN architectures (i.e., StyleGAN), b) they disregard the relative position of the manipulated and the original image in the image embedding and the relative position of the image and the text embeddings, and c) they lead to abrupt image manipulations and quickly arrive at regions of low density and, thus, low image quality, providing limited control of the generative factors. We provide extensive qualitative and quantitative results that demonstrate our claims with two pre-trained GANs, and make the code and the pre-trained models publicly available at: https://github.com/chi0tzp/ContraCLIP

arXiv:2308.10718

Backdooring Textual Inversion for Concept Censorship

Recent years have witnessed success in AIGC (AI Generated Content). People can make use of a pre-trained diffusion model to generate images of high quality or freely modify existing pictures with only prompts in nature language. More excitingly, the emerging personalization techniques make it feasible to create specific-desired images with only a few images as references. However, this induces severe threats if such advanced techniques are misused by malicious users, such as spreading fake news or defaming individual reputations. Thus, it is necessary to regulate personalization models (i.e., concept censorship) for their development and advancement. In this paper, we focus on the personalization technique dubbed Textual Inversion (TI), which is becoming prevailing for its lightweight nature and excellent performance. TI crafts the word embedding that contains detailed information about a specific object. Users can easily download the word embedding from public websites like Civitai and add it to their own stable diffusion model without fine-tuning for personalization. To achieve the concept censorship of a TI model, we propose leveraging the backdoor technique for good by injecting backdoors into the Textual Inversion embeddings. Briefly, we select some sensitive words as triggers during the training of TI, which will be censored for normal use. In the subsequent generation stage, if the triggers are combined with personalized embeddings as final prompts, the model will output a pre-defined target image rather than images including the desired malicious concept. To demonstrate the effectiveness of our approach, we conduct extensive experiments on Stable Diffusion, a prevailing open-sourced text-to-image model. Our code, data, and results are available at https://concept-censorship.github.io.

arXiv:2311.09358공식 코드 · Papers with Code

Empirical evaluation of Uncertainty Quantification in Retrieval-Augmented Language Models for Science

Large language models (LLMs) have shown remarkable achievements in natural language processing tasks, producing high-quality outputs. However, LLMs still exhibit limitations, including the generation of factually incorrect information. In safety-critical applications, it is important to assess the confidence of LLM-generated content to make informed decisions. Retrieval Augmented Language Models (RALMs) is relatively a new area of research in NLP. RALMs offer potential benefits for scientific NLP tasks, as retrieved documents, can serve as evidence to support model-generated content. This inclusion of evidence enhances trustworthiness, as users can verify and explore the retrieved documents to validate model outputs. Quantifying uncertainty in RALM generations further improves trustworthiness, with retrieved text and confidence scores contributing to a comprehensive and reliable model for scientific applications. However, there is limited to no research on UQ for RALMs, particularly in scientific contexts. This study aims to address this gap by conducting a comprehensive evaluation of UQ in RALMs, focusing on scientific tasks. This research investigates how uncertainty scores vary when scientific knowledge is incorporated as pretraining and retrieval data and explores the relationship between uncertainty scores and the accuracy of model-generated outputs. We observe that an existing RALM finetuned with scientific knowledge as the retrieval data tends to be more confident in generating predictions compared to the model pretrained only with scientific knowledge. We also found that RALMs are overconfident in their predictions, making inaccurate predictions more confidently than accurate ones. Scientific knowledge provided either as pretraining or retrieval corpus does not help alleviate this issue. We released our code, data and dashboards at https://github.com/pnnl/EXPERT2.

arXiv:2410.02958공식 코드 · Papers with Code

AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML

Automated machine learning (AutoML) accelerates AI development by automating tasks in the development pipeline, such as optimal model search and hyperparameter tuning. Existing AutoML systems often require technical expertise to set up complex tools, which is in general time-consuming and requires a large amount of human effort. Therefore, recent works have started exploiting large language models (LLM) to lessen such burden and increase the usability of AutoML frameworks via a natural language interface, allowing non-expert users to build their data-driven solutions. These methods, however, are usually designed only for a particular process in the AI development pipeline and do not efficiently use the inherent capacity of the LLMs. This paper proposes AutoML-Agent, a novel multi-agent framework tailored for full-pipeline AutoML, i.e., from data retrieval to model deployment. AutoML-Agent takes user's task descriptions, facilitates collaboration between specialized LLM agents, and delivers deployment-ready models. Unlike existing work, instead of devising a single plan, we introduce a retrieval-augmented planning strategy to enhance exploration to search for more optimal plans. We also decompose each plan into sub-tasks (e.g., data preprocessing and neural network design) each of which is solved by a specialized agent we build via prompting executing in parallel, making the search process more efficient. Moreover, we propose a multi-stage verification to verify executed results and guide the code generation LLM in implementing successful solutions. Extensive experiments on seven downstream tasks using fourteen datasets show that AutoML-Agent achieves a higher success rate in automating the full AutoML process, yielding systems with good performance throughout the diverse domains.

arXiv:2503.17682

Safe RLHF-V: Safe Reinforcement Learning from Human Feedback in Multimodal Large Language Models

Multimodal large language models (MLLMs) are critical for developing general-purpose AI assistants, yet they face growing safety risks. How can we ensure that MLLMs are safely aligned to prevent undesired behaviors such as discrimination, misinformation, or violations of ethical standards? In a further step, we need to explore how to fine-tune MLLMs to enhance reasoning performance while ensuring they satisfy safety constraints. Fundamentally, this can be formulated as a min-max optimization problem. In this study, we propose Safe RLHF-V, the first multimodal safety alignment framework that jointly optimizes helpfulness and safety using separate multimodal reward and cost models within a Lagrangian-based constrained optimization framework. Given that there is a lack of preference datasets that separate helpfulness and safety in multimodal scenarios, we introduce BeaverTails-V, the first open-source dataset with dual preference annotations for helpfulness and safety, along with multi-level safety labels (minor, moderate, severe). Additionally, we design a Multi-level Guardrail System to proactively defend against unsafe queries and adversarial attacks. By applying the Beaver-Guard-V moderation for 5 rounds of filtering and re-generation on the precursor model, the overall safety of the upstream model is significantly improved by an average of 40.9%. Experimental results demonstrate that fine-tuning different MLLMs with Safe RLHF can effectively enhance model helpfulness while ensuring improved safety. Specifically, Safe RLHF-V improves model safety by 34.2% and helpfulness by 34.3%. All of datasets, models, and code can be found at https://github.com/SafeRLHF-V to support the safety development of MLLMs and reduce potential societal risks.

arXiv:2507.04002

NRSeg: Noise-Resilient Learning for BEV Semantic Segmentation via Driving World Models

Birds' Eye View (BEV) semantic segmentation is an indispensable perception task in end-to-end autonomous driving systems. Unsupervised and semi-supervised learning for BEV tasks, as pivotal for real-world applications, underperform due to the homogeneous distribution of the labeled data. In this work, we explore the potential of synthetic data from driving world models to enhance the diversity of labeled data for robustifying BEV segmentation. Yet, our preliminary findings reveal that generation noise in synthetic data compromises efficient BEV model learning. To fully harness the potential of synthetic data from world models, this paper proposes NRSeg, a noise-resilient learning framework for BEV semantic segmentation. Specifically, a Perspective-Geometry Consistency Metric (PGCM) is proposed to quantitatively evaluate the guidance capability of generated data for model learning. This metric originates from the alignment measure between the perspective road mask of generated data and the mask projected from the BEV labels. Moreover, a Bi-Distribution Parallel Prediction (BiDPP) is designed to enhance the inherent robustness of the model, where the learning process is constrained through parallel prediction of multinomial and Dirichlet distributions. The former efficiently predicts semantic probabilities, whereas the latter adopts evidential deep learning to realize uncertainty quantification. Furthermore, a Hierarchical Local Semantic Exclusion (HLSE) module is designed to address the non-mutual exclusivity inherent in BEV semantic segmentation tasks. Experimental results demonstrate that NRSeg achieves state-of-the-art performance, yielding the highest improvements in mIoU of 13.8% and 11.4% in unsupervised and semi-supervised BEV segmentation tasks, respectively. The source code will be made publicly available at https://github.com/lynn-yu/NRSeg.

arXiv:2609.25356v1cs.CL

TelecomGPT-R1: 이종 통신 작업 전반의 추론을 위한 통합 사후 학습

TelecomGPT-R1: Unified Post-Training for Reasoning Across Heterogeneous Telecom Tasks

대규모 언어 모델(LLM)은 표준, 네트워크 구성, 수학적 모델, 소스 코드 및 운영 로그를 기반으로 추론하여 광범위한 통신 엔지니어링 작업을 자동화할 수 있는 큰 잠재력을 제공합니다. 그러나 기존 통신 LLM은 이러한 다양한 작업과 데이터 유형 전반에서 안정적으로 추론하는 데 어려움을 겪고 있습니다. 범용 LLM은 통신 특화 지식에 대한 신뢰할 수 있는 그라운딩(grounding)이 부족한 경우가 많으며, 통신 특화 모델은 일반적으로 더 좁은 작업군을 대상으로 개발되어 제한적인 다중 작업 성능을 보입니다. 이러한 격차를 해소하기 위해, 우리는 프로토콜, 지식, 모델링, 장애라는 상호 보완적인 네 가지 축을 중심으로 구조화된 오픈 소스 통합 통신 추론 모델 제품군인 TelecomGPT-R1을 소개합니다. 먼저, 가공되지 않은 공개 통신 산출물을 검증된 질문-답변 쌍과 고품질의 사고의 연쇄(Chain-of-Thought, CoT) 추론 궤적으로 정제하는 축 인식(axis-aware) 데이터 생성 프레임워크를 개발하여 104,880개의 예제를 포함하는 학습 말뭉치를 구축합니다. 이 말뭉치를 기반으로 지도 미세조정(SFT)을 통해 통신 지식과 증거 기반 추론 패턴을 주입함으로써 강화학습(RL)의 콜드 스타트 장벽을 극복합니다. 그런 다음 작업별로 라우팅되는 루브릭 보상을 갖춘 동적 샘플링 정책 최적화(DAPO)를 적용하여 이종 통신 추론 작업 전반에서 RL 업데이트가 유익하고 안정적으로 유지되도록 합니다. 이러한 보상은 축 특화 CoT 추적을 검증 가능한 추론 단위로 분해하고 그라운딩된 조밀한 과정 크레딧(dense process credit)과 결과의 정확성을 결합하여, RL이 검증 가능한 통신 증거로부터 일반화 가능한 문제 해결 행동을 학습할 수 있도록 합니다. 우리는 추가적인 커뮤니티 발전을 지원하기 위해 TelecomGPT-R1 모델과 재현 가능한 학습 레시피를 공개합니다. GSMA Open Telco Leaderboard의 7개 벤치마크 평가 결과, 오픈 소스 TelecomGPT-R1-27B는 89.64%의 평균 점수를 달성하여 GPT-5, Claude, Gemini를 포함한 주요 상용 모델을 능가하는 성능을 보였습니다.

arXiv:2610.00009v1cs.LG

FourierQK: 필터 형태, 허용 가능성 및 누설-커버리지 법칙

FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law

주파수 붕괴 어텐션(Frequency-collapse attention) [Zeris, 2026e]은 Q/K 내적을 학습된 주파수에서의 대역통과 필터링된 내적으로 대체함으로써 표준 점곱 어텐션(dot-product attention) 대비 큰 성능 향상을 달성한다. 자연스럽게 이어지는 후속 질문은 어떤 필터 형태가 가장 우수하며, 그 이유는 무엇인가이다. 본 논문에서는 문자 수준 언어 모델링(TinyShakespeare, 6층 GPT)에 대한 통제된 소거 연구(ablation study)를 통해 직류(DC) 억제, 나이퀴스트(Nyquist) 억제, 대역폭, 중심 주파수, 다중 스케일 커버리지라는 필터 특성에 관한 5가지 가설을 검증한다. 주요 발견은 다음과 같다: (1) DC 및 나이퀴스트 성분은 성능에 명백히 유해하며(val ~= 2.0, 위상 무작위화와 동등), 이는 단순한 저차원 스펙트럼 요약이 아닌 진동성 대역통과 구조가 필수적임을 확인해 준다; (2) 최적의 단일 스케일 대역폭은 문단 스케일(~70개 토큰)을 중심으로 한 sigma ~= 2 빈(bin)으로, BASE-DOT 대비 Delta = +1.15 nats의 뚜렷한 성능 향상을 제공한다; (3) 허용 가능한 필터(zero-mean, 멕시칸 햇 DOG m = 2)는 동일 스케일의 비허용 가우시안 필터보다 성능이 뛰어나며 양방향 FFT 누설에 대해 부분적인 보호를 제공한다; (4) 양방향 FFT 누설은 스펙트럼 커버리지에 따라 단조적으로 스케일링된다(협대역 필터(gap > +4)는 누설이 적고, 광대역 필터(gap < +2)는 누설이 많음); (5) 문자 스케일에서 인과적 시간 도메인 몰렛(Morlet)은 BASE-DOT을 넘어서지 못하며(K=128 탭은 T=256 컨텍스트의 50%를 커버), 이는 자매 논문인 MorletQK [Zeris, 2026f]에서 단어 수준 실험을 진행하는 동기가 된다. 종합적으로, 결과 (1)-(5)는 FourierQK가 학습(training)과 추론(inference) 시점 모두에서 전체 시퀀스 컨텍스트를 활용할 수 있는 양방향 어텐션 설정(인코더 스타일, 예: BERT)에서 효과적임을 보여준다. 자기회귀적 생성에는 MorletQK [Zeris, 2026f](디코더 스타일, 예: GPT)와 같은 인과적 스펙트럼 변형이 필요하다. 코드는 https://github.com/AthanasiosZeris/energy-gated-attention 에서 제공된다.

arXiv:2610.09087v1cs.CL

U-Space: 언어 모델에서 불확실성이 언제 그리고 왜 발생하는지 밝혀내기

U-Space: Uncovering When and Why Uncertainty Arises in Language Models

대규모 언어 모델(LLM)은 점점 더 중요한 의사결정에 활용되고 있습니다. 모델 오류에 따른 파급력이 커짐에 따라, 개별 답변을 얼마나 신뢰할 수 있는가라는 핵심 질문을 더 이상 간과하기 어려워졌습니다. 하지만 언어 모델은 유창한 설명과 권위 있는 어조로 잘못된 결론을 제시할 수 있기 때문에, 언제 답변을 보류해야 하는지 판단하기는 여전히 어렵습니다. 불확실성 정량화(Uncertainty quantification)는 개별 예측의 신뢰도를 추정함으로써 이러한 간극을 해소하고자 합니다. 그러나 기존의 많은 방식은 반복적인 생성이나 별도로 학습된 구성 요소를 필요로 하며, 스칼라 형태의 추정치로는 추론 과정에서 불확실성이 어디서 발생하고 어떻게 전개되는지 드러내지 못합니다. 최근 연구에서는 생성 길이가 불확실성 추정치 및 정답 여부와 강하게 연관될 수 있음이 밝혀져, 추정기의 예측 성능 중 얼마만큼이 출력 길이 자체가 아닌 불확실성 고유의 정보에서 비롯되는가라는 의문이 제기되고 있습니다. 기계론적 해석가능성(Mechanistic interpretability)은 인간이 해석할 수 있는 개념을 중간 모델 상태와 연결함으로써 이러한 한계를 해결할 수 있는 방법을 제시합니다. 이러한 기능을 바탕으로, 본 논문에서는 모델의 변화하는 불확실성을 측정하고 해석할 수 있게 해주는 저차원 부분공간인 U-Space를 소개합니다. 의심과 확신을 나타내는 의미적 앵커를 식별하고, 이들의 언임베딩(unembedding) 방향을 잔차 공간(residual space)으로 다시 매핑한 뒤, 이들의 대조를 직교 기저로 결합합니다. U-Lens는 각 토큰 상태를 이러한 기저 벡터에 투영하여, 직접 검사하거나 단일 스칼라 불확실성 점수로 집계할 수 있는 해석 가능한 토큰 수준 불확실성 맵을 생성합니다. 본 연구의 접근 방식은 정답 라벨, 반복적인 생성 또는 별도의 학습을 필요로 하지 않습니다. 다양한 추론 벤치마크 전반에서 본 방식의 신뢰도 점수는 표준 평가와 길이 제어 평가 모두에서 기존 베이스라인보다 뛰어난 성능을 보였으며, 지도 학습 기반 추정기보다 더 안정적으로 전이됩니다. 코드: https://github.com/s2labres/U-Space.

arXiv:2610.15908v1cs.AI

LURE: 단계별로 라벨링된 온라인 그루밍 대화 합성 코퍼스

LURE: a Phase-Labelled Synthetic Corpus of Online-Grooming Exchanges

단계 주석이 달린 대화형 데이터는 미성년자 대상 온라인 그루밍(online grooming)의 진행 과정을 연구하고 조기 경보 도구를 개발하는 데 필수적입니다. 그러나 공개적으로 접근 가능한 유일한 출처인 Perverted-Justice 아카이브(ChatCoder를 사용해 코딩된 부분집합 포함)는 규모가 작고, 오래되었으며, 추가 업데이트가 중단된 상태입니다. 본 연구에서는 기관 내 하드웨어에서 실행되는 검색-증강 파이프라인을 사용해 생성한 그루머-피해자 대화 합성 코퍼스를 제시합니다. 이 파이프라인은 공개적으로 사용 가능한 80억 개 매개변수(parameter) 규모의 거부 완화(refusal-ablated) 언어 모델(language model)을 활용합니다. 해당 코퍼스는 합성 데이터셋을 위한 책임 있는 생성 프로토콜의 5단계를 따라 구축되었습니다: ChatCoder 유인 소통 체계 기반의 온톨로지 주도 설계(4개 그루밍 단계에 매핑된 8개 소통 태그), 다중 모델 프롬프트(prompt) 테스트, 인간 참여형(human-in-the-loop) 감독, 의미 및 특징(feature) 수준의 검증(validation), 모달리티 인식 문서화. 공개된 코퍼스는 7개 태그와 4개 단계에 걸친 2,121개의 고유한 대화로 구성되며, 각각 플루치크(Plutchik) 감정 필드가 함께 제공됩니다. 검증을 통해 코퍼스의 무결성과 어휘 프로파일뿐만 아니라 실제 시드 대화의 재현 여부, 도메인 내 레이블 복원력(태그 정확도: 0.85, 단계 정확도: 0.93), 그리고 8개 태그 수준에서 자동 코딩된 대화(31,640행) 및 3개 구성 개념 수준에서 인간 코더가 코딩한 대화(10,876개 게시글)인 실제 ChatCoder 가해자 대화로의 전이 능력을 정량화했습니다. 어휘 및 문장 임베딩(embedding) 특징에 대해 정확도를 측정했으며, 실제-합성 판별기(discriminator)는 두 도메인을 91%의 정확도로 구분할 수 있었습니다. 본 코퍼스의 활용 범위에는 통제된 단계 조건부 실험, 파이프라인 개발, 실제 데이터 및 인식 제고 자료와 병행한 데이터 증강이 포함됩니다. 코퍼스와 데이터시트, 감사 코드는 심사를 거친 접근 권한 하에 공개됩니다.

arXiv:1809.05825공식 코드 · Papers with Code

Segmenting Unknown 3D Objects from Real Depth Images using Mask R-CNN Trained on Synthetic Data

The ability to segment unknown objects in depth images has potential to enhance robot skills in grasping and object tracking. Recent computer vision research has demonstrated that Mask R-CNN can be trained to segment specific categories of objects in RGB images when massive hand-labeled datasets are available. As generating these datasets is time consuming, we instead train with synthetic depth images. Many robots now use depth sensors, and recent results suggest training on synthetic depth data can transfer successfully to the real world. We present a method for automated dataset generation and rapidly generate a synthetic training dataset of 50,000 depth images and 320,000 object masks using simulated heaps of 3D CAD models. We train a variant of Mask R-CNN with domain randomization on the generated dataset to perform category-agnostic instance segmentation without any hand-labeled data and we evaluate the trained network, which we refer to as Synthetic Depth (SD) Mask R-CNN, on a set of real, high-resolution depth images of challenging, densely-cluttered bins containing objects with highly-varied geometry. SD Mask R-CNN outperforms point cloud clustering baselines by an absolute 15% in Average Precision and 20% in Average Recall on COCO benchmarks, and achieves performance levels similar to a Mask R-CNN trained on a massive, hand-labeled RGB dataset and fine-tuned on real images from the experimental setup. We deploy the model in an instance-specific grasping pipeline to demonstrate its usefulness in a robotics application. Code, the synthetic training dataset, and supplementary material are available at https://bit.ly/2letCuE.

arXiv:2006.09985공식 코드 · Papers with Code

An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromorphic Processor

Spiking Neural Networks (SNNs), the third generation NNs, have come under the spotlight for machine learning based applications due to their biological plausibility and reduced complexity compared to traditional artificial Deep Neural Networks (DNNs). These SNNs can be implemented with extreme energy efficiency on neuromorphic processors like the Intel Loihi research chip, and fed by event-based sensors, such as DVS cameras. However, DNNs with many layers can achieve relatively high accuracy on image classification and recognition tasks, as the research on learning rules for SNNs for real-world applications is still not mature. The accuracy results for SNNs are typically obtained either by converting the trained DNNs into SNNs, or by directly designing and training SNNs in the spiking domain. Towards the conversion from a DNN to an SNN, we perform a comprehensive analysis of such process, specifically designed for Intel Loihi, showing our methodology for the design of an SNN that achieves nearly the same accuracy results as its corresponding DNN. Towards the usage of the event-based sensors, we design a pre-processing method, evaluated for the DvsGesture dataset, which makes it possible to be used in the DNN domain. Hence, based on the outcome of the first analysis, we train a DNN for the pre-processed DvsGesture dataset, and convert it into the spike domain for its deployment on Intel Loihi, which enables real-time gesture recognition. The results show that our SNN achieves 89.64% classification accuracy and occupies only 37 Loihi cores. The source code for generating our experiments is available online at https://github.com/albertomarchisio/EfficientSNN.

arXiv:2210.15996공식 코드 · Papers with Code

Towards Generalized Few-Shot Open-Set Object Detection

Open-set object detection (OSOD) aims to detect the known categories and reject unknown objects in a dynamic world, which has achieved significant attention. However, previous approaches only consider this problem in data-abundant conditions, while neglecting the few-shot scenes. In this paper, we seek a solution for the generalized few-shot open-set object detection (G-FOOD), which aims to avoid detecting unknown classes as known classes with a high confidence score while maintaining the performance of few-shot detection. The main challenge for this task is that few training samples induce the model to overfit on the known classes, resulting in a poor open-set performance. We propose a new G-FOOD algorithm to tackle this issue, named \underline{F}ew-sh\underline{O}t \underline{O}pen-set \underline{D}etector (FOOD), which contains a novel class weight sparsification classifier (CWSC) and a novel unknown decoupling learner (UDL). To prevent over-fitting, CWSC randomly sparses parts of the normalized weights for the logit prediction of all classes, and then decreases the co-adaptability between the class and its neighbors. Alongside, UDL decouples training the unknown class and enables the model to form a compact unknown decision boundary. Thus, the unknown objects can be identified with a confidence probability without any threshold, prototype, or generation. We compare our method with several state-of-the-art OSOD methods in few-shot scenes and observe that our method improves the F-score of unknown classes by 4.80\%-9.08\% across all shots in VOC-COCO dataset settings \footnote[1]{The source code is available at \url{https://github.com/binyisu/food}}.

arXiv:2310.11275공식 코드 · Papers with Code

xMEN: A Modular Toolkit for Cross-Lingual Medical Entity Normalization

Objective: To improve performance of medical entity normalization across many languages, especially when fewer language resources are available compared to English. Materials and Methods: We introduce xMEN, a modular system for cross-lingual medical entity normalization, which performs well in both low- and high-resource scenarios. When synonyms in the target language are scarce for a given terminology, we leverage English aliases via cross-lingual candidate generation. For candidate ranking, we incorporate a trainable cross-encoder model if annotations for the target task are available. We also evaluate cross-encoders trained in a weakly supervised manner based on machine-translated datasets from a high resource domain. Our system is publicly available as an extensible Python toolkit. Results: xMEN improves the state-of-the-art performance across a wide range of multilingual benchmark datasets. Weakly supervised cross-encoders are effective when no training data is available for the target task. Through the compatibility of xMEN with the BigBIO framework, it can be easily used with existing and prospective datasets. Discussion: Our experiments show the importance of balancing the output of general-purpose candidate generators with subsequent trainable re-rankers, which we achieve through a rank regularization term in the loss function of the cross-encoder. However, error analysis reveals that multi-word expressions and other complex entities are still challenging. Conclusion: xMEN exhibits strong performance for medical entity normalization in multiple languages, even when no labeled data and few terminology aliases for the target language are available. Its configuration system and evaluation modules enable reproducible benchmarks. Models and code are available online at the following URL: https://github.com/hpi-dhc/xmen