PyTorchKR Papers

“Code Generation”

총 10,140편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2505.23727

PixelThink: Towards Efficient Chain-of-Pixel Reasoning

Existing reasoning segmentation approaches typically fine-tune multimodal large language models (MLLMs) using image-text pairs and corresponding mask labels. However, they exhibit limited generalization to out-of-distribution scenarios without an explicit reasoning process. Although recent efforts leverage reinforcement learning through group-relative policy optimization (GRPO) to enhance reasoning ability, they often suffer from overthinking - producing uniformly verbose reasoning chains irrespective of task complexity. This results in elevated computational costs and limited control over reasoning quality. To address this problem, we propose PixelThink, a simple yet effective scheme that integrates externally estimated task difficulty and internally measured model uncertainty to regulate reasoning generation within a reinforcement learning paradigm. The model learns to compress reasoning length in accordance with scene complexity and predictive confidence. To support comprehensive evaluation, we introduce ReasonSeg-Diff, an extended benchmark with annotated reasoning references and difficulty scores, along with a suite of metrics designed to assess segmentation accuracy, reasoning quality, and efficiency jointly. Experimental results demonstrate that the proposed approach improves both reasoning efficiency and overall segmentation performance. Our work contributes novel perspectives towards efficient and interpretable multimodal understanding. The code and model will be publicly available.

arXiv:2506.09353공식 코드 · Papers with Code

DAVSP: Safety Alignment for Large Vision-Language Models via Deep Aligned Visual Safety Prompt

Large Vision-Language Models (LVLMs) have achieved impressive progress across various applications but remain vulnerable to malicious queries that exploit the visual modality. Existing alignment approaches typically fail to resist malicious queries while preserving utility on benign ones effectively. To address these challenges, we propose Deep Aligned Visual Safety Prompt (DAVSP), which is built upon two key innovations. First, we introduce the Visual Safety Prompt, which appends a trainable padding region around the input image. It preserves visual features and expands the optimization space. Second, we propose Deep Alignment, a novel approach to train the visual safety prompt through supervision in the model's activation space. It enhances the inherent ability of LVLMs to perceive malicious queries, achieving deeper alignment than prior works. Extensive experiments across five benchmarks on two representative LVLMs demonstrate that DAVSP effectively resists malicious queries while preserving benign input utility. Furthermore, DAVSP exhibits great cross-model generation ability. Ablation studies further reveal that both the Visual Safety Prompt and Deep Alignment are essential components, jointly contributing to its overall effectiveness. The code is publicly available at https://github.com/zhangyitonggg/DAVSP.

arXiv:2506.03134공식 코드 · Papers with Code

Simulate Any Radar: Attribute-Controllable Radar Simulation via Waveform Parameter Embedding

We present SA-Radar (Simulate Any Radar), a radar simulation approach that enables controllable and efficient generation of radar cubes conditioned on customizable radar attributes. Unlike prior generative or physics-based simulators, SA-Radar integrates both paradigms through a waveform-parameterized attribute embedding. We design ICFAR-Net, a 3D U-Net conditioned on radar attributes encoded via waveform parameters, which captures signal variations induced by different radar configurations. This formulation bypasses the need for detailed radar hardware specifications and allows efficient simulation of range-azimuth-Doppler (RAD) tensors across diverse sensor settings. We further construct a mixed real-simulated dataset with attribute annotations to robustly train the network. Extensive evaluations on multiple downstream tasks-including 2D/3D object detection and radar semantic segmentation-demonstrate that SA-Radar's simulated data is both realistic and effective, consistently improving model performance when used standalone or in combination with real data. Our framework also supports simulation in novel sensor viewpoints and edited scenes, showcasing its potential as a general-purpose radar data engine for autonomous driving applications. Code and additional materials are available at https://zhuxing0.github.io/projects/SA-Radar.

arXiv:2506.11474

Med-PRM: Medical Reasoning Models with Stepwise, Guideline-verified Process Rewards

Large language models have shown promise in clinical decision making, but current approaches struggle to localize and correct errors at specific steps of the reasoning process. This limitation is critical in medicine, where identifying and addressing reasoning errors is essential for accurate diagnosis and effective patient care. We introduce Med-PRM, a process reward modeling framework that leverages retrieval-augmented generation to verify each reasoning step against established medical knowledge bases. By verifying intermediate reasoning steps with evidence retrieved from clinical guidelines and literature, our model can precisely assess the reasoning quality in a fine-grained manner. Evaluations on five medical QA benchmarks and two open-ended diagnostic tasks demonstrate that Med-PRM achieves state-of-the-art performance, with improving the performance of base models by up to 13.50% using Med-PRM. Moreover, we demonstrate the generality of Med-PRM by integrating it in a plug-and-play fashion with strong policy models such as Meerkat, achieving over 80\% accuracy on MedQA for the first time using small-scale models of 8 billion parameters. Our code and data are available at: https://med-prm.github.io/

arXiv:2506.13443

PRO: Projection Domain Synthesis for CT Imaging

Synthesizing high quality CT projection data remains a significant challenge due to the limited availability of annotated data and the complex nature of CT imaging. In this work, we present PRO, a projection domain synthesis foundation model for CT imaging. To the best of our knowledge, this is the first study that performs CT synthesis in the projection domain. Unlike previous approaches that operate in the image domain, PRO learns rich structural representations from raw projection data and leverages anatomical text prompts for controllable synthesis. This projection domain strategy enables more faithful modeling of underlying imaging physics and anatomical structures. Moreover, PRO functions as a foundation model, capable of generalizing across diverse downstream tasks by adjusting its generative behavior via prompt inputs. Experimental results demonstrated that incorporating our synthesized data significantly improves performance across multiple downstream tasks, including low-dose and sparse-view reconstruction. These findings underscore the versatility and scalability of PRO in data generation for various CT applications. These results highlight the potential of projection domain synthesis as a powerful tool for data augmentation and robust CT imaging. Our source code is publicly available at: https://github.com/yqx7150/PRO.

arXiv:2508.03829v4cs.CL

Majority Bit-Aware Watermarking For Large Language Models

The growing deployment of Large Language Models (LLMs) has raised concerns about their misuse in generating harmful or deceptive content. To address this issue, watermarking methods have been proposed to embed identifiable multi-bit messages into generated text for misuse tracing. However, existing methods often suffer from a fundamental trade-off between text quality and decoding accuracy. In particular, they have to restrict the size of the preferred token set (i.e., green list) during encoding to maintain a detectable watermark signal for decoding, which inevitably degrades generation quality. To improve this trade-off, we propose a novel message encoding paradigm called \textit{majority bit-aware encoding}, which relaxes the watermark signal strength from the green list size. This strategy allows for a strong watermark signal to be preserved in generated texts even when using a large green list. We introduce two instantiations of this paradigm: MajorMark and MajorMark$^{+}$, where the latter is specifically optimized for long messages. Extensive experiments on state-of-the-art LLMs demonstrate that our methods achieve higher decoding accuracy and superior text quality compared to prior baselines. The code is at https://github.com/JiiahaoXU/MajorMark.

arXiv:2611.08669v1cs.AI

ChainFlow: Few-Step Latent Flow Matching for Speculative Decoding

Speculative decoding has become a standard way to accelerate LLM inference: a lightweight drafter proposes tokens that the target verifies in one parallel pass. Existing drafters face trade-offs that limits their speedups: autoregressive drafters generate tokens one at a time, so drafting cost grows with draft length, while diffusion drafters generate tokens in parallel but predict each position independently, ignoring inter-token dependencies. We introduce ChainFlow, a new speculative decoding paradigm and the first flow-matching drafter conditioned on the target's hidden states. ChainFlow treats drafting as a short transport over hidden states, needing one or two flow steps instead of the many denoising steps of generation from noise. A variational autoencoder compresses these states so drafting cost barely grows with target size, lightweight feedback heads restore inter-token dependencies, and tree drafting raises acceptance. On Qwen3.5 models, at matched drafter size and training data, ChainFlow outperforms EAGLE-3 and DFlash in vLLM by 39% and 11%, respectively. These gains further widen as drafters are adapted to new languages sequentially. Our ablations cover drafter design and concurrent serving, and we open-source our code and drafter models.

arXiv:2604.27308v2cs.LG

BoostLoRA: Growing Effective Rank by Boosting Adapters

Parameter-efficient fine-tuning (PEFT) methods face a tradeoff between adapter size and expressivity: ultra-low-parameter adapters are confined to fixed low-rank subspaces, capping performance even with extended training. We propose BoostLoRA, a gradient-boosting framework that overcomes this limit by iteratively training and merging minimal adapters on the examples the current model gets wrong. A ROTATE SVD basis strategy assigns each round to an orthogonal subspace, so cumulative effective rank grows linearly with the number of rounds while each adapter remains ultra-low-rank. After merging, adapters are discarded, leaving zero inference overhead. On Qwen2.5-3B, BoostLoRA reaches 89.1% on GSM8K and 68.8% on MATH-500, surpassing both the best single-shot ultra-low parameter adapter (TinyLoRA) and full fine-tuning; on code generation it reaches 57.2% on MBPP and 80.4% on HumanEval while full fine-tuning drops below the zero-shot baseline. We also demonstrate cross-architecture transfer on protein binding classification with ESM2-650M and cross-entropy training. BoostLoRA is, to our knowledge, the first PEFT method whose effective rank grows with training, separating per-round parameter cost from total representational capacity.

arXiv:2606.12025v1cs.AI

인간 강화 루프 모델링(HELM): 콘크리트 교량 방호벽의 에이전트 기반 유한 요소 모델링

Human-Enhanced Loop Modeling (HELM): Agent-Based Finite Element Modeling of Concrete Bridge Barriers

교량 방호벽과 같은 안전 중요 인프라의 유한 요소(FE) 모델링은 고충실도 비선형 동적 해석이 필요하지만, 현재 FE 모델링 프로세스는 여전히 노동 집약적이며 자동화가 부족합니다. 본 논문은 인간 강화 루프 모델링(HELM) 프레임워크를 제시합니다. 이는 협업형 인간-에이전트 프로토콜로서, 긴 시퀀스의 유한 요소 모델링을 기하학적 형상 생성, 경계 조건 정의, 재료 할당 과정 전반에 걸쳐 이산적이고 시각적으로 검증 가능한 체크포인트들로 분해합니다. 이 프레임워크는 MASH TL-4 및 TL-5 횡방향 하중 조건 하에서 철근 콘크리트 교량 방호벽의 20가지 사례를 통해 시연되었으며, 전문화된 에이전트가 ANSYS와 LS-PrePost라는 두 가지 널리 사용되는 상용 FE 소프트웨어와 연동됩니다. 실험 결과에 따르면 HELM은 기준선 자율 모델링 성공률을 20%에서 75%로 향상시켰으며, 기하학 및 경계 조건 작업에 대한 에이전트 수준 통과율은 약 2배 증가했습니다. 오류 분석 결과, 공간 추론 및 대수적 논리의 한계가 주요 실패 원인임을 밝혀냈으며, 이는 모델링 자동화를 위한 구조화된 인간 개입(human-in-the-loop)의 가치를 강조합니다. 전체 에이전트 설계 코드와 프롬프트는 오픈 소스로 공개되었으며, https://github.com/SimAgentDev/Ansys-LSPP-AgentKit에서 접근할 수 있습니다.

arXiv:2606.18508v1cs.CL

MCompassRAG: 문단 수준 검색을 위한 의미론적 나침반으로서의 주제 메타데이터

MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval

MCompassRAG는 주제 수준 메타데이터를 의미론적 나침반으로 활용해 청크 표현을 보강하고 LLM 교사 증류로 경량 검색기를 학습하는 RAG 검색 프레임워크로, 추론 시 추가 LLM 호출 없이 주제 인식 검색을 수행한다. 6개 복잡 검색 벤치마크에서 정보 효율성을 평균 8.24% 높이면서 강력한 효율적 RAG 베이스라인 대비 5배 이상 낮은 지연 시간을 달성했다.

arXiv:2606.30024v1cs.CV

IBRSteG: 3D 가우시안 스플래팅을 위한 일반화 가능한 스테가노그래피 프레임워크 학습

IBRSteG: Learning a Generalizable Steganography Framework for 3D Gaussian Splatting

심층 학습의 최근 발전은 스테가노그래피(steganography) 메시지 은닉을 크게 향상시켰다. 그러나 의미 있는 3D 장면 콘텐츠를 임베딩할 수 있는 3D 가우시안 스플래팅(3DGS)을 위한 일반화 가능한 스테가노그래피 접근법을 설계하는 것은 여전히 어려운 과제이다. 본 논문에서는 스테가노그래피 장면 내에 비밀 장면을 탐지 불가능하게 은닉할 수 있는 3DGS 스테가노그래피를 위한 일반화 가능한 프레임워크인 IBRSteG를 제안한다. 매개변수 생성이 특정 장면에 강하게 결합된 기존 접근법과 달리, 우리는 3D 스테가노그래피를 서로 다른 3DGS 장면에 걸쳐 일반화되는 피드포워드(feed-forward) 3D 가우시안 임베딩 프로세스로 정식화한다. 이를 실현하기 위해, 비밀 3D 가우시안 포인트의 속성을 커버 장면에 주입함으로써 장면 독립적인 임베딩 함수를 학습하는 네트워크인 GAS(Gaussian Attributes Steganographer)를 도입하여, 장면별 파인튜닝이나 최적화 없이 스테가노그래피 장면을 직접 재구성한다. 3D 가우시안을 이러한 구조화된 속성으로 변환함으로써 해당 속성은 2D 학습 패러다임과 호환되며 구조화된 특성의 이점을 활용하여 미지의 3DGS 장면에 대한 일반화를 향상시킨다. 확립된 데이터셋에 대한 광범위한 실험을 통해 IBRSteG가 높은 시각적 품질로 다양한 장면을 효과적으로 은닉할 수 있으며, 우수한 용량과 보안성을 달성함을 입증한다. 코드는 https://github.com/LingXiang2023/IBRSteG 에서 확인할 수 있다.

arXiv:2606.28787v1cs.CV

BREIT: 다중 주파수 3D EIT를 이용한 뇌졸중 재구성 프레임워크

BREIT: A Framework for Brain Stroke Reconstruction using Multi-Frequency 3D EIT

다중 주파수 전기 임피던스 단층촬영(MF-EIT)은 경계 전압으로부터 전기 특성 분포를 재구성하는 비침습적·저비용 영상 기법이다. 뇌졸중 영상화에 있어 3D 딥러닝 재구성의 발전은, 정답(GT) 볼륨과 쌍을 이루는 대규모 데이터셋의 부재와 데이터 생성·시뮬레이션·평가를 위한 비표준화된 파이프라인으로 인해 제한되고 있다. 우리는 3D MF-EIT 뇌졸중 재구성을 위한 모듈형 프레임워크 BREIT를 소개한다: (i) CT/MRI를 주파수 의존적 GT 어드미티비티 볼륨으로 변환하는 신경영상-EIT 파이프라인, (ii) MF-EIT 전압을 시뮬레이션하기 위한 독립형 Python 3D 완전 전극 모델(CEM) 순방향 솔버, (iii) 비균일 전극 배치를 지원하는 3D D-bar 구현. BREIT를 기반으로, 우리는 산란 데이터 $t(ξ)$에서 전도율 $σ(x){=}\Re\{γ\}$로의 매핑을 학습함으로써 푸리에 신경 연산자(Fourier Neural Operator)를 D-bar에 통합하는 dFNO-bar를 제안한다. UCLH 기반 합성 데이터에서 dFNO-bar를 D-bar, Deep D-bar, Gauss–Newton 재구성과 비교 평가한 결과, 다양한 노이즈 환경에서 유사한 CC를 유지하면서 더 높은 뇌 SSIM을 달성함을 관찰하였다. 코드와 데이터는 https://github.com/djahiddj13/BREIT 에서 공개적으로 이용 가능하다.

arXiv:2606.31026v1cs.LG

OTCache: Optimal Transport for Geometry-Aware Caching in Diffusion Models

We propose OTCache, a training-free framework for accelerating diffusion sampling via caching schedule prediction. Existing graph-based caching methods reduce redundant computation by optimizing shortest-path objectives, but rely on an additive independence assumption, which often breaks down in the low NFE regime. To address this issue, OTCache models caching schedules across inference budgets as a smooth evolution in policy space, inspired by Optimal Transport (OT). The framework consists of three stages: (1) obtaining a high-fidelity \textbf{reference schedule} using a graph-based caching method under a conservative budget; (2) performing a lightweight anchor search under an extreme low-budget setting via Optuna optimization with an end-to-end perceptual objective; and (3) predicting schedules for target budgets via quantile interpolation between the reference and anchor policies using continuous warping representations. Experiments on FLUX.1 [dev], Qwen-Image, and HunyuanVideo show that OTCache achieves 4.5x, 4.7x, and 3.66x acceleration, respectively, while consistently improving generation fidelity over state-of-the-art caching baselines. This work provides a new perspective on accelerating diffusion models through Optimal-Transport-inspired schedule modeling. Code:https://github.com/UnicomAI/OTCache

arXiv:2607.06223v2cs.AI

정보 획득 기반 롤아웃 정책 최적화: 다중 턴 검색 에이전트를 위한 적응형 트리 구조 롤아웃 접근법

Information Gain-based Rollout Policy Optimization: An Adaptive Tree-Structured Rollout Approach for Multi-Turn Search Agents

강화학습(RL)은 최종 결과에 도달하기 전 여러 중간 결정이 필요한 장기적(long-horizon) 검색 태스크에서 대규모 언어 모델(LLM) 에이전트의 성능을 향상시킵니다. 그러나 롤아웃 예산은 중간 상태의 유용성을 평가하지 않고 할당되는 경우가 많아, 가망이 없는 분기에서 연산이 낭비될 수 있습니다. 본 논문에서는 중간 상태의 정보성(informativeness)을 중심으로 롤아웃 수집을 구성하는 프레임워크인 정보 획득 기반 롤아웃 정책 최적화(IGRPO)를 제안합니다. 구체적으로, IGRPO는 확장 확률이 노드 수준의 정보성에 의존하는 예산 인식 트리 구조 롤아웃을 수행하여, 고정된 롤아웃 예산 내에서 유익한 분기에는 더 많은 연산을 투입하고 정보성이 낮은 분기는 덜 자주 확장되도록 합니다. 학습 궤적(trajectory)이 생성되는 방식을 직접 조정함으로써, IGRPO는 더 높은 누적 정보성을 선호하는 검색 궤적에 대한 극한 교사 분포(limiting teacher distribution)를 유도합니다. 그 결과로 얻어지는 분포는 명시적인 정책 최적화 목표를 제공하여, 적응형 롤아웃 수집과 원칙에 기반한 정책 학습을 연결합니다. 7개의 검색 증강 질의응답 벤치마크에 대한 실험 결과, IGRPO는 유사한 롤아웃 예산 하에서 3B 및 7B 백본 모두에서 강력한 베이스라인보다 더 높은 평균 정확도를 달성하여, 검색 에이전트 학습을 위한 정보성 기반 궤적 생성의 유효성을 뒷받침합니다. 코드는 https://github.com/e3trange/IGRPO 에서 확인할 수 있습니다.

arXiv:2607.10800v1cs.CV

h-Flow: Doob의 h-변환을 통한 유연한 플로우 기반 이미지 편집

h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

사전학습된 텍스트-이미지 플로우 모델을 이용한 이미지 편집은 일반적으로 원하는 프롬프트에 대한 목표 정렬(target alignment)과 원본 이미지에 대한 소스 일관성(source consistency) 사이의 균형을 신중하게 맞출 것을 요구합니다. 기존 접근법들은 역변환(inversion) 기반 파이프라인이나 경험적(heuristic) 소스-목표 궤적 구성에 의존하는데, 이는 흔히 아키텍처 특화 설계에 의존하거나 하이퍼파라미터에 민감합니다. 본 논문에서 우리는 학습이 필요 없고 이론적으로 근거를 갖춘 플로우 기반 편집 프레임워크인 h-Flow를 제안합니다. Doob의 $h$-변환에서 영감을 받아, 우리는 이미지 편집을 소스 일관성과 목표 정렬에 해당하는 다중 종단 이벤트(terminal events) 하의 조건부 생성으로 재정식화합니다. 우리는 먼저 동일한 주변 분포(marginals)를 갖는 동등한 SDE를 구성함으로써 고전적인 $h$-변환을 SDE 기반 모델에서 결정론적 RF 프레임워크로 확장합니다. 이 정식화 내에서, 소스 일관성과 목표 정렬을 위한 전용 $h$-함수를 설계하여 닫힌 형식(closed-form)의 재구성 가이던스와 속도 기반(velocity-based) 의미론적 편집 신호를 도출합니다. 나아가 재구성 방향과 편집 방향을 분리하기 위한 속도 직교 분해(velocity orthogonal decomposition)를 도입하여 두 목표 사이의 제어 가능한 트레이드오프를 가능하게 합니다. 광범위한 실험을 통해 h-Flow가 다양한 시나리오에서 효과적이고 강건하며 유연한 편집을 달성함을 입증합니다. 코드는 곧 공개될 예정입니다.

arXiv:2608.25354v1cs.LG

저차원 중첩 탈출: 고차원 희소 분리를 통한 다중 과제 모델 병합

Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

모델 병합은 추가 학습 없이 다중 과제 범용 모델을 구축하는 효율적인 방법을 제공하지만, 심각한 과제 간 간섭(task interference) 하에서는 성능이 종종 저하된다. 모델 병합에서 과제 간 간섭은 주로 중첩(superposition)에서 비롯되며, 과제별 특징이 매개변수 공간 내에서 얽히게 된다. 이러한 얽힘은 기존 분해 방법이 간섭 성분으로부터 유용한 과제 방향을 효과적으로 분리하기에 불충분하게 만든다. 본 논문에서는 Sparse Autoencoder(SAE)를 사용해 과제 벡터를 고차원 희소 특징 공간에 투영하고, 융합 전에 특징 수준의 분리(disentanglement)를 가능하게 하는 희소 표현 기반 병합 프레임워크를 제안한다. 계산 부담을 줄이기 위해 선택적 병합을 위해 과제 핵심 레이어를 식별하는 경량 Group-Ranked Zeroth-Order Optimizer(GR-ZOO)를 추가로 도입한다. Qwen2.5-1.5B와 Qwen2.5-7B 모두에서의 실험은 수학적 추론, 코드 생성, instruction following, 일반 지식 과제 전반에 걸쳐 Task Arithmetic, TIES-Merge, DARE, Fisher-Merge 및 여러 최근 학습 없는 병합 방법을 포함한 대표적 기준선들보다 우리 방법이 일관되게 우수함을 보여준다. Qwen2.5-1.5B에서 고도로 충돌하는 4과제 설정에서는 우리 방법이 가장 강한 기준선 대비 추가로 2.78% 향상을 달성한다.

arXiv:2608.27184v1cs.AR

디지털 EDA에서의 LLM: 생성에서 오케스트레이션으로 바뀌는 역할에 대한 관점

LLMs in Digital EDA: A perspective on shifting roles from Generation to Orchestration

전자 설계 자동화(EDA)는 합성, 최적화, 검증을 점진적으로 자동화하는 여러 세대의 도구를 거치며 엔지니어링 생산성을 향상시켜 왔다. 대규모 언어 모델(LLM)은 설계 의도에서 하드웨어 구현으로의 직접적인 변환을 가능하게 함으로써 이러한 흐름을 확장한다. 대부분의 EDA 문헌에서 LLM 기반 솔루션은 일반적으로 서로 분리된 설계 단계나 작업을 보조하는 데 그치는데, 이는 역량이 발현되고 시스템이 확장되는 동인을 가려 왔다. 본 Perspective에서는 이를 대신하여 역량이 어떻게 누적되는지를 보여 주는 세 가지 계층적 역할을 정의한다. 즉, 설계 산출물을 단일 패스로 생성하는 생성기(Generator), 반복적인 도구 피드백을 통해 출력을 개선하는 에이전트(Agent), 그리고 EDA 단계 전반에 걸쳐 의사결정을 조율하는 오케스트레이터(Orchestrator)이다. 기존에 발표된 시스템 전반을 살펴보면, 모델이 물리적으로 올바른 하드웨어가 아니라 그럴듯한 코드를 생성하도록 학습되는 구문 함정(syntax trap)이 드러나며, 이는 파편화된 도구와 설계 컨텍스트의 손실로 인해 더욱 심화되어 의사결정이 이후 단계에 어떤 영향을 미치는지를 가린다. 세 가지 역할 간의 비교 결과, 현재의 접근법은 산업 규모의 설계로 확장하는 데 어려움을 겪고 있으며, 이에 따라 더 신뢰할 수 있고 접근하기 쉬운 하드웨어 설계를 위해 EDA 플로우 전반에 걸쳐 도구와 에이전트를 연결하는 표준화된 물리 인식(physics-aware) 오케스트레이터로의 전환이 필요하다.

arXiv:2508.00669v2cs.CL

LLM 시대의 의료 추론: 향상 기법과 응용에 대한 체계적 문헌 고찰

Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications

의료 분야에서 대규모 언어 모델(LLM)이 확산되면서 인상적인 성능이 가능해졌지만, 임상 실무의 핵심인 체계적이고 투명하며 검증 가능한 추론을 수행하는 능력에는 여전히 중대한 격차가 남아 있다. 이로 인해 단일 단계의 답변 생성에서 벗어나, 의료 추론을 위해 명시적으로 설계된 LLM을 개발하는 방향으로의 전환이 촉발되었다. 본 논문은 이 신흥 분야에 대한 최초의 체계적 문헌 고찰을 제공한다. 우리는 추론 향상 기법의 분류 체계를 제안하며, 이를 학습 시점 전략(예: 지도 미세조정, 강화학습)과 테스트 시점 메커니즘(예: 프롬프트 엔지니어링, 멀티 에이전트 시스템)으로 구분한다. 또한 이러한 기법이 서로 다른 데이터 모달리티(텍스트, 이미지, 코드)와 진단, 교육, 치료 계획 수립과 같은 주요 임상 응용에서 어떻게 적용되는지 분석한다. 더 나아가, 단순한 정확도 지표에서 추론 품질과 시각적 해석 가능성에 대한 정교한 평가에 이르기까지 평가 벤치마크가 어떻게 발전해 왔는지를 조사한다. 2022년부터 2025년까지의 핵심 연구 60편에 대한 분석을 바탕으로, 충실성-그럴듯함 간극(faithfulness-plausibility gap)과 네이티브 멀티모달 추론의 필요성을 포함한 주요 과제를 식별하고, 효율적이고 견고하며 사회기술적으로 책임 있는 의료 AI를 구축하기 위한 향후 방향을 제시하며 결론을 맺는다.

arXiv:2609.27248v2cs.LG

사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기

Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.

arXiv:2610.02523v1cs.AI

프로그램 개선을 통한 가설 유도 기반 인지 알고리즘 발견

Hypothesis-guided discovery of cognitive algorithms via program refinement

행동 데이터로부터 알고리즘적 추론에 대한 인지 모델(cognitive model)을 개발하는 것은 인지과학의 핵심 과제이며 기존 방식에 도전 과제를 제기합니다. 인지 모델링에 대한 전통적인 접근법은 해석 가능하고 인간의 전문 지식을 활용할 수 있지만 유연성과 확장성이 부족합니다. 대규모 언어 모델(LLM)을 활용하여 인지 모델을 새롭게 생성(de novo generation)하는 최신 기술들은 확장 가능하고 유연하지만, 인간의 전문 지식이 개입할 여지가 부족하며 주로 알고리즘 복원보다 단순한 과제에 적용되어 왔습니다. 본 연구에서는 인지 알고리즘 발견을 프로그램 개선(program refinement) 문제로 다루는 하이브리드 시스템을 제안합니다. 사람이 생성한 인지 모델을 확률적 프로그램으로 표현한 뒤, 모델과 행동 간의 불일치 식별, 연구자가 지정한 제약 조건 내에서의 코드 수준 수정안 제안, 구조적 충실도 검증의 역할을 맡은 LLM 에이전트 시스템에 제공합니다. 수정 사항은 잠재 변수에 대한 추론(inference) 및 데이터 가능도(likelihood) 계산을 수행하는 확률적 추론 모듈로 전달됩니다. 다양한 인지 알고리즘을 드러내는 문제 해결 패러다임 하에서 인간 행동을 바탕으로 본 파이프라인을 평가합니다. 개선된 모델들은 기존 조상 모델에 비해 모델 적합도를 일관되게 향상시키며, 본 과제에서 유의미한 행동 변동성을 포착하는 소수의 반복적인 혁신 요소를 밝혀냅니다.