PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.01973v4cs.CL

임의의 텍스트 조건화를 위한 학습의 학습: 하이퍼네트워크 기반 메타 게이트 LLM

Learn-To-Learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM

Conventional LLMs may suffer from corpus heterogeneity and subtle condition changes. While finetuning can create the catastrophe forgetting issue, application of meta-learning on LLMs is also limited due to its complexity and scalability. In this paper, we activate the meta-signal of $\beta$ within the SwiGLU blocks, resulting in a meta-gating mechanism that adaptively adjusts the nonlinearity of FFN. A hypernetwork is employed which dynamically produces $\beta$ on textual conditions, providing meta-controllability on LLMs. By testing on different condition types such as task, domain, persona, and style, our method outperforms finetuning and meta-learning baselines, and can generalize reasonably on unseen tasks, condition types, or instructions. Our code can be found in https://github.com/AaronJi/MeGan.

arXiv:2606.30015v2cs.CL

파라메트릭 스킬

Parametric Skills

For LLMs, skills are textual recipes encoding mature problem-solving experience. Despite widespread deployment, their utility is limited by the model's ability to comprehend and follow skill instructions. To address this limitation, we propose ParametricSkills, a framework that parameterizes textual skills at test time, enabling context-free management of the full skill lifecycle. Specifically, we first construct a large-scale and high-quality skill collection, and then synthesize single-turn and multi-turn skill-exploitation trajectories. Using this data, we then train a hypernetwork that parameterizes both the content and the exploitation methodologies of skills by converting textual skills into LoRA adapters. To facilitate the real-world application of our framework, we further align the hypernetwork on complex, long-horizon trajectories collected with OpenCode, enabling the models to operate reliably in realistic interactive workflows with ParametricSkills. Across evaluations, ParametricSkills effectively parameterizes skills, yielding substantial gains in task completion. More notably, as parametric skills accumulate as adapters rather than crowding the context, they open a preliminary but promising path toward continual learning at test time.

arXiv:2610.01331v1cs.CV

CLASP: 단일 하이퍼네트워크 기반 공간 배치 개념을 위한 지속적 저순위 어댑터

CLASP: Continual Low-rank Adapters for Spatially Placed Concepts from One Hypernetwork

텍스트-이미지 확산 모델(diffusion model)의 지속적 개인화(continual personalization)는 이전에 학습한 개념을 보존하면서 새로운 개념을 순차적으로 획득하는 것을 요구합니다. 그러나 기존 방식들은 파국적 망각(catastrophic forgetting)을 겪거나 개념별 추가 매개변수 및 공간적 구성 요소를 저장하는 데 의존하여 개념 스트림이 증가함에 따라 매개변수 차지 공간(footprint)이 커지게 됩니다. 이는 긴 시퀀스의 개인화 작업으로 확장하는 능력을 제한합니다. 본 논문에서는 단일 고정 크기 하이퍼네트워크(hypernetwork)를 사용하여 동결된 확산 모델을 지속적으로 개인화하는 리허설 없는(rehearsal-free) 접근 방식을 제안합니다. 새 개념이 획득됨에 따라 모델을 확장하는 대신, 하이퍼네트워크는 이전에 학습된 개념을 보존하면서 개인화에 필요한 개념별 적응을 동적으로 생성합니다. 또한 본 프레임워크는 공간 제어를 개인화 과정에 통합하여 개념별 구성 요소를 추가로 도입하지 않고도 개인화된 개념이 나타나야 할 위치를 사용자가 지정할 수 있도록 합니다. 이러한 공식화를 통해 압축된 개념 표현을 제외하면 학습된 개념 수와 무관하게 매개변수 크기가 유지되는 지속적 개인화가 가능해집니다. 실험을 통해 이전에 학습된 개념의 강력한 보존과 신뢰할 수 있는 공간적 그라운딩(grounding)을 입증하였으며, 기존 방법과 대등하거나 개선된 성능을 보이는 동시에 긴 개인화 작업 스트림으로도 효과적으로 확장됨을 보입니다.

arXiv:2609.18842v2cs.AI

무한-매개변수 LLM: 실시간 데이터로부터 가중치 생성 및 적응

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

스케일링 법칙에 따르면 언어 모델은 매개변수와 학습 데이터가 늘수록 더 유능해진다. 전문가 혼합(MoE) 아키텍처는 이러한 법칙의 두드러진 사례로, 거대한 매개변수 뱅크 중 각 토큰마다 일부만 활성화한다. 그러나 이 성공은 정적인 사전학습 데이터에 기반한다 — 배포된 모델이 실시간 상호작용 중 사용자가 제공하는 사실과 수정은 잠재적 개선의 중요한 미개발 원천이지만, 학습 후 가중치가 고정되는 기존 아키텍처로는 활용할 수 없다. 대신 이러한 새 지식은 문맥(지시 또는 검색)에 넣어 매 요청마다 다시 읽어야 하며, 이후에는 버려진다. 우리는 대신 실시간 상호작용으로부터 학습하기 위해 모델 가중치를 동적으로 갱신하고자 한다. MoE에서 영감을 받아 \textbf{Infinite-Parameter LLM}을 제안한다. 소형 하이퍼네트워크가 온라인 데이터를 공유 기반 네트워크에 대한 저랭크 변조로 바꾸므로, 피드포워드 가중치는 정적 메모리에서 읽는 것이 아니라 실시간 데이터로부터 생성된다. 기존 가중치 생성기는 문맥을 한 번 읽은 뒤 고정되는 반면, 우리는 생성기의 잠재 상태에 대한 베이지안 신념을 형성하고 이를 온라인으로 갱신하여, 세션 동안 신념이 진화함에 따라 유효 가중치가 다시 도출되도록 한다. 모델의 메모리 사용량은 일정하지만, 생성 가능한 가중치의 실현 공간은 사실상 무한하다. 실시간 데이터를 프롬프트가 아닌 가중치에 담으면 연산을 상각(amortise)하고, 컨텍스트 윈도우를 비우며, 턴 간 갱신을 유지하고, 문맥 내 사용보다 더 잘 일반화할 수 있다. 우리의 평가 프로토콜은 이 방법론을 문맥 내 학습(ICL)과 검색에 적용한다.

arXiv:2601.09238v2cs.CV

지식 임베딩 및 하이퍼네트워크 가이드 퓨샷 변전소 계량기 결함 이미지 생성 방법

Knowledge-Embedded and Hypernetwork-Guided Few-Shot Substation Meter Defect Image Generation Method

변전소 계량기는 전력망의 안정적 운영을 모니터링하고 보장하는 데 중요한 역할을 하지만, 균열 및 기타 물리적 결함의 검출은 주석이 달린 샘플의 심각한 부족으로 인해 종종 저해된다. 이 퓨샷(few-shot) 생성 과제를 해결하기 위해, 우리는 지식 임베딩(Knowledge Embedding)과 하이퍼네트워크 가이드 조건부 제어(Hypernetwork-Guided Conditional Control)를 Stable Diffusion 파이프라인에 통합한 새로운 프레임워크를 제안하며, 이를 통해 제한된 데이터로부터 사실적이고 제어 가능한 결함 이미지 합성을 가능하게 한다. 첫째, DreamBooth 방식의 지식 임베딩을 사용하여 Stable Diffusion 백본을 미세조정함으로써 자연 이미지 사전학습 모델과 산업 장비 간의 상당한 도메인 격차를 해소한다. 이 과정은 변전소 계량기의 고유한 구조적 및 질감적 사전(prior)을 인코딩하여, 생성된 이미지가 진정한 계량기 특성을 유지하도록 보장한다. 둘째, 위치, 길이, 곡률, 분기 패턴과 같은 결함 속성을 매개변수화하는 기하학적 균열 모델링 모듈을 도입하여 공간적으로 제약된 제어 맵을 생성한다. 이러한 맵은 생성 과정에서 정밀한 픽셀 수준의 가이드를 제공한다. 셋째, 제어 맵과 고수준 결함 기술자(descriptor)에 반응하여 확산 모델의 디노이징(denoising) 과정을 동적으로 변조하는 경량 하이퍼네트워크를 설계하여, 생성 충실도와 제어 가능성 사이의 유연한 균형을 달성한다. 실제 변전소 계량기 데이터셋에 대한 광범위한 실험 결과, 우리 방법은 기존 증강 및 생성 베이스라인을 크게 능가한다. Frechet Inception Distance(FID)를 32.7% 감소시키고, 다양성 지표를 높이며, 무엇보다도 증강 데이터로 학습했을 때 하류 결함 검출기의 mAP를 15.3% 향상시킨다. 이 프레임워크는 결함 샘플이 희귀한 산업 검사 시스템을 위한 실용적이고 고품질의 데이터 합성 솔루션을 제공한다.

arXiv:2607.13688v1cs.LG

균사체 복합재의 등급 다중 스케일 최적화를 위한 미세구조 조건화 대리 모델

Microstructure-Conditioned Surrogate Models for Graded Multiscale Optimization of Mycelium Composites

새롭게 부상하는 지속가능 소재는 점점 더 설계된 계층 구조와 미세구조에 의존하여 그 특성과 기계적 거동을 제어하고 있다. 제어 가능한 미세구조를 갖는 이러한 소재를 최적화하려면 효율적인 다중 스케일 시뮬레이션이 필요하다. 미세 스케일에 대한 데이터 기반 대리 모델은 다중 스케일 시뮬레이션을 가속할 수 있지만, 고정된 미세구조 하나에 대해서도 대량의 데이터가 필요하다. 다중 스케일 최적화에서 그러한 것처럼 다양한 미세구조 범위를 고려할 때, 대리 모델을 학습하기 위해 훨씬 더 많은 데이터가 필요하다. 이 과제를 극복하기 위해, 우리는 하이퍼네트워크(hypernetwork)를 사용하여 하이브리드 물리-데이터 대리 모델을 미세구조 변수에 조건화한다. 이 접근법은 소규모 데이터셋으로 학습된 경우에도 균사체-목칩 복합 소재의 다중 스케일 기계적 거동을 정확하게 예측할 수 있게 한다. 조건화된 대리 모델은 기능적 등급 구조의 다중 스케일 시뮬레이션을 실현 가능하게 하며, 우리는 이를 완전한 FE^2 시뮬레이션과 대조하여 검증한다. 우리는 등급화된 다중 스케일 디스크를 최적화하고, 무작위 미세구조를 갖는 것과 비교하여 최대 응력을 42% 감소시켰다. 그다음 한 걸음 더 나아가, 미세구조에 복잡한 영향을 미칠 수 있는 제조 변수에 네트워크를 직접 조건화한다. 이는 원하는 거시 스케일 거동을 위해 미세 스케일을 설계하는 실용적인 경로이다. 본 연구는 미세구조 설계 구조의 이점을 강조하고, 조건화된 대리 모델이 어떻게 이들의 다중 스케일 최적화를 가능하게 하는지를 보여주며, 이는 미래의 지속가능 소재와 구조의 개발 및 설계를 가속할 것이다.

arXiv:2607.10684v1cs.CV

HyperBank: 퓨샷 스페로이드 현미경 분할을 위한 고전적 사전 지식의 미분 가능한 뱅크

HyperBank: A Differentiable Bank of Classical Priors for Few-Shot Spheroid Microscopy Segmentation

퓨샷 스페로이드 분할(few-shot spheroid segmentation)은 소수의 주석된 이미지만으로 새로운 세포주, 현미경, 조명 조건에 적응해야 한다. 파운데이션 퓨샷 분할기(foundation few-shot segmenter)는 정확할 수 있으나, 대형 불투명 백본(backbone)으로 인해 어떤 시각적 단서가 성공 또는 실패를 이끄는지 파악하기 어렵다. 본 연구에서는 Frangi vesselness, Sauvola 임계값 피라미드, 구조 텐서(structure tensor) 응답, 그래디언트 크기, 가우시안 라플라시안(Laplacian-of-Gaussian) 필터를 결합한 고전적 이미지 처리 연산자들의 미분 가능한 뱅크인 HyperBank를 통해 이 문제를 탐구한다. HyperBank는 주석된 서포트 이미지에 피팅되며, 독립적으로 수집된 세 가지 스페로이드 데이터셋의 별도 held-out 이미지에서 평가된다. 본 연구는 HyperBank를 파운데이션 모델의 일반적 대체물이 아니라, 소형의 해석 가능한 퓨샷 현미경 파이프라인이자 어떤 고전적 단서가 퓨샷 신호를 전달하는지 탐색하는 분석적 사전 지식 프로브(analytic-prior probe)로 접근한다. 결과에 따르면, 동일한 소수의 주석된 서포트 이미지에 적응된 분석적 사전 지식의 소형 뱅크는 훨씬 큰 파운데이션 모델과 경쟁력이 있으며, 소규모 클러스터 및 대비(contrast) 기반 데이터에서는 이를 능가할 수 있는 반면, 외부에서 수집된 텍스처 지배적 스페로이드에서는 파운데이션 모델이 여전히 우세하다. 리브-원-패밀리-아웃(leave-one-family-out) 절제 실험은 유용한 퓨샷 신호가 연산자 패밀리 전반에 분산되어 있으며, 서포트 셋 조율 형태학(support-set-tuned morphology)에 의해 강화됨을 나타낸다.

arXiv:2607.11475v1cs.LG

HyperSafe: 미세조정된 언어 모델을 위한 추론 시점 안전성 복구

HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models

대규모 언어 모델의 안전성 정렬(safety alignment)은 미세조정(fine-tuning) 과정에서 취약해질 수 있으며, 무해한 태스크 적응조차 유해한 응답 준수율을 높일 수 있다. 기존 방어 기법은 주로 두 가지 방향을 따른다. 하나는 미세조정 중 또는 이후에 재학습이나 가중치(weight) 수정을 통해 개입하는 방식으로, 비용이 많이 들고 태스크 성능을 저하시킬 수 있다. 다른 하나는 모델에 무관한 안전성 분류기(classifier)를 사용하는 방식으로, 특정 미세조정 체크포인트(checkpoint)에 고유한 실패 사례를 놓칠 수 있다. 이러한 한계들은 사후(post hoc), 모델 특화적, 비침습적인 안전성 복구 접근법의 필요성을 제기한다. 이 요구사항들을 충족하기 위해 우리는 HyperSafe를 제안한다. HyperSafe는 각 미세조정 체크포인트에 대해 모델 특화된 안전 사이드 네트워크(Safe Side Network, SSN)를 생성하여 안전성 동작을 복구하는 프레임워크다. HyperSafe는 층(layer)별 활성화 핑거프린트(activation fingerprint)를 사용하여 미세조정이 모델의 내부 표현을 어떻게 변화시키는지 포착한다. 소수의 보정 프롬프트(calibration prompt)가 주어지면, 하이퍼네트워크(hypernetwork)는 이 핑거프린트들을 단일 순전파(forward pass)로 SSN의 파라미터에 매핑한다. 생성된 SSN은 동결된 미세조정 모델과 병렬로 실행되며 프롬프트(prompt) 수준의 안전성 분류(classification)를 수행한다. 유해한 프롬프트는 거절 응답으로 라우팅되고, 안전한 프롬프트는 원래의 미세조정 모델이 답변한다. 따라서 HyperSafe는 그래디언트(gradient) 업데이트, 배포 시점의 안전성 데이터, 배포된 모델(model) 가중치 수정을 일절 필요로 하지 않는다. 우리는 HyperSafe를 두 모델 패밀리인 Qwen2-7B와 LLaMA-3-8B에서 다수의 안전성 벤치마크(benchmark)로 평가한다. HyperSafe는 모든 held-out 체크포인트에서 유해 응답률을 19–31%에서 1% 미만으로 줄이면서, 평균적으로 다운스트림 태스크 정확도를 미세조정 기준선(baseline)의 1% 이내로 유지한다. 코드는 https://github.com/nokronim/project-safety-remedy에서 확인할 수 있다.

arXiv:2602.06358v3cs.CL

SHINE: 단일 순전파로 컨텍스트를 LoRA에 매핑하는 확장 가능한 인-컨텍스트 하이퍼네트워크

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

우리는 다양한 의미 있는 컨텍스트를 대규모 언어 모델(LLM)을 위한 고품질 LoRA 어댑터로 매핑할 수 있는 확장 가능한 하이퍼네트워크인 SHINE(Scalable Hyper In-context NEtwork)을 제안한다. 동결된 LLM 자체의 매개변수를 인-컨텍스트 하이퍼네트워크 설계에서 재사용하고 아키텍처 혁신을 도입함으로써, SHINE은 기존 하이퍼네트워크의 핵심 한계를 극복하고 상대적으로 적은 수의 매개변수로 강력한 표현력을 달성한다. 우리는 사전학습 및 인스트럭션 미세조정 파이프라인을 도입하고, 단일 순전파로 다양한 의미 있는 컨텍스트에서 고품질 LoRA 어댑터를 생성하도록 하이퍼네트워크를 학습시킨다. 이 방법은 어떠한 미세조정 없이도 LLM 매개변수를 업데이트하며, 컨텍스트에 직접 접근하지 않고도 컨텍스트와 관련된 복잡한 질의응답 작업을 즉시 가능하게 하여, 단일 순전파로 컨텍스트 내 지식을 매개변수 내 지식으로 효과적으로 변환한다. 우리의 연구는 다양한 작업에서 뛰어난 결과를 달성하고, SFT 기반 LLM 적응 방식에 비해 시간, 연산 및 메모리 비용을 크게 절감하며, 스케일링에 대한 큰 잠재력을 보여준다. 코드는 https://github.com/MuLabPKU/SHINE 에서 확인할 수 있다.

arXiv:2606.26772v1cs.LG

반복적 매개변수 공간 노이즈 탈피: 하이퍼네트워크를 활용한 차등 프라이버시 학습

Escaping Iterative Parameter-Space Noise: Differentially Private Learning with a Hypernetwork

DP-SGD처럼 매개변수 공간에 고차원 노이즈를 반복 주입하는 대신, 공개 데이터로 학습한 하이퍼네트워크가 비공개 데이터셋을 저차원 임베딩으로 집계·교란한 뒤 타겟 모델 매개변수를 한 번에 생성하는 차등 프라이버시(DP) 학습 프레임워크를 제안한다. 고정된 프라이버시 예산에서 합성 선형 회귀 설정에서 DP-SGD보다 높은 유용성을 이론적으로 보이며, 확산 모델 LoRA 미세조정에서는 DP-SGD 및 다른 공개 데이터 기반 방법보다 낮은 FID를 달성한다.

arXiv:2606.04351v2cs.CV

Frames2LoRA: 비전-언어 모델을 위한 파라메트릭 비디오 내재화

Frames2LoRA: Parametric Video Internalization for Vision-Language Models

비전-언어 모델에서 비디오를 처리하는 것은 비용이 많이 든다. 각 프레임은 수백 개의 토큰을 차지하며, 추론 비용은 프레임 수와 반복되는 쿼리마다 함께 증가한다. 우리는 파라메트릭 비디오 내재화를 위한 방법인 Frames2LoRA를 제안한다. 퍼시버(perceiver) 하이퍼네트워크는 동결된 VLM이 비디오를 인코딩할 때 층별로 생성되는 중간 표현을 읽고, 단일 순전파로 저랭크 적응(Low-Rank Adaptation, LoRA) 어댑터를 생성한다. 반복적인 그래디언트 업데이트가 필요한 표준 LoRA 미세조정과 달리, Frames2LoRA는 비디오로부터 이러한 가중치를 직접 예측한다. 비디오 요약 및 캡셔닝을 위해 SmolVLM2 500M 및 2.2B에 대해 학습된 Frames2LoRA는 동일한 동결 VLM이 어댑터만으로 쿼리에 응답할 수 있게 하며, 쿼리 시점에는 컨텍스트에 시각 토큰이 전혀 필요하지 않다. Frames2LoRA는 두 모델 규모 모두에서 5개 캡셔닝 벤치마크 전반에 걸쳐 직접 비디오 인-컨텍스트 추론과 통계적으로 열등하지 않으며 동등하고, 8개 비디오 질의응답 벤치마크-규모 조합 중 7개에서도 마찬가지이다. 384px 해상도의 12프레임으로만 학습했음에도 1,024프레임 및 1024px까지 안정적으로 유지되며, 이 범위에서 직접 비디오 인-컨텍스트 추론은 종종 성능이 저하되는 경우가 많다. 이 전체 스윕에 걸쳐 응답 시점의 시각 토큰 부하를 최대 1,500배 줄이고 쿼리 TTFT를 6–80배 단축하면서도 비디오에 충실한 출력을 유지한다. 또한 겹치지 않는 비디오 구간에 대해 독립적으로 생성된 어댑터가 랭크 공간에서 결합될 수 있음을 발견했으며, 이는 분할된 장시간 비디오 내재화로 나아갈 수 있는 경로를 시사한다.