일반화된 PINNs를 위한 비모듈성 갈등 회피 학습
Modularity-Free Conflict-Averse Training for Generalized PINNs
한국어 초록
물리 정보 신경망(PINNs)은 물리 법칙을 미분 가능한 목적 함수에 임베딩하여 편미분 방정식(PDEs)을 해결하는 강력한 프레임워크가 되었습니다. 발전에도 불구하고 PINNs 학습은 여전히 취약합니다: 최근의 갈등 회피 최적화 기법은 잔차 손실과 경계 손실 사이의 그래디언트 간섭을 완화하지만, 우리는 모델 용량이 증가함에 따라 그 효과가 저하됨을 보여줍니다. 본 논문에서 우리는 용량 유발 실패 모드를 식별합니다. 이 모드에서 과매개변수화된 네트워크는 기능적 모듈성을 겪으며, 목표 간 상호작용을 억제하고 파레토 정상점으로의 수렴을 방해하는 작업 전용 모듈로 스스로 분할됩니다. 이 문제를 해결하기 위해 우리는 구조적 최적화를 갈등 회피 학습에 통합하는 새로운 프레임워크인 모듈러-희소성 동기화(ModSync)를 제안합니다. ModSync는 상호작용 촉진 경로를 유지하면서 작업 전용 연결에 페널티를 부여합니다. 다양한 PDE 벤치마크에 걸친 광범위한 실험을 통해 ModSync가 용량 기반 실패를 일관되게 방지하고, 강력한 목표 간 결합을 유지하며 최첨단 정확도를 달성함을 입증합니다. 코드는 \url{https://github.com/heejokong/ModSync}에서 확인할 수 있습니다.
원문 초록
Physics-informed neural networks (PINNs) have become a powerful framework for solving PDEs by embedding physical laws into differentiable objectives. Despite their advances, training PINNs remains fragile: recent conflict-averse optimization schemes alleviate gradient interference between residual and boundary losses, but we show that their effectiveness deteriorates as model capacity increases. In this paper, we identify a capacity-induced failure mode, where overparameterized networks undergo functional modularity, self-partitioning into task-exclusive modules that suppress cross-objective interaction and hinder convergence toward Pareto-stationary points. To address this issue, we propose a novel framework, Modular-Sparsity Synchronization (ModSync), which integrates structural optimization into conflict-averse training by penalizing task-exclusive connections while preserving interaction-promoting pathways. Extensive experiments across diverse PDE benchmarks demonstrate that ModSync consistently prevents capacity-driven failures, sustains robust cross-objective coupling, and achieves state-of-the-art accuracy. Codes are available at \url{https://github.com/heejokong/ModSync}.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20156v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹
Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
OpenFinGym: Quant 에이전트 평가를 위한 검증 가능한 멀티태스크 Gym 환경
OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.