GenoTrace: 유전체 파운데이션 모델 증류를 위한 상속 가능한 워터마크
GenoTrace: Inheritable Watermarks for Genome Foundation Model Distillation
한국어 초록
유전체 모델이 학습에 사용된 합성 서열의 탐지 가능한 기록을 유지할 수 있을까요? 본 연구에서는 코돈(codon) 인식 기반의 그린리스트(green-list) 워터마킹 확장 기법인 GenoTrace를 통해 증류(distillation) 과정에서의 워터마크 상속을 연구합니다. 두 가지 토큰 수준 요인이 코돈 위치와 유기체 특이적 코돈 사용 빈도를 활용하여 교사(teacher) 모델의 생성 바이어스를 조절합니다. 이렇게 생성된 서열로 더 작은 학생(student) 모델을 학습시키며, 학생 모델의 출력은 활성 워터마크 프로세서 없이도 감사를 받습니다. 3개의 시드를 사용한 GenomeOcean-500M에서 100M으로의 증류 실험에서, 결합 구성은 고정된 임계값에서 평균 감사 점수 17.88과 94.5%의 탐지율을 달성했습니다. 또한 키 인식 토큰 치환 후에도 49.0%의 탐지율을 유지하여 단일 시드 일반 워터마크 비교군의 0%와 대비되었으며, 메커니즘을 표적으로 한 뉴클레오타이드 편집을 결합한 후에도 47.0%의 탐지율을 유지했습니다. 추가 실험을 통해 5개의 유기체 조건부 데이터셋과 최대 40배의 교사-학생 크기 비율 전반에서 상속된 신호가 확인되었습니다. 구성 요소 절제 연구와 전산 서열 품질 분석은 탐지 강도 및 코딩 커버리지에 대한 뚜렷한 작동 지점을 보여줍니다. GenoTrace는 실용적인 토큰 수준 구조를 제공하며, 유전체 구조가 상속된 워터마크 신호를 어떻게 형성하는지에 대한 실증적 설명을 제시합니다. 본 연구 결과는 공유 토크나이저 증류 및 테스트된 편집 절차에 관한 것이며, 캘리브레이션과 생물학적 유용성은 별도의 평가 요건으로 다루어집니다.
원문 초록
Can a genome model retain a detectable record of the synthetic sequences used to train it? We study watermark inheritance through distillation with GenoTrace, a codon-aware extension of green-list watermarking. Two token-level factors modulate the teacher's generation bias using codon position and organism-specific codon usage. The resulting sequences train a smaller student, whose outputs are audited without an active watermark processor. In a three-seed GenomeOcean-500M-to-100M experiment, the joint configuration achieves a mean audit score of 17.88 and 94.5% detection at a fixed threshold. It retains 49.0% detection after key-aware token substitution, compared with 0% for the available single-seed plain-watermark comparator, and 47.0% after combined mechanism-targeted nucleotide edits. Additional experiments establish inherited signal across five organism-conditioned datasets and teacher-student size ratios up to 40. Component ablations and computational sequence-quality assays reveal distinct operating points for detection strength and coding coverage. GenoTrace provides a practical token-level construction and an empirical account of how genomic structure shapes inherited watermark signals. The findings concern shared-tokenizer distillation and the tested editing procedures, with calibration and biological utility treated as separate evaluation requirements.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모델 크기 보간에서의 층 패칭 이해
Understanding Layer Patching in Model Size Interpolation
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting
SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화
EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading
정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Withdrawn by the authors pending an institutional intellectual property review