표현 가능하지만 학습되지 않는 것: 인코딩 랭크와 상호작용 예측 하한
Representable but Unlearned: Encoding Rank and the Interaction-Prediction Floor
한국어 초록
입력 인코딩은 각 상호작용이 개별적으로는 표현 가능한 경우에도 예측기가 측정된 상호작용을 함께 재현하지 못하게 만들 수 있다. 우리는 레이블이나 예측기 학습 없이 인코더와 대비(contrast) 설계로부터 도달 가능한 대비 공간을 계산한다. 측정된 대비를 이 공간에 사영하면 해당 인코딩을 사용하는 모든 결정론적 디코더에 대한 경험적 제곱오차 하한이 얻어진다. siRNA 패널에서 그래프 신경망의 학습 전용 특징 마스크는 측정된 165개 상태를 90개 클래스로 병합하며, 이로 인해 140개 상호작용 대비의 랭크가 72로 감소한다. 하한은 0.009980으로, 모든 대비에 대해 0을 예측하는 경우의 평균제곱오차인 기록된 대비 에너지의 14.63%에 해당한다. 적합된 상호작용 오차 중 이 하한이 차지하는 비중은 14.6%로 추가적인 영향이 작다. 예측된 상호작용이 거의 0에 가깝고, 그 MSE인 0.068335가 동일한 대조군의 MSE를 근소하게 초과하기 때문이다. 안티센스 주변(marginal) 비중은 더 커서 기록된 에너지의 36.49%, 적합 오차의 38.1%를 차지한다. 복원된 세 개의 화학 특징 열만으로도 전체 랭크를 확보하기에 충분하다. 전체 마스크를 제거하면 하한이 사라지지만, 재학습으로 인한 상호작용 MSE의 개선은 0.000017에 불과하며, 복원된 특징은 여전히 학습 입력에 포함되지 않는다. 두 개의 추가 패널은 이 진단의 적용 범위를 명확히 한다. 공개된 스플라이싱 예측기는 단사(injective) 방식으로 인코딩하며 전체 설계 랭크인 1,986을 유지하므로 하한이 0이다. 지질 패널에서 독립적인 카운트 지문(count-fingerprint) 인코더의 경우, 쌍별로 서로 다른 800개의 인코딩된 대비 행의 랭크가 740이어서, 중복 행 검사로는 놓치는 60개의 제약이 드러난다. 이 진단은 인코딩이 부과하는 한계를 식별하고 이를 특정 특징까지 추적할 수 있다. 또한 표현 가능성과 학습된 정확도를 분리하지만, 그것만으로 재학습의 이득을 예측하거나 남은 오차를 설명하지는 못한다.
원문 초록
Input encodings can prevent a predictor from reproducing measured interactions jointly, even when each interaction is individually representable. We compute the attainable contrast space from the encoder and contrast design, without labels or predictor fitting. Projecting measured contrasts onto this space gives an empirical squared-error floor for any deterministic decoder using the encoding. On an siRNA panel, a graph neural network's training-only feature mask merges 165 measured states into 90 classes, reducing the rank of 140 interaction contrasts to 72. The floor is 0.009980, or 14.63% of recorded contrast energy, the mean squared error of predicting zero for every contrast. Its 14.6% share of fitted interaction error adds little: predicted interactions are nearly zero, and their MSE of 0.068335 slightly exceeds that of the same control. Antisense-marginal shares are larger: 36.49% of recorded energy and 38.1% of fitted error. Three restored chemistry columns suffice for full rank. Removing the full mask eliminates the floor, but refitting improves interaction MSE by only 0.000017; the restored features remain absent from training inputs. Two further panels clarify the diagnostic's scope. A released splicing predictor encodes injectively and retains the full design rank of 1,986, so its floor is zero. For an independent count-fingerprint encoder on a lipid panel, 800 pairwise-distinct encoded contrast rows have rank 740, exposing 60 restrictions missed by duplicate-row checks. The diagnostic identifies encoding-imposed limits and can trace them to specific features. It separates representability from learned accuracy, but does not by itself predict refitting gains or explain the remaining error.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.36208v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.