PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21600v1cs.AI

내부 정보 분해를 통한 다중모달 AI 보안

Securing Multimodal AI through Internal Information Decomposition

다중모달 대규모 언어 모델은 단일모달 시스템에는 없는 공격 표면을 도입한다. 적대자는 단일모달 안전장치를 회피하기 위해 악의적 의도를 여러 모달리티에 분산시킬 수 있다. 이는 각 모달리티를 독립적으로 검사하기보다 교차 모달 일관성을 탐지 신호로 사용하도록 동기를 부여한다. 핵심 관찰은, 정상 입력이 텍스트 전용 및 비전 전용 추론에서 호환 가능한 예측 행동을 유도하며 융합 시 안정화되는 반면, 적대적 조작은 이러한 일관성을 파괴하여 비정상적인 다중모달 행동을 유발한다는 것이다. 원시 입력이나 출력을 검사하는 기존 방어 기법은 이러한 내부 융합 과정을 간과하여 취약하고 계산 비용이 높다. 우리는 내부 다중모달 일관성을 모니터링하여 유해 입력을 탐지하는 경량 추론 시점 프레임워크인 FlowGuard를 제안한다. 스칼라 신뢰도 지표에 의존하는 접근법과 달리, FlowGuard는 Partial Information Decomposition에서 영감을 받은 FlowVector를 도출하여 교차 모달 중복성(redundancy), 시너지(synergy), 모달리티별 지배(dominance)를 정량화하고, 융합된 다중모달 예측이 단일모달 의미적 증거와 정렬된 상태를 유지하는지 포착한다. 정상 데이터만으로 학습된 일 클래스 분류(one-class classification) 문제에서 FlowGuard는 보지 못한 공격에 대해 공격 성공률(Attack Success Rate)을 90% 이상에서 15% 미만으로 낮추며, 유틸리티 손실 3% 미만과 최대 6배의 지연 시간 감소를 달성한다. 결과는 교차 모달 일관성 모니터링이 다중모달 추론에 대해 효율적이고 효과적인 방어를 제공함을 보여준다.

arXiv:2511.02584v2cs.IT

홉필드 네트워크에서 연상 기억 학습 원리로서의 중복성 최대화

Redundancy Maximization as a Principle of Associative Memory Learning in Hopfield Networks

홉필드 네트워크로 전통적으로 모델링되는 연상 기억(associative memory)은 부분적이거나 잡음이 있는 단서로부터 이전에 저장된 패턴을 검색할 수 있게 한다. 그러나 이 기능을 가능하게 하는 데 필요한 국소 계산 원리는 아직 완전히 이해되지 않고 있다. 이러한 시스템에서의 국소 정보 처리를 공식적으로 특성화하기 위해, 우리는 정보 이론의 최근 확장인 부분 정보 분해(Partial Information Decomposition, PID)를 활용한다. PID는 출력에 대한 서로 다른 입력들의 기여를 각 입력의 고유 정보(unique information), 입력들 간의 중복 정보(redundant information), 그리고 서로 다른 입력을 결합함으로써 나타나는 시너지 정보(synergistic information)로 분해한다. 이 프레임워크를 고전 홉필드 네트워크의 개별 뉴런에 적용한 결과, 기억 용량 이하에서는 뉴런 활동의 정보가 외부 패턴 입력과 내부 순환 입력 사이의 높은 중복성으로 특징지어지는 반면, 시너지와 고유 정보는 기억 용량이 초과되어 성능이 급격히 저하될 때까지 거의 0에 가까움을 발견하였다. 이 관찰에서 영감을 받아, 우리는 각 뉴런에서의 중복성 최대화를 정보 이론적 학습 목표로 사용한다. 이는 네트워크의 기억 용량을 1.59로 극적으로 증가시키며, 이는 고전 홉필드 네트워크의 0.14 용량 대비 10배 이상의 향상으로, 최근 최첨단 홉필드 네트워크 구현보다도 우수한 성능을 보인다. 전반적으로, 이 연구는 중복성 최대화를 연상 기억을 위한 새로운 설계 원리로 확립하고, 정보 이론적 목표에 기반한 새로운 연상 기억 모델로 나아가는 가능성을 열어준다.

arXiv:2606.18997v1cs.LG

DIPHINE: Diffusion-based $Φ$-ID Neural Estimator

연속적 비가우시안 동역학에 적용하기 어려웠던 통합 정보 분해(ΦID)를 위해, DIPHINE은 점수 기반 확산 모델로 필요한 상호정보 항을 단일 아모티제이션 네트워크에서 공동 추정하고 뫼비우스 반전으로 16개 원자를 복원하는 최초의 신경망 추정기를 제안한다. 합성 벤치마크에서 정답 원자를 정확히 복원하고 기존 상호정보 추정기보다 우수하며, 분포 가정 없이 실제 심폐 데이터에서 생리학적으로 해석 가능한 정보 역학 구조를 추출할 수 있음을 보였다.