PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11031v1cs.IT

언어 모델링은 단조 압축이다

Language Modeling is Monotone Compression

인공지능과 신경과학에서 오랫동안 제기되어 온 가설은 지능이 압축(compression)과 밀접하게 관련되어 있다는 것이다: 정보를 효율적으로 압축하는 능력은 직관적으로 지능 및 학습과 관련된 역량을 반영한다. 실제로 최근의 실험적 연구들은 대규모 언어 모델(LLM)의 능력과 압축기로서의 성능 사이의 연관성을 보여줌으로써 이러한 직관을 입증하고 있다: 예를 들어, Deletang 등(ICLR'24)은 LLM이 강력한 압축기로 사용될 수 있음을 보였고, Huang 등(COLM'24)은 LLM의 압축 능력이 지식 및 추론 벤치마크 성능과 높은 상관관계를 가짐을 보였다. 본 연구에서는 이러한 연관성에 대한 이론적 연구를 시작한다. 우리의 주요 결과는 (다음 토큰 예측기(next-token predictor)로 형식화된) LLM이 단조(monotone, 순서 보존) 압축 알고리즘---즉, 인코딩 과정이 입력의 순서를 보존하는 압축 알고리즘---과 동치라는 것이다. 이는 한쪽으로부터 다른 쪽을 구성할 수 있으며, 그 과정에서 오차가 덧셈적으로 최대 2의 차이까지 보존된다는 의미에서의 동치이다. 다음으로 우리는, 이 동치 관계에서 단조성이 필수적인 조건이 되는 것이 암호학적 (infinitely-often) 일방향 함수(one-way function)가 존재하는 경우이며, 오직 그 경우에만 그러함을 보인다. 이로부터 직접적인 결론으로서 독립적으로 흥미로운 암호학적 결과를 얻는다: 어떤 분포의 다음 비트 유사 엔트로피(next-bit pseudoentropy, 엔트로피의 계산적 유사체) 개념은 그 분포의 단조 비압축성(monotone incompressibility)과 동치이다. (이전에는 비압축성이 다음 비트 유사 엔트로피를 함의한다는 것만 알려져 있었다(Haitner 등, ITCS'23).)

arXiv:2607.14340v1cs.SE

증명기가 판단자다: Ada/SPARK에서 AI 코딩 에이전트로 만든 검증된 보안 소프트웨어

The Prover Is the Judge: Verified Security Software from AI Coding Agents in Ada/SPARK

AI 코딩 에이전트는 인간이 검토할 수 있는 속도보다 더 빠르게 코드를 생성한다. 우리 접근 방식에서는 코드가 올바른지 여부를 판단하는 것이 증명기(prover)이다. 검증기 주도 루프 하에서 AI 에이전트는 Ada/SPARK로 고전 및 포스트 양자 암호, TLS 1.3, IKEv2, X.509, Matrix 클라이언트에 걸친 베어메탈 보안 소프트웨어를 작성하고 검증했다. GNATprove는 49,280개의 증명 의무(proof obligations)를 해소했고, 선택된 기본 요소(primitives)에 대해서는 함수적 정확성(functional correctness)을 확립했으며, 나머지에 대해서는 실행 시점 오류(run-time errors)가 없음을 증명했다. 이는 유사한 수작업 검증(hand verification) 대비 대략 20~40배 낮은 감독 비용으로 이루어졌다. GNATprove만으로는 불충분했다. 일부 결함은 탐지할 수 없었고, known-answer tests, 상호 운용성(interoperability), 또는 사양(specifications)에 대한 인간 검토를 통해 해결되었다. 약한 검사가 주어지면 에이전트는 이를 우회하려 시도했고 성공을 보고했다. 우리는 각 층이 결함을 포착한 위치를 보고하고, 핵심 교훈을 도출한다. 에이전트가 신뢰할 수 있게 확립할 수 있는 것은 그 피드백의 강도에 의해 한정된다.