본 논문에서는 마스크 확산 모델(MDM, masked diffusion model)의 병렬 샘플링 전략을 연구하기 위한 검증 가능한 샌드박스로 그래프 상의 무작위 보행(random walk)을 활용한다. 고정된 그래프에서 생성된 무작위 보행 표본을 바탕으로 MDM을 학습(training)시킨다. 모델(model)에는 그래프와 전이 커널(kernel)이 전혀 주어지지 않으며, 이는 제어 가능하면서도 평가를 가능하게 하는 잠재 구조 역할을 한다. 본 프레임워크는 생성된 보행의 유효성 검증과 추정된 전이 커널을 통한 분포 충실도 측정 방식을 제공한다. 단순한 그래프를 통해, 최저 엔트로피와 같이 널리 쓰이는 점수를 기반으로 한 병렬 언마스킹(unmasking)이 무작위 병렬 샘플링보다 일관되게 우수한 것은 아님을 이론적으로 증명한다. 즉, 정확한 조건부 확률이 주어지더라도 성능은 그래프가 유도하는 조건부 의존성 구조에 결정적으로 좌우되며, 이는 스도쿠와 같은 벤치마크에서는 분리하여 파악하기 어려운 현상이다. 또한 시퀀스 길이에 대해 로그 수준의 스텝만을 소요하며, 학습된 주변 분포가 정확할 경우 무작위 보행에 대해 정확성이 증명되는 MDM용 훈련 불필요(training-free) 이분(bisection) 샘플러를 개발한다. 그래프 보행 태스크에 대한 실험을 통해 그래프 구조에 따라 서로 다른 병렬 샘플러의 성능이 더 우수함을 확인한다. 사전학습된 MDM에 대한 실험 결과, 이분 형태의 샘플러가 OpenWebText 생성 및 GSM8K, MBPP, HumanEval을 포함한 추론 벤치마크에서 뛰어난 속도-품질 트레이드오프를 제공함을 보여준다. 종합하면, 이러한 결과들은 그래프 보행을 통해 조건부 의존성이 병렬 MDM 샘플링의 핵심 원리임을 밝혀내고, 이 통찰을 언어 생성 및 추론으로 전이 가능한 효율적인 샘플러로 전환한다.
재무제표 예측에서는 범용(generalist) 규모(scale)보다 전문(specialist) 학습이 더 낫다. 우리가 아는 한, 선행 연구는 1년을 넘어 완전한 재무제표를 공동(jointly) 예측한 적이 없으나, 할인현금흐름(DCF) 밸류에이션에서는 기업 가치의 대부분이 그 기간 이후에 있다. 우리는 ProForma-20Q를 공개한다. 이는 익명화된 기업에 대해 과거 재무제표와 산업 코드만으로 78개 재무제표 항목을 1~20분기 앞으로 예측하는 재현 가능한 벤치마크이며, 변화 공간(change-space) $R^2$로 채점한다. 이 벤치마크에서 Forma—재무제표를 (account, quarter, value) 튜플의 집합으로 읽고 마스크된 튜플 가우시안 가능度(likelihood)를 최대화하는 트랜스포머—는 우리가 투입한 모든 경쟁 방법, 즉 고전적 머신러닝, 연쇄(chain) 그래디언트 부스팅, 제로샷 시계열 파운데이션 모델, 최신 대규모 언어 모델을 능가한다. 격차는 예측 구간(horizon)이 길어질수록—밸류에이션이 정확도를 가장 필요로 하는 구간에서—더 벌어지며, 가우시안 예측 구간은 과소 커버리지(under-cover)를 일으키지 않는다. Forma의 예측은 회계 항등식을 거의 만족하며, 정확한 일관성(coherence)은 통계적으로 유의한 정확도 손실 없이 회복할 수 있다. 튜플 인터페이스는 재학습 없이 시나리오 분석을 지원하며, 미래 매출 경로를 고정(pinning)하면 재무제표의 나머지 항목 예측이 더 정교해진다는 것을 보인다.
대규모 언어 모델(LLM)은 소프트웨어 개발에서 주목할 만한 성공을 거두었습니다. 그러나 이들은 환각(hallucination)에 취약하여, 미묘한 의미적 및 논리적 오류를 야기할 수 있습니다. 칩 설계 및 제조의 중요성이 높기 때문에, 하드웨어 엔지니어들은 여전히 레지스터 전송 수준(RTL) 생성을 위해 LLM에 의존하는 것을 주저하고 있습니다. 본 논문에서는 LLM의 창의성과 광범위한 지식을 형식적 방법(formal methods)의 설명 가능성 및 수학적 엄밀성과 결합하는 하드웨어 생성 프레임워크를 제안합니다. 구체적으로, 다양한 설계 결정과 하드웨어 기능을 포괄하는 일련의 변환 규칙을 고안합니다. 이러한 규칙을 반복적으로 적용함으로써, LLM 에이전트는 설계 명세서를 정확성이 보장된 RTL 프로그램으로 변환할 수 있습니다. 실험 결과는 해당 프레임워크의 효과와 효율성을 입증합니다.