arXiv:1701.06972

Deep Network Guided Proof Search

Sarah Loos, Geoffrey Irving, Christian Szegedy, Cezary Kaliszyk

제출 2017-01-24

원문 초록

Deep learning techniques lie at the heart of several significant AI advances in recent years including object recognition and detection, image captioning, machine translation, speech recognition and synthesis, and playing the game of Go. Automated first-order theorem provers can aid in the formalization and verification of mathematical theorems and play a crucial role in program analysis, theory reasoning, security, interpolation, and system verification. Here we suggest deep learning based guidance in the proof search of the theorem prover E. We train and compare several deep neural network models on the traces of existing ATP proofs of Mizar statements and use them to select processed clauses during proof search. We give experimental evidence that with a hybrid, two-phase approach, deep learning based guidance can significantly reduce the average number of proof search steps while increasing the number of theorems proved. Using a few proof guidance strategies that leverage deep neural networks, we have found first-order proofs of 7.36% of the first-order logic translations of the Mizar Mathematical Library theorems that did not previously have ATP generated proofs. This increases the ratio of statements in the corpus with ATP generated proofs from 56% to 59%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05623v3cs.CL공통 태그 Machine Translation, Speech Recognition

IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

우리는 NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 공유 태스크(제한 조건, 단음원 트랙)에 맞게 재구현하며, 지정된 구성 요소인 음성 인코더로서의 SeamlessM4T-v2-large와 대규모 언어 모델(LLM) 백본으로서의 Qwen3-4B-Instruct에 적응시킨다. 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합으로 이루어진 3단계 접근 방식은 원래 설계에서 그대로 유지된다. 또한 제공된 말뭉치로부터 열 가지 음성 중심 태스크 유형(태스크당 1만 개)에 걸쳐 총 10만 개의 합성 인스트럭션 팔로잉 예시를 구축하며, 이는 추가적인 3단계 미세조정에 적합하다. 우리의 주요 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역에 대해 COMET 0.781을, 영어 SQA에 대해 BERTScore-F1 0.346을 달성한다.

arXiv:2607.12820v1cs.CV공통 태그 Speech Recognition, Image Captioning

AVSCap: 옴니모달 비디오 캡셔닝을 위한 오디오-비주얼 시너지 조율

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

옴니모달 비디오 캡셔닝은 단순히 시각 캡셔닝과 오디오 전사를 결합하는 것이 아니다. 유용한 캡션은 시각적 행동, 음성, 음악, 효과음이 어떻게 함께 진화하는지를 설명해야 한다. 기존의 대규모 멀티모달 모델은 이 관계적 단계에서 자주 실패하며, 오디오와 시각 스트림을 느슨하게 결합된 관측으로 취급하고, 음성 인식에 의존하며, 비음성 소리와 시각 이벤트와의 연결을 충분히 명시하지 못한다. 우리는 명시적 교차모달 이벤트 결합을 중심으로 한 오디오-비주얼 캡셔닝 프레임워크 AVSCap을 제안한다. 먼저, 시각 및 음향 증거를 고정한 뒤 그라운딩된 옴니모달 캡션을 구성하는 분리-후-융합 파이프라인으로 생성한 3모달 학습 코퍼스 AVSCap-130K를 구축한다. 둘째, 2단계 전략으로 7B 캡셔너 AVSCap-7B를 학습한다: 지도 미세조정으로 기준선 능력을 확립하고, 샘플 효율적인 강화학습이 하이브리드 보상을 사용하여 음향 완전성과 오디오-비주얼 시너지를 최적화한다. 스케일링 분석 결과, 강화학습이 SFT 데이터를 늘리는 것보다 더 큰 이득을 가져온다. 셋째, 캡션을 시각, 오디오, 시너지 이벤트로 분해하고 세밀한 이벤트 재현율로 평가하는 벤치마크 AVSCapBench를 도입한다. AVSCapBench 및 외부 벤치마크에서의 실험은 AVSCap-7B가 비음성 오디오 커버리지와 교차모달 결합을 개선하며, 평가된 오픈소스 모델 중 전체적으로 최고의 성능을 달성함을 보여준다.

arXiv:2607.11163v1cs.CL공통 태그 Machine Translation, Speech Recognition

통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.

arXiv:2607.09611v1cs.CL공통 태그 Machine Translation, Speech Recognition

실시간 문장 수준 수어 번역을 향하여

Toward Real-Time Sentence-Level Sign Language Translation

대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.

arXiv:2607.09260v1cs.CV공통 태그 Speech Recognition, Object Recognition

AnythingReality: 오픈-어휘 VR 장면 탐험을 위한 강건한 온라인 Gaussian Splatting SLAM

AnythingReality: Robust Online Gaussian Splatting SLAM for Open-Vocabulary VR Scene Exploration

우리는 강건한 온라인 3D Gaussian splatting, 실시간 VR 탐험, 음성 기반 비전-언어 모델(Vision-Language-Model) 상호작용을 위한 새로운 통합 아키텍처를 제안한다. 깨끗한 깊이 정보나 외부 포즈를 가정하는 방법들과 달리, 우리 시스템은 잡음이 있는 실세계 데이터에 대해 ORB-SLAM3 기반 포즈 추정과 온라인 Gaussian 재구성을 결합한다. VR 파이프라인은 점진적 재구성의 몰입형 탐험을 가능하게 하며, 의미론적 모듈은 음성 명령을 텍스트로 변환하고, 장면 설명을 생성하며, 관심 지점을 기록한다. 최신 온라인 Gaussian splatting 방법들과 비교하여, 우리 데이터셋에서 이미지 품질이 향상되었으며(PSNR +14.5%, SSIM +8.6%, LPIPS -14.3%), TUM-RGBD 데이터셋에서도 마찬가지였다(PSNR +11.7%, SSIM +7.8%, LPIPS -21.6%). 품질-속도 구성을 통해 비교 가능하거나 우수한 프레임 레이트를 달성하였으며, VLM 객체 인식률 88%를 기록하였다.

arXiv:2607.05196v2cs.CL공통 태그 Machine Translation, Speech Recognition

텍스트 지능의 퇴보 없는 통합 오디오 지능

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.