arXiv:1512.06293

A Mathematical Theory of Deep Convolutional Neural Networks for Feature Extraction

Thomas Wiatowski, Helmut Bölcskei

제출 2015-12-19

원문 초록

Deep convolutional neural networks have led to breakthrough results in numerous practical machine learning tasks such as classification of images in the ImageNet data set, control-policy-learning to play Atari games or the board game Go, and image captioning. Many of these applications first perform feature extraction and then feed the results thereof into a trainable classifier. The mathematical analysis of deep convolutional neural networks for feature extraction was initiated by Mallat, 2012. Specifically, Mallat considered so-called scattering networks based on a wavelet transform followed by the modulus non-linearity in each network layer, and proved translation invariance (asymptotically in the wavelet scale parameter) and deformation stability of the corresponding feature extractor. This paper complements Mallat's results by developing a theory that encompasses general convolutional transforms, or in more technical parlance, general semi-discrete frames (including Weyl-Heisenberg filters, curvelets, shearlets, ridgelets, wavelets, and learned filters), general Lipschitz-continuous non-linearities (e.g., rectified linear units, shifted logistic sigmoids, hyperbolic tangents, and modulus functions), and general Lipschitz-continuous pooling operators emulating, e.g., sub-sampling and averaging. In addition, all of these elements can be different in different network layers. For the resulting feature extractor we prove a translation invariance result of vertical nature in the sense of the features becoming progressively more translation-invariant with increasing network depth, and we establish deformation sensitivity bounds that apply to signal classes such as, e.g., band-limited functions, cartoon functions, and Lipschitz functions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.15886v2cs.CL공통 태그 Translation, Image Captioning

러시아 대내·대외 정책 연설의 연계 멀티모달 데이터

Linked Multi-Modal Data on Russian Domestic and Foreign Policy Speeches

본 논문은 러시아 정부의 상호 연계된 멀티모달 정치 커뮤니케이션 데이터셋을 소개하며, 권위주의 정치 맥락에서 텍스트 및 이미지 기반 사회 데이터의 가용성에 지속적으로 존재하는 한계를 다룬다. 이 데이터셋은 수십 년에 걸쳐 크렘린 및 러시아 외교부의 고위 인사가 발표한 공식 연설로 구성된 두 개의 대규모 말뭉치로 이루어져 있다. 각 연설에 대해 러시아어 및 영어 텍스트, 가능한 경우 관련 이미지와 캡션, 그리고 날짜, 발언자, (지리)위치, 공식 정부 콘텐츠 태그 등을 포함하는 정합화된 메타데이터를 제공한다. 고유 식별자를 통해 이미지를 연설에 연결하고, 동일한 커뮤니케이션 텍스트의 러시아어 및 영어 버전을 정렬한다. 또한 이러한 연계 데이터셋에 연설 텍스트와 연설 이미지 모두에 대한 검증된 주제(topic) 주석을 추가하며, 이는 트랜스포머 기반 멀티모달 토픽 모델링을 통해 생성되고 러시아 정치 전문가에 의해 정제된다. 결과적으로 만들어진 데이터 리소스는 (권위주의) 정치 커뮤니케이션의 멀티모달, 다국어, 시간적 및/또는 공간적 분석을 지원하며, 사회과학 연구와 정치 분야의 대규모 언어 모델(LLM) 응용을 위한 유용한 테스트베드를 제공한다.

arXiv:2607.06457v1cs.CV공통 태그 Translation, Image Captioning

Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰

Andha-Dhun: A First Look at Audio Descriptions in Hindi

오디오 설명(AD)은 시청각 미디어의 음성 공백 동안 시각 장애 및 저시력(BLV) 시청자를 위해 시각적 콘텐츠를 내레이션합니다. 영화와 TV 프로그램에서 AD에 대한 모멘텀이 높아지고 있으며, 인도 중앙 영화 인증 위원회(CBFC)의 의무화 규정으로 인해 영어 이외의 언어로 AD를 확장할 필요성이 생겼습니다. 그러나 현재 어떤 인도 언어에 대해서도 AD를 생성한 연구가 존재하지 않습니다. 이 격차를 해소하기 위해, 우리는 힌디어 AD에 대한 최초의 체계적 연구를 제시하며 데이터, 생성, 평가 등의 측면에 기여합니다. 우리는 8편의 장편 영화에서 수집된 인간 저작 힌디어 AD의 첫 번째 데이터셋인 Andha-Dhun을 소개합니다. 힌디어 AD를 생성하기 위한 두 가지 접근 방식을 탐색합니다: (i) 영어 밀집 비디오 설명에서 직접 생성하는 방식과 (ii) 영어 AD를 힌디어로 번역하는 방식입니다. 우리는 유창성과 품질을 각각 평가하기 위해 퍼플렉서티와 LLM-as-a-judge 지표를 사용하여 두 접근 방식을 평가합니다. 또한 영어와 힌디어 인간 저작 AD가 모두 존재하는 영화를 분석한 결과, 단순 번역은 원본 힌디어 AD에 비해 인공적인 요소를 도입하고 다양성을 좁힌다는 것을 발견했습니다. 직접 기계 번역은 문화적 참조를 적절히 변환하지 못하는 반면, 인간이 번역한 AD는 더 나은 결과를 보이지만 여전히 부족합니다. 우리의 연구 결과는 힌디어 AD의 목적이 인도 BLV 시청자를 위한 접근성에 있으며, 이를 위해서는 원본에 대한 엄격한 충실성보다 시청자를 위한 콘텐츠 적응이 더 중요하다는 점을 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.