arXiv:1906.03777

A Regression Approach to Certain Information Transmission Problems

Wenyi Zhang, Yizhu Wang, Cong Shen, Ning Liang

제출 2019-06-10

원문 초록

A general information transmission model, under independent and identically distributed Gaussian codebook and nearest neighbor decoding rule with processed channel output, is investigated using the performance metric of generalized mutual information. When the encoder and the decoder know the statistical channel model, it is found that the optimal channel output processing function is the conditional expectation operator, thus hinting a potential role of regression, a classical topic in machine learning, for this model. Without utilizing the statistical channel model, a problem formulation inspired by machine learning principles is established, with suitable performance metrics introduced. A data-driven inference algorithm is proposed to solve the problem, and the effectiveness of the algorithm is validated via numerical experiments. Extensions to more general information transmission models are also discussed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27441v1cs.LG공통 태그 regression, Decoder

과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩

Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces

침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.

arXiv:2609.22410v1cs.AI공통 태그 regression, Decoder

2D 이미지와 세포 집단 통계로부터 3D 생물물리적 세포 특성 학습

Learning 3D biophysical cell properties from 2D images and cell-population statistics

기준 장비가 개별 세포 라벨이 아니라 집단 통계만 보고할 때, 2D 현미경 영상으로부터 3D 세포 특성을 추론하기는 어렵다. 본 연구에서는 단일 2D 적혈구 이미지를 잠재 생물물리량에 매핑하고 이를 평균적혈구용적(MCV), 적혈구 분포 폭(RDW), 평균적혈구헤모글로빈(MCH)으로 집계하는 집단 감독(population-supervised) 프레임워크를 제안한다. 모델은 공유 국소 추론(inference), 부피와 헤모글로빈을 위한 생물물리적으로 구조화된 디코더, 학습된 인스턴스 가중치, 장치별 보정을 결합한다. 집계 관측이 제한된 인스턴스 예측기를 식별하는 조건을 형식화하고, 집단 수준의 일치만으로는 단일 세포 특성이나 3D 기하를 식별할 수 없음을 보이며, 부분집합 평균 매칭(subset mean matching)에 의해 유도되는 분산 페널티를 유도한다. 개발 데이터셋(dataset)은 6대 장치에 걸친 390개 시검체와 1,105회 촬영으로 구성되며, Sysmex 분석기 대비 Pearson 상관계수 0.86–0.98이 보고되었다. 이 프레임워크는 명시적 3D 재구성을 주장하지 않으면서, 2D 이미지와 집단 감독으로부터 3D 세포 생물물리학에 이르는 검증 가능한 경로를 제공한다.

arXiv:2607.22704v1cs.CV공통 태그 regression, Decoder

토카막 디버터에서 중성 입자 방출 단층촬영의 가시광선 영상 진단: 효율적인 트랜스포머 기반 대리 모델

Visible-Light Imaging Diagnosis of Neutral Particle Emission Tomography in the Tokamak Divertor: An Efficient Transformer-based Surrogate Model

최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.