대규모 사전학습 트랜스포머(transformer) 모델은 다국어 설정을 포함한 다양한 기계 번역(machine translation) 작업에서 최고 수준의 성능을 달성했습니다. 지식 증류(knowledge distillation)는 대형 교사 모델에서 더 작고 효율적인 학생 모델(student model)로 지식을 전달하여 모델 압축을 달성하는 지속 가능한 접근 방식으로 부상했습니다. 마찬가지로, 모델 가중치와 활성화의 수치 정밀도(precision)를 낮추는(예: 32비트에서 8비트 표현으로) 양자화(quantization)는 추론(inference) 속도를 높여 배포 시 모델이 몇 배 더 빠르게 실행될 수 있도록 널리 사용됩니다. 그러나 두 기술 모두 전문 도메인 데이터, 특히 저자원 조건에 적용될 때 한계에 직면합니다. 지식 증류에서는 도메인 특화 병렬 데이터의 부족으로 인해 지식 전달의 효과가 제한되는 경우가 많으며, 양자화는 비트 정밀도가 낮아짐에 따라 성능 저하를 초래할 수 있습니다. 본 연구에서는 전문 용어와 제한된 병렬 자원이 특징인 도메인인 프랑스어-영어 생체의학 번역을 대상으로 지식 증류와 양자화의 결합 적용을 조사합니다. 압축된 학생 모델을 이러한 까다로운 환경에 적응시키기 위해 여러 미세조정(fine-tuning) 전략을 개발하고 비교합니다. 실험 결과, 협력적으로 증류 및 양자화된 학생 모델은 번역 품질을 저하시키지 않으면서 기존 기준선(baseline) 대비 크기 69% 감소, 추론 속도 98.21% 향상, CO2 배출량 98.46% 감소를 달성함을 보여줍니다. 이러한 결과는 공동으로 최적화된 압축 기술이 자원 제약 하에서 운영되는 번역 서비스 제공자에게 적합한 효율적이고 고성능인 모델을 제공할 수 있음을 나타냅니다.
손글씨의 디지털 궤적(trace)을 캡처하려면 일반적으로 정전식 터치스크린, 와콤(Wacom) 시스템에서 사용되는 전자기공명(EMR) 태블릿, 또는 특수 종이와 같은 호환 가능한 기판과 전용 스타일러스가 필요하다. 일반 종이에 글을 쓰는 것은 풍부한 촉각 피드백을 제공하고 지연 시간이 없으며 정보 기억력을 향상시키는 것으로 잘 알려져 있지만, 이러한 펜 궤적을 디지털화하기 위한 저비용의 널리 인정받는 효과적인 솔루션은 존재하지 않는다. 여기서의 과제는 표면 위에서 펜 움직임의 자유를 제한 없이 허용하면서 외부 기준 시스템 없이 펜의 궤적을 정확하게 추적하는 것이다. 본 논문에서는 손글씨의 디지털 궤적을 복원하기 위해 디지털 펜, 고급 인공지능 알고리즘, 적응형 AI 기법을 결합한 혁신적인 솔루션을 제안한다. 우리의 접근법은 센서가 장착된 펜에 초점을 맞춘 하드웨어 개발과 임베디드 AI를 사용하여 실시간으로 궤적 복원 및 처리를 최적화하는 소프트웨어 혁신을 통합한다. 본 연구는 손글씨의 자동 궤적 복원 분야의 최첨단 기술(SOTA)을 발전시켜 종이 위의 전통적인 손글씨와 디지털 궤적 캡처 간의 매끄러운 연결을 실현하는 것을 목표로 한다.
대규모 그래프에서 그래프 신경망(GNN)을 학습(training)시키는 것은 여러 층(layer)에 걸쳐 모든 노드(node) 표현을 저장해야 하는 메모리 비용으로 인해 어려움을 겪습니다. 본 논문에서는 기존의 여러 확장 가능한 접근법들이 GNN 전파 행렬의 구조화된 변형으로 표현될 수 있음을 보이고, 각 방식의 한계를 드러내는 통합된 관점을 제시합니다. 구체적으로, 그래프 축약(graph coarsening)은 전파 행렬을 스펙트럼 보장을 가능하게 하는 저계수 근사(low-rank approximation)로 대체하지만 클러스터링된 노드들에 획일적인 표현을 할당하며, Cluster-GCN은 효율적인 배칭을 가능하게 하지만 장거리 정보를 차단하는 클러스터 내 연결로 전파 행렬을 제한합니다. 이는 그래프를 노드 그룹으로 분해하는 *동일한* 방식에서 나타나는 상호보완적인 한계점들입니다. 두 접근법의 장점을 모두 취하기 위해, 본 연구에서는 각 층에서 두 전파를 병렬로 수행하는 **CoRe-GNN**을 제안합니다. 즉, 장거리 구조를 포착하는 축약된 클러스터 간 항과 노드별 식별력을 보존하는 국소적 클러스터 내 항을 함께 사용합니다. 본 논문은 CoRe-GNN이 그래프 축약과 유사한 근사 보장을 이어받음을 증명하고, 수백만 개의 노드를 가진 그래프로 확장 가능한 자연스러운 클러스터 기반 *배칭 기법(batching scheme)*을 도입합니다. 동질적(homophilic), 이질적(heterophilic), 대규모 및 장거리 그래프를 아우르는 노드 분류(classification) 벤치마크에서 CoRe-GNN은 그래프 축약 및 Cluster-GCN 베이스라인 모두를 능가합니다. 특히 CoRe-GNN은 배칭을 통해 메모리 효율성을 유지하면서도 *장거리(long-range)* 태스크에서 경쟁력 있는 정확도를 달성합니다.
디지털 펜은 디지털 기기에 글씨를 쓰는 데 흔히 사용되며, 필기 자취를 제공하고 인간-컴퓨터 상호작용(HCI)을 향상시킵니다. 본 연구는 운동학적(kinematic) 센서가 장착되어 사용자가 어떤 표면에서든 글씨를 쓰면서 동시에 필기의 디지털 궤적을 보존할 수 있도록 하는 디지털 펜에 초점을 맞춥니다. 이 기술은 특히 교실 환경에서 글씨 쓰기 학습 과정을 촉진할 수 있는 유용한 교육 도구로서 상당한 잠재력을 지닙니다. 주요 문제는 성인과 아동 간에 수집된 신호의 차이에 기인합니다. 유사한 필기 자취라 하더라도 아동의 필기 제스처 속도 및 자신감의 차이로 인해 센서 신호에 큰 차이가 발생합니다. 이를 해결하기 위해, 본 연구에서는 궤적 재구성을 용이하게 하는 것을 목표로 통합된 중간 특징 표현을 구축하기 위한 도메인 적응(domain adaptation) 접근 방식을 조사합니다. 우리는 기존 지식을 활용하여 서로 다른 맥락에 적용하는 데 있어 도메인 적응 기법이 지닌 유용성을 입증합니다. 구체적으로, 우리의 도메인 적응 접근 방식을 모델을 처음부터 학습(from scratch)시키는 방식 및 모델을 미세조정하는 두 가지 다른 방법과 비교합니다.
온라인 필기 궤적 재구성을 위한 전자펜의 활용은 인간-컴퓨터 상호작용(HCI) 분야에서 널리 쓰이는 방식입니다. 본 연구에서는 센서가 탑재된 전자펜을 활용하여 온라인 필기 궤적을 재구성하는 데 초점을 맞춥니다. 이 펜은 어떤 표면에서든 필기가 가능하며 필적의 디지털 자취를 보존할 수 있습니다. 이러한 형태의 펜은 교실에서 글쓰기 학습 보조 도구로 활용될 수 있습니다. 본 논문에서는 다음 터치 자취를 정확히 위치시키기 위해 호버링(공중 이동) 구간을 정밀하게 분석하면서, 표면에 닿는 터치 궤적을 미세하게 재구성하도록 학습하는 새로운 접근 방식을 제안합니다. 이는 전문가 혼합(MoE) 방식을 기반으로 합니다. 첫 번째 전문가는 펜의 터치에 특화되어 있으며 터치 전문가 모델(touching expert model)로 명명됩니다. 두 번째 전문가는 펜의 호버링 궤적에 특화되어 있으며 호버링 전문가 모델(hovering expert model)로 명명됩니다. 본 연구에서는 추가적인 컨텍스트 또는 특정 예시를 바탕으로 이들 각 전문가의 학습을 개선합니다. 또한 필기 재구성 분야의 향후 연구 및 성능 비교를 지원하기 위해 새로운 공개 벤치마크 데이터셋을 소개합니다. 실험 결과는 주요 경쟁 방식들에 비해 유의미한 성능 향상을 입증합니다.
디지털 펜을 이용한 필기는 온라인 필기(Online Handwriting, OH) 궤적 재구성을 활용하여 인간-컴퓨터 상호작용(HCI)을 촉진하는 일반적인 방식입니다. 본 연구에서는 OH 궤적을 재구성하고자 하는 센서가 장착된 디지털 펜에 초점을 맞춥니다. 이러한 펜은 어떤 표면에서든 글씨를 쓰고 디지털 흔적을 얻을 수 있게 해 주며, 종이에 글씨를 쓰는 방식으로 필기 학습을 돕거나 협업 회의 등 다양한 응용 분야에서 유용하게 쓰일 수 있습니다. 본 논문에서는 펜의 센서 신호를 해당하는 OH 궤적으로 매핑하는 새로운 처리 파이프라인을 소개합니다. 특히 지상실측(ground truth) 정보를 제공하는 태블릿과 펜 간의 샘플링 속도 차이를 해결하기 위해, 전처리 파이프라인은 신호 정렬에 동적 시간 워핑(Dynamic Time Warping)을 활용합니다. 또한 펜 센서 신호로부터 온라인 궤적을 재구성하기 위해 시간 합성곱 신경망(Temporal Convolutional Network)에서 영감을 얻은 전용 신경망 아키텍처를 도입합니다. 마지막으로 정성적 및 정량적 평가를 모두 수행한 새로운 벤치마크 데이터셋을 제시하며, 가장 주목할 만한 경쟁 모델 대비 괄목할 만한 성능 향상을 입증합니다.
동적 평균 추정(dynamic average estimation)은 다중 에이전트 시스템에서 핵심적인 문제로, 에이전트들이 로컬 정보 교환만을 활용하여 시변 신호를 협력적으로 추정할 수 있게 한다. 전통적인 모델 기반 접근법은 수렴 속도 및 네트워크 토폴로지 변화에 대한 민감성 측면에서 어려움을 겪는 경우가 많다. 본 논문은 완전 분산 방식으로 빠른 수렴의 동적 평균 추정을 달성하기 위해 게이트 그래프 신경망(GGNN, Gated Graph Neural Networks)을 활용한 새로운 학습 기반 솔루션을 제안한다. GGNN의 고유한 구조적 특성을 이용하여, 제안된 방법은 추정 과정을 분산 자기회귀기(distributed autoregressor)로 모델링함으로써 안정성을 유지하면서 빠른 수렴을 보장한다. 학습 시 수렴 보장을 강제하기 위한 정규화 항을 도입하고, 표준 GGNN 대비 정확도를 희생하지 않으면서 통신 오버헤드를 줄이기 위한 인코딩-디코딩 메커니즘을 소개한다. 광범위한 수치 실험을 통해 제안된 접근법이 수렴 속도와 정밀도 모두에서 기존 모델 기반 추정기를 크게 능가함을 입증하며, 동적 평균 추정이 요구되는 다중 에이전트 응용에 유망한 대안임을 보인다.