주의 집중, 정서적, 인지적 차원과 연결되는 몰입도(engagement)는 학습에서 중요한 역할을 합니다. 온라인 및 비디오 기반 학습 환경에서 학습자는 교수 자료와의 상호작용을 스스로 조절해야 하는 경우가 많습니다. 따라서 몰입도를 측정하고 성찰하는 것은 학습자와 적응형 학습 시스템 모두를 지원할 수 있습니다. 본 연구에서는 웨어러블 및 카메라 기반 감지 장치를 사용하여 PPG, ECG, EDA, EEG, IMU, 심박수, 체온, 시선 추적 데이터를 포함한 생체 및 모션 신호를 수집하여 학습자의 몰입도를 추정합니다. 비디오 기반 학습 시나리오에서 16명의 참가자를 대상으로 사용자 연구를 수행하였으며, 참가자들은 학습 과제를 완료하고 직전 1분 동안 주의를 집중하기 얼마나 어려웠는지를 보고하는 1-5점 척도의 현장 몰입도 프로브(engagement-probe) 평가를 반복적으로 제공했습니다. 본 연구는 몰입도 추정을 위한 벤치마크를 구축하고, 다양한 감지 모달리티를 비교하며, 학습자 몰입도를 특성화하기 위한 멀티모달 모델링의 타당성과 효과성을 심층 분석합니다. 참가자 기반 교차 검증에서 모달리티 인식 참조 모델은 0.80의 MAE, 83.18%의 오차 1 이내(within-1) 정확도, 70.96%의 이진 정확도, 62.90%의 이진 Macro-F1을 달성하여 센서 미사용, 통계, 딥 시계열, 파운데이션 모델, 대규모 언어 모델(LLM) 기반 베이스라인보다 우수한 성능을 보였습니다. 본 연구 결과는 세밀한(fine-grained) 몰입도 추정이 실현 가능하지만 본질적으로 노이즈가 존재하며, 선호되는 센서 구성은 목표 지표와 실제 감지 부담에 따라 달라진다는 점을 시사합니다. 자기주도 학습에서 세밀한 센서 기반 몰입도 모델링에 대한 재현 가능한 연구를 지원하기 위해 동기화된 멀티모달 센서 신호, 프로브 정렬 몰입도 평가, 비디오 메타데이터, 퀴즈, 학습 자료가 포함된 EduGage 데이터셋을 본 연구의 주요 기여로 공개합니다.
지식 집약적 추론에서는 대규모 언어 모델(LLM)이 답을 제공된 증거에 그라운딩해야 한다. 증거가 불충분할 때는 모델이 근거 없는 답을 자신 있게 생성하기보다 기권하는 것이 바람직하다. 기존 기권 방법은 불확실성 추정이나 증거 충분성 검사에 의존하지만, 둘 다 제공된 증거와 모델의 내부 기억 파라미터가 상호작용하며 생성을 이끄는 추론 과정이 실제로 증거에 그라운딩되어 있는지는 검증하지 않는다. 핵심 요인 중 하나는 문맥 속 개체 언급이 기억된 연관을 활성화하여, 증거에 그라운딩되지 않은 그럴듯한 응답을 생성하게 만든다는 점이다. 우리는 Twin Worlds(TW)를 제안한다. 이는 동변성(equivariance) 기반 기권을 통해 지식 집약적 추론의 신뢰성을 높이는 프레임워크로, 불변성(invariance)이 출력이 변하지 않아야 한다고 요구하는 것과 달리 동변성은 개체 치환 하에서 출력이 대응적으로 변환되어야 한다고 요구한다. 증거에 그라운딩된 모델은 관계가 보존된 채 개체가 치환되면 답이 일관되게 바뀌어야 한다. TW는 원 입력에 대한 유형화된 치환으로 관계 구조는 보존하면서 파라미etric 사전(prior)을 줄여 여러 world를 구성하고, 동변성 위반을 기권 신호로 사용한다. 네 개의 벤치마크와 세 가지 모델 백본에서 TW는 답이 제공된 증거에 신뢰할 수 있게 그라운딩되지 않은 경우를 식별하며, 불확실성 및 충분성 기반 베이스라인보다 우수한 성능을 보인다.
LLM이 생성한 검색 질의는 정보 검색(IR) 평가를 보강하는 데 널리 사용되지만, 정답 측 문서 지식을 전제로 하는 개념을 포함할 수 있으며, 이는 검색 이전 단계 사용자의 정보 접근 경계를 위반한다. 중복도, 다양성, 효과성을 포함한 기존 검증 지표로는 드문 인간 꼬리(human-tail) 변이와 정답 측 침투 후보를 구분할 수 없다. 본 논문은 질의 개념을 백스토리 지지(backstory-supported), 인간 중심(human-central), 인간 꼬리(human-tail), 정답 측 후보(candidate answer-side) 영역으로 배정하는 프레임워크인 개념 출처 분석(concept provenance)을 제안하며, 이는 검색 지표만으로는 탐지할 수 없는 경계를 운용 가능하게 만든다. UQV100의 100개 주제, 8개 LLM, 5개 프롬프트 조건에 걸친 77,004개 질의에 두 가지 추출 파이프라인으로 개념 출처 분석을 적용한 결과, 다섯 조건 평균에 대해 파이프라인 간 토큰-HCIR 스피어만 상관계수 rho 1.0을 얻었다. 정답 측 후보 개념은 비일반(non-generic) 개념의 7.40퍼센트를 차지하며 100개 주제 중 97개에서 나타나고, 주제가 분산의 약 67퍼센트를 설명한다. 인간 검증에서는 완화된 정밀도(relaxed precision) 68.2퍼센트를 보였으며, 지식 침투(knowledge intrusion) 45.5퍼센트와 배포 침투(deployment intrusion) 45.0퍼센트라는 두 가지 메커니즘이 드러났다. 진단 프로브(diagnostic probe)는 국소적으로 불균형한 검색 효과를 보여, 삭제 효과 크기가 d = -0.47로 무작위 삭제의 d = -0.34보다 컸으나, 이러한 개념이 설명하는 전체 평가 분산은 2퍼센트 미만이다. 따라서 개념 출처 분석은 평가 변화 예측기가 아니라 경계 준수 진단 도구로 기능한다. 실험한 조건에서는 어떤 프롬프트 조건도 침투를 제거하지 못했으며, 생성 후 개념 출처 기반 선택은 99퍼센트의 제거율을 달성한다.
소셜 미디어의 정보 조작(Information Operations) 사용자를 탐지하기 위해, 시간적 행동 패턴을 모델링하는 Temporal Point Process(TPP)와 LLM이 생성한 언어 패턴 기반 증거 함수를 결합한 비지도 이상 탐지(anomaly detection) 방법론 TENSOR를 제안한다. 5개의 실제 IO 데이터셋에서 기존 베이스라인을 크게 능가하는 성능을 보였으며, 레이블 데이터 없이도 진화하는 IO 캠페인에 대한 일반화 능력을 갖춘다.
테이블 간 최대 중복 크기를 빠르게 추정하면 대규모 테이블 저장소에서 블로킹(blocking)과 쿼리-바이-테이블(query-by-table) 검색이 가능해진다. 최초이자 최신 추정기인 Armadillo는 각 테이블을 독립적으로 임베딩하고 임베딩 유사도를 통해 중복 비율을 근사함으로써 효율성을 높인다. 그러나 이질적인 저장소에서의 정확한 추정은 세 가지 과제로 인해 제한된다: (C1) 중복은 행-열 구조에 의존하는데, 즉 매칭된 각 셀은 두 테이블의 공동 정렬(joint alignment) 하에서 행과 열 소속을 모두 보존해야 하지만, 기존 인코딩은 이 구조를 간접적으로만 추론하도록 남겨둔다; (C2) 독립적 인코딩은 테이블 간 정렬 신호를 위한 명시적 채널을 제공하지 않아 예측이 전역적 유사도 쪽으로 편향된다; (C3) 단순한 값 인코딩은 코퍼스별 분포에 과적합되어 교차 도메인 성능 저하를 유발한다. 이에 우리는 세 가지 원칙에 기반한 확장 가능하고 도메인 견고한 중복 비율 추정기 ALORE를 제안한다: (P1) 행-열 구조를 명시적으로 표현; (P2) 비용이 큰 정렬 탐색 없이 학습 중 테이블 간 정렬 신호를 노출; (P3) 코퍼스별 값 분포에 대한 민감도 감소. ALORE는 이 원칙들을 투뷰 행-열 하이퍼그래프(Two-View Row-Column Hypergraph) 인코더, 저비용 상호작용 신호를 활용한 정렬 유도 목적 함수, 도메인 견고한 값 매핑으로 구현한다. 기존 벤치마크를 넘어서는 대규모 실세계 코퍼스를 포함하여 다양한 도메인과 규모에 걸친 여러 데이터셋에 대한 실험에서 ALORE는 최신 기술을 능가한다. ALORE는 전체 MAE를 최대 55%, 제로샷 전이에서 최대 69% 감소시키는 동시에 최대 89배의 속도 향상을 달성한다. 또한 쿼리-바이-테이블 검색에서의 효과성도 추가로 검증한다.