arXiv:2403.06642

TRAWL: External Knowledge-Enhanced Recommendation with LLM Assistance

Weiqing Luo, Chonggang Song, Lingling Yi, Gong Cheng

제출 2024-03-11

원문 초록

Combining semantic information with behavioral data is a crucial research area in recommender systems. A promising approach involves leveraging external knowledge to enrich behavioral-based recommender systems with abundant semantic information. However, this approach faces two primary challenges: denoising raw external knowledge and adapting semantic representations. To address these challenges, we propose an External Knowledge-Enhanced Recommendation method with LLM Assistance (TRAWL). This method utilizes large language models (LLMs) to extract relevant recommendation knowledge from raw external data and employs a contrastive learning strategy for adapter training. Experiments on public datasets and real-world online recommender systems validate the effectiveness of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.34951v3cs.AI공통 태그 Recommendation Systems, Hallucination

AX는 새로운 AEO이다

AX is the New AEO

2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.

arXiv:2609.24244v1cs.CV공통 태그 Hallucination, Contrastive Learning

중요한 곳을 보라: 세밀한 비전-언어 추론을 위한 무료의 레이블 없는 시각적 증거 신호

Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning

멀티모달 대규모 언어 모델(MLLM)은 추론을 하지 못해서가 아니라 애초에 증거를 보지 못하기 때문에 세밀한 시각적 질문에서 실패한다: 고해상도 이미지는 인코딩되기 전에 다운샘플링되므로, 모델은 언어적 사전(linguistic prior)에 기반해 답한다. 표준적인 해결책들은 비용이 크다: 주석된 정답(SFT), 수작업으로 설계된 검증기(RLVR), 또는 대규모 외부 교사 모델을 이용한 온-정책 증류(on-policy distillation)가 필요하다. 우리는 시각적 증거 자체가 무료로 이러한 신호를 제공할 수 있는지 묻는다. 우리는 대조적 증거 격차(contrastive evidence gap), 즉 질문과 관련된 영역을 조건으로 했을 때와 관련 없는 영역을 조건으로 했을 때 모델이 자신의 출력에 부여하는 토큰별 로그-가능도 비율을 정식화하고, 이를 V*Bench 상에서 Qwen2.5-VL-7B, Qwen3-VL-8B, Qwen3-VL-30B-A3B 전반에 걸쳐 연구한다. 우리의 주요 긍정적 결과는 학습이 필요 없다는 것이다: 모델의 답변 분포가 가장 뾰족해지는 후보 크롭(crop)을 선택하는 단일 뷰(single-view)의 레이블 없는 기준만으로, 바운딩 박스나 학습, 레이블 없이도 정답을 포함하는 영역을 찾아낼 수 있다. 이는 우연에 비해 목표 영역을 4.4배에서 5.1배 더 정확하게 지역화하며, 추론 시 세밀한 정확도를 70%에서 85%로 끌어올린다. 우리는 또한 이 격차가 모델 자신의 확신도(confidence)와 상호 보완적임을 보인다. 둘을 결합하면 각각을 단독으로 사용할 때보다 정답 여부를 더 잘 예측하며, AUC는 최대 0.99에 이르고, 고확신 하위집합 내에서 자신 있게 틀린 답변을 AUC 0.97~1.00으로 표시해낸다. 이러한 효과는 모두 지각 병목(perception-bottleneck) 질문에 집중되며, 전역 맥락(global-context) 대조군에서는 사라진다. 마지막으로 우리는 정직한 부정적 결과를 보고한다: 동일한 신호를 학습 방법으로 전환한 게이트형 자기 증류(gated self-distillation, SEG-Distill)는 파일럿 규모에서 세 가지 게이트 설계 전반에 걸쳐 기본 모델을 능가하지 못했으며, 더 공격적인 게이팅은 오히려 정확도를 저하시켰다. 이 신호는 실재하지만, 이를 학습 성능 향상으로 전환하는 것은 여전히 열린 문제로 남아 있다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

토론

이 논문과 연결된 포럼 글이 아직 없습니다.