arXiv:2611.21408v1 cs.LG

임베딩 지도상의 거리는 LLM의 아이디어 발상을 돕는가? 이후 실제로 등장한 결과를 이용한 네 가지 검증

Do Embedding-Map Distances Guide LLM Ideation? Four Tests Against What Came Next

Javier Aguilar Mart\'in

제출 2026-11-16

저자 비고

arXiv Comments

48 pages, 5 figures. Code, data pointers and pre-registrations: https://github.com/JaviMaligno/latent-gap-ideas

한국어 초록

널리 쓰이는 아이디어 발상법 중 하나는 기존 작업을 임베딩 지도에 놓고, 다른 모든 작업에서 멀리 떨어진 점을 골라 아이디어로 디코딩하는 것이다. 본 연구는 이런 거리가 아이디어 발상을 이끌 수 있는 네 가지 방식을 이후 실제로 등장한 결과와 비교해 검증한다. (1) 멀리 떨어진 무작위 방향 자체는 텍스트가 아니다. 이후 항목 가운데 그런 방향과의 보정 전 코사인 유사도가 약 0.10을 넘는 항목은 없었다. 중심화 또는 백색화 후에도 24개 셀 중 22개는 여전히 도달할 수 없었다. 목표와 가까운 기존 항목을 보여 주고 점수만 피드백으로 제공한 LLM 디코더는 목표 집합 6개 모두에서 기존 이웃을 다시 써 냈다. 이웃을 제시하지 않고 탐색하면 지도 내부 공백과의 중앙 코사인 유사도가 0.57과 0.47인 일관된 텍스트가 나왔고, 각각 20개 중 15개와 14개에서 가장 가까운 기존 항목보다 목표에 더 가까웠다. 먼 점과의 유사도는 0.07과 0.06에 그쳤다. (2) 과거 항목만 담은 지도의 k-평균 셀에서 사전 등록한 공백 점수는 주로 셀의 크기와 위치를 반영했다. 밀도 기반 공백 점수 3개가 가장 빨리 성장할 셀을 예측하는 성능은 우연 수준 이하이거나 그에 가까웠다(AUC 0.30~0.66). Steam과 arXiv에서는 기존 모멘텀을 넘어서는 예측력이 없었고, 특허에서는 결과가 불분명했다. 더 고립된 신규 Steam 게임은 평가가 조금 더 좋았다. (3) LLM이 arXiv 논문의 후속 아이디어를 생성하면 그 논문을 인용하는 실제 후속 논문보다 원문에 더 가까웠다. 사용자 프롬프트 세 개, gpt-4o가 다시 쓴 제안서, OLMo로 평가한 2023년 4~12월 논문에서도 같은 결과를 확인했다. 비평을 주면 내용이 없는 수정 지시보다 이동 거리가 길어졌으며, 새로운 논문 150편에서 이를 재현했다. 실제 후속 연구의 제목을 알려 주면 수정만 지시했을 때보다 해당 후속 연구에 특유한 방향으로 0.032만큼 더 이동했다. 심사자 피드백, 오라클 피드백, 거리 피드백은 각각 그 방향 전환량의 0.13, 0.08, 0.34에 해당하는 효과를 더했다(상한 0.46, 0.46, 0.70). 이 방향 변화는 수정의 효과나 이동 거리가 더 길어진 효과와 구별할 수 없었다. (4) 거리에 따라 등급을 매긴 영감 자료에서는 역 U자 형태의 효과를 발견하지 못했다. 이때 사용한 선행 예측 마진은 내용보다 형식을 더 많이 반영했다. 초기 검증은 실행 전에 등록했다. 두 차례의 AI 에이전트 심사에서 요청한 13건의 후속 검증은 주요 결과가 나온 뒤 등록했다. 모든 시점의 근거는 로컬 Git 커밋뿐이다.

원문 초록

A popular ideation recipe treats an embedding map of existing work as a guide: pick points far from everything and decode them into ideas. I test four ways such distances could guide ideation against what appeared later. (1) Far random directions are not text: no later item reaches a raw cosine above about 0.10 with one (after centring or whitening, 22 of 24 cells stay out of reach), and an LLM decoder shown a target's neighbours, with score-only feedback, writes those neighbours in all six target sets. A neighbour-free search writes coherent text at median cosine 0.57 and 0.47 to interior gaps, beating the nearest existing item on 15 and 14 of 20, but only 0.07 and 0.06 to far points. (2) On k-means cells of a past-only map, the registered hole score mostly tracks cell size and position; three density-based gap scores forecast which cells grow fastest at or below chance (AUC 0.30 to 0.66) and add nothing to momentum in Steam and arXiv, with patents inconclusive; more isolated new Steam games are slightly better reviewed. (3) LLM continuations of arXiv papers stay closer to the source than papers that cite it, under three user prompts and against proposal rewrites (gpt-4o) and April-December 2023 papers (OLMo). Critique lengthens this step beyond content-free revision, replicated on 150 new papers. Revealing a real follow-up's title turns the ideas by 0.032 along a follow-up-specific direction beyond revision; reviewer, oracle and distance feedback add 0.13, 0.08 and 0.34 of that turn (upper bounds 0.46, 0.46, 0.70), and their turn is not separable from revision or their longer step. (4) For inspiration material graded by distance, no inverted U was detected, on an anticipation margin that tracks format more than content. Original tests were registered before running, follow-ups (thirteen requested in two AI-agent reviews) after the main results; all are dated only by local git commits.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21408v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.