세밀한 지식 엔티티 기반 학술 논문의 팀 기관 구성과 참신성 간의 관계 탐구
Exploring the relationship between team institutional composition and novelty in academic papers based on fine-grained knowledge entities
한국어 초록
저자 팀의 구성은 학술 논문의 참신성에 영향을 미치는 중요한 요인이다. 그러나 기존 연구들은 기관 구성의 역할에 대해 제한적인 관심만을 기울여 왔으며, 대부분의 참신성 측정 방법은 일반적인 수준에 머물러 있어 논문의 참신성의 구체적인 원천과 유형을 설명하기 어렵다. 본 연구는 자연어 처리(NLP) 분야를 예시로 삼아 팀 기관 구성과 학술 논문의 세밀한 참신성 간의 관계를 분석한다. 저자 팀은 학술 기관, 산업 기관, 그리고 학술-산업 혼합 기관의 세 가지 유형으로 분류된다. 논문 전문에서 방법(method), 데이터셋(dataset), 도구(tool), 지표(metric)를 포함한 네 가지 유형의 세밀한 지식 엔티티를 추출한다. 이후 엔티티 조합을 기반으로 논문의 참신성을 측정하고, 서로 다른 엔티티 유형 간의 쌍별 조합을 추가 분석하여 참신한 논문에 대한 기여도를 조사한다. 분석 결과, 자연어 처리 분야에서 산업 기관과 학술 기관 간의 협력은 순수 산업 협력보다 참신한 논문을 생산할 가능성이 더 높은 것으로 나타났다. 세밀한 지식 엔티티 관점에서, 학술-산업 혼합 팀은 방법-지표 조합의 참신성에 더 주목하는 반면, 산업 팀은 방법-도구 조합의 참신성에 더 주목하는 경향을 보인다. 본 연구는 세밀한 참신성 측정을 통해 기관 팀 구성과 논문 참신성 간의 관계를 밝히고, 논문 품질 향상 및 산학연 협력 촉진을 위한 유용한 근거를 제공한다.
원문 초록
The composition of author teams is an important factor influencing the novelty of academic papers. However, existing studies have paid limited attention to the role of institutional composition, and most novelty measures remain at a general level, making it difficult to explain the specific sources and types of novelty in papers. Taking the field of natural language processing as an example, this study investigates the relationship between team institutional composition and the fine-grained novelty of academic papers. Author teams are classified into three types: academic institutions, industrial institutions, and mixed academic and industrial institutions. Four types of fine-grained knowledge entities are extracted from full-text papers, including methods, datasets, tools, and metrics. The novelty of papers is then measured based on entity combinations, and pairwise combinations of different entity types are further analyzed to examine their contributions to novel papers. The results show that, in the field of natural language processing, collaboration between industrial and academic institutions is more likely to produce novel papers than purely industrial collaboration. From the perspective of fine-grained knowledge entities, mixed academic and industrial teams pay more attention to the novelty of method-metric combinations, whereas industrial teams pay more attention to the novelty of method-tool combinations. This study reveals the relationship between institutional team composition and paper novelty through fine-grained novelty measurement, providing useful evidence for improving paper quality and promoting industry-academia-research collaboration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.31058v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프
TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트
HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.