역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
수학적 모델은 연구 문제를 형식화하는 데 핵심적이지만, 그 문서화는 흔히 FAIR 원칙에 미치지 못한다. 수학 모델 데이터베이스(MathModDB)와 같은 지식 베이스는 선별되고 의미적으로 풍부한 수학적 모델 표현을 제공함으로써 이러한 간극을 해소한다. Wikidata의 기반이 되는 동일한 오픈소스 인프라인 Wikibase 위에 구축된 MathModDB는 시맨틱 웹 기술을 활용하여 연결된 개방형 데이터, 협업 편집, 의미적으로 풍부해진 메타데이터의 저장을 지원하며, 이로써 더 넓은 Wikidata 생태계 내의 특정 도메인 지식 그래프가 된다. 그러나 현재 MathModDB에 접근하려면 복잡한 웹 인터페이스를 탐색하거나 SPARQL 및 Wikibase API에 능숙해야 하므로 잠재적 사용자에게 상당한 장벽이 된다. 게다가 이러한 선별된 지식 베이스를, 예를 들어 Dataverse 저장소 인스턴스에 저장된 실제 연구 데이터와 결합하는 일도 여전히 과제로 남아 있다. 이러한 한계를 극복하기 위해, 본 논문은 벡터 색인 기반 스키마 검색과 슈타이너 트리 기반 조인 계획기를 제공하는 모델 컨텍스트 프로토콜(MCP) 서버를 통해 대규모 언어 모델(LLM)을 MathModDB와 통합하는 방안을 제안하며, 이는 대화 기반 자연어 상호작용을 선별되고 인식론적으로 근거가 확보된 지식과 결합한다. 이 아키텍처는 MathModDB에서 구현되었지만 다른 Wikibase 기반 시스템에도 적용할 수 있다. 우리는 이 접근법이 인식론적으로 근거가 확보된 LLM 활용을 가능하게 하고, 표준 Wikibase 인터페이스가 제공하는 수준을 넘어 모델의 설명 가능성과 접근성을 향상시키며, Dataverse 데이터 저장소와 같은 외부 데이터베이스 및 도구와의 상호운용성을 단순화함을 보인다. 두 가지 사용 사례를 통해 MCP 프로토콜의 적응성을 바탕으로 LLM의 접근성과 선별된 지식 베이스의 인식론적 안전성을 결합했을 때의 이점을 설명한다.
2022년 말 대규모 언어 모델(LLM)이 등장하면서 과학의 미래에 관한 질문이 제기됐다. 그 영향을 평가하려면 과학 연구 관행이 이전부터 어떻게 바뀌고 있었는지 파악해야 한다. 2015~2025년 다섯 분야에서 발표된 논문 250만 편의 전문을 분석해 어휘, 구조, 인식론, 사회적 측면의 다양한 추세를 살펴봤다. 일부 단어의 사용 빈도가 바뀐 점을 제외하면, 2023년 이전의 추세 대부분은 탐지할 수 있을 정도의 단절 없이 대체로 이어졌다. 주목할 만한 예외로 아시아에서는 컴퓨터과학 논문의 공저 팀 규모 증가가 유의하게 빨라졌다. 한편 생의학 연구의 주제 다양성이 낮아진 것처럼 보인 현상은 대체로 논문 형식의 표준화를 반영했다. 이 연구는 LLM 도입이 확대됨에 따라 전 세계 과학 연구의 상태를 모니터링할 실증적 토대를 제공한다.
널리 쓰이는 아이디어 발상법 중 하나는 기존 작업을 임베딩 지도에 놓고, 다른 모든 작업에서 멀리 떨어진 점을 골라 아이디어로 디코딩하는 것이다. 본 연구는 이런 거리가 아이디어 발상을 이끌 수 있는 네 가지 방식을 이후 실제로 등장한 결과와 비교해 검증한다. (1) 멀리 떨어진 무작위 방향 자체는 텍스트가 아니다. 이후 항목 가운데 그런 방향과의 보정 전 코사인 유사도가 약 0.10을 넘는 항목은 없었다. 중심화 또는 백색화 후에도 24개 셀 중 22개는 여전히 도달할 수 없었다. 목표와 가까운 기존 항목을 보여 주고 점수만 피드백으로 제공한 LLM 디코더는 목표 집합 6개 모두에서 기존 이웃을 다시 써 냈다. 이웃을 제시하지 않고 탐색하면 지도 내부 공백과의 중앙 코사인 유사도가 0.57과 0.47인 일관된 텍스트가 나왔고, 각각 20개 중 15개와 14개에서 가장 가까운 기존 항목보다 목표에 더 가까웠다. 먼 점과의 유사도는 0.07과 0.06에 그쳤다. (2) 과거 항목만 담은 지도의 k-평균 셀에서 사전 등록한 공백 점수는 주로 셀의 크기와 위치를 반영했다. 밀도 기반 공백 점수 3개가 가장 빨리 성장할 셀을 예측하는 성능은 우연 수준 이하이거나 그에 가까웠다(AUC 0.30~0.66). Steam과 arXiv에서는 기존 모멘텀을 넘어서는 예측력이 없었고, 특허에서는 결과가 불분명했다. 더 고립된 신규 Steam 게임은 평가가 조금 더 좋았다. (3) LLM이 arXiv 논문의 후속 아이디어를 생성하면 그 논문을 인용하는 실제 후속 논문보다 원문에 더 가까웠다. 사용자 프롬프트 세 개, gpt-4o가 다시 쓴 제안서, OLMo로 평가한 2023년 4~12월 논문에서도 같은 결과를 확인했다. 비평을 주면 내용이 없는 수정 지시보다 이동 거리가 길어졌으며, 새로운 논문 150편에서 이를 재현했다. 실제 후속 연구의 제목을 알려 주면 수정만 지시했을 때보다 해당 후속 연구에 특유한 방향으로 0.032만큼 더 이동했다. 심사자 피드백, 오라클 피드백, 거리 피드백은 각각 그 방향 전환량의 0.13, 0.08, 0.34에 해당하는 효과를 더했다(상한 0.46, 0.46, 0.70). 이 방향 변화는 수정의 효과나 이동 거리가 더 길어진 효과와 구별할 수 없었다. (4) 거리에 따라 등급을 매긴 영감 자료에서는 역 U자 형태의 효과를 발견하지 못했다. 이때 사용한 선행 예측 마진은 내용보다 형식을 더 많이 반영했다. 초기 검증은 실행 전에 등록했다. 두 차례의 AI 에이전트 심사에서 요청한 13건의 후속 검증은 주요 결과가 나온 뒤 등록했다. 모든 시점의 근거는 로컬 Git 커밋뿐이다.
학회와 벤치마크는 대규모 언어 모델(LLM)의 심사 점수를 논문의 평가값으로 사용하지만, 모델 공급업체는 몇 달 만에 모델을 교체한다. 본 연구는 심사 중인 ICLR 2027 투고 논문에 OpenAI, Google, Anthropic의 최첨단 모델 20개를 적용해 점검했다. 검정은 채택 결정 전에 등록했다. Claude Opus와 Gemini의 이전 버전과 이후 버전을 비교했을 때, 무작위로 뽑은 투고 논문 183편과 60편에서 채택으로 분류한 비율이 각각 52%포인트와 53%포인트 낮아졌다. 추가로 수행한 대응 비교 여섯 건에서는 43~79%포인트 낮아졌고, 어느 비교에서도 거절에서 채택으로 바뀐 논문은 없었다. 프롬프트에 채택률 30%를 명시해도 두 Opus 버전의 격차는 79%포인트였다. 점수를 제거한 심사 의견을 버전 사이에서 바꿔 넣으면, 이후 버전의 의견만으로도 채택 비율이 Opus에서 35%포인트, Gemini에서 51%포인트 낮아졌다. Opus는 제삼자 채점기를 사용해도 35%포인트 떨어졌고, 모든 기술적 지적을 보존하되 평가적 표현을 없애 다시 작성하면 24%포인트 떨어졌다. 논문 57편에서 Opus 4.6과 5.5의 백분위 순위 상관은 0.73이었지만, 채택 비율은 44%포인트 차이가 났다. 투고 논문 99~119편에서 모델 세 개가 자체 추정한 백분위는 세 번째 사람 심사자보다 나머지 두 사람 심사자와 더 강한 상관을 보였다. 차이의 점추정치는 0.17~0.21이었고, 95% 구간은 −0.04에서 +0.42 사이였다. 모델 20개가 한 심사 475건 중 473건은 점수가 2 또는 3이었다. 사람 심사에서는 72건 중 60건이었다. 이미 판정이 난 논문으로 후향 시험을 하면 모델이 기억에 의존할 수 있다. Claude Opus 5.5는 판정이 난 ICLR 2026 논문 27편의 제목만 보고 첫 저자를 틀림없이 맞혔다. Claude Opus 4.6은 알아본다고 답한 논문 11편 모두에 채택 판정을 내렸으며, 기댓값은 5편이었다. 따라서 LLM 심사 점수의 임계값은 모델 버전마다 사람의 결정과 대조해 검증해야 한다. ICLR 2027 결정과 대조하는 검정은 2026년 12월 16일에 이어서 수행할 예정이다.
데이터 기반 접근법은 철학 분야의 역사를 연구하는 유용한 도구로 부상하였다. 그러나 이 영역의 대부분의 연구는 특정 지역과 하위 분야의 제한된 수의 학술지에 초점을 맞추어 왔다. 우리는 동적 토픽 모델링 기법을 적용하여 콜롬비아와 라틴아메리카의 철학사를 탐구함으로써 이 연구의 범위를 확장한다. 본 연구는 1951년에 창간되어 현재 이 지역에서 가장 영향력 있는 철학 학술지 중 하나인 콜롬비아 철학 학술지 Ideas y Valores를 검토한다. 학술지의 역사 전반에 걸친 토픽의 변화를 분석함으로써, 콜롬비아 및 라틴아메리카 맥락의 철학 담론에서 나타나는 다양한 경향과 특정한 역학을 식별한다. 연구 결과, 가장 두드러진 토픽은 (윤리학, 정치철학, 미학을 포함하는) 가치론, 인식론, 과학철학임이 드러난다. 또한 새로운 입장을 제시하기보다 특정 철학자의 저작을 해석하는 데 초점을 둔 논문의 변화를 추적하며, 학술지 존속 기간 전반에 걸쳐 여러 토픽에서 칸트, 후설, 헤겔과 같은 독일 철학자들이 두드러지게 강조됨을 확인한다. 보다 독창적이고 주석 중심이 아닌 철학을 지향한 학술지의 창간 취지를 고려하여, 주석적 토픽이 시간이 지나면서 상대적으로 덜 두드러지게 되었는지를 조사한다. 우리의 분석은 그러한 토픽의 유의미한 감소가 없음을 시사한다. 마지막으로, 이 연구를 다른 라틴아메리카 학술지로 확장하기 위한 아이디어를 제안하고 비영어권 언어의 자연어 처리 워크플로 개선 방안을 제시한다.
연구 데이터를 공유하는 것은 투명성을 높이고, 재현성을 가능하게 하며, 과학적 발견을 촉진하는 데 필수적이다. 일관된 공유를 보장하기 위해 미국 국립보건원(NIH)과 다른 연구비 지원 기관은 신청자가 제안서와 함께 데이터 관리 계획서(DMP)를 제출하도록 요구한다. 이는 연구자들이 데이터 관리 및 공유 전략을 초기에 고려하도록 장려하는 것을 목표로 한다. 그러나 연구자들은 데이터 공유 관행에 대한 지식 부족으로 DMP를 작성하는 데 종종 어려움을 겪는다. 여기서 우리는 2023년 NIH 지침을 준수하는 DMP 초안을 작성하는 데 있어 거대 언어 모델(LLM)의 성능을 평가하였다. 목표는 LLM이 지원하는 DMP 작성이 연구자와 사서의 부담을 줄일 수 있는지 조사하는 것이었다. 우리는 Llama와 GPT의 성능을 NIH가 제공한 DMP 샘플과 비교하였다. 또한 해당 분야 전문가에게 LLM이 생성한 DMP를 평가하도록 요청하였다. 종합적으로, LLM은 초기 초안 작성을 가속할 수 있으나 명확성과 완전성을 보장하기 위해 제출 전에 여전히 전문가 검토가 필요함을 확인하였다. 더욱이 오픈소스 LLM은 연구비 지원 기관의 요건을 준수하는 DMP 초안을 작성하는 데 있어 상용 LLM만큼 즉시 사용할 준비가 되어 있지 않을 수 있다.
대규모 언어 모델은 학술 저작물을 포함할 수 있는 컬렉션으로 학습되지만, 저자는 일반적으로 자신의 저작물이 사용되었는지, 어떻게 사용되었는지에 대한 저작물 단위의 정보를 갖지 못한다. 본 논문은 저작권 거버넌스가 이러한 저자의 보호를 어떻게 규정하고 운영하는지, 그리고 책임 있는 대안에는 무엇이 필요한지를 묻는다. 2019년부터 2026년 사이에 발표된 입법, 사법, 연성법 문서 40건을 책임 있는 연구와 혁신(Responsible Research and Innovation) 이론에서 도출한 틀에 따라 연역적으로 코딩하여, 835개 구간에 걸쳐 1,337건의 범주 할당을 얻었다. 유럽연합과 미국이 주된 사례이며, 영국, 중국, 국제기구는 비교 대상이다. 규범적 지향과 책임의 분배가 코퍼스를 지배하는 반면, 성찰성은 가장 적게 나타나는 범주이며 미국 하위 코퍼스에서 최저에 이른다. 두 주요 관할권 모두 보호를 권리가 아닌 절차적으로 규정하며, 코퍼스 내 어떤 문서도 AI 학습에서의 저작물 사용에 대해 저자를 대상으로 하는 일반적 귀속 의무를 만들지 않는다. 본 논문은 코딩으로 드러난 공백으로부터 여섯 가지 수단으로 이루어진 거버넌스 설계와, 개발자, 출판사, 집중관리단체, 연구비 지원기관, 기관, 규제기관, 개별 저자 간의 역량 기반 책임 배분안을 도출한다.
본 논문에서는 문헌 연구, 과학적 코딩 및 다단계 연구 워크플로우를 위해 총 35B(350억) 개 및 활성 3B(30억) 개의 파라미터를 갖춘 오픈 모델(open model)인 SAIL을 소개합니다. SAIL은 과학 인지 개선 루프를 통해 개발되었습니다. 즉, 프론티어 AI 모델 기반의 에이전트들이 작업 실패 사례를 분석하고 근본적인 역량 격차를 해결하는 학습 과제를 구축합니다. 이러한 진단 과정에서는 문헌 작업에서의 검색 및 근거 선택, 코딩에서의 과학적 가정 및 추론, 더 긴 연구 조사에서의 계획 및 수정을 면밀히 검토합니다. 에이전트들은 논문 모음과 과학 코드 저장소를 활용하여 필요한 환경 및 도구를 갖춘 문제, 상호작용 궤적, 실행 가능한 과제를 생성합니다. 우리는 여러 개발 주기에 걸쳐 이 루프를 반복하며 지도 미세조정(supervised fine-tuning), 전문가 학습, 다중 교사 온-정책(on-policy) 증류, 에이전트 강화학습을 통해 SAIL을 학습시킵니다. SAIL은 주요 오픈 가중치 모델보다 훨씬 적은 수의 파라미터만으로도 다양한 과학 연구 작업 전반에서 경쟁력 있는 성능을 달성합니다.
본 연구는 학술 표현의 대안적 체계들이 행정학(PA)과 인공지능 관련 행정학(AI-in-PA) 학술 연구를 어떻게 식별하고 특징짓는지를 고찰한다. 핵심 질문은 어떤 체계가 행정학에 대한 확정적 분류를 제공하는가가 아니라, 학술 분류의 대안적 체계들이 행정학의 지적 경계를 식별하고 표현하는 방식에서 어떻게 다른가이다. 본 연구는 Web of Science와 OpenAlex에 대한 탐색적·비교 분석을 통해 저자 정의 방식, 인용 기반 방식, AI 지원 방식의 표현에 기초한 다섯 가지 접근법을 비교한다. 분석 결과는 말뭉치 규모, 출판 유형, DOI 이용 가능성, 출판 매체, 시간적 양상, 주제 구조에서 상당한 차이와 제한적인 중복이 있음을 보여 준다. 대안적 접근법들은 동일한 문헌의 더 크거나 더 작은 부분집합을 식별하는 데 그치지 않고 실질적으로 서로 다른 학술 집합을 식별하기 때문에 서로 구별되는 표현을 만들어 내는 경향이 있다. 연구 결과는 알고리즘에 의한 지식 조직화가 학제 간 학술 연구가 분류되고 연결되고 이해되는 방식에, 그리고 인식론적으로는 그 가시성, 구조, 지적 정체성이 표현되는 방식에 영향을 미침을 시사한다. AI 기반 학술 분류는 중립적이지 않고 해석적이며 잠재적으로 자기강화적이어서 학문 분야 경계의 진화와 적응을 제약할 수 있다. 따라서 인간 전문가의 판단은 여전히 필수적이며, AI 지원 학술 분류에 의해 대체되기보다는 보완된다.
LLM 기반 동료 심사는 이제 실제 서비스 규모로 사용되고 있지만 그 평가는 여전히 제한적이다. 우리는 일반 문제, 수학, 수치, 인용의 네 가지 유형의 객관적이고 위치를 특정할 수 있는 오류를 세 가지 심각도 수준으로 실제 논문에 주입하고, 오류 유형과 심각도별 각 심사자의 탐지율과 오류를 주입하지 않은 사본에 대한 거짓 양성률을 측정하는 벤치마크를 소개한다. 또한 인용으로 뒷받침되는 주장은 인용된 논문을 검색하여, 수학은 컴퓨터 대수로, 수치 주장은 실행된 코드로 검증하는 다중 에이전트 심사자 Skepthical을 제시한다. 우리는 천체물리학 분야와 기계학습(ML) 분야 각각 최근 arXiv 프리프린트 15편으로 이루어진 두 말뭉치에 이 벤치마크를 적용하여 총 357개의 오류를 주입하고, 단일 LLM 심사자 6종, Claude Code 구성 2종, 공개된 심사자 3종, Skepthical까지 열두 개의 심사자 시스템을 평가한다. 탐지율에 가장 큰 영향을 미치는 것은 모델의 선택으로, 동일한 프롬프트에서 세 가지 최첨단 LLM은 두 말뭉치 모두에서 전체 탐지율이 약 50퍼센트포인트 차이가 난다. 도구와 스캐폴딩은 모델이 스스로 제공할 수 없는 것을 보태줄 때 도움이 된다. 특히 천체물리학에서는 Claude Code가 수학 및 수치 탐지에서 단일 Claude 호출보다 향상되며, 강제된 인용 검색은 Skepthical에 모든 시스템 중 큰 격차로 가장 높은 인용 오류 탐지율을 부여한다. 그러나 이러한 인용 부문의 우위는 ML에서는 관찰되지 않는데, 이는 모델들이 문헌을 더 잘 알고 있는 것으로 보이며 Skepthical의 인용 탐지율이 최고의 단일 LLM과 통계적으로 구분되지 않기 때문이다. 거짓 양성률은 대부분의 시스템에서 10% 미만이지만 프롬프트, 모델, 스캐폴딩에 따라 달라지며, 수학 관련 지적이 거짓 양성의 주된 원인이다. 평가 파이프라인, 주입된 오류, 판정 로그는 벤치마크로 공개된다.
1982년 이후 주요 라틴아메리카 연구(LAS) 학술지 세 곳에서 LAS가 어떻게 진화해 왔는지를 조사한다. 네트워크 분석, 텍스트 마이닝, 계량서지학을 활용하여 학문적 위치, 저자 구성, 인용 양상의 변화를 추적한다. 우리의 주된 주장은 LAS가 동화주의적 공고화를 겪었다는 것이다. 이 분야는 이제 제도적으로 식별 가능하며, 핵심 LAS 학술지는 학문 네트워크에서 중심적 위치를 차지하고 분야 간 가교 역할을 한다. 그러나 이러한 공고화는 영미권 학문 규범을 우대하는 위계를 강화하였다. 한때 중심에 있던 라틴아메리카 기반 학술지는 주변화되었다. 라틴아메리카 출신 저자의 비중은 늘었지만, 그들의 프로필은 북반구의 기준에 수렴하고 있다.
2025년 6월 GDELT(Global Database of Events, Language, and Tone) 수집 파이프라인의 장애로 글로벌 지식 그래프(GKG)에 공백이 생겨, 후속 연구에 사용되는 기사 수준의 뉴스 메타데이터가 중단되었다. ReGKG-2025는 누락된 1,665개의 15분 배치를 모두 포괄하는, 재구성된 281,620건의 기사 레코드로 이루어진 아카이브 기반 표본이다. 기사는 주변의 원본 GKG 데이터로부터 추정한 출처 할당량을 사용하여 Common Crawl과 Wayback Machine에서 복원되었다. 텍스트는 선별 및 정규화되었고, 비영어 본문은 번역되었으며, 플래그가 지정된 레코드는 수동으로 검토되었다. 적격 기사는 27개 열의 GKG 2.1 레이아웃으로 변환되었다. 버전이 관리되는 패키지에는 레코드 수준의 출처 정보, 아카이브 재생 및 WARC 위치 정보, 출처 요약, 출처별·일별 보정 가중치, 전체 수동 판정 기록이 포함된다. 이 표본은 모델링된 원본 물량의 약 14%에 도달하며, 선택된 기준 레코드 질량의 84%를 차지하는 출처를 대표한다. 온전한 주간에 대한 시험에서 복원된 기사의 41%가 원본 GKG 레코드와 일치했으며, 일치한 쌍에서의 필드 일치도는 프로세서 기준선에 가깝다(어조 MAE 1.69). 이 데이터셋은 회고적 내용 분석과 출처 수준 집계를 지원하지만, 어조 및 주제 분포는 원본 GKG와 다르며 전수 집계는 지원하지 않는다. 데이터: https://doi.org/10.5281/zenodo.23964265.
본 연구는 2022년 11월 30일 대화형 언어 모델이 대중에 공개된 이후 공학 논문에서 무엇이 달라졌는지를 묻고, 통일된 초록 색인이 없는 분야에서 그러한 변화를 측정하는 방법을 개발한다. 연구는 256개 공학 학술지에 2015년부터 2025년까지 게재된 1,839,962편의 논문을 수집하여 어휘, 문체, 논문 구조에 관한 열두 가지 지표를 추적하고, 각 지표를 2023년 이전 추세의 투영값과 비교했다. 월별 시계열을 구축한 결과, 연도만 기재된 기록은 1월 1일로 처리되어 이를 제거하지 않으면 가짜 1월 정점을 만든다는 것이 드러났다. 초록에서 언어 모델 출력과 연관된 31개 단어는 예측보다 82% 더 자주 나타났으며(2025년 1만 단어당 55.4회 대 27.0회), 같은 격식체의 대조 단어 네 개는 16% 감소했다. may처럼 주장을 완화하는 단어는 13% 감소했고, clearly처럼 강화하는 단어는 20% 증가했으며, 긴 단어는 11% 증가했다. 저자 수, 참고문헌 목록, 쪽수, 발행량은 추세의 4% 이내에 머물렀다. 이 변화는 열네 개 전 주제 범주에서 나타나며, 잘못된 공개 날짜, 임의의 학술지나 단어 하나를 제외한 경우, 데이터에서 선택한 단어 목록이 이를 뒷받침한다. 구독형 논문을 포함하고 가중치를 부여해 코퍼스로 환원한, 동일 코퍼스의 전문 12,866편 무작위 표본에서는 같은 단어들이 본문에서 99% 증가했다. 언어 모델 언급과 별도로 측정한 AI 글쓰기 지원 공개 문구는 없음에서 2025년 3.7%로 늘었고, 그중 5분의 4는 한 출판사에서 나왔다. 이 설계는 기술적(descriptive)이며 인과적이지 않다.
대규모 언어 모델은 화학 문헌에서 구조화된 다변량 실험 데이터를 빠르게 추출할 수 있지만, 정답 없이 생성된 수천 개의 레코드를 검증하는 것은 여전히 어렵다. 본 논문은 독립적인 "LLM-as-a-judge"를 중심으로 한 범용적이고 인용에 기반한 추출 및 검증 방법론을 제시하며, 이를 균일계 촉매 폴리(에틸렌 테레프탈레이트)(PET) 해중합 문헌에 적용한다. 이 파이프라인에서 추출기 LLM은 범용 고유 식별자(UUID)가 태그된 문서 청크에 대한 인용과 함께 연구 논문으로부터 스키마가 강제된 레코드를 생성하고, 독립적인 LLM 판정자는 각 레코드와 함께 논문 전체를 읽어 근거 없는 필드를 표시하고 인용을 포함한 수정안을 제안한다. 프롬프트 제거 실험은 청크 수준 인용을 요구하는 것이 특정 단락과 표에 이르는 출처를 제공할 뿐 아니라 추출 정확도도 향상시킴을 보인다. 판정자를 대규모로 배포하기 전에, 이온성 액체 촉매 PET 글리콜 분해 실험 295개로 이루어진 수작업 구축 기준 집합의 추출 결과에 대해 수동 평가와 비교하여 벤치마크하였다. 판정자는 검토된 레코드의 85.7%에서 사람의 평가와 일치했으며, 관련 실험 간 오류를 찾아내는 데 있어 휴리스틱 문자열 일치 기준선보다 유의하게 효과적이었다. 561편의 논문에서 추출된 3,942개 레코드에 적용한 결과, 프레임워크는 그중 67.5%를 작성된 그대로 수용하였다. 제안된 수정은 추출기가 관련 실험을 혼동하는 경우가 많았던 정량적 필드에 집중되었다. 우리는 LLM 판정자의 전체 감사 로그와 함께 추출된 데이터셋을 공개하며, 문서 파싱, 사용자 정의 스키마 및 프롬프트 설계, 모델 비의존적 추출 및 감사, 출처 강조 표시가 있는 대화형 검토, 재현 가능한 데이터셋 번들링을 코드 없이 브라우저 기반 환경에서 수행하는 이 종단 간 파이프라인을 구현한 오픈소스 애플리케이션인 Chemistry Data Extractor Toolkit도 함께 공개한다.
재난은 인프라, 건물, 경제에 피해를 줄 뿐만 아니라 피해 인구의 정신건강에도 영향을 미친다. 재난의 정신건강 영향에 관한 연구는 빠르게 확대되어 심리학, 공중보건 및 관련 사회과학의 중요하고 재정 지원이 풍부한 분야가 되었다. 그러나 이 연구 지형의 전반적인 구조는 체계적으로 규명된 바 없다. 우리는 대규모 언어 모델을 사용하여 PubMed에 색인된 'disaster'와 'mental health' 관련 모든 논문을 검토하였다. NCBI API로 7,859편의 논문 메타데이터를 수집한 뒤, Claude Sonnet을 사용해 초록에서 구조화된 변수를 추출하였다. 그 결과 지진과 감염병이 가장 흔히 연구된 재난이었으며, 폭염과 한파 같은 다른 많은 재난은 상대적으로 덜 주목받았다. PTSD, 우울, 불안은 잘 연구되었으나 공격성, 자살 등 다른 많은 정신건강 문제는 상대적으로 간과되고 있다. 비교적 큰 표본 크기(중앙값 = 452, IQR = 142–1,568)를 가짐에도 이 분야는 기계학습 알고리즘을 거의 활용하지 않는다. 가설 유의성 검정, 문헌 고찰, 질적 방법, 구조방정식 모형이 각각 가장 흔한 방법이며, 에이전트 기반 모델링, 기계학습, 인과추론, NLP는 각각 논문의 1% 미만에서만 나타난다. 연구는 소수의 국가, 특히 미국, 일본, 중국에 한정되어 있으며, 재난이 빈번한 많은 지역은 상당히 과소 대표되고 있다. 이 LLM 보조 계산적 지도는 재난 정신건강 문헌에 대한 폭넓은 개관을 제공하는 동시에, 이 분야의 발전에 도움이 될 수 있는 계산적 방법의 활용 부족을 특히 강조하며 중요한 방법론적 공백을 부각한다.
대규모 언어 모델(LLM)은 과학 문헌 검토를 지원하는 데 점차 많이 사용되고 있으나, 평가는 흔히 검토 과정 전체가 아닌 개별 과제를 대상으로 한다. 우리는 관련 논문 찾기, 해석, 논문 간 종합, 향후 연구 제안의 네 단계에 걸쳐 여섯 가지 AI 도구를 평가한다. 벤치마크는 스페인 플룸(Spanish plume) 기상 패턴에 관해 발표된 리뷰와 그 102편의 논문 코퍼스이다. 초기 검색에서 다섯 가지 도구가 합쳐서 57편을 찾아냈고, 가장 우수한 개별 도구는 42편을 찾았다. 기관 도서관 접근은 Codex의 발견 논문 수를 42편에서 82편으로, Claude Code의 경우 15편에서 79편으로 늘렸다. 102편의 PDF 전체가 주어졌을 때 세 가지 도구는 스페인 플룸을 본격적으로 다룬 18편을 모두 올바르게 식별했으나, 단순 언급 84건 중 40%에서 79%를 본격적인 것으로 잘못 분류했다. 같은 세 도구가 생성한 종합 결과를 두 명의 해당 분야 전문가가 블라인드로 평가했다. 종합 결과는 대체로 정확했지만 통찰은 제한적이었고, 때로 근거 없는 주장, 인용 오류, 합의에 대한 과장된 진술을 포함했다. 마지막으로 세 도구 모두 스페인 플룸 문헌보다 넓은 연구 방향을 제안했으며, 두 도구는 벤치마크 리뷰에서 확인된 질문에 접근했다. 모든 과제에서 가장 우수한 단일 도구는 없었다. 우리는 문헌 검토에서 AI 도구를 사용하는 연구자를 위해 여덟 가지 권고를 제시한다. 연구 결과는 LLM이 특히 기관 접근이 가능한 경우 과학 문헌의 발견과 해석을 도울 수 있지만, 증거 평가나 연구 종합에서 전문가의 판단을 대체할 수는 없음을 시사한다.
파편화된 역사적 직물의 복원은 계산 고고학에서 중요한 과제이다. 서기 834년으로 거슬러 올라가는 오세베르 선박 매장에서는 체계적인 계산적 분석이 어려웠던 수백 점의 훼손된 직물 파편이 출토되었다. 딥러닝이 이미지 기반 퍼즐 풀이에 혁신을 가져왔지만, 고고학적 직물에 대한 진전은 도메인 특화 데이터셋과 최신 아키텍처에 대한 체계적 평가의 부족으로 제한되어 왔다. 이러한 공백을 해결하기 위해, 우리는 메트로폴리탄 미술관 오픈 액세스 컬렉션의 역사적 직물 이미지 18,644장으로 구성된 정제된 데이터셋 TEXMET을 제시하며, 이는 퍼즐 풀이 연구를 위한 최초의 직물 특화 벤치마크이다. TEXMET을 사용하여 최신 퍼즐 풀이 모델 세 가지인 JPDVT, FCViT, DiffAssemble을 체계적으로 평가한다. 실험 결과, 표준 데이터셋으로 사전학습된 트랜스포머 기반 모델은 직물로 일반화하지 못하지만 도메인 특화 미세조정은 매우 효과적임을 보인다. 그래프 기반 DiffAssemble 모델은 TEXMET으로 미세조정했을 때 직물 데이터에서 85.89%의 퍼즐 정확도를 달성한다. 가장 중요한 점은, 이 미세조정된 모델을 심하게 훼손된 오세베르 파편 45점에 적용했을 때 퍼즐 정확도가 26.67%에서 64.44%로 향상된다는 것이다. 이러한 결과는 TEXMET을 직물 복원을 위한 새로운 벤치마크로 확립하고, 퍼즐 풀이 방법을 실제 고고학 재료의 영상에 적용하려면 도메인 적응이 필수적임을 보여준다.
PlagiaCorpus는 대규모 언어 모델(LLM)이 생성한 재사용과 언어 간 재사용을 포함하여 표절 및 텍스트 재사용 탐지를 벤치마킹하기 위한 아랍어-영어 이중 언어 데이터셋이다. 이 데이터셋은 198,643개의 텍스트 레코드를 포함하며, 영어 및 아랍어 위키백과와 공개 라이선스 도서 컬렉션 두 개에서 추출한 34,885개 구절의 원천 말뭉치와 163,758개의 질의(학습용 147,381개, 테스트용 16,377개)로 구성된다. 질의는 난이도가 점차 높아지는 다섯 가지 재사용 유형, 즉 그대로 복사, 문자 수준 난독화, 서로 다른 두 LLM에 의한 동일 언어 바꿔쓰기, 구조적 바꿔쓰기를 동반한 영어-아랍어 번역을 포함하며, 재사용되지 않은 구절로 이루어진 Safe 클래스도 포함한다. 모든 긍정 질의는 원천 구절에 연결되어 있고, 학습/테스트 분할은 원천 구절별로 묶여 있어 어떤 구절도 두 분할 모두에 질의를 제공하지 않는다. 이 배포본은 언어 식별, LLM 생성 아티팩트 제거, 정확 및 교차 언어 중복 제거를 통해 정제되었다. 기술적 검증은 클래스별 길이 통계, 학습/테스트 분할의 자동 검사, 수동으로 평가한 표본에 대한 평가자 간 일치도를 보고한다. 이 데이터셋은 CC BY-SA 4.0 라이선스로 JSON 및 Parquet 형식으로 배포된다.
미술사학자들 사이에서 미술사 연구에 계산적 방법을 사용하는 것에 대한 논쟁이 지속되는 원인 중 하나는, 이러한 방법이 오늘날 미술사 연구 질문의 핵심을 고려하지 않는다는 점이다. 두 연구 공동체 간의 긴밀한 협력이 부족하여, 동시대 미술사적 방법을 명확하게 정의된 컴퓨터 비전 문제로 정의하는 것이 극히 어렵다. 이를 위해 컴퓨터 과학의 관점에서 미술사 학술지의 논문을 연구하는 방법론을 고안하였다. 목적은 미술사학자들이 연구에서 활용하는 이미지 특징을 식별하고, 이를 컴퓨터 비전 연구 공동체에 즉각적이고 의미 있는 용어로 설명하는 것이다. 마지막으로, 미술사를 위한 컴퓨터 비전 응용이 오늘날 미술사 연구의 핵심을 다루는 방법을 탐구하는 새로운 출발점이 될 수 있는 몇 가지 패러다임을 제시한다.