PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11087v1cs.AI

모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크

Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review

과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.

arXiv:2603.03742v2cs.CL

ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement

text-to-SQL 정제에서 자기 디버깅은 실행 오류 신호가 부족해 효과가 떨어지고, 자기 수정은 오류 탐지 정밀도가 낮아 올바른 SQL까지 손상될 수 있다는 한계를 ErrorLLM가 질문·스키마 구조 표현, 정적 탐지, 분류된 의미 오류 유형을 담은 전용 error token으로 SQL 오류를 명시적으로 모델링해 해결한다. 탐지된 오류를 바탕으로 LLM 프롬프팅으로 SQL 구조를 정제하며, BIRD·Spider 벤치마크에서 백본 초기 생성 대비 가장 큰 성능 향상과 높은 오류 탐지 F1을 보였다.

arXiv:2604.10389v2cs.CL

BLUEmed: 임상 오류 탐지를 위한 검색 증강 다중 에이전트 토론

BLUEmed: Retrieval-Augmented Multi-Agent Debate for Clinical Error Detection

임상 노트의 용어 대체 오류 탐지를 위해 하이브리드 검색 증강 생성(RAG)과 다중 에이전트 토론을 결합한 BLUEmed 프레임워크를 제안한다. 이 방법은 증거 기반 추론과 다각적 검증을 통해 few-shot 프롬프팅 환경에서 기존 베이스라인보다 우수한 정확도와 AUC를 달성했다.