PyTorchKR Papers

업데이트된 논문

총 135편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10059v2cs.AI

AgentAbstain: LLM 에이전트는 언제 행동하지 말아야 할지 알고 있는가?

AgentAbstain: Do LLM Agents Know When Not to Act?

대규모 언어 모델(LLM) 기반 에이전트 시스템은 자율적 작업에 점점 더 많이 활용되고 있지만, 기존 평가는 에이전트가 언제 행동을 삼가야 하는지 파악하는 능력보다 작업 성공 여부에 주로 초점을 맞춰왔다. 이 격차는 실질적인 위험을 초래한다. 모호한 상황, 상충하는 제약 조건, 또는 도구 오류 하에서 에이전트는 의도하지 않은 되돌릴 수 없는 행동을 실행할 수 있다. 이 격차를 해소하기 위해 우리는 에이전트적 행동 절제(agentic abstention)에 대한 최초의 체계적 평가 프레임워크를 제시한다. 행동 절제란 도구를 사용하는 LLM 에이전트가 언제 행동하지 말아야 하는지를 인식하는 보정된 능력을 의미한다. AgentAbstain의 핵심은 실행 전 추론과 런타임 발견에 걸친 8가지 행동 절제 시나리오의 에이전트 고유 분류 체계를 기반으로 구축된 쌍(paired) 작업 벤치마크이다. 이 벤치마크는 42개의 실행 가능한 샌드박스 환경에 걸쳐 263개의 쌍 작업을 포함하며, 각 쌍은 행동해야 하는(should-act) 작업과 명령어, 도구, 또는 환경 상태에 대한 통제된 변형을 통해 생성된 행동을 삼가야 하는(should-abstain) 변형 작업으로 구성된다. 이 쌍 설계를 확장하고 데이터 오염에 저항하기 위해 우리는 AbstainGen을 제안한다. AbstainGen은 샌드박스 환경을 합성하고 쌍 작업을 종단간(end-to-end)으로 생성하는 완전 자동화 파이프라인으로, 결정론적 재현(replay)과 의미론적 LLM 판정기(judge)로 검증된다. 새로운 작업 인스턴스는 요청 시 재생성할 수 있으며, 세 명의 독립적인 주석자가 샘플링된 작업의 94~98%를 잘 설계된 것으로 평가하였다. 4개의 에이전트 하네스에서 17개의 최신 LLM을 평가한 결과, 가장 우수한 에이전트(Gemini 3.1 Pro)도 쌍 정확도(act와 abstain 양쪽 모두 정확히 처리) 59.5%에 그쳤다. 더 중요한 점은, 행동 절제 능력이 일반적인 작업 해결 능력과 대체로 독립적이라는 것으로, 작업 해결 능력만을 스케일링하는 것으로는 이 격차를 해소할 수 없음을 시사한다. 우리는 또한 사후 절제(post-hoc abstention)와 같은 실패 유형을 규명하는데, 이는 에이전트가 절제 트리거를 인식하기 전에 되돌릴 수 없는 행동을 실행하는 현상이다. 코드와 데이터셋은 agentabstain.github.io에서 오픈소스로 공개되어 있다.

arXiv:2606.21869v3cs.CL

언어-에너지 격차: 다국어 LLM 추론의 에너지 비용 측정

The Language-Energy Divide: Measuring Energy Costs of Multilingual LLM Inference

ML.Energy 프레임워크로 다국어 LLM 추론 에너지를 체계적으로 측정한 결과, 출력 토큰당 소비는 언어에 따라 최대 8.3배, 동일 요청의 총 에너지는 영어(17.6 kJ)와 파슈토어(3,147 kJ) 사이에서 최대 179배까지 차이가 난다. 격차는 복잡·희귀 문자 체계의 높은 토큰당 비용과 저자원 언어의 과도한 토큰 생성이 겹치며, 에너지가 큰 언어는 정확도도 낮아 이중 비용·성능 페널티가 나타나고 모델·하드웨어·작업 전반에서 지속된다.

arXiv:2604.00024v3cs.CL

WHBench: 여성 건강 주제에 대한 전문가 참여(Expert-in-the-Loop) 검증을 통한 최전선 LLM 평가

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

대규모 언어 모델(LLM)은 의료 안내에 점점 더 많이 사용되고 있지만, 벤치마크 설계에서 여성 건강은 여전히 충분히 평가되지 않고 있다. 우리는 여성 건강 벤치마크(WHBench)를 제시한다. 이는 10개 여성 건강 주제에 걸친 47개의 전문가가 작성한 시나리오로 구성된 표적 평가 세트로, 구식 가이드라인, 안전하지 않은 누락, 투여량 오류, 형평성 관련 사각지대를 포함한 임상적으로 의미 있는 실패 모드를 드러내도록 설계되었다. 22개 모델을 임상 정확도, 완전성, 안전성, 의사소통 품질, 지시 따르기, 형평성, 불확실성 처리, 가이드라인 준수를 아우르는 23개 기준 루브릭으로 평가하며, 안전성 가중 페널티와 서버 측 점수 재계산을 적용한다. 3,102건의 응답 시도(3,100건 채점) 중 어떤 모델의 평균 성능도 75%를 넘지 못했으며, 최고 모델은 72.1%에 도달했다. 최상위 모델조차 완전 정답률이 낮고 유해율에서 상당한 편차를 보인다. 평가자 간 신뢰도는 응답 라벨 수준에서는 보통이지만 모델 순위에서는 높아, WHBench가 비교적 시스템 평가에 유용함을 뒷받침하면서 임상 배포에서 전문가 감독의 필요성을 강조한다. WHBench는 여성 건강 AI에서 더 안전하고 형평적인 발전을 추적하기 위한 공개적이고 실패 모드를 인식하는 벤치마크를 제공한다.

arXiv:2610.00224v2cs.AI

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2609.22308v2cs.CV

GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크

GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents

코딩 에이전트 벤치마크는 통상 명시적 사양으로부터의 구현을 평가하므로, 규칙이 문서화되어 있지 않고 상호작용을 통해서만 접근 가능한 시스템을 에이전트가 발견하고 재현할 수 있는지는 열려 있는 문제로 남아 있다. 본 연구는 관측 가능한 행동과 결과를 가진 통제된 환경을 제공하는 웹 게임에서 이 능력을 연구하며, 종단 간 블랙박스 게임 복제를 위한 벤치마크 GameReplica를 소개한다. 이 벤치마크는 25개 웹 게임과 다섯 가지 핵심 메커니즘 계열에 걸친 125개 인스턴스로 구성되며, 각 게임은 다섯 가지 난이도로 구현된다. 컨테이너 격리 하에서 에이전트는 행동–스크린샷 인터페이스를 통해서만 대상 게임에 접근하고, 게임 탐색, 복제본 구현, 검증을 반복할 수 있으며, 자체 완결적으로 실행 가능한 복제본과 규칙 체크리스트를 제출한다. 이후 참조 기반 평가가 산출물을 규칙 일관성, 구현 일관성, 시각적 충실도에 대해 별도로 채점한다. 여섯 모델과 다섯 에이전트 런타임에 걸친 실험은 블랙박스 복제가 여전히 어렵다는 점을 보여 준다. Claude Opus 4.8이 71.6%로 가장 높은 Overall 점수를 달성하였고, 다른 모델들은 4.0%~43.0%를 얻었다. 모든 모델이 시각적 충실도에서 가장 높고 규칙 일관성에서 가장 낮은 점수를 받았으며, 이는 외형을 재현하는 것이 메커니즘을 복원하는 것보다 쉽다는 점을 시사한다. 난이도는 격차를 벌린다. L1에서 L5로 갈수록 하위 네 모델은 Overall 점수가 상대적으로 33%~63% 감소한 반면, 가장 강한 모델은 5% 미만 감소하였다. 평가된 구성에서 결과는 에이전트 런타임 간보다 모델 간에 더 크게 달랐으며, 약한 모델의 귀속된 실패 대부분은 복제본 코드를 작성하기 전의 탐색 단계에서 발생하였다. 자료와 대화형 데모는 https://qqqqqqby.github.io/GameReplica/ 에서 제공된다.

arXiv:2607.21186v2quant-ph

OCT 및 치매 영상에서 에뮬레이션된 양자 레이어가 CNN의 성능과 설명 가능성에 미치는 영향

On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging

하이브리드 양자-고전 합성곱 신경망은 고전 딥러닝 모델의 대안으로 제안되어 왔다. 그러나 양자 하드웨어에서 신경망 구성 요소를 실행하면 반복 측정을 통한 기울기 추정과 같은 근본적인 제약이 따르며, 큐비트 수를 늘리면 불모 고원(barren plateau)과 같은 학습 가능성 문제가 발생할 수 있다. 더욱이 이러한 하이브리드 신경망의 보고된 성공은 고전 컴퓨터에서 효율적으로 시뮬레이션될 수 있는 양자 구조와 연관되어 있다. 본 연구는 작고 고전적으로 시뮬레이션되는 양자 회로가 순수 고전 레이어를 대체하여 더 큰 모델 내의 유용한 구성 요소로 기능할 수 있는지를 조사한다. 하이브리드 양자 영감 CNN(HQiCNN)과 표준 CNN 구조를 체계적으로 비교하며, 두 모델은 단 하나의 중간 레이어에서만 다르다. HQiCNN에서는 에뮬레이션된 양자 회로이고 CNN에서는 그에 대응하는 고전 레이어이다. 모델은 두 개의 의료 영상 데이터셋에서 학습 집합 크기, 학습률, 배치 크기, 회로 얽힘, 관측량 집합을 달리하며 평가된다. 엄격한 매개변수 예산 하에서 HQiCNN은 고전 기준 모델보다 우수한 성능을 보인다. 고전 레이어에 더 많은 매개변수를 부여하면 전반적인 성능은 비슷해지며, HQiCNN은 중간 규모 데이터 영역에서만 향상을 보인다. 얽힘을 제거해도 성능은 비슷하고, 더 풍부한 관측량 집합도 성능 향상을 가져오지 않는다. 마지막으로 모델 설명을 비교하기 위한 두 가지 SHAP 기반 지표인 $|$SHAP$|$IoU와 EMD$_{\mathrm{pos}}$를 도입한다. 이들은 모든 구조가 해부학적으로 타당한 영역에 주목하며, 구조 간 공간적 주의 일치도가 학습 집합 크기에 따라 증가함을 보여준다. 이러한 결과는 특정 데이터 영역에서 양자 영감 하이브리드 모델이 의료 영상 분류에서 고전 CNN에 대한 경쟁력 있는 대안임을 시사한다.

arXiv:2607.12713v2cs.SE

코드에 고정된 리뷰 피드백이 대형 R 파일에서 정확성을 향상시키고 호스팅 편집 비용을 낮춘다

Code-Anchored Review Feedback Improves Correctness and Lowers Hosted Editing Cost on Large R Files

토큰은 생성형 AI(GAI) 코드 편집의 비용과 지연 시간을 좌우하며, 정확성은 편집의 유용성을 결정한다. 우리는 인간-AI 협업(HAIC) 채널인 검토자 피드백의 형식이 이 둘에 미치는 영향을 연구한다. 7개 모델과 36개의 합성 base-R 과제를 이용한 쌍체 실험에서, 동일한 수정 요청을 전체 목록 형태(대조군) 또는 FileMark의 내보내기 형태(처리군)로 전달하였다. 이 코드 리뷰 확장 도구는 각 코멘트를 해당 코드에 고정하고 그 코드를 인용한다. 일반적인 과제에서 총 토큰 수는 모델에 따라 -4.2%에서 +14.7%까지 변했으나, 출력 토큰은 Claude Opus에서 14.7%, Claude Sonnet에서 50.5\% 감소하였다. 출력 토큰의 비용이 입력 토큰의 5배이므로, 100줄을 초과하는 파일에서 편집의 호스팅 비용은 Opus에서 20.0%, Sonnet에서 46.3% 감소하였다. 처리군은 다섯 개의 로컬 모델 중 네 개에서 정확하게 실행된 비율을 24%에서 46%까지 높였다. 분해 실험은 이러한 이득이 표현이 아닌 형식에서, 그리고 대부분 인용된 코드에서 비롯됨을 보여 준다. 고정 위치가 잘못되면 정확성이 크게 떨어진다. 따라서 코드에 고정된 피드백은 앵커가 정확하다면 대형 R 파일에서 호스팅 편집 비용을 낮추고 성능이 낮은 모델의 정확성을 높인다.

arXiv:2607.09583v2cs.CV

위에서 본 프롬프트 기반 개념 분할: 원격 탐사에서 SAM 3의 제로샷 텍스트 및 시각 프롬프팅 평가

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Segment Anything Model 3(SAM 3)와 같은 대규모 파운데이션 모델은 개방형 어휘와 무학습 컴퓨터 비전으로의 전환을 약속한다. 그러나 이러한 모델이 지구 관측 영상의 하향식 기하 구조라는 분포 외 영역으로 일반화하는 능력은 아직 거의 정량화되지 않았다. 우리는 미세 조정 없이 원격 탐사 장면 분류, 객체 탐지, 인스턴스 분할에 걸쳐 SAM 3를 다중 과제로 경험적으로 평가한다. 장면 분류에서는 분리된 이진 존재 헤드(binary presence head)를 독립적인 제로샷 분류기로 재활용한다. 탐지와 분할에서는 텍스트 프롬프트와 시각 프롬프트를 비교하며, 여기서 시각 프롬프트는 분할 대상 이미지 안에 있는 목표 클래스의 실제 인스턴스 하나를 제시한다. 텍스트만 사용하면 성능이 낮고, 시각 프롬프트를 추가하면 정확도가 크게 오르며, 둘을 결합하면 과제에 따라 정확도가 오르기도 하고 내리기도 한다. 또한 동일한 평가 프로토콜에서 SAM 3의 텍스트 전용 성능을 여러 일반 도메인 개방형 어휘 탐지 및 분할 모델과 비교한 결과, 두 벤치마크 모두에서 모든 모델을 앞선다. 그럼에도 시각 프롬프트가 없을 때의 정확도는 여전히 제한적이며, 이는 향후 연구 방향으로서 매개변수 효율적 미세 조정의 필요성을 시사한다.

arXiv:2607.07984v2cs.AI

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2607.01523v2cs.LG

멀티 헤드 순환 메모리 에이전트

Multi-Head Recurrent Memory Agents

순환 메모리 에이전트는 입력을 고정 크기 메모리 창에 반복적으로 통합함으로써 LLM을 임의로 긴 문맥으로 확장한다. 확장성에도 불구하고 이러한 에이전트는 문맥 길이가 늘어남에 따라 종단간 성능이 체계적으로 저하되는, 잘 알려진 신뢰성 문제를 보인다. 본 논문은 성능을 메모리 포착과 메모리 보존이라는 두 요인으로 분해하여 이 실패를 진단하고, 보존이 지배적인 병목임을 정량적으로 확인한다. 기존 설계는 메모리를 단일한 텍스트 블록으로 유지하여 모든 갱신이 이전에 보존된 내용을 덮어쓸 위험을 안기 때문에 보존이 붕괴한다. 이러한 진단에 기반하여, 메모리를 독립적인 헤드로 분할하고 단계별 선택 후 갱신 전략으로 운용하는 일반적이고 학습이 필요 없는 프레임워크인 멀티 헤드 순환 메모리(MHM)를 제안한다. 각 단계에서 정확히 하나의 헤드만 갱신 대상으로 선택되고 나머지 헤드는 구조적으로 덮어쓰기로부터 보호되어, 보존의 부담이 모델 행동에서 아키텍처 설계로 옮겨진다. 경량 구현으로 추가 토큰 오버헤드 없이 헤드의 균일한 활용을 보장하는 최소 최근 갱신 MHM(MHM-LRU)을 소개한다. 장문맥 벤치마크에 대한 폭넓은 실험에서 MHM-LRU는 기준선이 급격히 저하되는 100K--1M 토큰 범위 전반에서 보존율과 종단간 정확도를 모두 크게 향상시킨다. 896K 토큰의 RULER-HQA에서 MHM-LRU는 메모리 보존율을 30% 미만에서 73.96%로 끌어올린다. 이러한 이득은 모델 계열, 규모, 과제 유형 전반으로 일반화되며, 아키텍처 최적화가 신뢰할 수 있는 장문맥 순환 메모리로 가는 실용적이고 비용 효율적인 경로임을 보여준다.

arXiv:2606.27539v2cs.SI

멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹

Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

소셜 미디어 인기도 예측은 초기 단계의 관측으로부터 온라인 콘텐츠의 향후 도달 범위나 영향력을 예측하는 것을 목표로 한다. 정확한 예측은 광고 최적화나 사용자, 크리에이터, 플랫폼의 전략적 콘텐츠 기획과 같은 주요 하위 응용을 가능하게 한다. 상당한 진전에도 불구하고, 기존의 인기도 예측 연구는 멀티모달 콘텐츠와 시간적 소셜 상호작용 신호를 함께 고려하지 못하는 경우가 많다. 더욱이 관련 문헌은 데이터셋, 모달리티, 관측 윈도우, 예측 대상, 평가 프로토콜에 걸쳐 매우 파편화되어 있다. 이러한 파편화는 공정한 비교를 방해하고, 텍스트, 시각, 시간, 상호작용 기반 신호가 인기도 역학을 어떻게 함께 형성하는지에 대한 체계적인 이해를 가린다. 이러한 문제를 해결하기 위해, 본 논문은 데이터셋, 모달리티, 시간적 상호작용 신호, 대표적인 베이스라인을 표준화된 평가 프로토콜 아래 통합하는 멀티모달 그래프 기반 인기도 예측 벤치마크인 MMG-Pop을 제안한다. 나아가 앞서 언급한 멀티모달 신호와 그래프 구조의 소셜 상호작용을 함께 모델링하는 통합 멀티모달 그래프 기반 네트워크인 MMG-PopNet을 제안한다. Bluesky와 Reddit 플랫폼에 걸친 MMG-Pop에서의 폭넓은 실험은 MMG-PopNet의 우수한 성능을 보여 주며, 플랫폼 간 학습 일반화, 멀티태스크 예측의 이점, 멀티모달리티의 기여, LLM 예측의 한계에 대한 새로운 통찰을 제공한다. 이러한 발견은 이질적인 모달리티와 사회 인식 에이전트 생태계 패러다임 하에서의 사회적 역학 모델링 및 개입에 관한 향후 연구의 토대를 마련한다.

arXiv:2606.07379v3cs.LG

코딩 에이전트가 우리를 속이는가? 무작위 테스트를 통한 상한 평가로 부정행위 탐지 및 예방

Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests

A growing failure mode in agent evaluation and training is that models can achieve high evaluation scores (e.g., test pass rates) by exploiting shortcuts instead of solving the intended task, making these scores deceptive. This makes evaluation scores unreliable as measures of true task-solving ability. We propose CapCode, a framework for constructing coding datasets with randomized tests whose best achievable non-cheating score is deliberately capped below 100%. This capped-score design gives evaluation scores a clearer interpretation: scores substantially above the cap are implausible and therefore provide evidence of cheating. To prevent cheating, we propose CapReward, a reward design based on the CapCode principle to discourage optimization beyond the cap. Experiments across multiple datasets show that CapCode detects cheating while preserving performance ranking of models, and CapReward reduces cheating behavior, yielding models that better follow the intended task specification.

arXiv:2601.00821v5cs.AI

구조보다 충실도: 장기 대화 LLM 메모리에서 원문 청크가 손실성 아티팩트 추출을 능가한다

Fidelity Before Structure: Verbatim Chunks Beat Lossy Artifact Extraction in Long-Conversation LLM Memory

점점 늘어나는 대화형 메모리 시스템은 대화 이력을 구조화된 산출물(추출된 사실, 결정 또는 사건)로 압축한다. 그 전제는 정제된 구조가 원문 텍스트보다 더 잘 검색된다는 것이다. 본 연구는 통제된 절제 실험으로 이 전제를 검증한다. 하나의 고정된 검색-재순위화-추론 파이프라인 안에서 저장되는 표현(LLM이 추출한 유형별 산출물 대 원문 그대로의 대화 청크)만 바꾸고, 모델, 검색기, 재순위화기, 판정기는 동일하게 유지하였다. 원문 청크는 LoCoMo에서 15.9포인트(43.9% 대 28.0%), LongMemEval-S에서 22.0포인트(67.4% 대 45.4%) 앞섰다. 의미 그래프도 이 격차를 만회하지 못했으며, 여섯 가지 교란 요인 통제 실험에서도 같은 효과가 재현되었다. 그 원인은 구조 자체가 아니라 손실이 있는 정제이다. 정확도는 저장소에 원문 텍스트가 얼마나 남아 있는지에 비례하며, 추출 산출물 파이프라인은 전체 정확도에서 단순 RAG를 능가하지 못한다(다만 청크 방식은 응답 보류 성능이 더 나쁘다. 한계점 참조). 본 연구에서 시험한 추출 설계에 한해, 구조화된 메모리는 원문 텍스트를 대체하기보다 보강해야 한다. 청크와 함께 산출물을 추가하는 것은 검출 가능한 정확도 손실이 없는 반면, 산출물로 대체하면 그 격차의 이점을 잃는다. 코드와 데이터는 https://github.com/tao-hpu/cog-canvas 에서 확인할 수 있다.

arXiv:2504.15564v4cs.SE

OpenClassGen: LLM 연구를 위한 실제 Python 클래스의 대규모 코퍼스

OpenClassGen: A Large-Scale Corpus of Real-World Python Classes for LLM Research

기존의 클래스 수준 코드 생성 데이터셋은 합성 데이터(ClassEval: 100개 클래스)이거나 현대의 훈련 요구에 비해 규모가 부족하여(RealClassEval: 400개 클래스), 견고한 평가와 실증 분석을 저해한다. 본 논문은 공학적으로 개발된 2,970개 오픈소스 프로젝트에서 추출한 324,843개 Python 클래스로 이루어진 대규모 코퍼스인 OpenClassGen을 제시한다. 각 항목은 사람이 작성한 클래스와 그에 대응하는 스켈레톤을 짝지으며, 스켈레톤은 클래스 및 메서드 시그니처와 관련 docstring으로 구성된다. 또한 복잡도, 결합도, 응집도, 상속 특성을 포괄하는 27개의 정적 코드 메트릭으로 보강되어 있다. 저장소 수준의 문맥 해석을 요구하는 기존 벤치마크와 달리, OpenClassGen은 완전한 생성 명세로 기능하는 자기 완결적 클래스 스켈레톤을 제공한다. 분기 커버리지 58%를 달성하는 테스트 스위트로 보강된, 선별된 실행 가능 300개 클래스 부분집합에서 세 가지 LLM(GPT-o4-mini, Claude-4-Sonnet, Qwen-3-Coder)을 평가하여 이 코퍼스의 유용성을 보인다. 결과는 강한 의미적 유사도(CodeBERTScore-F3: 0.89)와 중간 수준의 기능적 정확도(통과율: 0.33)를 보이며, 모델 간 편차가 상당하다. 이러한 편차와 다양한 클래스 특성은 OpenClassGen이 LLM 능력의 의미 있는 구분을 가능하게 함을 확인해 준다. 이 데이터셋은 미세 조정, 검색 증강 생성, 난이도 모델링, 실패 모드 분석을 포함한 다양한 용도를 지원한다. 전체 데이터셋과 정제 스크립트는 https://zenodo.org/records/18409150 에 공개되어 있다.

arXiv:2503.08823v3cs.AR

ResBench: 자원 인식을 고려한 LLM 생성 FPGA 설계 벤치마킹

ResBench: Benchmarking LLM-Generated FPGA Designs with Resource Awareness

현장 프로그래머블 게이트 어레이(FPGA)는 현대 하드웨어 설계에 널리 사용되지만, FPGA 구현을 위한 하드웨어 기술 언어(HDL) 코드를 작성하는 일은 여전히 복잡하고 시간이 많이 드는 작업이다. 대규모 언어 모델(LLM)은 HDL 생성을 위한 유망한 도구로 부상했으나, LLM 기반 코드 생성에 대한 기존 벤치마크는 주로 기능적 정확성에 초점을 맞추고 하드웨어 자원 사용량은 간과하고 있다. 더욱이 현재의 벤치마크는 다양성이 제한적이어서 실제 FPGA 응용의 폭넓은 범위를 충분히 대표하지 못한다. 이러한 한계를 해결하기 위해, 본 논문은 자원에 최적화된 LLM 생성 HDL 코드와 비효율적인 코드를 구분하도록 명시적으로 설계된 최초의 자원 중심 벤치마크인 ResBench를 제안한다. ResBench는 유한 상태 기계에서 금융 연산에 이르는 응용을 아우르는 12개 범주의 56개 문제로 구성된다. 오픈소스 평가 프레임워크는 Verilog 코드를 생성하고 정확성을 검증하며 자원 사용량을 측정하여 LLM을 자동으로 시험한다. 주로 룩업 테이블(LUT) 사용량을 분석한 실험에서 LLM 간에 상당한 차이가 드러났으며, 이는 ResBench가 자원에 더 최적화된 FPGA 설계를 생성하는 모델을 식별할 수 있음을 보여준다.

arXiv:2410.07158v3cs.LG공식 코드 · Papers with Code

quanda: 학습 데이터 기여도 평가를 위한 해석 가능성 툴킷

quanda: An Interpretability Toolkit for Training Data Attribution Evaluation

학습 데이터 기여도(TDA) 방법은 개별 학습 샘플이 모델의 예측에 미치는 영향을 추정하여 신경망을 해석하기 위한 원칙적인 관점을 제공한다. 방법론이 빠르게 발전했음에도 불구하고 TDA 평가는 여러 논문에 흩어져 있고 재현이 거의 이루어지지 않아 방법 간 공정한 비교가 어렵다. 우리는 TDA 평가를 표준화하는 Python 툴킷인 quanda를 소개한다. quanda는 이미지 분류, 텍스트 분류, 언어 모델링을 아우르는 포괄적인 평가 지표 모음과 바로 사용할 수 있는 벤치마크, 그리고 다양한 TDA 구현을 통합하기 위한 균일한 인터페이스를 제공한다. 기존 TDA 방법에 대한 비교 연구를 통해 quanda를 시연하며, 모든 지표에서 일관되게 우수한 접근법은 없고 실제 정답에 대한 충실도와 하위 과제 성능 사이에 뚜렷한 상충 관계가 있음을 확인한다. quanda는 TDA 관련 도구를 통합함으로써 커뮤니티가 기여도 방법을 엄밀하고 재현 가능하게 평가할 수 있도록 한다. 이 툴킷은 철저히 테스트되고 문서화되어 있으며 PyPI와 https://github.com/dilyabareeva/quanda 에서 오픈소스 라이브러리로 제공된다.

arXiv:2407.06168v2cs.RO

TARGO와 TARGO-Net: 가려짐 상황에서의 목표 지향 물체 파지 벤치마킹

TARGO and TARGO-Net: Benchmarking Target-driven Object Grasping under Occlusions

단일 RGB-D 프레임으로부터 6-DoF 파지 자세를 예측하는 연구는 최근 인상적인 정확도를 달성했으나, 대상 물체가 어수선한 물체들에 심하게 가려지면 성능이 크게 저하될 수 있다. 본 논문에서는 가려짐 상황에서의 목표 지향 파지(TARget-driven Grasping under Occlusions)를 위한 최초의 벤치마크 데이터셋인 TARGO를 구축하고, 시각적 가려짐을 고려하여 설계된 파지 예측 모델 TARGO-Net을 제안한다. 주요 기여는 네 가지이다. 1) 단일 시점 RGB-D 6-DoF 파지에서의 시각적 가려짐 문제를 규명하고, 현재의 최첨단 모델이 심한 가려짐 하에서 여전히 성능이 저하됨을 보인다. 2) 서로 다른 시각적 가려짐 수준에 걸쳐 6-DoF 파지 모델의 학습과 시험을 지원하고 실제 환경에서의 견고성 평가를 가능하게 하는 TARGO 데이터셋을 제안한다. 3) 대상 완성 모듈과 대상-장면 교차 어텐션을 갖춘 트랜스포머 기반 파지 모델 TARGO-Net을 고안하며, 이 모델은 모든 시각적 가려짐 수준에서 가장 견고한 성능을 달성한다. 4) 시각적 가려짐 외에도 대상 완성도, 가림 물체의 수, 대상의 최소 치수가 파지 성공과 관련됨을 보인다.

arXiv:2406.10891v4cs.CV공식 코드 · Papers with Code

스푸마토 지도: 잡음 레이블을 이용한 인스턴스 분할 학습

Sfumato Supervision: Learning Instance Segmentation with Noisy Labels

인스턴스 분할에는 정밀한 물체 마스크가 필요하지만, 사람 주석자와 프롬프트 기반 모델 모두 신뢰할 수 없는 윤곽선을 만들어낼 수 있다. 윤곽선 근처의 높은 예측 손실이 반드시 주석 오류를 의미하는 것은 아니며, 유효한 경계도 불확실할 수 있다. 대상과 주변 사이의 전이를 부드럽게 하는 레오나르도 다 빈치의 \emph{스푸마토}에서 영감을 받아, 본 논문은 \textbf{\texttt{CB-LNL} (Copula-Boundary Learning with Noisy Labels)}를 제안한다. CB-LNL은 각 윤곽선 픽셀을 개별적으로 판단하는 대신, 마스크 내부의 전경 증거와 외부의 배경 증거를 결합하여 국소 지도와 주석 수정을 유도한다. 우리는 짝지어진 COCO와 LVIS 주석에 대한 감사(audit)에 이 접근법의 근거를 두고, 사람 주석, 약한 프롬프트의 SAM2 마스크, 자연 및 주행 장면에서의 통제된 오염을 포괄하는 벤치마크를 도입한다. 통제된 비교 결과, 절차적으로 생성된 윤곽선 잡음에 대한 학습이 개선되었으며 교사 마스크를 직접 대체하는 방식보다 해로운 수정이 적었다. 짝지은 시드 평가와 고정 예측 평가는 이러한 이점이 주석 출처에 따라 어떻게 달라지는지를 보여 주며, 범주 신뢰도와 윤곽선 신뢰도를 분리하여 평가해야 함을 뒷받침한다.

arXiv:2607.21118v2cs.CV

제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과

The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results

본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.

arXiv:2607.07738v3cs.SE

REFORGE: 역공학 능력 벤치마킹을 위한 방법 — 역컴파일된 바이너리 함수 명명에서의 LLM 평가

REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming

대규모 언어 모델(LLM)이 리버스 엔지니어링 과업에 점점 더 많이 적용되고 있으며, 최근 위협 인텔리전스 보고는 LLM이 실제 공격적 보안 워크플로 안에서 활용되고 있음을 보여준다. 그러나 이들의 능력에 대한 주장은 이를 측정하는 우리의 역량을 앞지르고 있다. LLM 지원 바이너리 분석을 위한 기존 벤치마크는 함수 수준 정답 데이터의 구축을 이미 해결된 전처리 단계로 취급하며, 신뢰성 있게 평가 가능했던 함수가 몇 개인지 공개하지 않은 채 정확도를 보고한다. 본 논문은 공정한 평가의 주된 장애물이 모델 능력이 아니라 컴파일러 최적화 하에서 바이너리-소스 정렬의 신뢰성이라고 주장한다. 본 논문은 C 소스로부터 컴파일, DWARF 및 구문 추출, 정렬, 디컴파일을 거쳐 함수 수준 정답 데이터를 구축하고, 정렬 불확실성을 3단계 층화를 갖춘 8개 게이트의 신뢰도 깔때기로 구체화하는 출처 추적 파이프라인인 Reforge를 제시한다. 통제된 마이크로 벤치마크에서 고신뢰 산출률은 최적화 수준에 따라 87.2%에서 65.9%로 하락하며, 쌍을 이루지 않은 비교는 생존 편향으로 인해 최적화로 인한 성능 저하를 과대평가한다. 함수 이름 예측에 대한 7개의 최신 LLM의 개념 증명 평가는 이 개념의 타당성을 입증하며, 전반적으로 불확실성을 고려한 벤치마킹 관행의 필요성을 뒷받침한다.