PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01006v1cs.AI

답변 신뢰도를 넘어서: 블랙박스 의사결정 모델의 자기 지식에 대한 통제된 감사

Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model

의사결정 모델(decision model)은 라우팅, 기권, 자동화된 조치를 목적으로 확률을 반환합니다. 캘리브레이션(calibration)은 이러한 확률을 평균적으로 유용하게 만들지만, 낮은 신뢰도가 단순 우연을 반영하는지 혹은 결측된 지식을 반영하는지, 그리고 모델이 자신이 아는 범위를 벗어날 때 신뢰도가 떨어지는지는 규명하지 못합니다. 본 연구에서는 고정된 항목에 제공되는 정보를 변화시키는 쌍체 개입을 활용하여, 15개 이상의 공개 데이터셋과 6개의 생성된 태스크 패밀리를 통해 의사결정 모델인 Jev에서 이러한 차이를 감사(audit)합니다. Jev의 신뢰도는 익숙한 폐쇄형 선택 태스크에서는 잘 보정(calibrated)되지만, 결측된 지식을 나타내는 지표로서는 실패합니다. 답변 관련 정보가 전혀 없는 경우에도 두드러진 선택지에 최대 0.80을 할당하며, 관찰된 지식 경계를 벗어난 뉴스에서는 정확도보다 0.21~0.33 높은 값을 보여 이전 달의 데이터로 재보정해도 이 격차는 좁혀지지 않습니다. 타깃팅된 예/아니오 질문은 해당 사례에 대해 더 명확한 판독 결과를 제공합니다. 결과가 확정되었는지 여부(AUROC 1.00) 및 증거가 충분한지 여부(동일 항목의 신뢰도 0.85 대비 0.95)를 더 잘 포착합니다. Jev에게 답을 알고 있는지 묻는 방식은 조작된 개체와 지식 경계 이후의 뉴스를 식별(0.91)하는 것처럼 보이지만, 현실적인 이름이 주어지거나 날짜가 제거되면 답변 불확실성 대비 아무런 이점을 보이지 않습니다. 따라서 블랙박스 지식 감사에는 표면적 단서에 대한 명시적인 통제가 필요합니다. 코드: https://github.com/Syntheme/beyond-answer-confidence.

arXiv:2607.05382v3cs.CV

가르칠 수 있는 것을 넘어선 탐색: 에이전틱 시각 생성에서 지식 경계의 진화

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

시각 생성 모델이 학습 데이터 범위를 벗어난 세계 지식을 요구하는 사용자 요청에서 구조적으로 실패한다는 문제를 다루며, 12가지 실패 범주·22개 도메인에 걸친 20,839개 프롬프트로 구성된 SearchGen-20K/SearchGen-Bench와 멀티모달 SearchGen-Corpus-1M을 구축하고 teach-then-search 공동 학습 프레임워크를 제안한다. 단순 검색이 오히려 노이즈를 주입해 성능을 저하시킴을 밝히고, 생성 모델별로 변화하는 지식 경계를 발견·활용하는 노이즈 저항 에이전틱 추론기와 공동 학습 레시피를 통해 SearchGen-Bench에서 단조적인 성능 향상을 달성했다.

arXiv:2606.29863v1cs.CL

KbSD: 에이전틱 검색에서의 행동 보정을 위한 지식 경계 인식 자기 증류

KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

에이전틱 검색은 대규모 언어 모델(LLM)에 동적 검색 능력을 부여하지만, 기존의 강화학습 방법은 지식 경계 보정 — 파라메트릭 메모리를 신뢰할 시점, 검색된 증거에 의존할 시점, 그리고 답변을 자제할 시점을 결정하는 것 — 에서 보상 희소성의 한계를 지닌다. 이진(binary) 보상은 바람직하지 않은 결과에 페널티를 부여할 수 있지만, 다양한 지식 상태에 걸쳐 보정된 결정을 내리는 데 필요한 추론 과정에 대한 지침은 거의 제공하지 못한다. 이를 해결하기 위해 우리는 KbSD(Knowledge boundary Self-Distillation)를 제안한다. 이는 밀집 토큰 수준 감독, 결과 수준 희소 보상, 사분면 적응형 최적화를 통해 이 한계를 극복하는 프레임워크이다. KbSD는 학생 모델과 구조적으로 동일한 힌트 증강(hint-augmented) 교사 모델을 구성하며, 이 교사 모델은 파라메트릭 확실성, 검색 품질, 정답을 포함한 명시적 지식 경계 신호를 수신하여 보정된 추론 시연을 생성한다. 이러한 정보 비대칭 자기 증류는 더 큰 외부 모델 없이도 밀집 감독을 가능하게 한다. 지식 상태에 따른 이질적인 추론 분포를 추가로 고려하기 위해, 우리는 사분면 적응형 증류 목표를 도입한다: 집중적 통합을 위한 역방향 KL, 다양한 거부를 위한 순방향 KL, 그리고 정밀도와 커버리지를 모두 필요로 하는 비대칭 사분면을 위한 파레토 최적 양방향 KL이다. 다양한 벤치마크에서의 실험 결과, KbSD는 강력한 기준선 대비 과제 정확도와 환각(hallucination) 완화 모두에서 일관된 개선을 보이며, 특히 희소 보상이 가장 정보를 제공하지 못하는 어려운 사분면에서 가장 큰 성능 향상을 나타낸다.