PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.23631v1cs.LG

FairPGT: 이중 수준 공정 그래프 군집화를 위한 분할 그래프 트랜스포머

FairPGT: Partitioned Graph Transformers for Dual-Level Fair Graph Clustering

속성 그래프에 대한 군집화는, 특히 커뮤니티가 보호 집단과 일치할 때 인구통계학적으로 편향된 군집을 만들 수 있다. 그래프 트랜스포머는 동일 집단 어텐션을 통해 이러한 편향을 증폭할 수 있으며, 전역 어텐션은 확장성을 제한한다. 우리는 공정한 그래프 군집화를 위한 분할 그래프 트랜스포머인 FairPGT를 제안한다. FairPGT는 어텐션을 METIS 분할 내부로 제한하고 라우팅 토큰을 통해 분할들을 연결하며, 이를 통해 어텐션의 이차 비용을 분할 수로 나눈다. 그래프 인식 자기 학습 목표가 군집화를 안내하며, 이 목표는 표준 DEC 목표와의 편차가 증명 가능하게 유계이다. 공정성은 두 수준에서 부과된다. 상호 정보량 항은 군집 할당에서 인구통계학적 균형(demographic parity)을 촉진하고, 정규화된 교차 집단 어텐션 비율(nCGAR)은 자기 증류를 통해 어텐션이 집단 중립성을 향하도록 안내한다. 우리는 nCGAR 보정이 어텐션을 중립성 쪽으로 이동시킴을 증명하고, 과도한 이동을 방지하는 조건을 제시한다. 일곱 개의 벤치마크 전반에서 FairPGT는 가장 큰 세 그래프(Credit, Pokec-n, Pokec-z)에서 최고의 군집화 성능과 통계적 균형을 달성하였으며, 통계적 균형 격차는 DMoN보다 약 열 배 낮고, 하나의 데이터셋에서만 파레토 열위에 놓인다. 통제된 확률적 블록 모형에서 FairPGT는 커뮤니티와 보호 집단이 일치할 때 정확히 공정한 군집화에 대해 도출된 NMI 상한의 97%에 도달한다. 이 그래프들은 또한 강한 정렬 하에서 할당 수준의 공정성만으로는 어텐션이 집단 이질적(group-heterophilous)이 되고, 어텐션 수준의 공정성만으로는 중립성은 개선되지만 공정한 군집이 보장되지 않음을 보여준다. 재현을 위한 코드는 https://github.com/SiamakGhodsi/FairPGT 에서 확인할 수 있다.

arXiv:2611.23629v1cs.DB

값 의미 계층: 에이전트 AI를 위한 기계 이해 가능 데이터베이스 구현

The Value Semantics Layer: Enabling Machine-Understandable Databases for Agentic AI

데이터 시스템이 인간 분석가와 함께 자율적인 LLM 기반 에이전트를 점점 더 지원함에 따라, 분석적 개념과 분석 연산을 잇는 더 풍부한 의미 인프라가 필요하다. 기존 메타데이터 시스템은 스키마, 카탈로그, 계보, 거버넌스 정보를 제공하지만 운영적 의미를 표현하는 데에는 제한적인 지원만 제공한다. 우리는 값 의미를 지속적이고 플래너가 볼 수 있는 인프라로 외부화하는 아키텍처 추상화인 값 의미 계층(Value Semantics Layer, VSL)을 제안한다. VSL은 분포적, 관계적, 프로세스적, 정량적, 정책 기반 의미를 포착하는 재사용 가능한 운영적 의미 단언인 값 의미 유형(Value Semantic Types, VST)을 도입한다. 기술적 메타데이터와 달리 VST는 플래너가 분석 연산을 검증하고, 적절한 연산자를 선택하며, 분석 워크플로를 안내할 수 있게 한다. 우리는 VSL의 동기, 형식화, 아키텍처, 프로토타입 구현을 제시하고, 분석 시스템을 위한 AI 네이티브 의미 인프라를 향한 연구 의제를 제시한다.

arXiv:2611.23613v1cs.MA

MANGO Arena: 같은 시드, 다른 공급망 — 교란된 공급망에서의 LLM 에이전트 평가

MANGO Arena: Same Seeds, Different Chains Evaluating LLM Agents in a Disrupted Supply Chain

우리는 MANGO Arena를 소개한다. 이는 오픈소스 테스트베드로, 강의용 공장 관리 게임인 MANGO를 개조한 직렬 공급망에서 네 개의 LLM 에이전트가 각각 한 기업을 운영한다. 이 환경은 엄격한 규칙(트럭 제한, 외상 불가 현금 제약, 생산 능력)을 강제하고, 이를 어기려는 모든 차단된 시도를 기록하며, 부대 지급이 명시적으로 금지된 공용 메시지 게시판을 에이전트에게 제공한다. 이를 통해 하나의 환경에서 경제적 결과(채찍 효과), 압박 하의 규칙 준수, 담합 제안이라는 세 가지를 동시에 측정할 수 있다. 세 개의 소형 추론 모델, 두 개의 스크립트 기반 기준 정책, 두 가지 조건(공급업체 화재 유무), 세 개의 수요 시드로 수행한 파일럿에서, 모든 LLM 에이전트는 수요 변동성을 상류로 갈수록 증폭시켰으며 소매업체에서 7~25배, 공급업체에서 13~179배였고 이는 흔히 교과서적인 order-up-to 정책보다 컸다. 이는 대체로 주문을 배치로 묶어 넣는 방식(최대 60%의 의사결정에서 주문량 0)으로 나타났다. 실제 규칙 위반은 드물었고(모델당 288건의 의사결정 중 최대 7건) 어떤 에이전트도 금전적 이면 거래를 제안하지 않았다. 파일럿의 주된 교훈은 평가 방법에 관한 것이다. API 실패(속도 제한과 폭주하는 숨은 추론)가 "주문 없음" 결정으로 지표에 조용히 반영되었다. 그리고 같은 시드로 실패한 호출 없이 게임을 다시 실행했을 때, 상류의 채찍 효과가 실행 간에 최대 17배까지 달라졌다. 시드가 세 개인 경우, 교란이 특정 모델에 어떤 영향을 미치는지에 대한 결론은 재실행에서 유지되지 않았다. 우리는 이러한 실패를 전부 보고하고 이런 종류의 다중 에이전트 평가를 위한 보고 관행을 제안한다. 코드, 프롬프트, 기록된 모든 의사결정이 공개되어 있다.

arXiv:2611.23611v1cs.AI

RefinementGuard: 숨겨진 에이전트-도구 실행을 위한 반례 기반 의미 자격 검증

RefinementGuard: Counterexample-Directed Semantic Qualification for Hidden Agent-Tool Execution

도구 런타임은 에이전트가 선택한 연산을 숨겨진 병렬 그래프로 낮출 수 있으며, 이는 지연 시간과 컨텍스트를 줄이지만 의미 오역의 위험이 있다. 우리는 RefinementGuard를 소개한다. 이는 숨겨진 부수 효과가 있는 에이전트-도구 로어링에 대한 번역 검증(translation validation)을 산출물에 결합된 fail-closed 런타임 승인과 연결한 것이다. 자격 검증은 명시적인 부모 연산 의무 조건을 사용하여 격리된 상태에서 후보 그래프를 독립적인 참조와 비교한다. 우리는 통제된 저장소에서 버그 위치 파악과 패치 검증이라는 두 가지 저장소 수준 계약을 평가한다. 한 명의 사람이 판정한, 활성화된 비등가 개발/자격 검증 결함 100개 중에서 부모 의미 검증은 49/100을 기각한다(연산자 클러스터 부트스트랩 95% CI [33.7%, 64.8%]). 목표는 최대 변이 기각이 아니라 선택적 승인이다. 정확한 동일성 검사는 결함 100/100을 기각하지만 유효한 변형 60개도 모두 기각하는 반면, 의무 조건 기반 검증은 60/60을 승인하며, 그 잔여 누락 51건은 구체적인 명세상의 공백을 보여 준다. 고정된 분리 입력 분할에서 보류된 B2-B3 결과는 패치 변이체 21개가 구조적으로 실패하므로 위치 파악에 한정되며, B3는 위치 파악 결함 38/56을 기각한다. 통제된 비동기 지연 환경에서 위치 파악의 직렬/보호 중앙값 지연 시간 비율은 4.50배이고, 숨겨진 실행은 가시적 실행보다 부모에게 보이는 컨텍스트를 74.3% 적게 노출한다. 패치 검증은 입증된 속도 향상을 보이지 않으며, 지연이 없는 실행에서는 오버헤드가 드러난다. 따라서 종단 간 자격 검증은 위치 파악의 병렬성을 유지하면서 하위 계층의 누락을 탐지한다.

arXiv:2611.23608v1cs.LG

전이 가능한 최적화기로서의 JEPA: 보상에 무관한 사전 학습으로부터 블랙박스 최적화를 학습하고 이해하기

JEPA as a Transferable Optimizer: Learning and Understanding Black-Box Optimization from Reward-Agnostic Pretraining

블랙박스 최적화는 기울기 없이 시뮬레이션, 롤아웃 또는 실험을 통해 후보를 평가하는 경우가 많다. 학습된 최적화기는 보통 기존 방법을 능가하는지로 판단된다. 우리는 이를 보완하는 질문을 던진다. 학습된 최적화기는 탐색 이력에서 어떤 정보를 사용하는가? 우리는 Joint-Embedding Predictive Architecture에 기반한 JEPA-PS(JEPA Policy Search)를 소개한다. 이는 파라미터 벡터와 스칼라 반환값을 사용하여 무작위 롤아웃으로 사전 학습된다. 잠재 예측 목적함수는 보상이나 기울기가 아니라 최적화 궤적의 다음 지점을 예측하므로, 무엇을 시도했고 얼마나 잘 수행되었는지를 살펴볼 수 있다. 테스트 시 JEPA-PS는 짧은 평가 이력을 읽고 과제 설명, 보상 설계, 테스트 시 기울기 없이 한 번의 순전파로 후보를 제안한다. 우리는 진화 기법, 베이지안 최적화, CMA-ES, LLM 최적화기를 포함한 12개 최적화기와 비교하여 15개 제어 환경에서 이를 평가한다. JEPA-PS는 튜닝된 고전 기준선과 대등하며, Swimmer에서 단계당 비용이 71배 낮으면서 LLM 최적화기를 2배 넘게 능가한다. 또한 사전 학습에서 제외된 환경으로 제로샷 전이된다. 널 모델 비교와 디코더 학습 절제 실험은 그 잠재 표현이 단순한 이력 통계를 넘어서는 정보를 담고 있음을 시사하며, 학습된 모든 디코더 변형은 기본 동결 표현보다 성능이 나쁘다. 우리의 주요 발견은 JEPA-PS가 사용하는 이력이 과제에 따라 달라진다는 것이다. 매끄러운 지형에서는 전체 궤적을 사용하는 반면, 거친 지형에서는 가장 좋았던 지점이 거의 모든 신호를 담고 있다. 이러한 기억 요구량은 적합도-거리 상관(FDC; r=0.112, n=7)과 약한 양의 상관을 보이지만, 독립적인 보상 순서 민감도 탐침은 이 관계를 뒷받침하지 않는다(r=-0.024, n=7). 코드: https://github.com/mdebnath22/jepa-props.

arXiv:2611.23601v1cs.CL

FutureBench: LLM의 지식-컨텍스트 충돌 평가를 위한 갱신 가능한 프레임워크

FutureBench: A Renewable Framework for Evaluating Knowledge-Context Conflict in LLMs

모델에게 검색된 텍스트를 검증하라고 요청하는 것은 어느 출처를 신뢰할지도 알려 줄 수 있다. 우리는 시간 표시가 있는 질문, 통제된 지문 삼중쌍, 컨텍스트 없는 탐침을 사용하여 지식-컨텍스트 충돌을 평가하는 갱신 가능한 프레임워크인 FutureBench를 소개한다. 3,629개 질문과 여섯 개 모델에 걸쳐, Verify(검증과 지문 우선을 결합한 프롬프트)는 컨텍스트 기준 시점 이전 사건에 대해 시험한 다섯 모델 모두에서 오답 채택을 높이며, 이는 주로 지문 증거와 모델 지식을 모두 허용하는 Baseline에서는 정답이었던 답을 밀어내는 방식으로 나타난다. 기준 시점 이후 사건에서는 o4-mini만 채택이 증가한다(+13.7 퍼센트포인트). 기준 시점 이후 질문 902개에 대한 네 가지 프롬프트 비교에서, 검증 없이 지문을 우선하면 채택이 높아지는 반면 Verify로 바꾸면 다섯 모델 모두에서 채택이 낮아진다. 오해를 부르는 지문을 경고하고 모델 지식을 우선하는 Adversarial-Aware는 참 지문 정확도의 변화가 1포인트 미만인 가운데, 밀려났던 기준 시점 이전 답의 82.5-98.9%를 복원한다. FutureBench는 고정된 코호트에 대한 반복 평가와, 모델이 바뀜에 따른 새로운 사건으로의 확장을 지원한다.

arXiv:2611.23600v1cs.LG

안정적인 특징 기여도를 위한 엔트로피 정규화 적분 기울기

Entropy-Regularized Integrated Gradients for Stable Feature Attribution

적분 기울기(IG)와 같은 경로 기반 기여도 방법은 신경망을 해석하는 데 널리 사용되지만, 지각할 수 없는 입력 섭동이 모델 예측은 그대로 둔 채 기여도 맵을 크게 바꿀 수 있다. 우리는 온도 매개변수 $\tau$를 갖는 최대 엔트로피 소프트맥스 가중치를 사용하여 적분 경로를 따른 기울기 불규칙성을 본질적으로 완화하는 경로 기반 기여도 방법인 엔트로피 정규화 적분 기울기(ERIG)를 제안한다. 우리는 모델과 그 기울기의 립시츠 성질을 이용하여 엔트로피 정규화 가중치가 기여도 안정성에 미치는 효과를 정량화한다. 입력 섭동에 따른 기여도 변화를 모델 응답 항과 가중치 변동 항으로 분해하며, 전자의 경계는 $\tau$에 무관하고 후자의 경계는 $\mathcal{O}(1/(2\tau))$의 비율로 감소한다. 이들의 비 $R(\tau)$는 기울기 정보와 기여도 안정성 사이의 절충을 특징짓는다. 나아가 고전적인 잡음 추정기를 기여도 잡음을 정량화하는 두 지표 LINV-C와 LINV-P로 변형하여 기여도 평가에 새로운 차원을 추가한다. ImageNet과 Oxford-IIIT Pet 데이터셋에서 11개의 CNN 및 Transformer 백본에 걸친 실험 결과, 차선 방법과 비교하여 ERIG는 순위 기반 충실도 지표에서 대등한 수준을 유지하면서 위치 지정 성능을 약 24%, 기여도 안정성을 평균 약 47배 향상시키고, IG 대비 최대 4자릿수의 개선에 이르며, 추가 계산 비용은 무시할 만하다.

arXiv:2611.23588v1cs.AI

ARISE: 정확하고 비용 효율적인 기업용 에이전트를 위한 실용적 자기 진화 메모리

ARISE: Practical Self-Evolving Memory for Accurate and Cost-Efficient Enterprise Agents

기업용 LLM 에이전트는 파운데이션 모델이 빠르게 진화하고 워크플로가 자주 갱신되며 배포 시 정확도와 비용 요건을 충족해야 하는 동적 환경에서 동작한다. 본 논문은 모델 가중치, 도구, 워크플로 로직을 갱신하지 않고 에이전트의 메모리가 자신의 실패로부터 진화하는 실용적 메모리 아키텍처 ARISE(Agent Refinement through Iterative Self-Evaluation)를 제안한다. ARISE는 모델 자체 또는 교사 모델을 사용하여 실패의 원인을 규명하고 수정안을 제안한다. 이후 수정안을 검색 가능한 마이크로 메모리로 보관하고 매크로 규칙으로 통합하며, 홀드아웃 정확도가 상승할 때에만 규칙 갱신을 수용한다. SOP-Bench와 $\tau^2$-bench의 14개 기업 워크플로 도메인에서 5개 모델을 사용한 결과, 원인 규명과 통합에 Claude Opus 4.6을 사용하는 ARISE-Teacher는 기준선 대비 SOP-Bench에서 10.9 pp, $\tau^2$-bench에서 5.8 pp 향상되었다. ARISE-Teacher는 또한 GEPA보다 $\tau^2$-bench에서 4.5 pp, SOP-Bench에서 1.4 pp 높은 성능을 보인다. 배포 모델이 스스로 원인을 규명하는 ARISE-Self도 SOP-Bench에서 10.0 pp 향상된다. ARISE-Teacher는 작업당 비용이 비슷한 수준(-1.0%)에서 모델 호출을 4.0%, 출력 토큰을 5.2% 적게 사용한다.

arXiv:2611.23581v1cs.CV

ExiST: 준지도 다중 장기 분할을 위한 존재 인지 자기 학습

ExiST: Existence-Aware Self-Training for Semi-Supervised Multi-Organ Segmentation

준지도 다중 장기 분할은 소수의 레이블된 스캔으로부터 십여 개 이상의 장기를 학습해야 하며, 가장 작은 장기는 전경의 1퍼센트 미만을 차지한다. 우리는 이 영역에 특유한 자기 학습의 실패 양상을 규명한다. 교사 모델이 스캔에서 작은 장기를 놓치면 해당 장기의 모든 복셀이 확신에 찬 배경 의사 레이블을 받게 되고, 학생 모델은 그 장기의 부재를 향해 학습된다. 이것이 다수의 스캔에서 반복되면 꼬리 장기가 소멸한다. 예비 연구에서 의사 레이블에서 담낭을 제거하자 AMOS에서 담낭의 Dice가 36.5에서 1.0으로 감소했다. 우리는 누락된 장기를 부재가 아닌 미해결 상태로 취급해야 한다고 주장하며 존재 인지 자기 학습(ExiST)을 제안한다. ExiST는 독립적으로 학습된 네트워크들의 leave-one-out 합의로 의사 레이블을 구성하고, 검증 스캔에 대한 품질 게이트로 이를 선별하며, 스캔별 장기별로 해당 장기가 발견되었는지를 추론한다. 미해결 장기마다 해당 스캔의 배경 복셀에는 집합값 목표가 부여되며, 어느 쪽 답이든 수용하는 주변 교차 엔트로피와 불확실한 복셀을 건너뛰는 Dice 항으로 학습한다. 이 손실이 후보 장기를 부재 쪽으로 밀어내지 않고 집합의 어느 한 원소를 선호하지도 않으며, 결정을 레이블된 증거에 맡긴다는 점을 보인다. ExiST는 현재의 최첨단 방법들을 능가하며, 레이블된 스캔 20%의 Synapse에서 평균 Dice 77.1, 레이블된 스캔 5%의 AMOS에서 75.9에 도달한다.

arXiv:2611.23572v1cs.AI

다중 에이전트 식품 지원을 위한 수신자 조건부 명료화

Receiver-Conditioned Clarification for Multi-Agent Food Assistance

식품 불안정은 가구가 이용 가능한 식품 자원을 찾고 자신의 상황에 비추어 식품 선택을 평가하도록 돕는 안내를 절실히 요구한다. 이러한 안내는 개별 목록이나 일반적인 영양 조언을 제공하는 데 그치지 않고 자격 요건, 현실적인 접근 제약, 식이 요구를 연결해야 한다. 다중 에이전트 식품 도우미는 이러한 과제를 조율할 수 있으며, 불확실성은 추천 이전에 명료화나 검증이 필요한 시점을 나타낸다. 그러나 불확실성은 에이전트 간 인계 과정에서 소실될 수 있으며, 그 결과 잠정적 해석이 사실로 전파되어 수정 기회가 가려진다. 더욱이 서비스 요건이 올바르게 해석되었다는 확신은 추천이 사용자의 요구를 충족한다는 확신과 같지 않으므로, 국소적 확신을 하류의 신뢰성으로 그대로 재사용할 수 없다. 우리는 공유된 전제 식별자를 보존하고 종속된 에이전트들에 걸쳐 일관된 해석을 재생하는 추론 시점의 수신자 조건부 명료화 프레임워크를 제안한다. 각 수신자는 허용 가능한 결정과 남은 증거 의무를 드러내므로, 질문의 관련성은 결정의 변화와 부족한 근거를 모두 반영한다. 정보 질문과 사용자가 확인할 수 있는 대체 조정안은 공유된 예산 하에서 예상되는 후속 상호작용과 함께 평가된다. 이러한 구조는 명료화를 자원 탐색, 영양 추론, 공급 측 계획에 대한 공동으로 뒷받침되는 계획에 연결한다.

arXiv:2611.23567v1cs.RO

Panini: 로봇 설계를 위한 실현 가능한 문법

Panini- Feasible Grammar For Robot Designs

기호적 방법은 로봇 설계를 해석 가능하게 하지만 연속적인 기하를 간과하는 경우가 많고, 학습 기반 방법은 기하를 다루지만 구조의 투명성이 낮다. 우리는 격-역할 관계, 파라미터 상속, 명세도 기반 규칙 중재를 사용하여 조작 기술과 로봇 형태를 모두 생성하는 유형화된 생성 문법을 소개한다. 기하적 실현 사상은 문법 합성을 SE(3)의 변환으로 옮기며, 상속이 비활성일 때는 모노이드 준동형으로 동작하고 상속이 활성화되면 측정 가능한 결함을 보인다. 이 문법은 간결한 표현을 제공하며, 그 중재 결정은 기하적 포함 관계로부터 복원될 수 있다(10개 시드에 걸쳐 일치도 0.905 +/- 0.062, 유클리드 대조군은 0.611 +/- 0.090). 또한 문법 기반 형태 표현에 대한 교차 엔트로피 탐색 방법인 PANINI를 소개한다. 30개 방법과 24개 시드에 걸쳐 PANINI는 가장 좋은 평균 순위를 달성하지만 강력한 범용 최적화기들과 통계적으로 구별되지는 않는다. 따라서 주된 입증된 장점은 최적화 성능이 아니라 구조적인 것이다. 문법이 생성한 설계는 구성상 유효하며, 6,000회 추출에서 조율된 다리 배치는 95%의 공동 실현 가능한 편집을 만들어 낸 반면 범위 제약 재표본추출은 55%, 평면 매개변수화는 0%였다. 이러한 결과는 유형화된 문법이 로봇 생성을 더 해석 가능하고 기하적으로 조율되게 만들 수 있음을 보이되, 실현 가능한 모든 설계가 보행할 것이라거나 문법 기반 탐색이 범용 최적화기를 보편적으로 능가한다는 것을 의미하지는 않는다.

arXiv:2611.23564v1cs.AI

LProp: LLM 에이전트에서 증거 조건부 신념 수정을 통한 잠재 불확실성 전파

LProp: Propagating Latent Uncertainty through Evidence-Conditioned Belief Revision in LLM Agents

LLM 에이전트가 불확실성 없이 중간 판단을 하류로 전달하면, 이후의 결정이 잠정적 가정을 사실로 취급할 수 있다. 효과적인 불확실성 전파는 수정을 위한 정보를 보존해야 하며 새로운 증거가 도착함에 따라 상속된 신념을 갱신해야 한다. 그러나 스칼라 점수는 수정에 필요한 정보를 생략하며, 상세한 설명과 성찰은 추가 비용을 초래한다. 우리는 긴 설명 없이 불확실성 관련 정보를 보존하는 잠재 공간 추정기인 잠재 불확실성(Latent Uncertainty)을 소개한다. 이를 바탕으로, 추가적인 궤적 샘플링 없이 잠재 표현과 새로운 증거를 이용해 상속된 답 분포를 수정하는 LProp(Latent Uncertainty Propagation)를 제안한다. 두 방법을 객관식, 예/아니오, 개방형 질의응답, 수학적 추론 과제 전반에서 평가한다. 제안 방식은 대부분의 지표에서 기준 방법을 능가하며, LProp는 여덟 가지 전파 설정 모두에서 가장 낮은 평균 추론 토큰 사용량을 달성한다. 대응되는 특징 제거 실험은 상속된 잠재 내용이 답 확률이나 모델 용량만으로는 얻을 수 없는 수준으로 오류 복구를 향상시킨다는 점도 보여 준다.

arXiv:2611.23560v1cs.AI

FACET - 삶의 서사로부터 Big Five 성격 특성을 추정하기 위한 측면 인식 대조 임베딩

FACET - Facet Aware Contrastive Embeddings for Traits- Big Five Estimation from Life Narratives

성격은 글로 쓰인 언어에서 약하고 일관되지 않게만 나타나며, 기존의 텍스트 기반 방법은 대체로 언어 모델 표현과 심리언어학적 표현을 입력 수준이나 의사결정 수준에서 결합한다. 두 관점을 보다 의도적으로 결합하고 예측 대상을 분해하면 더 많은 신호를 복원할 수 있는지는 아직 밝혀지지 않았다. 본 논문은 삶의 서사 인터뷰 텍스트로부터 Big Five 성격 영역 점수를 추정하는 3단계 프레임워크를 제시한다. 이 프레임워크는 텍스트와 심리언어학적 특징을 별도로 인코딩한 뒤 연결(concatenation) 또는 학습된 가중치로 결합하고, 각 영역을 직접 예측하는 대신 대조 학습으로 훈련된 측면(facet) 임베딩으로 분해하며, 측면 임베딩을 어텐션으로 풀링하여 영역 수준의 예측을 얻는다. 종단 간(end-to-end) 학습과 단계별 학습을 비교하고, 입력 양식, 그 결합 방식, 측면 풀링 전략에 대해 절제 실험을 수행한다. St. Louis Personality and Aging Network(SPAN) 연구의 참가자 1,332명에 대해 측면 임베딩은 최대 0.740의 AUC에 도달하며, 영역 수준 R2는 0.328에 이르고 개방성에서 가장 높다. 종단 간 학습은 모든 영역에서 단계별 학습보다 낮은 오차를 보이고, 어텐션 풀링은 모든 영역에서 가장 낮은 오차를 보인다. 두 관점의 결합은 성실성과 친화성에서 텍스트만 사용한 경우보다 오차를 낮추는 반면, 학습된 가중치 결합은 연결에 비해 일관된 이점을 보이지 않는다. 이 프레임워크는 영역 단위 모델만으로는 얻을 수 없는 측면 수준의 예측을 제공하며, 다섯 개 영역 중 네 개 영역에서 원시 특징을 이용한 회귀보다 소폭 개선된 성능을 보인다.

arXiv:2611.23546v1cs.CL

언어 모델은 새로운 연구를 오래된 것처럼 들리게 만든다

Language Models Make New Research Sound Old

연구자들은 연구 질문을 검증하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 사용하고 있다. 우리는 LLM이 아직 열려 있는 연구 질문을 일부 연구된 것처럼 들리게 하고, 관련 논문들이 입증하는 바를 과장한다는 것을 발견했다. 모델은 논문의 전문을 별도로 확인하도록 요청받으면 이러한 과장의 대부분을 인식한다. 새로 채택된 논문에서 추출한 40개 질문에 대해 GPT-6-Astra는 98%를 연구되지 않은 것으로 올바르게 판단하지만, 일반적인 답변에서 그 상태를 분명하게 밝히는 경우는 8%에 불과하다. 여섯 개의 최첨단 시스템 모두 30-90%포인트의 보고 격차를 보인다. 동일한 논문을 제공한 22개 모델 전반에서, 더 높은 성능은 더 정확한 판단과 더 큰 보고 격차와 연관된다. 이러한 보고 실패는 비대칭적이다. 즉, 답을 담은 논문을 제공하면 모델은 일반적인 답변의 88-100%에서 이미 연구된 질문을 올바르게 식별한다. 이를 바로잡기 위해 각 모델의 판단과 인용된 논문에 대한 별도의 확인으로부터 고정된 답변을 구성한다. 이로써 Astra가 미해결 상태를 분명하게 보고하는 비율이 8%에서 95%로 상승하며, 여섯 개 시스템 모두에서 개선이 나타난다. 마지막으로, 여러 모델이 작성한 평가를 채점된 예시로부터 학습한 규칙과 결합하여 심사자의 참신성 등급을 예측하며, Think-Probe-Respond가 보고한 성능 범위에 도달한다. TPR과 달리 우리의 접근법은 모델 가중치나 내부 활성화에 대한 접근이 필요 없으므로 폐쇄 가중치 최첨단 모델에도 적용할 수 있다.

arXiv:2611.23520v1cs.AI

BeFit: 자원 제약 센싱을 위해 복잡도를 가중치에서 베른슈타인 활성화로 이전하기

BeFit: Shifting Complexity from Weights to Bernstein Activations for Resource-Constrained Sensing

시계열 센싱은 점점 더 신경망에 의존하지만, 자원이 제한된 마이크로컨트롤러에서의 배포는 여전히 어렵다. 공격적인 모델 압축은 정확도를 떨어뜨릴 수 있고, 가중치를 곱셈이 필요 없는 표현으로 제한하면 추가적인 손실이 발생한다. 우리는 모델 용량을 가중치에서 학습 가능한 베른슈타인 다항식 활성화로 이전하는 종단간 프레임워크 BeFit을 제시한다. BeFit은 (i) 하드웨어 인식 신경망 구조 탐색으로 간결한 베른슈타인 활성화 합성곱 신경망(BeCNN)을 찾고 지식 증류로 학습시키며, (ii) 그 가중치를 곱셈이 필요 없는 코드로 투영하고 코드를 고정한 뒤 그로 인한 정확도 손실을 학습 가능한 활성화를 통해 회복하고, (iii) 투영된 가중치를 활용하여 곱셈 없는 합성곱을 수행하는 모델 특화 커널을 생성한다. 인간 활동 인식에서 BeCNN은 동일 구조의 ReLU CNN보다 평균 2.75 퍼센트 포인트(pp) 더 정확하다. TI CC3220SF(Cortex-M4)에서 가중치 투영은 BeCNN을 평균 2.2배 빠르게 하면서 0.8 pp를 잃으며, ReLU CNN은 2.4 pp를 잃는다. CMSIS-NN과 함께 TensorFlow Lite Micro에서 실행되는 MLPerf Tiny DS-CNN 참조 모델과 비교하면, 투영하지 않은 BeCNN은 1.0 pp 높은 정확도, 2.2배 낮은 지연 시간, 6.4배 적은 플래시를 달성하며, 투영된 모델은 참조 정확도의 1.0 pp 이내를 유지하면서 5.9배 빠르게 실행된다. 하드웨어 곱셈기가 없는 RISC-V 코어 에뮬레이션에서는 DS-CNN 대비 명령어 수 감소가 Cortex-M4의 5.2배에서 147배로 증가한다. BeFit은 트랜스포머와 MLP로도 확장되며, 모든 과제에서 최종 모델은 평균적으로 float32 교사 모델의 1.56 pp 이내를 유지한다.

arXiv:2611.23516v1cs.CV

싱크 토큰을 넘어서: 비전-언어 모델에서의 싱크 유도 키 편집

Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models

비전-언어 모델(VLM)에서는 소수의 싱크 토큰이 불균형적으로 많은 어텐션을 끌어들인다. 기존 연구들이 이러한 토큰이 어텐션을 끄는 이유를 살펴본 반면, 우리는 싱크 키 방향이 이미지 및 질문 토큰에 대한 어텐션에 어떤 영향을 미치는지 조사한다. 네 가지 VLM을 조사한 결과, 싱크와 정렬된 양의 성분의 크기를 키우면 어텐션이 평균적으로 증가하고 음의 성분을 키우면 감소하며, 이러한 반응은 이후 층까지 지속된다. 이는 고유의 싱크 키가 자기 위치를 넘어 어텐션을 제어하는 기준이 됨을 보여 준다. 이 발견에 착안하여, 우리는 생성 중 보이는 키들에 걸쳐 싱크와 정렬된 성분을 부분적으로 줄이는 학습 불필요 방식인 SHRINK를 제안한다. 샘플링 추론 조건의 아홉 개 벤치마크에서 SHRINK는 LLaVA-OneVision-7B와 Qwen2.5-VL-3B의 평균 정확도를 각각 5.1 및 2.7 퍼센트포인트 향상시키며, 다른 두 주요 모델인 Qwen2.5-VL-7B와 Gemma-3-4B에서는 더 작은 향상을 보인다. SHRINK 외에도, 싱크와 정렬된 키 성분의 크기 조정은 기존의 두 어텐션 조향 방법인 GIFT와 ACG의 어텐션 연산을 대체할 수 있으며, 환각 벤치마크에서 비슷한 정확도를 보인다.

arXiv:2611.23509v1cs.AI

GRAFT: 에이전트 설계를 위한 실행 유도 유전적 재조합

GRAFT: Execution-Guided Genetic Recombination for Agent Design

자동화된 에이전트 설계는 LLM 기반 에이전트의 성능을 향상시키는 실행 가능한 아키텍처를 탐색하며, 진화적 방법은 언어 모델 교차를 사용해 과제 분해, 모델 조율, 검증을 위한 유망한 메커니즘을 재조합한다. 그러나 이러한 탐색은 대개 집계 적합도만으로 유도되어, 각 점수 뒤에 있는 인스턴스 수준의 성공과 실패를 가려 버린다. 우리는 집계 적합도를 선택과 생존에 사용하고, 부모별 실행 증거를 통합된 변이를 포함한 의미적 교차의 유도에 사용하는 에이전트 설계를 위한 실행 유도 유전적 재조합(GRAFT)을 소개한다. 이 피드백 하네스는 적합도 평가에서 나온 성공 및 실패 실행의 제한된 표본을 재사용하며, 정답은 제공하지 않고 추가 과제 실행도 필요로 하지 않는다. 우리는 오픈 웨이트 옵티마이저 및 실행기 모델을 사용하여 여섯 가지 추론 및 프로그래밍 설정에서 GRAFT를 평가한다. GRAFT는 평균 테스트 정확도 82.0%를 달성하여 가장 강력한 기준선을 9.8%포인트 앞선다. 통제된 절제 실험은 초기화, 탐색 규칙, 수리 정책, 평가 예산을 고정한 상태에서 실행 증거를 추가하면 테스트 정확도가 향상됨을 보여 준다. 이러한 결과는 진화적 에이전트 설계에서 부모별 실행 증거의 가치를 뒷받침한다.

arXiv:2611.23508v1cs.AI

BOS 요약: 첫 번째 토큰이 중요하다

BOS Summary: The First Token Matters

대규모 비전-언어 모델(LVLM)과 언어 모델(LLM)은 시퀀스 시작(BOS) 토큰과 같은 특정 위치가 불균형적으로 많은 어텐션을 받는 어텐션 싱크를 자주 보인다. 그러나 표준 인과 마스킹 하에서 BOS 쿼리는 자기 자신에게만 어텐션하므로, 이후 토큰들이 반복적으로 접근하는 표현은 입력에 대한 정보를 담지 못한다. 우리는 이 지속적인 경로를 입력 문맥을 담도록 재활용하는 학습 불필요 추론 시점 방법인 BOS 요약(BOS Summary)을 제안한다. 프리필 중 단일 트랜스포머 층에서 BOS 요약은 BOS 쿼리 행에 대해서만 인과 제약을 완화하여, BOS가 모든 시각 및 텍스트 입력 토큰을 자기 유래 문맥 표현으로 집계하게 하며, 다른 모든 토큰은 표준 인과 어텐션을 유지한다. 이렇게 풍부해진 표현은 추가 파라미터, 보조 모듈, 디코딩 시 오버헤드 없이 디코딩 내내 모델이 접근할 수 있다. 여러 VLM 및 LLM 계열과 여덟 개의 멀티모달 및 텍스트 전용 벤치마크에서, BOS 요약은 직접 프롬프팅과 사고의 연쇄(Chain-of-Thought) 프롬프팅보다 향상되며, 다단계 추론 과제에서 최근의 싱크 개입 방법들보다 우수한 성능을 보인다. 메커니즘 분석은 BOS를 입력 특화적으로 만들면 싱크 지배력도 약해지고 어텐션이 내용을 담은 프롬프트 토큰으로 재분배됨을 보여 주며, 이는 싱크가 담는 내용을 바꾸는 것이 이후 층의 어텐션 할당 방식을 재구성함을 시사한다.

arXiv:2611.23498v1physics.flu-dyn

PhysDial: 변화하는 물리 조건 하의 PDE 시뮬레이션을 위한 사전학습 비디오 모델의 적응

PhysDial: Adapting Pretrained Video Models for PDE Simulation under Changing Physical Conditions

물리 시스템이 변화하는 조건에 어떻게 반응하는지를 시뮬레이션하는 것은 제어, 설계, 시나리오 연구의 핵심이다. 우리가 아는 한, 기존 PDE 파운데이션 모델은 궤적 내부의 변화에 대해 학습되거나 평가된 적이 없다. 우리의 반사실적 테스트는 동일한 상태에서 출발하여 예측이 변경된 솔버 분기 쪽으로 얼마나 이동하는지를 측정한다. 고정된 조건에서 학습된 모델은 변화를 부분적으로만 따라간다. 사전학습 이후 조건 입력이 주어진 PDE 파운데이션 모델은 거의 반응하지 않는다. PhysDial은 사전학습된 비디오 디퓨전 트랜스포머를 여덟 가지 2차원 PDE 계열에 적응시킨다. 계수는 노이즈 수준과 함께, 조건 필드는 참조 프레임으로, 방정식 텍스트는 프롬프트로 입력된다. 콜모고로프 유동에서 궤적 내 전환은 학습 표본의 약 5%를 차지한다. 동일한 연산량에서 이들은 강제 파수나 진폭이 바뀐 후의 오차를 절반으로 줄인다. 새로운 진폭에서의 소수의 궤적은 외삽 오차를 절반 이상 줄인다. 물리 사전학습 없이도 PhysDial은 두 가지 난류에서 학습 조건 하에 PDE 파운데이션 모델과 동등하거나 그 이상의 성능을 보인다. 콜모고로프 테스트 분할의 64단계에서 PhysDial은 솔버의 소규모 에너지의 1.07배를, Walrus는 7.1배를 갖는다. 우리의 실험은 학습된 시뮬레이터가 학습 데이터가 예측에 그 조건을 필요하게 만드는 정도까지만 조건을 사용함을 시사한다. 개입 하에서 갈라지는 궤적으로부터 학습하면, 과학적 시뮬레이터가 시스템의 강제나 매개변수가 변할 경우 어떤 일이 일어날지 예측하는 데 도움이 될 수 있다.

arXiv:2611.23483v1cs.AI

SpecLook: 빠르고 신뢰할 수 있는 에이전트형 MLLM을 위해 어디를 볼지 추측하기

SpecLook: Speculating Where to Look for Fast and Reliable Agentic MLLMs

이미지를 활용해 사고하는 에이전트형 멀티모달 대규모 언어 모델(MLLM)은 추론과 확대(zoom-in) 도구 호출을 교대로 수행한다. 그러나 이 순차적 루프는 느리고, 그 답변에는 신뢰도 점수가 없다. 토큰, 추론 단계 또는 답변에 대한 기존의 추측 기법은 루프를 그대로 유지하며, 답변 추측은 확신에 찬 오류까지 수용한다. 우리는 이 루프가 대부분 확대 단계를 하나 추가할 뿐이며, 이 한 단계가 있으면 대부분의 분할에서 소형 모델이 에이전트를 앞선다는 점을 발견했다. 핵심 통찰은 에이전트의 다음 관측을 추측하는 것이며, 이는 초안 답변과 달리 검증과 수정이 가능하고 답변을 시험하는 데 사용할 수 있다. 우리는 세 단계로 구성된 학습 불필요 추측-검증 프레임워크 SpecLook을 제안한다. 소형 모델이 일별(glimpse)을 초안으로 작성하고 이를 바탕으로 다시 답하며, 답이 바뀌지 않고 확신이 있으면 질문은 종료된다. 그렇지 않으면 에이전트의 대형 모델이 도구 없이 일별을 검증하고 수정하며, 두 답변은 융합된다. 여전히 근거가 부족한 질문만 에이전트에 도달하며, 이는 SpecLook-Fast가 건너뛰는 한 번의 순전파로 이루어지므로 어떤 질문도 루프를 실행하지 않는다. 추적은 레이블 없이 모든 답변의 신뢰도를 점수화한다. V*, HR-Bench, POPE에 대한 광범위한 실험에서 두 방법 모두 모든 분할에서 모든 기준 방법보다 정확했다. SpecLook은 평균 정확도 87.2%와 86.2%에 도달하며 DeepEyes-7B와 Thyme-RL 에이전트 대비 각각 7.7배, 4.7배의 속도 향상을 달성하고, SpecLook-Fast는 9.9배와 6.3배에 도달한다.