PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25447v3cs.CL

압박 속의 행동 양식: 사용자가 압박할 때 60개 언어 모델이 보이는 반응

Conduct Under Pressure: What Sixty Language Models Do When a User Pushes

We study what LLMs do when a user applies pressure in an uncomfortable situation: a user insists, begs, flatters or grieves, and the model gives up a correct fact, writes a document it should refuse, or cheers a plan that will cost the user money, a multi-turn form of sycophancy. We send frozen multi-turn scenes to 60 models from 13 vendors and label each transcript with a trajectory (the model held its position or folded) and a manner (how it held or folded). Three scenes were used to build the codebook; six more were written afterwards and preregistered as a replication. Whether a model holds tracks its generation: fold rate correlates with a public capability index at Spearman -0.64 to -0.69 across the two scene sets, so newer models fold less, unlike earlier reports that sycophancy grows with model scale. How a model holds tracks the vendor: six of the 17 manner codes sort by vendor at permutation p <= 0.001, corrected across the codebook, and four do so again on the replication scenes. Anthropic's models name the feeling, warn and offer an alternative; OpenAI's do less of all three and almost never cite their own rules; Google's cite themselves and their AI nature when asked to do something; Meta's write the artifact they shouldn't. Six LLM coders from three vendors labeled every transcript, and three human coders labeled fifty held-out transcripts. The machines were the more consistent readers (Krippendorff's alpha 0.66 against 0.46), agreed with the author on trajectory at kappa 0.84 to 0.91, and matched the adjudicated reference at 0.83. For behavior a non-specialist can judge, the human contribution is authoring and bounding the codes and owning a small reference, not producing labels at volume.

arXiv:2609.28197v1cs.AI

PASTABench: 에이전트 안전을 위한 순차 궤적의 선제적 평가

PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety

대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.

arXiv:2607.20558v1cs.LG

StabilityBench: LLM의 불안정성 벤치마킹

StabilityBench: Benchmarking Instability in LLMs

AI 어시스턴트는 의료나 정부 서비스와 같은 고위험 환경에 점점 더 배포되고 있다. 그러나 강한 문맥 의존성 때문에 그들의 실제 세계 행동은 여전히 잘 이해되지 않는다. 현재 평가 프로토콜은 전통적인 벤치마크부터 실시간 또는 적대적 테스트에 이르는 다층적 안전장치가 누적되는 심층 방어(defense-in-depth) 패러다임을 따른다. 이러한 벤치마크는 대체로 정적이고 단일 턴(single-turn)으로 남아 있어, 대화형 설정에서 실제 세계의 변동성을 포착하는 능력을 제한한다. 우리는 StabilityBench를 제안한다. 이는 원칙에 기반하고 일반적이며 모델에 구애받지 않는(model-agnostic) 벤치마크 연산자로, 단일 턴 벤치마크 쿼리를 다중 턴(multi-turn) 상호작용 이력으로 변환한다. StabilityBench는 인구통계학적 대리 변수(demographic proxies)나 아부적(sycophantic) 미끼를 통한 현실적인 사용자 시뮬레이션을 주입하면서 원래 과제 의도를 보존함으로써 기존 벤치마크를 보강한다. 우리는 StabilityBench를 수학적 추론, 건강 질의응답, 안전성(safety)을 아우르는 네 가지 벤치마크에 적용하고, 이러한 조건에서 아홉 개의 대규모 언어 모델(LLM)을 평가한다. 결과는 이러한 주입 하에서 모델 성능이 일관되게 불안정하며, 연구한 네 벤치마크 중 세 곳에서 상당한 성능 저하가 나타남을 보여준다. 이는 정적 평가의 중요한 한계를 부각하고 더 현실적인 평가 설정의 필요성을 제기한다. 이를 위해 우리는 StabilityBench-Mini를 제안한다. 이는 StabilityBench의 크기를 유지하는 변형으로, 다양화 축(diversification axes)을 가로질러 샘플링하여 비용을 늘리지 않고도 더 현실적인 평가를 가능하게 한다.