arXiv:2410.03137

SAG: Style-Aligned Article Generation via Model Collaboration

Chenning Xu, Fangxun Shu, Dian Jin, Jinghao Wei, Hao Jiang

제출 2024-10-04

원문 초록

Large language models (LLMs) have increased the demand for personalized and stylish content generation. However, closed-source models like GPT-4 present limitations in optimization opportunities, while the substantial training costs and inflexibility of open-source alternatives, such as Qwen-72B, pose considerable challenges. Conversely, small language models (SLMs) struggle with understanding complex instructions and transferring learned capabilities to new contexts, often exhibiting more pronounced limitations. In this paper, we present a novel collaborative training framework that leverages the strengths of both LLMs and SLMs for style article generation, surpassing the performance of either model alone. We freeze the LLMs to harness their robust instruction-following capabilities and subsequently apply supervised fine-tuning on the SLM using style-specific data. Additionally, we introduce a self-improvement method to enhance style consistency. Our new benchmark, NoteBench, thoroughly evaluates style-aligned generation. Extensive experiments show that our approach achieves state-of-the-art performance, with improvements of 0.78 in ROUGE-L and 0.55 in BLEU-4 scores compared to GPT-4, while maintaining a low hallucination rate regarding factual and faithfulness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01045v2cs.AI공통 태그 Hallucination, Instruction Following

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2609.35308v2cs.CL공통 태그 Hallucination, Instruction Following

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2608.08477v4cs.CL공통 태그 Hallucination, Instruction Following

VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델

VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.

arXiv:2609.24165v1cs.AI공통 태그 Hallucination, Instruction Following

APEXA: 다중 에이전트 LLM 기반 싱크로트론 데이터 축소 자동화의 실행 무결성 강제

APEXA: Execution-Integrity Enforcement for Multi-Agent LLM Automation of Synchrotron Data Reduction

싱크로트론 데이터 축소, 즉 테라바이트 규모 회절 계열에 대한 검출기 보정과 방위각 통합(azimuthal integration)은 다단계이며 전문가에 의존하는 병목으로, 사용자 시설의 과학 생산성을 점점 더 제한하고 있다. LLM 에이전트는 이 병목을 해소할 것으로 기대되지만, 확률적 모델로 실제 파이프라인을 구동하면 채팅 벤치마크에서는 드러나지 않는 실패 양상이 생긴다. 에이전트는 실제로 계산되지 않은 보정을 보고할 수 있다. 여기서 정확성은 대화 기록(transcript)이 아니라 실제로 실행된 것의 속성이다. 우리는 APEXA를 제시한다. 이는 주요 광원에서 자연어로 보정과 통합을 자동화하는, 배포된 다중 에이전트 프레임워크(이종 컴퓨팅 위 61개 도구, 단일 추론 루프로 실행)이다. 세 가지 기여를 한다. 첫째, 실행 무결성 강제: 실행된 도구 호출로 뒷받침되지 않은 어떤 결과도 노출을 거부하는 결정론적 도구층 가드와, 모델 간 도구 호출 형식 편차에 관대한 파서. 배포 환경에서 프론티어 모델이 실행되지 않은 명령에 대해 완전한 보정 비교 보고서를 조작했으며, 가드는 이를 명시적 비결과(non-result)로 변환한다. 동일 코드는 선택적 모터 제어 표면을 시뮬레이션 IOC에 대한 적대적 위반 200건 중 0건으로, 동등한 안전 프롬프트는 15/200으로 게이트한다. 둘째, APEXA-Bench를 공개한다. 58개 시설 과제(기본 50개와 8과제 교차 검출기 슬라이스) 평가 하네스로, 네 가지 클래스의 물리적 결과 분류 체계로 구성되며, 낭비된 컴퓨팅 사이클과 손상된 기기를 구분하는 우리가 아는 첫 벤치마크 축이다. NIST 추적 가능 격자 상수에 대한 교차 검출기 채점은 두 개의 잠재 파이프라인 버그를 드러냈다. 대규모 에이전트 채점은 정식 연구에 맡긴다. 셋째, 실제 빔라인 데이터에서 APEXA를 검증한다. 하나의 자연어 프롬프트로 검출기 기하를 복구하고 전체 감쇠/노출 sweep을 통합한다. 프레임워크, 하네스, 트레이스를 공개한다.

arXiv:2607.14275v1cs.AI공통 태그 Hallucination, Instruction Following

AI 에이전트는 혼자 실패하지 않는다: 컨텍스트가 먼저 실패한다

AI Agents Do Not Fail Alone:The Context Fails First

컨텍스트 엔지니어링은 신뢰할 수 있는 AI 에이전트를 구축하는 데 핵심이 되었지만, 여전히 대부분 측정되지 않고 있다. 에이전트는 고립되어 실패하지 않는다. 그들의 행동은 컨텍스트에 축적된 지시, 도구, 메모리, 검색된 지식, 가드레일, 신뢰할 수 없는 입력에 의해 형성된다. 이 컨텍스트가 약할 때, 에이전트는 표류하고, 환각을 일으키며, 도구를 오용하고, 제약을 무시하며, 인젝션에 취약해지고, 토큰을 낭비한다. 본 논문은 컨텍스트 엔지니어링 품질을 에이전트 신뢰성의 독립적인 선행 지표로 검증한다. 우리는 다중 심사관 합의 기반 채점을 사용하는 AI 에이전트 평가를 위한 오픈소스 인프라인 ProofAgent-Harness에서 이 측정을 구현한다. 이 하네스는 역할 명확성, 가드레일 적용 범위, 지시 일관성, 도구 스키마 품질, 그라운딩 충분성, 인젝션 강화, 토큰 효율성의 7가지 기준으로 컨텍스트를 평가한다. 핵심적으로, 컨텍스트 점수는 행동 지표 및 출시 결정과 분리되어 비순환 검증을 가능하게 한다. 규제 대상 에이전트 도메인 전반에 걸친 통제된 컨텍스트 품질 연구를 통해, 최첨단 LLM 에이전트는 고정하고 운영 컨텍스트만 변화시켜, 컨텍스트 품질 기준이 해당하는 행동 결과를 일관되게 예측함을 보여준다. 그라운딩 충분성은 환각 저항성을, 가드레일 적용 범위는 조작 저항성을, 지시 일관성은 지시 준수를, 도구 스키마 품질은 도구 사용을 각각 예측한다. 이러한 발견은 컨텍스트 측정을 에이전트 신뢰성을 위한 검증된 사전 점검 신호로 확립하고, 컨텍스트 엔지니어링을 에이전트 평가 및 거버넌스의 감사 가능한 층으로 자리매김한다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.