PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11977v2cs.AI

최적화만으로는 충분하지 않다

Optimization Is Not All You Need

2019년 OpenAI는 기계 생성 텍스트 탐지를 돕기 위해 문법에 맞지 않고 절반은 망가진 GPT-2 출력 200만 개를 공개했다. 더 유창한 후속 모델을 만들어낸 정렬(alignment)은 보통 공학적 성과로 여겨지지만, 우리는 이를 대신 최적화 문화의 최신 표현으로 읽는다: 기술보다 오래된, 사전에 정의된 축을 따라 측정 가능한 향상이 가치의 문제를 모두 소진한다는 확신. 그 확신을 스택—사전학습, 디코딩, 선호 튜닝, 벤치마킹, 인터페이스—을 따라 추적하고, 감사 사회에서의 계보까지 거슬러 올라가면 한계에 이른다: 최적화 절차는 생성된 텍스트 조각이 얼마나 비개연적인지 측정할 수는 있지만, 그 비개연성이 오류인지 창조인지는 구별할 수 없다. 그 구별을 할 수 없는 절차가 그럼에도 불구하고 불과 5년 만에 정당한 언어의 프로토콜을 정할 권위를 맡게 되었다. 수세기 동안 학원과 교실, 문법과 시험관들이 지켜 오던 이 권위는 손실 함수, 보상 모델, 벤치마크, 시스템 프롬프트에게 넘겨졌다: 판단의 직무를 수행하지만 판단할 능력은 없는 장치.

arXiv:2607.11334v2cs.AI

검증기 유도 12음 기법 작곡: 기호 음악 생성을 위한 생성-검증-수정 하네스

Verifier-Guided Twelve-Tone Composition: A Generate-Verify-Repair Harness for Symbolic Music Generation

대규모 언어 모델(LLM)은 표면적으로는 적법한 12음 기법 악보를 생성할 수 있지만, 퇴화적 텍스처로 붕괴한다. 본 연구는 언어 모델 제안자(proposer)를 기호적 검증과 함께하는 생성-검증-수정-추적(generate-verify-repair-trace) 루프로 감싸는 신경-기호(neuro-symbolic) 하네스를 제안한다. 전체 파이프라인은 작품 전체의 적법성을 주장하지 않으면서 이벤트-국소 일관성을 개선한다. 40개의 통제 과제와 네 쌍의 모델에 걸쳐, 제약 검증 전달률은 순수 생성에서 13.3%에서 하네스 적용 시 48.1%로 상승하며, 나머지 51.9%의 실행에서는 기권한다. 보다 좁은 충돌 및 직렬화 일관성 검사의 통과율은 33.5%에서 58.3%로 상승하고, 적대적 프롬프팅(adversarial prompting) 하에서도 퇴화(degeneracy)는 약 0.05 수준을 유지한다. 다섯 명의 전문가가 수행한 블라인드 평가에서도, 준수, 인지된 적법성, 일관성, 전반적 품질 측면에서 하네스 후보에 대한 서술적 종합 선호가 순수 생성보다 높게 나타났다.

arXiv:2604.10925v2cs.HC

제어 가능한 LLM 생성을 위한 단어에서 위젯으로

From Words to Widgets for Controllable LLM Generation

자연어는 여전히 사람들이 대규모 언어 모델(LLM)과 상호작용하는 주된 방식이다. 그러나 사용자는 프롬프팅을 통해 주관적 선호(예: 어조, 스타일, 강조)를 정확하게 표현하고 제어하는 데 종종 어려움을 겪는다. 우리는 제어 가능한 LLM 생성을 위한 새로운 대화형 프롬프팅 기법인 Malleable Prompting을 제안한다. 이 기법은 자연어 프롬프트 속 선호 표현을 GUI 위젯(예: 슬라이더, 드롭다운, 토글)으로 구체화하여, 사용자가 이를 직접 설정해 생성을 유도할 수 있게 하며, 각 제어가 출력에 미치는 영향을 시각화하여 반복 간 귀속과 비교를 지원한다. 이 상호작용을 가능하게 하기 위해, 우리는 선호 표현과 해당 위젯 값에 따라 생성 중 토큰 확률 분포를 조절하는 LLM 디코딩 알고리즘을 도입한다. 사용자 연구를 통해, Malleable Prompting이 참가자가 목표 선호를 더 정확하게 달성하도록 돕고, 자연어 프롬프팅만 사용할 때보다 더 제어 가능하고 투명하다고 인식된다는 것을 보여준다.

arXiv:2603.14217v3cs.CL

검색-증강 개인화 대화에서의 평가 재고: 인지·언어학적 관점

Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective

인지과학과 언어학 이론에서 대화는 독립적인 발화의 연속이 아니라 일관성(coherence), 정합성(consistency), 공유된 이해에 의해 유지되는 공동 활동으로 본다. 그러나 개방형 대화 및 개인화 대화를 위한 많은 시스템은 표면 수준의 유사도 지표(예: BLEU, ROUGE, F1)를 주요 보고 지표 중 하나로 사용하며, 이는 대화 품질의 이러한 심층적 측면을 포착하지 못한다. 우리는 평가 방법론의 사례 연구로 개인화 대화를 위한 주목할 만한 검색-증augmented 프레임워크인 LAPDOG을 재검토한다. 인간 및 LLM 기반 심사자를 모두 사용하여, 손상된 대화 이력, 검색된 스토리와 페르소나 간의 모순, 비일관적인 응답 생성 등 현재 평가 관행의 한계를 밝힌다. 우리 결과는 인간과 LLM 판정이 밀접하게 일치하지만 어휘 유사도 지표와는 괴리됨을 보여주며, 인지적으로 기반을 둔 평가 방법의 필요성을 강조한다. 광범위하게, 본 연구는 자연스러운 인간 의사소통의 원칙을 더 잘 반영하는 검색-증강 대화 시스템을 위한 보다 신뢰할 수 있는 평가 프레임워크로 나아가는 길을 제시한다.

arXiv:2412.15239v4cs.CL

이야기 기대 모델링: LLM을 이용한 생성형 프레임워크

Modeling Story Expectations: A Generative Framework using LLMs

소비자들의 이야기 참여는 다음에 무엇이 일어날지에 대한 기대에 의해 형성되지만, 비구조화된 서사 콘텐츠에 대한 이러한 전방향적 기대를 모델링하는 것은 여전히 어려운 과제로 남아 있다. 우리는 대규모 언어 모델(LLM)을 사용하여 소비자의 이야기 기대를 근사하는 프레임워크를 개발한다. 우리의 방법은 사전학습(pre-trained)된 LLM으로부터 여러 상상된 이야기 연속(continuation)을 생성하고, 이러한 연속에서 감정 및 서사 경로(narrative path) 특성 등 해석 가능하고 이론적으로 동기 부여된 특성을 추출한다. 우리는 데이터 가용성에 맞는 두 가지 상호 보완적인 검증 절차를 제안한다: LLM에서 도출된 기대를 사람이 보고한 신념과 비교하는 설문 기반 접근법, 그리고 이를 실제 이야기 결과와 비교하는 합리적 기대(rational-expectations) 접근법. 프레임워크를 통제된 실험실 환경에서 수집한 설문 데이터와 온라인 독서 플랫폼의 관찰 데이터에 모두 적용한 결과, LLM에서 도출된 기대는 연구한 모든 특성에서 사람이 보고한 신념뿐만 아니라 실제 이야기 연속과도 상관관계를 보인다. 두 환경 모두에서 전방향적 기대는 이미 소비한 콘텐츠의 특성을 넘어 독자 참여와 연관된다. 우리의 프레임워크는 서사 콘텐츠에 대한 소비자 신념을 모델링하는 확장 가능한 방법을 제공하며, 콘텐츠 제작, 플랫폼 전략, 서사 미디어 연구에 시사점을 준다.

arXiv:2411.02989v2cs.CL

꼬리를 키우다: 대규모 언어 모델의 출력 다양성 확대

Growing a Tail: Increasing Output Diversity in Large Language Models

다양성이 바람직할 때 대규모 언어 모델(LLM)의 출력은 얼마나 다양한가? 우리는 여러 가능한 답이 있는 질문에 대해 여러 언어 모델의 응답 다양성을 조사하고, 이를 인간의 응답과 비교한다. 분석 결과, 모델의 응답은 인간에 비해 훨씬 긴 꼬리(long tail)를 보이는 인간의 응답과 달리 고도로 집중되어 좁고 주류적인 출력을 반영하는 것으로 나타난다. 우리는 출력 다양성을 높이는 세 가지 간단하고 실용적인 방법을 검토한다: 1) temperature 샘플링을 통한 생성 무작위성 증가; 2) 단일 프롬프트를 사용하여 다양한 관점에서 답하도록 모델에 프롬프트; 3) 여러 모델의 출력을 집계. 이러한 개입, 특히 결합했을 때 출력 다양성을 상당히 높일 수 있으나, 단일 모델 출력은 일반적으로 인간 기준선보다 덜 다양한 상태로 남는다. 우리는 문화적 다양성—민주적 사회 구조의 필수 토대—을 보존하려는 AI 정책 및 거버넌스 분야의 향후 연구에 대한 이러한 발견의 잠재적 함의를 논의한다.

arXiv:2607.13003v1cs.CR

생성 모델을 위한 워터마크 포렌식: 정보이론적 관점

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

생성 모델 출력의 워터마크는 보통 텍스트가 기계 생성인지 여부만 묻는다. 같은 표식으로는 더 많은 일을 할 수 있다: 이를 생성한 사용자에게 귀속하고, 숨겨진 페이로드를 추출하거나, 편집 후에도 남는 부분을 국소화하는 것이다. 이들은 포렌식 사다리를 이루며, 우리는 각 단계가 표본 길이 $n$에서 어떤 비용을 드는지 묻는다. 하나의 대상이 답을 정리한다. $S$를 표식이 담는 비밀(사용자 신원 또는 페이로드)이라 하고, 정보 프로필 $ν(t)=I(S;X_t\mid X_{<t})$는 이전 토큰들이 주어졌을 때 $t$번째 토큰이 $S$에 대해 얼마나 많이 드러내는지를 기록한다. 그 총량이 귀속과 추출의 대가를 치르게 하고, 그 분포 방식이 국소화의 대가를 치르게 하며, 탐지만은 정보가 아니라 존재, 즉 표식이 있는 분포와 없는 분포 사이의 거리로 대가를 치른다. 문헌의 두 품질 모델—모든 토큰에서 미묘한 표식과 소수 토큰에 크게 찍는 표식—은 이 프로필을 제한하는 두 가지 비교 불가능한 방식이다. 우리의 주정리는 사다리의 엔트로피 열을 확정한다. 통계적으로 왜곡 없는(d distortion-free) 방식에 대해, $N$명의 사용자 중 하나에게 텍스트를 귀속하는 비용은 엔트로피율 $h$를 갖는 모든 정상-에르고딕(stationary-ergodic) 소스에 대해 $Θ(\log N/h)$ 토큰이며, $(1+o(1))$ 인자까지 날카롭다: 우리가 아는 한 다중 사용자 귀속에 대한 최초의 정확한 엔트로피율 법칙(정확한 정렬을 통해)이다. 자연스러운 충돌 계수 분석은 무한히 과다 청구하며, 각 후보를 그 자체의 실현된 서프라이즈(surprisal)로 임계값 처리하는 디코더만이 이율을 달성하면서 거의 결코 무고한 사용자를 연루시키지 않는다. 대응하는 역정리(converse)가 이 법칙을 양방향으로 만들며, $\ell$비트 페이로드의 추출 비용은 $Θ(\ell/h)$이다. 두 가지 공백은 실재하며 모델링 인공물이 아니다: 텍스트가 증명 가능하게 기계 생성이지만 귀속 불가능한 $Θ(\log N)$ 토큰 창, 그리고 footprint-resolution 불확정성 원리. GPT-2, Pythia-410M, Qwen2.5에서의 실험은 예측된 상수를 재현한다.

arXiv:2607.12649v1cs.LG

제1원리로부터의 추출 가능한 암기

Extractable Memorization From First Principles

대규모 언어 모델(LLM)에서 추출 가능한 암기에 대한 최근 연구는 상반되는 두 가지 타당성 문제를 겪고 있다. 일부 연구는 추출을 과장하는데, 예를 들어 암기와 예측 가능성을 구분하기에 너무 짧은 시퀀스에 의존한다. 다른 연구들은 모델이 명시적으로 학습하지 않은 실세계 텍스트도 재생산할 수 있기 때문에, 추출이 암기의 신뢰할 수 있는 증거가 아니라고 암시한다. 서로 다른 방식으로, 둘 다 유효한 추출 주장을 만드는 요건을 간과한다: 모델은 암기를 나타낼 만큼 충분히 높은 확률로 학습 시퀀스를 생성해야 한다. 무엇이 충분히 높은지 판단하려면 대응 비교(matched comparison)를 수행해야 한다. 즉 관심 있는 학습 시퀀스와 비교 가능한 비학습 시퀀스 모두의 생성 확률을 측정하는 것이다. 비학습 시퀀스는 암기될 수 없으므로, 이들의 확률은 예측 가능성에 대한 기준선을 제공한다. 이 기준선을 초과하는 학습 시퀀스는 암기의 증거를 제공한다. 우리는 대응 비교를 두 가지 방식으로 형식화한다: (1) 학습 및 비학습 시퀀스가 모집단에서 샘플링될 때 임계값을 선택한 거짓 양성 비율(FPR)에 맞게 보정하는 컨포멀(conformal) 검정, (2) 대상이 단일 문서(예: 책)일 때 대응하는 비학습 문서에 대해 보정하는 센서스(census). 대응 비교가 엄밀하고 보정된 암기 주장을 가능하게 하며, 이전 설정들이 타당성 문제를 갖는 지점을 밝혀준다는 것을 보인다. 예를 들어 Wikipedia에서 OLMo 2 32B는 비학습 10-토큰 접미사를 학습 접미사의 대략 24% 빈도로 재생산한다. 학습 생성률 대비 그 비율은 암기가 아니라 거짓 양성을 반영한다. 책에 대한 Llama 3.1 70B의 경우, 우리가 보정한 임계값은 1e-27까지 낮아, 실행 가능한 샘플링 예산으로는 추출할 수 없는 시퀀스에 대해서도 암기 주장을 뒷받침한다. 이 결과를 바탕으로, 우리는 "추출 가능한 암기"를 유효한 암기 주장과 현실적인 예산 내에서 거의 확실한 생성을 요구하도록 정제한다.

arXiv:2607.12645v1cs.LG

AdaPCLA: 롱테일 종단 EHR 생성을 위한 적응형 사전 보정 로짓 조정

AdaPCLA: Adaptive Prior-Calibrated Logit Adjustment for Long-Tailed Longitudinal EHR Generation

종단 전자건강기록(EHR)의 생성 모델링은 프라이버시 보호 연구에 점점 더 중요해지고 있지만, 표준 자기회귀(autoregressive) 모델은 꼬리 사건(즉 질병, 증상)의 공발생 구조를 과소 표현하는 경향이 있어, 희귀 하위집단에 대한 생성 데이터의 충실도와 신뢰성을 떨어뜨린다. 이를 위해 우리는 데이터 분포 인식 학습 전략을 통해 생성 모델이 EHR 데이터에 적응적으로 적합하고 생성할 수 있게 하는 AdaPCLA 프레임워크를 제안한다. 이는 시뮬레이티드 어닐링(simulated annealing) 학습을 통해 데이터 지식 매개변수를 내재화함으로써 달성된다. 또한 제로샷(zero-shot) 분포 제어를 통해 생성 시 다양한 임상 집단에 대한 무학습 적응을 지원한다. 더 나아가, 우리의 이론적 분석은 라벨별 경험적 NTK(Neural Tangent Kernel)를 통해 희귀 코드 로짓 업데이트를 특성화하고, 어닐링 속도와 NTK 조건수가 유지되는 사전(prior) 신호에 미치는 영향에 대한 사전 내재화 상한을 도출한다. 실제 데이터에 대한 실험에서 AdaPCLA는 꼬리 타당성, 하위 태스크 유용성, 제로샷 제어에서 일관된 향상을 보인다. 특히 MIMIC-III에서 HALO 대비 TailPairSeen을 114.2% 개선하고 MIMIC-IV에서는 65.1% 개선했으며, 제로샷 교차 집단 적응에서 GPT 스타일 생성보다 F1을 3.5% 더 높였다.

arXiv:2607.11978v1cs.LG

정밀 분자 설계를 위한 유전자 발현 정보 기반 공동 제어 생성 모델링

Gene Expression-Informed Jointly Controlled Generative Modeling for Precision Molecular Design

정밀 분자 설계는 생물학적 관련성과 분자 설계 전략과 같은 여러 조건의 공동 제어를 통해 개인 맞춤형 약후보를 발굴하는 것을 목표로 한다. 생물학적 관련성은 질병 또는 교란(perturbation) 조건 하의 세포 기능 상태를 반영하며, 분자 설계 전략은 구조적 의도와 물성 최적화 측면에서 상호 보완적인 지침을 제공한다. 본 연구에서는 유전자 발현 프로파일로 인코딩된 생물학적 상태와 텍스트로 표현된 분자 구조 정보, 그리고 수치로 정량화된 화학적 특성을 통합 모델링 프레임워크 내에서 결합하는 공동 제어 정밀 분자 생성 모델 JoPMol을 제안한다. 이러한 공식화는 공동 조건 제어 하에서 후보 분자의 조율된 생성과 최적화를 가능하게 한다. 실험 결과 JoPMol은 여러 평가(evaluation) 지표에서 최신(state-of-the-art) 방법들을 능가함을 보여준다. 또한 JoPMol은 전이(transfer) 작업과 생물학적으로 그라운딩(grounding)된 시뮬레이션 시나리오 모두에서 강한 일반화(generalization) 능력을 보여 정밀 분자 설계에서의 효과를 검증한다. 소스 코드는 https://github.com/hala-yh/JoPMol 에서 공개되어 있다.

arXiv:2510.20963v2cs.LG

다중 에이전트 토론은 언제, 왜 실패하며 정말 성능이 낮은가?

When and Why Does Multi-Agent Debate Fail and Does It Really Underperform?

다중 에이전트 토론(MAD)은 여러 대규모 언어 모델(LLM)의 지혜를 앙상블하여 추론을 개선하고, 초인간적 LLM에 효과적인 감독을 제공하는 유망한 접근법으로 제안되었다. 그러나 점점 늘어나는 실증적 증거는 MAD가 단일 에이전트(SA) 접근법보다 나아지지 못하거나 오히려 현저히 성능이 낮을 수 있음을 시사하여, MAD의 이점에 대한 의문을 제기하고 있다. 본 연구에서는 인기 있는 MAD 패러다임의 인센티브 구조를 분석하여 이 문제를 조사한다: (i) 에이전트들이 대립하는 입장을 취하며 경쟁하는 경쟁형 MAD(CopMAD); (ii) 에이전트들이 합의를 추구하도록 유도되는 합의 지향 MAD(CosMAD). 두 패러다임 모두 토론 해킹(debate hacking)에 시달린다는 것을 보인다. CopMAD는 에이전트들이 게임에서 이기기 위해 오해를 유발하는 메시지를 생성하는 cheap-talk game으로 환원되며, CosMAD는 정보가 있는 이견을 조기 합의를 위해 걸러낸다. 결과적으로 CopMAD와 CosMAD의 에이전트들은 모호성을 공동으로 해소하고 진실을 추구하는 데 실패한다. 이를 위해 MAD를 비영(sum) 게임으로 재구성하여 에이전트들이 정보가 있으면서도 진실한 메시지를 제공하도록 장려하는 협력형 프로토콜 ColMAD를 제안한다. 오류 탐지와 같은 어려운 과제에 대한 광범위한 벤치마킹을 통해 ColMAD가 기존 MAD 프로토콜보다 최대 10퍼센트포인트만큼 크게 우수함을 보인다. 동일한 예산 하에서 ColMAD는 SA 방법 대비 실질적인 개선을 효과적으로 가져오며, 이는 MAD의 잠재력을 실현하는 데 프로토콜 설계가 핵심적임을 시사한다.

arXiv:2607.12231v1cs.CV

GEST-Engine: 이벤트 그래프에서 합성 비디오까지. 전체 기술 보고서

The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report

본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.

arXiv:2605.31437v3cs.CV

Astra: 3D 컴퓨터 단층촬영(CT)용 일반화 가능한 보고서 생성 파운데이션 모델

Astra: a generalizable report generation foundation model for 3D computed tomography

컴퓨터 단층촬영(CT) 해석에는 수백 장의 볼륨 슬라이스 검토가 필요하며, 여전히 시간이 많이 소요되고 전문성에 의존한다. 자동 CT 보고서 생성은 임상 효율 개선의 유망한 경로를 제공하지만, 이 분야에는 다중 부위 보고를 지원하고 외부 실세계 코호트에 걸쳐 견고하게 유지되는 일반화 가능한 CT 보고서 생성 파운데이션 모델이 아직 부재하다. 코호트 간 보고 스타일 및 진단 용어의 내재적 불일치로 인해 단순 공동 학습이 어렵다. 본 연구에서는 전 세계 5개 기관에서 수집한 90,678개의 흉복부 CT-보고서 쌍(CTRgDB)을 기반으로 개발된 일반화 가능한 CT 보고서 생성 파운데이션 모델인 Astra를 제안한다. 이 데이터는 8개 장기계에 걸친 353,671건의 이상 소견을 포함한다. 보고서 스타일을 조화하고 강화학습을 통해 진단 일관성을 추가로 정제함으로써, Astra는 다양한 해부학적 부위와 기관에 걸쳐 스타일이 일관되고 진단적으로 정확한 보고서 생성을 달성한다. CTRgDB 및 6개 외부 코호트에서 평가한 결과, Astra는 세분화된 진단 지표에서 평균 38.4% 향상이라는 최첨단 성능을 달성하였다(P<0.001). 기관별 미세조정 없이 외부 임상 현장에 배포했을 때, Astra는 초·중급 영상의학과 의사들의 흉부 보고서 작성 시간을 29.6% 단축하고 복부 보고서 완결성을 11.3% 개선하였다(P<0.001). 또한 Astra는 CT AI 개발의 기반으로서 광범위한 활용성을 보이며, 고품질 보고서 합성을 통해 하류 진단 성능을 향상하고 비전-언어(vision-language) 사전학습을 확장한다. 전반적으로 Astra는 널리 접근 가능한 임상 보조 도구이자 AI 기반 의료의 차세대를 위한 핵심 인프라 역할을 한다. Astra 코드는 https://github.com/zh-Wang-Med/Astra 에서 공개되어 있다.

arXiv:2607.12986v1cs.AI

침묵으로 승리: LLM 계획 평가에서의 삭제 비단조성, 자율적 활용, 유형화 상태 게이팅

Win by Silence: Deletion Non-Monotonicity, Autonomous Exploitation, and Typed-State Gating in LLM Plan Evaluation

계획 평가자는 전략적 계획이 덜 명시적이게 될 때 이를 보상할 수 있다. 본 논문은 LLM이 생성한 벤처 루트(venture routes)에 대한 단계적 기대값 스코어러에서 그러한 실패를 연구한다. 명제 1은 선행 전이를 재지정하고 하류 가치를 유지하면서 내부 전이를 삭제할 때의 점수 변화를 제시한다: Delta_k = (prod_{i<k} p_i)[c_k + (1 - p_k)R_{k+1}]. 고정된 26-루트 코호트에서 57개의 모든 허용 가능한 삭제가 해석적 항등식과 임계값 부호와 일치했으며, 모든 루트에는 점수를 개선하는 삭제가 최소 하나 존재했다. 루트 재구조화는 허용되었으나 활용 메커니즘은 알려주지 않은 점수 추구 옵티마이저는 26개 루트 중 21개에서 기준선을 능가하는 미커버(uncovered) 구조를 찾았다. GATE는 26/26 음묵화(silenced)된 루트에 대해 점수 릴리스를 거부했으며, 정직한 계획에 대한 오거부는 0/26이었다. 거부 이후 47/54의 다음 수정이 커버(covered) 구조로 복구되었고, 엄격한 커버 개선은 1/26에서 13/26으로 증가했다. 적응형 컴파일러 인식 공동 저작자(co-author)는 레지스트리 출처(provenance) 경계를 드러냈다: 의무 채널(obligation-channel) 회피는 네 가지 v1/v1.5 조건 모두에서 6/6으로 유지되었으며, 델타 색인 비용 하한은 정직한 루트를 능가하는 루트를 6/6에서 3/6으로, 침묵을 통한 자금 조달 가능성(fundability-by-silence)을 5/6에서 0/6으로 줄였지만 의미적 완전성(semantic completeness)은 확립하지 못했다. 계획이 필요한 작업을 누락했기 때문만 더 높은 점수를 받는다면 계획은 개선되지 않은 것이며, 평가가 누락 인센티브를 만들었다. PCSC는 모델 매개 typed-state 기록에 대한 사후 누락 이음(omission splices)을 탐지하고 중화한다. 테스트된 협력 설정에서 GATE는 단순한 사후 필터가 아니라 결정론적 탐색 형성(search-shaping) 제약으로 작동한다. GATE는 임의의 LLM 생성 전략에 대한 의미적 완전성이나 현실 세계 품질을 검증하지는 않는다.

arXiv:2607.12982v1cs.AI

FormalAnalyticGeo: 멀티모달 해석 기하학 문제 생성을 위한 신경-기호 기반 프레임워크

FormalAnalyticGeo: A Neural-Symbolic Based Framework for Multimodal Analytic Geometry Problem Generation

수학적 추론은 멀티모달 대규모 언어 모델(MLLM)의 급속한 발전으로 상당한 진전을 이루었으나, 해석 기하학은 주로 주석된 샘플의 부족으로 인해 여전히 많은 부분이 탐구되지 않은 상태로 남아 있다. 기존의 다이어그램 생성 접근법은 해석 기하학에서 어려움을 겪는다: 템플릿 기반 방법은 제약 조건 기반 레이아웃을 다룰 수 없고, 생성 모델은 주석이 달린 원뿔곡선을 정확하게 렌더링할 데 필요한 기하학적 정밀도가 부족하다. 우리는 멀티모달 해석 기하학 문제의 완전 자동 생성을 위한 확장 가능한 프레임워크인 FormalAnalyticGeo를 제시한다. 형식 언어의 엄밀함을 활용하여, 우리는 프레임워크를 CDL(Condition Description Language, 조건 기술 언어)을 중심으로 설계한다. CDL은 Signed Distance Field(SDF) 엔진을 통해 자유 형식의 문제 텍스트와 정밀한 다이어그램 렌더링을 연결하는 형식적 중간 표현이다. 이 프레임워크는 순차적으로 네 가지 특화된 LLM 구성 요소를 사용한다: 다양한 해석 기하학 문제를 생성하는 Generator, 각 문제를 SDF 기반 렌더링을 위해 CDL로 변환하는 Formalizer, 렌더링된 다이어그램에 대한 비전 기반 측정을 통해 정답(ground truth)을 추출하는 Measurer, 그리고 세 단계에서 출력을 검증하는 Quality Verifier. Quality Verifier의 구조화된 피드백이 자동 재시도를 유도하여, 인간 주석이 전혀 필요 없는 폐쇄 루프를 형성한다. FormalAnalyticGeo를 대규모로 적용하면 AnalyticGeo7K가 생성되며, 이는 각각 텍스트, 다이어그램, 형식적 주석, 정답이 정렬된 7K개 이상의 검증된 멀티모달 문제로 구성된 데이터셋이다. 실험 결과, 생성된 문제들은 정답 기준 중앙 상대 오차 0.70%를 달성하며, 답의 82.3%가 정확한 기호 해(symbolic solution)의 5% 이내에 들어선다. 우리의 프레임워크와 데이터셋은 공개될 예정이다.

arXiv:2607.12780v1quant-ph

가까워도 충분하지 않을 때: 양자 회로 합성의 자기회귀형 드리프트

When Close Enough Is Not Enough: Autoregressive Drift in Quantum Circuit Synthesis

오류 허용(fault-tolerant) 컴퓨팅을 위한 양자 회로 최적화는 T 게이트와 같은 비용이 큰 비-Clifford 자원을 최소화하면서 정확한 기능적 동등성(functional equivalence)을 요구한다. 우리는 구조화된 회로 토큰화(structured circuit tokenization)를 갖춘 4480만 매개변수 규모의 컴팩트한 인코더-디코더 트랜스포머를 사용해 이 문제를 연구하며, 매개변수화(parameterized) 회로(2–6큐비트)와 Clifford+T 회로(3–6큐비트)에서 평가한다. 매개변수화 회로에서는 트랜스포머로부터 구조, 고전 최적화로부터 각도를 얻는 하이브리드 접근법이 3–6큐비트 회로에서 중앙값 충실도(median fidelity) 1.000을 달성한다. Clifford+T 회로에서는 모든 게이트가 이산적이고 사후 처리(post-processing)가 불가능한데, 모델은 유효한 구문(syntax)과 정확한 T-Count 통계를 학습하지만, 목표 길이가 길어질수록 정확한 동등성(exact equivalence)이 급격히 저하된다—9개 이하 게이트 회로에서는 88%에서 26개를 넘는 회로에서는 거의 0에 이른다. 우리는 이 실패를 자기회귀형 드리프트(autoregressive drift)에 기인한다고 추적한다: 초기 토큰의 이탈이 왼쪽에서 오른쪽으로의 디코딩 과정에서 회복 불가능하게 연쇄적으로 확산된다. 드리프트를 부분적으로 완화하는 두 가지 레버가 있다: 다수 후보를 생성하고 동등성 검증(equivalence verification)을 통해 선택하는 추론(inference) 시점 전략은 정확 일치(exact-match)율을 7%에서 22.5%로 끌어올리고, 학습 데이터를 2.5배 확장하면 39.5%까지 올라간다. 그러나 목표 길이에 따른 저하는 지속된다—더 많은 데이터가 있더라도, 정확한 동등성은 짧은 회로에서 94%에서 26개를 넘는 게이트에서는 4% 미만으로 떨어진다. 설정 간 대비가 우리의 핵심 발견이다: 근사 출력(approximate outputs)이 사후 처리로 구제될 수 있을 때 트랜스포머는 성공한다; 정확한 이산적 정확성(discrete correctness)이 요구될 때는 자기회귀형 드리프트가 신뢰성을 제한하며, 추론 시점 탐색과 데이터 스케일링은 효과적인 레버인 반면 학습 측면의 미세조정(fine-tuning)과 모델 수준의 다양화(diversification)는 그렇지 않다.

arXiv:2607.12422v1cs.AI

수락된 접두사만으로는 부족하다: PEFT 기반 블록-확산 드래프팅에 대한 부정적 결과

Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting

추측 디코딩(speculative decoding)은 저비용 드래프터가 여러 미래 토큰을 제안하고 타깃 모델이 이를 검증함으로써 자기회귀 언어 모델 추론을 가속한다. 따라서 흔한 설계 목표는 보조 매개변수와 시스템 오버헤드를 줄이면서 드래프트 품질을 개선하는 것이다. 우리는 동일 백본 추측 디코딩 방법인 PEFT-BD를 통해 이 방향에 대한 부정적 결과를 연구한다. PEFT-BD에서는 LoRA 유사 어댑터가 자기회귀 검증기를 위한 블록-확산(block-diffusion) 드래프터 역할을 한다. PEFT-BD는 여러 매력적인 특성으로 동기가 부여된다: 토크나이저 불일치를 피하고, 별도의 드래프트 모델 로딩을 피하며, 학습 가능한 매개변수를 소량만 추가하고, BD3LM 스타일의 디노이징(denoising) 목표함수를 사용해 토큰 블록을 병렬로 제안한다. 이러한 장점에도 불구하고, PEFT-BD는 Qwen3-0.6B 실험에서 실질적인 속도 향상을 제공하지 않는다. 비록 이 방법이 사소하지 않은 수락 접두사를 얻기는 하지만, 프로파일링은 각 추측 단계가 어댑터 활성화된 전체 백본 드래프트 패스와 이어지는 어댑터 비활성화된 전체 백본 검증 패스를 필요로 함을 보여준다. 따라서 드래프터는 매개변수 효율적이지만 연산 효율적이지는 않다. 우리 결과는 성공적인 추측 디코딩을 위한 단순하지만 중요한 조건을 분리해낸다: 드래프터는 검증기보다 실행 비용이 실질적으로 더 저렴해야 한다. 수락 접두사가 더 길어지는 것만으로는, 드래프트 연산이 검증기 수준에 머무를 때 이를 보상할 수 없다.

arXiv:2607.12180v1cs.HC

TRAIL: 설정 가능한 인간–AI 팀워크 실험 플랫폼

TRAIL: A Platform for Configurable Human--AI Teaming Experiments

AI 팀원의 설계 속성(성격, 의사소통 방식, 발화 시점)은 팀의 신뢰, 조율, 의사결정을 형성할 수 있다. 이를 엄밀하게 연구하려면 기존 도구들이 제공하지 못하는 인프라가 필요하다. 즉, 시간에 걸쳐 지속되는 계측된 실시간 협업에 내재된 AI 팀원의 재현 가능한 구성이다. 우리는 Team Research and AI Integration Lab(TRAIL)을 제시한다. TRAIL은 AI 팀원을 설정 가능하고 재현 가능한 설계 객체로 만드는 웹 플랫폼으로, 빅 파이브(Big Five) 성격 페르소나, 선택적 참여 메시지 파이프라인, 이중 메모리, 연쇄 종단 실험,보내기 준비 분석 기능을 결합한다. 실제 6회 수업 세션 배포(약 51명의 학생)에서 TRAIL은 종단 연쇄를 유지했고, AI가 대화의 안정적인 소수 비중을 차지하도록 했으며,보내기 기반 AI-인간 텍스트 유사도 분석을 가능하게 했다. 단일 블라인드 페르소나 변경이 설계와 일관된 이중 분리를 유발했다. 인지 스캐폴딩(cognitive scaffolding) 에이전트는 더 높은 기여도 평가와 더 가까운 언어적 정렬을 이끌어냈고, 사회적 지원(socially supportive) 에이전트는 더 따뜻한 팀 분위기와 더 낮은 과의존을 보였다.

arXiv:2607.10144v2cs.AI

IdeaTrail: 과학적 아이디어 도출을 위한 전 과정 에이전트 궤적

IdeaTrail: Full-Process Agent Trajectories for Scientific Ideation

과학적 아이디어 도출은 문헌 검색, 논문 읽기, 도구 사용, 주장 검증, 논문 간 종합, 브레인스토밍, 약한 방향의 거부, 반복적 작성 등 여러 단계에 걸쳐 전개된다. 그러나 기존 대부분의 리소스는 이들을 연결하는 과정보다는 고립된 구성 요소나 최종 산출물만 포착한다. 우리는 과학적 아이디어 도출과 제안서 생성을 위한 1,170개의 다중 턴 궤적 데이터셋인 IdeaTrail을 제안한다. 각 궤적은 증거 수집부터 아이디어 선택 또는 제안서 구성까지의 연구 과정을 따르며, 도구 사용, 획득한 증거, 중간 산출물, 추론을 함께 기록한다. IdeaTrail은 Generator--Advisor 루프를 통해 사람이 선정한 연구 논문과 제안서 산출물로부터 합성된다. Generator는 행동, 관측, 산출물 편집의 가시적 시퀀스를 생성하고, Advisor는 전체 생성 컨텍스트를 사용하여 그라운딩, 인과 순서, 자연스러움, 숨겨진 목표로부터의 누출을 검사한다. 이 역방향-정방향 설계는 실제 과학적 산출물과 궤적을 정렬시키면서, 연구 실무의 특성인 불확실성, 증거 활용, 단계적 수렴을 유지한다. IdeaTrail은 재사용 가능한 과정 감독과 과학 연구 에이전트 데이터를 구축하기 위한 일반적인 방법을 모두 제공한다.

arXiv:2510.22510v3cs.LG

CANDI: 하이브리드 이산-연속 확산 모델

CANDI: Hybrid Discrete-Continuous Diffusion Models

연속 확산(continuous diffusion)은 이미지 생성과 같은 연속 도메인에서 놀라운 성과를 거두었지만, 이산 데이터에 직접 적용하면 순수 이산 방식보다 성능이 낮았다. 이 격차를 이해하기 위해, 우리는 가우시안 노이즈가 이산 데이터를 손상시키는 두 가지 메커니즘—이산 아이덴티티 손상(discrete identity corruption)과 연속 랭크 저하(continuous rank degradation)—을 특성화하는 분석 프레임워크인 토큰 식별가능성(token identifiability)을 도입한다. 이 두 메커니즘이 어휘 크기에 따라 서로 다른 방식으로 스케일링되어, 연속 기하구조와 이산 구조의 동시 학습 사이에 트레이드오프를 강제하는 시간적 불일치(temporal dissonance)가 발생함을 밝힌다. 이를 해결하기 위해, 이산 손상과 연속 손상을 분리하여 두 가지를 동시에 학습할 수 있게 하는 하이브리드 프레임워크인 CANDI(Continuous ANd DIscrete diffusion)를 제안한다. 이를 통해 이산 공간에서도 연속 확산의 이점을 활용할 수 있다: 제어 생성(controlled generation)에서 CANDI는 단순한 그래디언트 덧셈을 통해 기성(off-the-shelf) 분류기로 분류기 기반 가이던스를 가능하게 하며, 텍스트 생성에서는 낮은 NFE 환경에서 마스크 확산(masked diffusion)을 능가함으로써 이산 공간을 위한 연속 그래디언트 학습의 가치를 입증한다. 코드는 프로젝트 페이지에서 확인할 수 있다: https://patrickpynadath1.github.io/candi-lander.