대규모 언어 모델(LLM)은 대화형 AI를 변화시켰지만, 고품질 다국어 코드믹스(code-mixed) 대화 자원은 여전히 부족하며, 특히 인디아 언어에서는 화자들이 원어 문자와 로마자(Romanized) 표기 양 형태 모두에서 영어와 모국어를 자연스럽게 번갈아 사용하는 경우가 그렇다. 본 논문은 IndicTalk를 제시하는데, 이는 9개 인디아 언어를 포괄하는 18개 언어 변종에 걸쳐 13,28,604개 이상의 이벤트 그라운딩(event-grounded) 다회차 대화로 구성된 가장 큰 다국어 인디아 코드믹스 대화 코퍼스 중 하나이다. 이 코퍼스는 실세계 뉴스 그라운딩, 다국어 LLM을 이용한 페르소나 조건(persona-conditioned) 대화 생성, 자동 품질 검증을 결합한 완전 자동화 파이프라인을 통해 생성된다. 광범위한 언어학적·자동·인간 평가는 IndicTalk가 두 문자 변종(script variants) 모두에서 유창하고 일관되며 자연스럽게 코드믹스된 대화를 생성함을 보여준다. IndicTalk를 공개하여 대표성이 낮은(underrepresented) 인디아 언어를 위한 다국어 대화형 AI의 개발과 평가를 지원할 것이다. 데이터셋은 https://huggingface.co/datasets/LingoIITGN/IndicTalk 에서 이용할 수 있다.
대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.
독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.
MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.
동적 상품 광고(DPA)는 수백만 개 규모의 상품 카탈로그에서 관련 항목을 검색해야 하며, 두 가지 상충하는 목표인 리타겟팅(기존 관심사 재노출)과 프로스펙팅(새로운 카테고리 발견) 사이의 균형을 맞춰야 한다. 대규모 언어 모델(LLM)은 전통적인 임베딩 모델보다 의미적 의도를 더 잘 포착하지만, 대규모로 배포할 경우 감당하기 어려운 추론 비용과 어휘적 불일치 문제가 발생한다. 수백만 사용자를 대상으로 한 통제 실험을 통해, 중요한 검색 분해를 입증한다: 규칙 기반 생성 쿼리는 어휘적 BM25 인덱스에서 리타겟팅에, LLM 생성 쿼리는 밀집 ANN 인덱스에서 프로스펙팅에 각각 탁월하다. 이를 바탕으로 SMART(SeMantic-aware Adaptive ReTrieval)를 제안한다. 비용을 관리하기 위해, 경량 품질 게이트가 초기 키워드 결과의 커버리지 공백을 식별하고, 의미적 프로스펙팅의 이점을 얻는 사용자 중 약 10%만 LLM 경로로 적응적으로 라우팅한다. 오프라인 평가에서 이 게이트 방식이 Relevance Score의 의미적 프로스펙팅 이득 대부분을 포착하면서, LLM 비용을 90% 절감한 채 경쟁력 있는 리타겟팅 성능을 유지함을 보여준다. 마지막으로, Snap에서 2주간 진행한 온라인 A/B 테스트에서 SMART는 강력한 임베딩 기반 기준선 대비 광고 전환율을 +27.6% 개선했다.
성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.
DoLa와 같은 대조 디코딩(contrastive decoding) 방법은 성숙한 층과 미성숙한 층의 출력 분포를 대조하여 대규모 언어 모델(LLM)의 사실성(factuality)을 향상시킨다. 그러나 DoLa의 동적 층 선택은 출력 어휘 분포의 발산(divergence)에만 의존한다. 본 연구에서는 내부 셀프 어텐션(self-attention) 메커니즘이 담고 있는 구조적 정보를 층 선택 신호로 활용하는 세 가지 어텐션 기반 전략인 Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min을 제안한다. TruthfulQA에 대한 실험 결과, 특히 Attention-JSD와 Attention-Entropy-Min을 포함한 제안 전략들이 원래 DoLa를 일관되게 능가함을 보여준다. 다중 답변 지표(MC2 및 MC3)에서 유의미한 향상을 관찰하였으며, 이는 어텐션 분포가 출력 어휘 분포보다 사실적 지식 해결에 더 민감한 신호를 제공할 수 있음을 시사한다.
다국어 추론 평가는 압도적으로 영어 벤치마크를 번역하는 방식에 의존하며, 이 관행은 언어적 인공물을 도입하고 문화적으로 근거 있는(culturally-grounded) 추론을 검증하지 못한다. 본 연구는 ADAGE(Analogical Difficulty-by-design Assessment for Grounded Evaluation)를 제안하는데, 이는 원어민 큐레이션과 LLM 보조 생성을 결합하여 추상적 유추적 추론을 위한 어려운 번역 없는 벤치마크를 구축하는 언어 무관 파이프라인이다. ADAGE를 아랍어, 암하라어, 일본어 벤치마크 구축으로 검증했으며, 14개 오픈 가중치(open-weight) 모델을 평가한 결과 일관된 문화적 추론 격차가 나타났다. 영어 속담 추론에서 우수한 성능을 보인 모델들도 세 가지 원어 벤치마크에서는 모두 크게 어려움을 겪었으며, 영어 대비 정확도가 12–52 percentage points 하락했다. 파이프라인, 세 벤치마크, 전체 평가 스위트를 공개한다.
대규모 언어 모델(LLM)은 대화 전사본으로부터 대인적 매력을 예측할 수 있지만, 전사본만 사용하는 LLM 예측을 넘어 음성 예측기가 무엇을 더할 수 있는지는 여전히 불분명하다. 일본어 스피드 데이팅 대화를 사용하여, 전사본만 사용하는 LLM과 지도 학습 기반 음성 예측기의 예측을 결합해 참가자들이 보고한 상대방에 대한 호감도를 추정한다. 우리는 음성이 전사본만 사용하는 LLM 예측을 보완할 수 있음을 보이지만, 이러한 상보성은 보편적이기보다 조건적임을 보인다. 두 예측을 결합하면 평가한 모든 조건에서 전사본만 사용하는 LLM 단독 대비 쌍별 순위 정확도가 유의미하게 향상된다. 반면, 참가자별 Pearson $r$의 향상은 대화 라운드와 평가 방향에 따라 달라지며, 보정 후에는 어느 것도 유의미하지 않다. 사후 분석 결과, 이러한 $r$ 향상은 음성 예측기가 더 정확한 참가자들에게 집중되어 있다. 따라서 LLM이 전사본으로부터 매력을 예측하더라도 음성은 예측 가치를 유지할 수 있다. 관련 있는 질문은 단순히 음성이 도움이 되는지 여부가 아니라, 그 상보성이 어디에서 나타나는지이다.
교육 환경에 배포된 대규모 언어 모델(LLM)은 종종 직접 답변자처럼 행동한다. 소크라테스식 교육법이 권장하는 점진적 탐구를 통해 학생을 안내하는 대신, 첫 턴에서 목표 개념을 공개한다. 우리는 지도학습 워ーム업과 Group Relative Policy Optimization(GRPO)을 통해 Qwen2.5-7B를 소크라테스식 튜터링 방향으로 정렬하는 2단계 파이프라인 HeuristicEdu를 제안한다. 학습에는 실시간 플랫폼에서 재구성한 797개의 다중 턴 중국어 아동 과학 대화 데이터셋 SocraticEdu를 사용하며, 인지적 깊이(R_cog), 호기심 참여(R_eng), 직접성(R_dir)에 대한 휴리스틱 보상과 학생이 도입한 용어에 대한 K_query 보정을 함께 적용한다. 표면적 유창성을 넘어 결과를 평가하기 위해 Scaffolding Effectiveness(SE)와 Conversation Depth(CD)를 도입한다. 30개의 홀드아웃 질문에서 최고의 GRPO 변형은 SE를 30.0%에서 63.3%로 향상시키고 키워드 유출을 30.0%에서 13.3%로 낮춘다. 특히, 이 최고 변형은 최적화 중 직접성 페널티를 생략하며, 이는 명시적 반유출 항이 그래디언트 기반 행동 정렬과 충돌할 수 있음을 시사한다. 정렬되지 않은 Qwen-72B 기준선은 SE 0%와 유출 96.7%에 도달하며, 이는 규모만으로는 소크라테스식 행동이 유도되지 않음을 보여준다.
목적: 일반 도메인 대규모 언어 모델(LLM)이 실제 퇴원 요약에서 식별할 수 있는 내부 문서 불일치의 유형을 규명하고, 대규모 적용 시 신뢰성을 제한하는 반복적 실패 모드를 파악한다. 재료 및 방법: 개방형 후보 식별(Gemini 2.5 Pro)과 맥락 그라운딩 검증(Gemini 2.5 Flash)으로 구성된 2단계 LLM 파이프라인을 무작위 표본 3,000건의 MIMIC-IV-Note 퇴원 요약에 적용하였다. 파이프라인 출력의 일부는 임상 전문가가 수동 검토하였다. 결과: 파이프라인은 3,460건의 후보 불일치를 도출하였으며, 입원 건의 69.7%에 해당한다. 대표 사례는 인구통계, 알레르기, 시술, 진단, 검사, 약물, 치료 계획 영역에 걸쳐 있었고, 임상 추론 및 환자 안전에 직접적 함의를 갖는다. 전문가 검토는 검증에 시간적 추론, 변화하는 진단 맥락, 또는 모델이 기본적으로 보유하지 않은 외래 처방 관행에 대한 지식이 필요할 때 나타나는 반복적 실패 모드도 밝혀냈다. 토론: 탐지는 맥락 의존성이 매우 높다. 플래그된 많은 쌍은 각 진술을 원문 섹션과 임상 영역에 대응시킨 뒤, 충돌이 실제 모순인지 맥락 누락인지를 판단해야 한다. 우리는 엄격한 모순부터 모호성까지를 아우르는 등급형 온톨로지와, 플래그된 각 사례를 범주, 섹션, 영역, 불일치 축으로 기술하는 스키마를 제안한다. 결론: 본 형성 연구는 후속 검증 대규모 EHR 불일치 분석을 이끌 방법론적 기반과 개념적 틀을 마련한다.
대규모 언어 모델(LLM)은 자연어 프롬프트로부터 코드를 생성하지만, 실제 프롬프트는 완전한 명세를 제공하는 경우가 드뭅니다. 프롬프트가 입력 형식, 오류 처리 또는 설계 결정을 명시하지 않으면, LLM은 생성된 코드의 동작과 정확성을 형성하는 암묵적 가정으로 이러한 공백을 메웁니다. 이러한 가정이 숨겨진 채로 남아 있기 때문에, 생성된 코드는 테스트는 통과하면서도 개발자 의도를 위반할 수 있습니다. 우리는 LLM 기반 코드 생성에서 암묵적 가정을 일급(first-class) 산출물로 만드는 프레임워크인 AssumptionMiner를 제안합니다. 코드 외에도 AssumptionMiner는 명시적 가정 층을 생성하며, 이는 개발자가 검사, 확인 또는 수정할 수 있는 추론된 제약과 설계 결정의 구조화된 표현입니다. AST 기반 의존성 그래프는 수정된 가정의 영향을 받는 코드만을 대상으로 한 국소적 재생성을 가능하게 합니다. 또한 676개의 주석이 달린 가정을 포함한 180개의 모호한 프로그래밍 과제로 구성된 벤치마크를 도입하며, 코드 국소화(code localization) 평가를 위한 사람이 검증한 부분집합도 포함합니다. 가정 추출, 코드 국소화, 가정 안내 재생성을 평가합니다. 오픈소스 LLM 전반에서 신뢰도 가중 앙상블은 가정 추출에 대해 F1 점수 0.816을 달성하며, 가장 강력한 오프라인 기준선 대비 3.6배 개선합니다. 사람이 검증한 국소화 벤치마크에서 AST 안내 국소화는 키워드 기반 및 전체 파일 기준선보다 더 정밀한 코드 영역을 식별합니다. 가정 수정 과정에서 대상 지정 재생성은 비대상 대안보다 더 적은 코드를 수정하면서 연쇄 편집(cascading edits) 처리의 과제를 드러냅니다. 이러한 결과는 가정을 명시화하면 LLM 기반 코드 생성의 투명성과 제어 가능성이 향상됨을 보여줍니다.
우리는 영어, 스페인어, 그리스어, 중국어, 힌디어를 아우르는 다국어 금융 시험 질의응답 벤치마크인 FinMMEval 2026 Task 1에 대한 DS@GT의 제출 결과를 제시한다. CFA, EFPA, CPA와 같은 금융 자격 시험은 표준 자연어 처리(NLP) 벤치마크가 포착하지 못하는 구조화된 도메인 추론을 요구하며, 검색 및 표현 인프라가 미발달된 언어에서는 이 과제가 더욱 가중된다. 우리는 LangGraph 기반의 검색-증강 생성(RAG) 파이프라인을 구축하여 질의 언어를 감지하고, BGE-M3 임베딩과 FAISS 인덱싱을 사용해 30,209개 항목의 다국어 지식 베이스에서 의미적으로 관련 있는 예시를 검색한다. 시스템은 이어서 검색-증강 직접 점수화(RADS)를 통해 답을 채점하며, 자유 형식 출력을 생성하는 대신 후보 선택지 문자에 대한 다음 토큰 로그 확률을 읽는다. 저자원 언어의 경우, 가중 역순위 융합(weighted Reciprocal Rank Fusion)을 사용하여 언어별 및 교차 언어 검색 인덱스를 융합한다. 모델 선택은 언어 라우팅 방식이다: 아랍어, 중국어, 힌디어에는 Qwen3-14B; 영어에는 Qwen2.5-14B; 그리스어에는 Llama-3.1-8B를 사용하며, 이 라우팅은 상당한 언어 비대칭 성능 격차를 드러내는 실증적 ablation에서 도출되었다. 주목할 점은, 사고의 연쇄(Chain-of-Thought) 프롬프팅이 그리스어 정확도를 크게 저하시킨다(90.7%에서 20.9%로)는 것이며, Qwen3의 기본 thinking 모드를 활성화하면 아랍어 RADS 성능이 거의 무작위 수준으로 붕괴한다. 우리의 결과는 효과적인 다국어 금융 추론이 언어 인식 검색, 모델 라우팅, 그리고 의도적인 점수화 전략 선택을 필요로 함을 보여준다.
코딩 에이전트는 이제 다양한 프로그래밍 언어에서 매우 효과적이지만, 본 논문은 먼저 프로그래밍 언어에 따라 비용(토큰 기준)이 매우 크게 달라질 수 있음을 보여준다. Python, Java, Rust, OCaml의 프로그래밍 문제에 대해 최근 모델 다섯 개를 평가한다. 문제 난이도를 신중하게 통제한 결과, 모델 전반에 걸쳐 일관되게 나타나는 토큰 소비의 뚜렷한 변동이 있음을 보여준다.
그 원인을 이해하기 위해 에이전트 궤적의 구조와 내용을 모두 분석한다. 먼저 모든 중간 솔루션을 재실행하고 각 궤적을 테스트 결과 벡터의 시퀀스로 추상화한 다음, 연속적인 솔루션 사이의 작업에 레이블을 부여한다. 이를 통해 에이전트가 익숙하지 않은 언어에서 반복적으로 컴파일되지 않는 솔루션을 생성하고, 이미 통과한 솔루션을 수정하는 것이 드러난다. 둘째, 궤적 텍스트를 분석한 결과, 에이전트가 코드 주석에서 솔루션을 계획하고, 제공된 테스트보다 자신이 만든 입력을 더 신뢰하며, Python으로 프로토타입을 만들어 익숙하지 않은 대상 언어를 우회하는 것을 발견한다.
우리 결과는 언어별 토큰 효율이 다국어 에이전트를 벤치마킹하고 개발할 때 고려해야 할 지표이며, 토큰맥서(tokenmaxxer)에게는 작업 비용이 가장 큰 언어를 가리키는 안내가 됨을 보여준다.
최근 Text-to-SQL 방법들은 사고의 연쇄(Chain-of-Thought, CoT)와 같은 추론 중심 패러다임에 크게 의존하며, 복잡한 벤치마크에서 상당한 성능 향상을 달성하지만 높은 추론 시간 오버헤드라는 대가를 치른다. 그러나 실제 쿼리의 상당 부분은 다단계 추론 없이 해결할 수 있는 단순 조회나 집계이므로, 강제된 추론은 낭비가 된다. 따라서 우리는 Text-to-SQL에 지도 미세조정(SFT)과 직접 선호 최적화(DPO) 모두에 자동 사고(auto-thinking) 메커니즘을 통합하는 프레임워크인 AutoThinkSQL을 제안한다. 우리 접근법은 모델이 단순 쿼리에 대해서는 추론을 동적으로 우회하고, 복잡한 쿼리에 대해서는 깊은 CoT를 호출할 수 있게 한다. Qwen3-Coder-30B-A3B에서 우리 방법은 Spider와 BIRD 벤치마크 모두에서 최고 대응 기준선과 비교해 일관된 성능 향상을 달성하는 동시에, CoT 전용 생성과 비교해 평균 출력 토큰을 각각 24.6%와 18.3% 줄이고, 평균 지연 시간을 17.1%와 11.5% 줄인다. 추가 분석에 따르면, 모델은 추론 결정을 쿼리 난이도와 정렬하는 법을 학습한다.
본 논문은 기억, 장소, 정체성의 교차점을 탐구하며, 특히 Apple Vision Pro와 같은 신기술이 이 연결고리를 어떻게 조명할 수 있는지 검토한다. 디지털 트윈(digital twin)과 가상 현실(VR)을 활용하여, 기억이 문화적·역사적 의미를 지닌 경관과 도시 환경에 어떻게 짜여 있는지 조사하고, 기억과 유산을 불러일으키는 시각적 요소를 식별한다. Apple Vision Pro와 같은 애플리케이션은 이미지 확장(image extension)을 통해 장소 정체성을 정의하는 데 기여할 수 있으며, 시간대를 넘어 문화적·정치적 실체에 대한 정보를 시청자에게 제공한다. 시각적 스토리텔링은 경관의 변화와 문화유산 보존을 보여줄 수 있으며, 가상 현실(VR)은 역사적 경관과 도시 경관의 재현을 가능하게 한다. 이 몰입형 접근은 사용자가 시간적 경계를 넘어 과거를 역동적으로 경험하도록 한다. 의미론적 이미지 검색(Semantic Image Search)은 기념물, 전통, 또는 문화적 정체성과 관련된 이미지를 발굴함으로써 연구를 지원할 수 있다. 본 연구는 디지털 트윈과 가상 환경을 도시 및 비도시 경관과 연결하여 문화적, 역사적, 환경적 지속가능성을 보여주는 방법론을 제시한다. 이 접근의 핵심은 현재 상태의 회복력, 그 미래적 진화, 그리고 과거의 중요성을 정의하는 것이다. 이러한 기술은 역사적·문화적 포용을 촉진하면서, 수년 후 특정 장소로 돌아온 듯한 감각을 불러일으킨다. 해당 방법론은 문화적·정치적 기억을 통해 공공 도시 공간을 재활성화하는 데 필요한 기술 통합을 개략적으로 설명한다. 이러한 애플리케이션을 통해 본 논문은 공간의 디지털 트윈, 도시 변화, 문화유산 보존에 관한 연구에 기여한다. 디지털 시대의 기억, 장소, 정체성 간 관계에 대한 통찰을 제공함으로써, 공동의 과거와 그것이 현재에 미치는 영향에 대한 더 깊은 이해를 지원한다.
과학 연구에서 동료 심사(peer review)는 필수적인 절차이지만, 증가하는 업무량으로 인해 자동화의 필요성이 점점 커지고 있다. 본 연구에서는 공식 학회 가이드라인과 LLM을 사용해 고품질 인간 심사로부터 생성한 심사자 모방형 가이드라인 등 서로 다른 유형의 심사자 가이드라인이 자동 동료 심사에 미치는 영향을 분석한다. 실험 결과, 공식 학회 가이드라인이 인간 판단과 가장 일치하는 심사 결과를 생성했으며, 이는 학회 실무를 통해 정제된 평가 기준이 자동 심사에도 효과적인 지침 역할을 한다는 것을 시사한다. 반면, 심사자 모방형 가이드라인은 일반적으로 공식 학회 가이드라인보다 덜 효과적이었다. 또한 엄격한 루브릭(rubric) 형식 채점을 강제하면 성능이 지속적으로 저하되었으며, 이는 주관적이고 전체적인(holistic) 채점을 허용하는 것의 중요성을 부각한다.
과학 문헌의 수학적 표현을 실행 가능한 기호 코드로 자동 변환하는 작업(이를 수식 형식화(Formula Formalization)라고 부름)은 기술 과학 분야에 특화된 고품질 정답(ground-truth) 데이터셋의 심각한 부족으로 인해 어려움을 겪고 있다. 본 논문에서는 이러한 작업을 위한 신속한 주석(annotation)을 지원하도록 설계된 오픈 소스, 문서 중심(document-centric), 맞춤형 프레임워크인 MioFFAn을 제시한다. MioGatto 아키텍처를 기반으로, 구조적 한계를 극복하기 위해 기존 기능을 확장하고, 관심 방정식 선택 및 보조적 기호 코드 지정과 같은 수식 형식화를 위한 특화 기능을 도입하여 범위를 전환한다. 사용자가 식별된 기호에 대한 맞춤형 분류체계(taxonomy)와 속성, 그리고 호환 가능한 기호 연산자를 구성할 수 있게 함으로써, 프레임워크가 다양한 전문 과학 분야에 적응 가능하도록 한다. 또한 MioFFAn은 대규모 언어 모델(LLM)을 통한 부분 자동화를 통합하도록 설계되었다. 엄격한 출력 형식을 갖춘 모듈형 자동화 하위 작업 집합을 정의함으로써, 연구자들이 자동화 역량을 반복적으로 개선하고 표준 자연어 처리(NLP) 지표를 사용하여 경쟁 전략들을 평가할 수 있게 한다. 현재 자동화 방법론을 명세하고, 인간 개입 루프(human-in-the-loop) 접근법의 효과를 보여주는 예비 평가를 수행한다.
대규모 언어 모델(LLM) 에이전트는 이미지와 같은 외부 콘텐츠를 검색하고, 적절한 경우 해당 콘텐츠를 재현하는 상업적 작업을 점점 더 많이 수행하고 있다. LLM 에이전트는 저작권법을 포함한 법률을 준수해야 한다. 그러나 현재로서는 실제로 그렇게 하는지 평가할 수 있는 적절한 프레임워크가 부족하다. 이를 위해 저작권법 준수를 평가하기 위해 설계된 벤치마크인 Copyright-Bench를 제안한다. Copyright-Bench는 웹사이트 개발, 상품 디자인, 피치 덱 제작 등 현실적인 상업적 작업으로 구성되며, 이 작업들에서는 에이전트가 사용이 합법적인 퍼블릭 도메인(public domain) 콘텐츠와 이 맥락에서 사용 시 침해에 해당하는 저작권 보호 콘텐츠 사이에서 선택해야 한다. 평가에서는 다양한 사용자 선호를 시뮬레이션하는 프롬프트 변형과 시간 압박을 도입한다. 최신 LLM 에이전트와 인간 기준선을 비교한 결과, (1) 에이전트는 퍼블릭 도메인 대안이 있음에도 저작권 보호 저작물을 선택하며, (2) 오픈 가중치 모델의 경우 특정 사용자 선호와 시뮬레이션된 시간 압박에 대응하여 위반율이 증가한다는 것을 확인했다.
자본시장 워크플로에서 핵심 질문은 대규모 언어 모델(LLM)이 유창한 초안을 만들 수 있는지가 아니라, 그 초안이 bankable한지—상대방이나 규제 당국 앞에서 손에 든 문서와 함께 방어할 수 있는지—입니다. 기존 방법들은 그 격차의 일부만 다룹니다. 개방형 QA 벤치마크는 표면적 정확도에 보상을 부여하고, 금융 벤치마크(FinanceBench, FinQA, ConvFinQA)는 문서 기반 및 수치 QA를 발전시키지만, 실무자들이 방어해야 하는 워크플로 출력물이 아닌 질문-답변 층에서 평가합니다. 우리는 CM-LRS(Capital Markets LLM Reliability Score, 자본시장 LLM 신뢰성 점수)를 도입하여, 사실 정확성, 증거 추적 가능성, 수치 일관성, 워크플로 완전성, 출처 규율, 의사결정 유용성, 검토 가능성/감사 가능성의 7개 차원에서 워크플로 출력 층의 출력물을 평가합니다. 각 차원은 규제 환경의 검토자들이 사용하는 신호에 기반한 루브릭에 따라 0–5점으로 채점되며, 종합 점수는 워크플로에 맞게 조정 가능합니다. 공개 SEC EDGAR 제출 서류, 공개 영국 인수 공시, 가상의 합성 보충 자료를 사용하여 5개 워크플로(DCM 거래 조건 추출, 선례 검색, 발행사 프로파일링, M&A 거래 비교 추론, ECM 거래 조건 추출)에서 CM-LRS를 시연하고, 3개 모델 패밀리에 걸친 4개의 독립 LLM 심사관으로 4개 모델을 채점했습니다. 세 가지 발견. 첫째, 최신 폐쇄형 소스 모델들은 4명 심사관 평균 CM-LRS에서 0.22점 이내로 밀집합니다(Sonnet 4.6 = 4.31, Opus 4.7 = 4.30, GPT-5.5 = 4.09); 4명의 심사관 모두 오픈 가중치 기준선(Llama 3.3 70B = 3.15)을 최하위로 평가합니다. 둘째, 그 격차는 추출(0.84)이 아니라 검색(2.23)과 합성(2.15)에 집중됩니다. 셋째, 의사결정 유용성(Decision Usefulness)은 모든 차원 중 교차 모델 분산이 가장 넓으며(발행사 프로파일링에서 4.0점), 심사관 간 일치도가 최상위입니다(평균 r = 0.52). 그럴듯함은 값싸다. 실무 수용 가능성이 기준이다.