관측 데이터로부터의 인과 발견은 개입 없이 방향성 관계와 잠재 교란을 복원해야 한다. 본 논문은 합성 구조적 인과 모델만으로 학습되어 데이터셋을 단일 순전파로 인과 그래프에 대응시키는 {\em 상각형 인과 발견 파운데이션 모델}인 FoundCause를 제안한다. 순열 등변 트랜스포머가 표본과 변수에 대한 어텐션을 번갈아 수행하여 변수 간 의존성과 변수별 분포를 모델링한다. 쌍별 의존성 및 비대칭 통계량이 어텐션, 엣지 디코더, 교란 변수 모듈을 안내한다. 디코더는 엣지의 존재와 방향을 분리하며, 삼각 정제는 체인과 충돌 구조(collider)의 증거를 통합한다. 학습 가능한 잠재 토큰은 어떤 변수 쌍이 숨겨진 공통 원인을 공유하는지 예측하고, 마스크된 입력 표현은 결측 데이터를 처리한다. 우리가 아는 한, FoundCause는 i.i.d. 관측 데이터에 대해 잠재 교란을 별도의 명시적 출력으로 예측하는 최초의 상각형 인과 발견 접근법이다. 14개의 실제 및 준합성 데이터셋에서 FoundCause는 11개의 고전적 기준선과 7개의 상각형 기준선을 평균 AUROC, $F_1$, 스켈레톤 $F_1$, 정규화 구조적 해밍 거리($\mathrm{SHD}/d$)에서 앞선다. 특히 $\mathrm{SHD}/d$에서 명확하게($0.875$ 대 $0.956$), $F_1$에서 근소하게($0.531$ 대 $0.516$) 앞선다. 또한 이변량 원인–결과 쌍에서 상각형 방법 중 가장 높은 정확도를 보인다.
향유고래의 코다는 보통 클릭의 수와 타이밍으로 기술된다. 이러한 측정치는 고래 의사소통의 패턴을 드러내지만, 개별 클릭이 어떤 소리를 내는지는 설명하지 못한다. 본 연구는 타이밍 이외에 클릭 파형이 무엇을 더하는지, 그리고 음향 정보가 코다 내부와 코다 시퀀스 전반에서 어떻게 구성되는지를 묻는다. 우리는 1,952개의 코다를 분석하며, 고정된 오디오 인코더를 사용해 반복되는 클릭 형태와 전체 코다 형태를 독립적으로 식별한다. 이어서 직접적인 스펙트럼 및 포락선 측정으로 클릭 형태가 녹음된 소리에서 실제로 다른지 검증한다. 코다 내부에서는 클릭 형태 구성이 타이밍만 사용할 때보다 전체 코다 형태에 대한 측정된 예측을 향상시킨다. 또한 동일한 클릭 형태가 존재할 때에도 클릭 간격은 전체 코다의 소리와 계속 관련된다. 인접한 클릭 형태는 주석이 달린 표본에서 다음 클릭을 예측하는 데 도움이 되지만, 그 순서가 전체 코다에 대해 시험한 분류를 향상시키지는 않는다. 녹음된 시퀀스 전반에서, 두 번째 이전 전체 코다 형태는 직전 형태만 사용할 때보다 예측을 향상시킨다. 이 이득은 두 가지 광범위한 1차 기준을 넘어서지만, 더 엄격한 통제 조건에서는 일반적인 고차 규칙이 확립되지 않는다. 종합하면 이러한 발견은 두 규모에서 서로 다른 조직화 관계가 존재함을 보여 준다. 코다 내부에서는 클릭 소리와 리듬적 간격이 완전한 발성을 구별하는 데 도움이 된다. 코다 간에는 이전의 전체 코다 형태가 뒤따르는 것을 예측하는 데 도움이 된다.
언어 모델 활성화에서 인간이 해석할 수 있는 방향을 찾는 것은 모델 행동을 이해하고 제어하는 데 중요하다. 이러한 방향은 보통 희소 재구성과 같은 간접적인 학습 목적함수를 통해 발견되지만, 어떤 기존의 통계적 구조가 해석 가능한 방향을 구별하는지, 그리고 그 구조를 특징 발견에 직접 사용할 수 있는지는 불분명하다. 우리는 비가우시안성이 그러한 특징을 제공함을 발견했다. 자연 텍스트 잔차 스트림 활성화를 희소 오토인코더(SAE) 디코더 방향에 투영한 분포는 무작위 방향에 투영한 분포보다 훨씬 더 비가우시안적이며, 대부분의 문맥은 집중된 배경을 형성하고 반복되는 패턴은 흔히 한쪽 꼬리를 차지한다. 이는 자연스러운 질문을 낳는다. 해석 가능한 방향이 비가우시안적인 투영 분포를 갖는 경향이 있다면, 또 다른 희소 사전을 학습하지 않고 활성화 공간에서 비가우시안 방향을 직접 탐색하여 이를 발견할 수 있는가? 이 가설을 검증하기 위해, LLM 잔차 스트림 활성화에서 비가우시안 방향을 효율적으로 발견하고 신뢰성 있게 주석하며 충실하게 평가하는 실용적 워크플로인 ICA Lens를 소개한다. GPT-2 Small, Gemma 2 2B, Qwen 3.5 9B Base 전반에서 (1) 복원된 비가우시안 방향이 인간 및 LLM 기반 평가 모두에서 일관된 어휘적, 구문적, 의미적 패턴을 포착하고, (2) 비가우시안성이 인간 라벨 신뢰도 및 자동화된 해석 가능성과 모두 양의 상관을 가지며, (3) 그 결과 좌표가 해석 가능성, 희소 재구성, 개념 예측, 인과적 개입 전반에서 SAE와 경쟁력이 있으면서도 층당 수 분 내에 적합되고 메모리를 7~43배 적게 사용함을 확인했다. 이러한 결과는 비가우시안성이 활성화에서 해석 가능하고 유용한 구조를 발견하기 위한 직접적인 비지도 신호임을 보여 준다.
검증 가능한 보상 학습은 수학 및 코딩 추론을 향상시켰으나, 이러한 영역은 단계별 의사결정의 일부만을 포착한다. 실제 세계의 많은 과제는 다수의 유효한 대안 중에서 가치가 높은 실행 가능한 계획을 찾아내야 한다. 본 논문은 복잡도 축을 따라 LLM의 단계별 최적화형 추론을 학습하고 평가하기 위한 확장 가능한 최적화형 과제군인 OPT*를 제안한다. 각 과제는 실현 가능성 검사기와 평가기를 제공하며, 복잡도 매개변수는 새로운 인간 레이블 없이 탐색 공간을 확장한다. 이는 이러한 과제를 두 가지 체제에서 연구하는 동기가 된다. (i) 해결기를 부분 상태에 대한 가치 오라클로 사용하고 순위 기반 보상 설계를 적용하여 더 나은 다음 단계를 강화하는 해결기 안내 온라인 정책 최적화, 그리고 (ii) 이러한 해결기를 사용할 수 없을 때의 탐색 기반 오프라인 강화학습이다. 이론적으로는 큰 탐색 공간에서의 성공을 추론기가 탐색 예산 단위당 추출하는 정보와 연관시킨다. 실험적으로는 OPT*에서 탐색을 효율적으로 만드는 요소들을 절제 실험으로 분석하고, OPT*로 학습하면 단계별 최적화형 추론이 향상됨을 보인다.
같은 대성당을 찍은 두 사진 사이의 매칭을 보면, 사람은 어느 것이 틀렸는지 한눈에 알아낸다. 닮은 창문끼리 잘못 연결된 매칭은 이웃 매칭들과 어긋나게 튀는 반면, 올바른 매칭들은 함께 이동한다. 대응 가지치기라고도 불리는 두 시점 대응 학습은 대부분이 틀린 수천 개의 후보 매칭에 대해 네트워크가 이러한 판단을 하도록 요구한다. 빠른 시퀀스 모델인 Mamba가 이제 강력한 가지치기 모델을 이끌고 있지만, 매칭을 단순한 시퀀스로 읽기 때문에 그 스캔이 이러한 일치성을 포착할 수 있는지는 불분명하다. 본 논문은 매칭을 클러스터별로 스캔하여 올바른 매칭은 시퀀스를 따라 천천히 변하고 틀린 매칭은 불규칙하게 유지되도록 하며, 순방향과 역방향 패스 사이에서 학습 가능한 주파수 영역 게이트로 스캔된 특징을 필터링하는 SFMambaNet을 제안한다. 카메라 자세 추정, 아웃라이어 제거, 호모그래피 추정에서 SFMambaNet은 약 200만 개의 매개변수 규모에서 공간 영역 Mamba 기준 모델들을 능가함을 확인하였다. 이러한 이득이 추가 용량에서 비롯된다는 통상적 기대와 달리, 매개변수가 없는 저역 통과 필터가 게이트만큼 큰 점별 계층보다 우수함을 발견하였다. 학습된 게이트는 스스로 저역 통과 특성을 띠게 되며 스캔이 매칭의 섞임 순서에 훨씬 덜 민감해지도록 한다. 이러한 결과는 주파수가 대응 간의 일치성을 기술하는 자연스러운 언어임을 보여주며, 점군이나 그래프처럼 순서 없는 집합을 읽어야 하는 다른 시퀀스 모델에도 시사점을 준다.
최근 연구들은 동일한 문맥 안에 여러 언어가 섞여 있는 코드 스위칭 데이터(CSD)가 대규모 언어 모델(LLM)의 교차 언어 전이와 다국어 정렬을 향상시킬 수 있음을 보였다. LLM을 위한 합성 코드 스위칭에 관한 최근 연구는 주로 영어와 대상 언어 사이의 이중 언어 전이에 초점을 맞추었으며, 각 예시 안에서 세 개 이상의 언어를 함께 섞는 지시 튜닝 설정은 대체로 탐구되지 않았다. 본 연구에서는 영어, 일본어, 한국어, 중국어의 네 언어에 걸친 다국어 코드 스위칭 지시 튜닝을 조사한다. 다국어 이해는 Belebele과 MMLU로 평가한다. 실험 결과, 단순한 문장 수준의 다국어 CSD가 Gemma-2-2B에서 이중 언어, 삼중 언어, 사중 언어 설정 전반에 걸쳐 네 언어 평균 정확도를 일관되게 향상시켰으며, 이는 다국어 코드 스위칭이 이중 언어 전이 설정을 넘어서도 효과적일 수 있음을 나타낸다.
일상적인 심전도(ECG) 보고서는 심혈관 표현 학습을 위한 확장 가능한 지도 신호를 제공한다. 이 후향적 연구에서 우리는 1,298,359명 환자의 2,781,289개 ECG-보고서 쌍으로 보고서 기반 ECG 파운데이션 모델인 CardioLoom을 사전 학습하였다. 다운스트림 개발에는 233,798명 환자의 721,317개 ECG로 구성된 별도 코호트를 사용하였다. 평가는 89개 목표를 대상으로 하였으며, 9개 코호트에서 외부 검증을 수행하였다. 45개 내부 ECG 진단에 대한 매크로 정밀도-재현율 곡선 아래 면적(AUPRC)은 DeepECG-SSL의 0.615에 비해 0.624였다. 203개 외부 ECG 평가에서 해당 평균은 각각 0.425와 0.424였다. 학습 환자의 10%에서 얻은 레이블을 사용했을 때 CardioLoom은 매크로 AUPRC 0.559를 달성하여, 모든 레이블을 사용한 지도 학습(0.549)을 상회하였다. 박출률 감소 심부전의 경우 AUPRC는 Zhongshan, Shiyuan, BIDMC에서 각각 0.690, 0.641, 0.677이었다. 심장 아밀로이드증 선별 검사에서는 검증 시 특이도 99%를 목표로 하는 임계값을 사용하여 양성 예측도 4.5%를 얻었다. 보고서 기반 사전 학습은 레이블 효율적인 ECG 진단을 뒷받침했으며, 심초음파 표현형 간 전이는 다양하게 나타났다.
안전한 인컨텍스트 강화학습(ICRL)은 테스트 시점의 파라미터 업데이트 없이 상호작용 이력으로부터 온라인으로 적응하면서, 안전 예산 내에서 에피소드 비용을 제어한다. 분포 외(OOD) 배포 변화 하에서, 사전 학습만 거친 안전 ICRL은 남은 예산이 예측된 미래 비용에 대한 명시적인 행동 수준 검사가 아니라 고정된 정책 조건화를 통해서만 행동에 영향을 미치기 때문에 보상-안전 간 절충이 좋지 않을 수 있다. 우리는 배포 전에 컨텍스트 표현, 잠재 동역학, 앙상블 비용 크리틱을 학습하는 잠재 Q-배리어 실드를 제안한다. 파라미터 업데이트 없이, 이 실드는 이력으로부터 컨텍스트를 추론하고 남은 예산과 예측된 미래 비용을 사용하여 후보 행동을 걸러 내거나 부드럽게 재가중한다. 우리는 명시적인 벨만 오차 항과 잠재 예측 오차 항을 포함하여, 실현된 후보 집합에 대한 조건부 단일 단계 배리어 마진 경계를 증명한다. 5개의 안전 ICRL 벤치마크에서 이 실드는 강력한 안전 ICRL 기준선 대비 배포 시점의 보상-안전 절충을 개선한다. 짧은 컨텍스트 윈도우 이후 5개 중 4개 벤치마크에서 더 높은 반환값을 달성하면서 5개 모두에서 평균 에피소드 비용을 같거나 낮게 유지한다. 코드는 https://github.com/kmj1122/q-barrier 에서 확인할 수 있다.
사용자 상호작용 데이터로 학습된 추천 시스템은 사용자 간 이질적인 참여 패턴에서 비롯되는 체계적 왜곡인 행동 강도 불균형에 취약하다. 이러한 불균형은 관측된 상호작용이 더 이상 실제 선호를 충실히 반영하지 못하도록 피드백 신호를 왜곡하여, 모델이 활동량이 많은 사용자의 신호를 과도하게 증폭하고 다른 사용자의 신호는 과소 반영하게 만들며, 결국 대규모에서 추천 품질과 강건성을 저하시킨다. 이 문제를 해결하기 위해 우리는 절대적인 참여 크기 대신 상대적 선호 신호를 모델링하는 비모수적 대조 백분위 근사 프레임워크 PEARL을 제안한다. 상대적 이점 편향 제거를 기반으로, PEARL은 보조 분포 추정 모델에 의존하지 않고 실제 대조 상호작용 샘플을 활용하여 백분위 관계를 직접 근사한다. 우리는 이러한 쌍별 비교가 백분위 기반 선호 신호의 비편향 추정치를 제공함을 보이는 이론적 근거를 제시한다. 더 넓은 적용성을 위해 희소하고 이산적인 피드백을 다루는 백분위 평활화용 예측 기반 부트스트래핑 메커니즘과 함께, 모델링 유연성과 표현 학습을 모두 향상시키는 일반화된 가치 가중 공식 및 공동 학습 전략을 도입한다. 광범위한 오프라인 실험은 PEARL이 행동 편향을 효과적으로 완화하고 여러 랭킹 목표 전반에서 추천 성능을 일관되게 개선함을 보여 준다. 합산 사용자 기반이 수십억 명인 실제 라이브 스트리밍 플랫폼에 배포하여 수행한 온라인 A/B 테스트에서 시청 시간 +2.10%, 소비 금액 +0.80%, 상호작용률 +1.49%, 신고율 -6.91%라는 상당한 실제 성과를 확인하였다.
인컨텍스트 학습(ICL)은 대규모 언어 모델(LLM)이 시연 예시를 통해 새로운 태스크에 적응할 수 있게 하지만, 컨텍스트 길이가 늘어날수록 추론 비용이 급증하는 문제가 있다. 태스크 벡터는 시연 예시를 간결한 은닉 상태 표현으로 압축함으로써 유망한 대안을 제공하나, 그 품질은 지금까지 하위 태스크 정확도로만 평가되어 왔다. 이러한 간접적 기준은 더 효과적인 태스크 벡터 추출 방법을 어떻게 설계할지에 대해 제한적인 통찰만을 제공한다. 본 논문에서는 태스크 벡터를 이용한 추론이 ICL의 예측 분포와 정렬되어야 한다고 주장한다. 이를 정량화하기 위해 태스크 벡터 기반 추론과 ICL 기반 추론 간 다음 토큰 확률의 불일치를 측정하는 지표 $d_{\text{NTP}}$를 도입한다. 실증 분석 결과, $d_{\text{NTP}}$는 하위 태스크 정확도와 강한 음의 상관관계를 보이며 성능 대리 지표로 기능함을 확인하였다. 이에 착안하여, 회귀를 통해 시연 예시의 효과를 추정하는 닫힌 형태의 선형 사상으로 $d_{\text{NTP}}$를 최소화하도록 설계된 방법인 선형 태스크 벡터(LTV)를 개발하였다. 8개의 분류 벤치마크와 5개의 LLM에 걸쳐 LTV는 기존 태스크 벡터 베이스라인을 일관되게 능가하여 평균 정확도를 9.2\% 향상시키면서 추론 지연 시간도 감소시켰다. 또한 LTV가 회귀 태스크에서도 베이스라인보다 우수함을 보인다. 더 나아가 태스크 벡터 연구에서 아직 초기 단계에 머물러 있는 측면인, 서로 다른 모델 규모 간 LTV의 전이 가능성을 조사한다. 구체적으로, 더 큰 모델에서 얻은 태스크 벡터가 더 작은 모델의 성능을 6.4\% 향상시킬 수 있음을 실증적으로 보이며, 이는 추출된 태스크 표현의 새로운 활용 가능성을 시사한다.
전구체 첨가제를 효율적으로 발굴하는 것은 페로브스카이트 태양전지의 성능 향상에 필수적이지만, 방대한 화학 공간 때문에 기존의 시행착오식 스크리닝은 비효율적이다. 본 연구에서는 도메인 특화 언어 모델과 능동 학습을 결합한 폐루프 프레임워크인 LEAP(LLM-driven Exploration via Active Learning for Perovskites)가 데이터가 적은 조건에서 페로브스카이트 전구체 첨가제의 우선순위를 정할 수 있음을 보인다. 이 모델은 문헌에서 메커니즘과 관련된 지식을 추출하여 해석 가능한 분자 기술자로 변환하고, 이를 불확실성 인식 베이지안 최적화에 활용한다. 접하지 않은 문헌에서 구성한 평가에서 특화 모델은 시험한 범용 모델보다 메커니즘에 더 부합하는 답변을 제공하였다. 전문가 지도 하의 개념 증명 연구에서, 후반 라운드의 두 첨가제는 소자의 평균 전력 변환 효율을 대조군의 19.25%보다 높은 20.13%와 20.87%로 향상시켰으며, 최고 소자는 21.32%에 도달하였다. 전향적으로 시험한 후보의 수가 제한적이므로, 이 결과는 문헌에 기반한 분자 표현, 베이지안 최적화, 전문가 평가가 페로브스카이트 태양전지의 첨가제 발굴을 뒷받침할 수 있다는 예비적 증거를 제공한다.
생성형 검색은 분절된 다단계 검색 과정을 단일 종단 간 모델로 통합하는 유망한 대안을 제공한다. 그러나 방대하고 동적인 상품 카탈로그, 엄격한 지연 시간 요구 사항, 검색을 하위 랭킹 목표와 정렬해야 할 필요성을 고려할 때, 산업용 전자상거래 검색에서의 실제 도입은 여전히 어렵다. 본 연구에서는 생성형 검색을 종단 간 대체가 아닌 리콜 단계의 보완으로 위치시키는, 실제 리콜 시나리오에 맞춘 검색 프레임워크를 제안한다. 우리의 방법인 CQ-SID(Category-and-Query constrained Semantic ID)는 카테고리 인식 및 쿼리-아이템 대조 학습과 잔차 양자화 VAE를 사용하여 아이템을 계층적 의미 클러스터 식별자로 인코딩함으로써 빔 서치 복잡도를 크게 줄인다. 또한 정답 샘플을 주입하여 학습을 안정화함으로써 희소 보상 하에서 생성형 리콜을 하위 랭킹과 정렬하는 강화학습 접근법인 EG-GRPO(Expert-Guided Group Relative Policy Optimization)를 개발하였다. TmallAPP 검색 로그에 대한 오프라인 실험에서 CQ-SID는 RQ-VAE 베이스라인 대비 의미적 클릭 적중률과 개인화 클릭 적중률에서 각각 최대 26.76%와 11.11%의 상대적 향상을 달성하면서 빔 서치 크기를 절반으로 줄였다. EG-GRPO는 다목적 성능을 추가로 향상시킨다. 온라인 A/B 테스트에서는 GMV(+1.15%)와 UCTCVR(+0.40%)의 향상이 확인되었다. 생성형 리콜 채널은 현재 실서비스에서 노출의 50.25% 이상, 클릭의 58.96%, 구매의 72.63%를 차지하며 상당한 기여를 하고 있고, 이는 실제 전자상거래 시스템에 생성형 검색을 배포하는 실행 가능한 경로를 보여준다.
소프트웨어 공학(SWE) 에이전트의 평가는 최종 패치가 테스트를 통과하는지 여부라는 이진 신호가 지배한다. 이러한 결과 중심 관점은 원칙에 입각한 해결과 혼란스러운 시행착오 과정을 동등하게 취급한다. 우리는 이 동등성이 경험적으로 거짓임을 보인다. 8개 모델 백엔드에서 얻은 2,614개의 OpenHands 궤적을 60개의 SWE-bench Verified 태스크에서 평가하였다. 이 중 47개 태스크는 태스크 수준 프로세스 참조를 구성하기에 충분한 통과 궤적을 가지며, 이를 통해 1,815개 궤적의 평가 부분집합을 얻는다. 이 부분집합의 통과 궤적 중 10.7%는 회귀 순환, 맹목적 재시도, 검증 누락, 또는 시간적으로 무질서한 탐색·구현·검증으로 이루어진, 우리가 '운 좋은 통과(Lucky Pass)'라 부르는 행동을 보인다. 우리는 SWE 에이전트 궤적의 프로세스 수준 평가를 위한 프레임워크인 AgentLens를 도입하고, 품질 점수, 낭비 신호, 분기점, 그리고 47개의 태스크 수준 접두사 트리 수용기(PTA) 참조로 주석된 1,815개 궤적의 데이터셋인 AgentLens-Bench를 공개한다. AgentLens는 동일 태스크에 대한 여러 통과 해법을 병합하여 PTA 참조를 구축하고, 도구 정체성만이 아니라 궤적 이력에 기반하여 행동을 탐색, 구현, 검증, 또는 오케스트레이션으로 할당하는 컨텍스트 민감 의도 레이블러를 사용한다. AgentLens-Bench에서 품질 점수는 통과 궤적을 Lucky, Solid, Ideal 등급으로 구분하고, Lucky Pass를 다섯 가지 반복적 메커니즘으로 추가 분해한다. 8개 모델 백엔드에서 Lucky 비율은 0.5%에서 23.2%에 이르며, 일부 모델은 통과율 대신 품질 점수로 순위를 매길 때 최대 다섯 계단까지 순위가 변한다. AgentLens-Bench와 AgentLens SDK를 https://github.com/agentlens-framework/agentlens 에 공개하며, 프로젝트 페이지는 https://agentlens-framework.github.io/agentlens/ 이다.
저고도 경제가 빠르게 성장하면서 신뢰할 수 있는 드론 항법에 대한 수요가 증가하고 있다. 배송, 점검, 수색 구조와 같은 일반적인 작업은 교란, 기만 또는 이용 불가 상태가 될 수 있는 위성항법시스템(GNSS)에 의존한다. 경사 드론 시점을 지리 참조된 위성 타일과 매칭하는 교차 시점 지오로컬라이제이션(CVGL)은 GNSS가 실패할 때 자율 위치 추정을 위한 대안을 제공한다. 그러나 현재의 CVGL 방법에는 세 가지 한계가 있다. (1) 전역 기술자는 패치 격자를 단일 벡터로 압축하여, 교차 시점에서 공유되는 레이아웃과 시점 특유의 텍스처를 분리하지 못한다. (2) 고도와 관련된 스케일 변동이 불필요한 교란 요인으로 주변화되지 않고 학습된 임베딩에 남는다. (3) 다목적 학습이 기울기 스케일이 서로 맞지 않음에도 수작업으로 조정한 손실 가중치를 사용한다. 우리는 패치를 명시적으로 부분으로 묶는, 패치 기반 비전 트랜스포머(ViT)를 위한 경량의 교체 가능한 헤드인 SKYPART를 제안한다. 이는 (i) 단일 패스 코사인 할당을 통해 패치 토큰을 두고 경쟁하는 학습 가능한 프로토타입, (ii) 학습 중에만 사용되어 추론 시 고도에 무관한 검색 임베딩을 산출하는 고도 조건부 선형 변조, (iii) 활성 프로토타입에 대한 그래프 어텐션 리드아웃, (iv) 손실 그룹 가중치를 종단 간으로 학습하는 Kendall 불확실성 가중 다목적 학습을 결합한다. SKYPART는 26.95M 파라미터와 22.14 GFLOPs로 비교 대상 중 가장 작으면서 최고 성능을 보이는 방법이며, 재순위화나 테스트 시점 증강(TTA) 없이 단일 패스 검색으로 SUES-200, University-1652, DenseUAV에서 최고 수준의 결과를 달성한다. 가장 강력한 베이스라인에 대한 정확도 우위는 10가지 WeatherPrompt 손상 조건에서 더욱 커진다. 코드: https://github.com/chisngyen/SkyPart.
현재 대규모 학습의 핵심이 된 Muon 및 관련 노름 제약 최적화기는 유클리드 공간의 행렬 노름 공 위에서 선형 최대화 오라클(LMO)을 통해 업데이트를 계산한다. 그러나 이들은 저랭크 분해, 직교성 제약, 대칭 양의 정부호(SPD) 행렬 등 다양체 값 매개변수로 깔끔하게 일반화되지 않는다. Muon의 LMO를 접공간으로 단순히 제한하면 (i) 몫 대칭성이 깨지고 (ii) 접공간 제약이 주변 공간의 노름 한계와 결합되어 닫힌 형태의 해를 구하기 어려워진다. 우리는 모든 리만 계량이 유니터리 불변 유클리드 노름을 각 접공간의 내재적 노름으로 정준하게 끌어올린다는 핵심 관찰로 두 문제를 모두 해결한다. 그 결과 얻은 내재적 LMO는 대칭성을 보존하며, 스케일된 접공간에 대한 구조적 조건 하에서 표준 유클리드 LMO로 환원된다. 이를 바탕으로 스펙트럼, 프로베니우스, 핵 노름을 포함한 다양한 유니터리 불변 노름에 대해 고정 랭크, SPD, 스티펠, 그라스만 다양체에서 닫힌 형태의 업데이트를 갖는 통합 프레임워크인 내재적 Muon(iMuon)을 제안한다. 다양체 차원에만 의존하는 상수를 갖는 iMuon의 결정론적 및 확률적 수렴률을 확립한다. 특히 고정 랭크 다양체에서는 상수가 랭크에만 의존하므로 수렴률이 인자 조건수와 무관하며, 기존 연구에서 요구되던 실행 시 인자 재조정이 불필요해진다. LLM의 LoRA 미세 조정, 이미지 분류, 부분공간 학습 실험은 제안한 접근법의 효과를 보여 준다.
대규모 언어 모델(LLM)은 수학, 코딩 및 기타 지식 집약적 과제에서 인간의 성능을 능가했음에도 인과 추론에서는 여전히 어려움을 겪는다. 핵심 장애물은 대상 데이터 자체이다. 인과 시스템은 복잡하고 실행 불가능한 형태로 표현되는 경우가 많은 반면, 인과 질의에 대한 정답은 본질적으로 부족하다. 우리는 인과 추론을 레이블이 부족한 문제에서 확장 가능한 지도 학습 문제로 바꾸는 프레임워크인 CauSim을 소개한다. CauSim은 점점 더 복잡한 인과 시뮬레이터, 즉 LLM이 점진적으로 구축하는 실행 가능한 구조적 인과 모델(SCM)을 구성하며, 이는 전역적으로 복잡한 시스템으로 확장되면서도 인과 질의에 대해 검증 가능한 답을 유지한다. CauSim은 실행 불가능한 인과 지식을 코드로 형식화하여 데이터 증강을 가능하게 하고, 실행 가능한 SCM을 자연어로 변환하여 이전에는 지도하기 어려웠던 표현에서의 지도를 가능하게 함으로써 여러 표현에 걸쳐 작동한다. 연구는 두 부분으로 구성된다. (1) 점점 더 복잡한 인과 시뮬레이터를 구성하는 방법, (2) CauSim이 가능하게 하는 것에 대한 체계적 연구로서, 표현 간 일반화, 커리큘럼 확장과 데이터 양에 따른 일관된 향상, 자체 생성 시뮬레이터를 통한 LLM의 자기 개선, 기존 도메인 지식의 형식화를 통한 데이터 증강을 보인다.
Large language models (LLMs) are increasingly deployed as autonomous agents in offensive cybersecurity. In this paper, we reveal an interesting phenomenon: different agents exhibit distinct attack patterns. Specifically, agents exhibit distinct attack-selection biases, differing in both the families they explore and the concentration of their efforts. These patterns remain relatively stable across prompt variations. To systematically quantify this behavior, we introduce CyBiasBench, a comprehensive 630-session benchmark that evaluates five agents on three targets and four prompt conditions with ten attack families. We identify explicit bias across agents, with different dominant attack families and varying entropy levels in their attack-family allocation distributions. Such bias characterizes agent behavior within the evaluated environments and provides information beyond aggregate attack success rates. Furthermore, our experiments reveal a bias momentum effect, where agents resist explicit steering toward attack families that conflict with their bias. This forced distribution shift does not yield measurable improvements in attack performance. To ensure reproducibility and facilitate future research, we release an interactive result dashboard at https://trustworthyai.co.kr/CyBiasBench/ and a reproducibility artifact with aggregated session-level statistics and full evaluation scripts at https://github.com/Harry24k/CyBiasBench.
손글씨 수학의 정확한 전사는 교육용 AI 시스템에 매우 중요하지만, 현재의 벤치마크는 이 능력을 제대로 평가하지 못한다. 대부분의 선행 연구는 한 줄 수식에 초점을 맞추고 BLEU와 같은 어휘 기반 지표에 의존하는데, 이는 여러 줄로 된 학생 풀이 전반의 의미적 추론을 평가하지 못한다. 본 논문에서는 여러 줄 손글씨 수학 광학 문자 인식(OCR)에 대한 최초의 체계적 연구를 제시하며, 비전-언어 모델(VLM)의 중대한 실패 양상인 과잉 교정을 밝힌다. 이러한 모델은 학생의 풀이를 충실히 전사하는 대신 오류를 자주 '고쳐서', 교육적 평가가 탐지하고자 하는 바로 그 실수를 가려 버린다. 이를 해결하기 위해 우리는 대규모 언어 모델(LLM)을 활용해 루브릭 기반 채점을 수행하고 과잉 교정에 명시적으로 페널티를 부여하는 의미 기반 평가 지표인 PINK(Penalized INK-based score)를 제안한다. FERMAT 데이터셋에서 15개의 최신 VLM을 종합 평가한 결과 BLEU와 비교해 순위가 크게 역전되었다. GPT-4o와 같은 모델은 적극적인 과잉 교정으로 인해 크게 감점되는 반면, Gemini 2.5 Flash는 가장 충실한 전사 모델로 나타난다. 나아가 인간 전문가 연구에서 PINK는 인간의 판단과 유의미하게 더 잘 일치하여(BLEU의 39.5%에 대해 55.0%의 선호), 교육 환경에서의 손글씨 수학 OCR에 대해 더 신뢰할 수 있는 평가 프레임워크를 제공한다. 코드는 https://github.com/9115jin/PINK 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 의료 안내에 점점 더 많이 사용되고 있지만, 벤치마크 설계에서 여성 건강은 여전히 충분히 평가되지 않고 있다. 우리는 여성 건강 벤치마크(WHBench)를 제시한다. 이는 10개 여성 건강 주제에 걸친 47개의 전문가가 작성한 시나리오로 구성된 표적 평가 세트로, 구식 가이드라인, 안전하지 않은 누락, 투여량 오류, 형평성 관련 사각지대를 포함한 임상적으로 의미 있는 실패 모드를 드러내도록 설계되었다. 22개 모델을 임상 정확도, 완전성, 안전성, 의사소통 품질, 지시 따르기, 형평성, 불확실성 처리, 가이드라인 준수를 아우르는 23개 기준 루브릭으로 평가하며, 안전성 가중 페널티와 서버 측 점수 재계산을 적용한다. 3,102건의 응답 시도(3,100건 채점) 중 어떤 모델의 평균 성능도 75%를 넘지 못했으며, 최고 모델은 72.1%에 도달했다. 최상위 모델조차 완전 정답률이 낮고 유해율에서 상당한 편차를 보인다. 평가자 간 신뢰도는 응답 라벨 수준에서는 보통이지만 모델 순위에서는 높아, WHBench가 비교적 시스템 평가에 유용함을 뒷받침하면서 임상 배포에서 전문가 감독의 필요성을 강조한다. WHBench는 여성 건강 AI에서 더 안전하고 형평적인 발전을 추적하기 위한 공개적이고 실패 모드를 인식하는 벤치마크를 제공한다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 멀티모달 대규모 언어 모델(MLLM)의 추론 능력을 크게 향상시켰다. 그러나 기존 RLVR 접근법은 일반적으로 최종 답에만 기반한 공유 보상으로 지각과 추론을 모두 갱신하는 결과 중심 최적화에 의존한다. 이러한 공유 보상은 기여도 할당을 모호하게 만들어, 추론 패턴은 자주 개선하지만 상위 단계인 시각적 증거 추출의 정확도는 안정적으로 향상시키지 못한다. 이러한 지각 병목을 해결하기 위해, 공유 정책을 갖는 이중 역할 RLVR 프레임워크인 PRCO(Perception-Reasoning Coevolution)를 제안한다. PRCO는 질문에 맞춘 증거 캡션을 생성하는 Observer와 이 캡션을 바탕으로 최종 답을 예측하는 Solver라는 두 협력 역할로 구성된다. 특히 PRCO는 역할별 보상 신호를 사용한다. Solver는 최종 답에 대한 검증 가능한 결과 보상으로 최적화되고, Observer는 Solver의 후속 성공으로부터 도출된 유용성 보상을 받는다. 여덟 가지 도전적인 멀티모달 추론 벤치마크에서 수행한 폭넓은 실험 결과, PRCO는 모델 규모 전반에서 기반 모델 대비 평균 정확도를 7점 이상 일관되게 향상시켰으며, 기존의 오픈소스 RL 튜닝 베이스라인을 능가한다.