학습 데이터 기여도(TDA) 방법은 개별 학습 샘플이 모델의 예측에 미치는 영향을 추정하여 신경망을 해석하기 위한 원칙적인 관점을 제공한다. 방법론이 빠르게 발전했음에도 불구하고 TDA 평가는 여러 논문에 흩어져 있고 재현이 거의 이루어지지 않아 방법 간 공정한 비교가 어렵다. 우리는 TDA 평가를 표준화하는 Python 툴킷인 quanda를 소개한다. quanda는 이미지 분류, 텍스트 분류, 언어 모델링을 아우르는 포괄적인 평가 지표 모음과 바로 사용할 수 있는 벤치마크, 그리고 다양한 TDA 구현을 통합하기 위한 균일한 인터페이스를 제공한다. 기존 TDA 방법에 대한 비교 연구를 통해 quanda를 시연하며, 모든 지표에서 일관되게 우수한 접근법은 없고 실제 정답에 대한 충실도와 하위 과제 성능 사이에 뚜렷한 상충 관계가 있음을 확인한다. quanda는 TDA 관련 도구를 통합함으로써 커뮤니티가 기여도 방법을 엄밀하고 재현 가능하게 평가할 수 있도록 한다. 이 툴킷은 철저히 테스트되고 문서화되어 있으며 PyPI와 https://github.com/dilyabareeva/quanda 에서 오픈소스 라이브러리로 제공된다.
인스턴스 분할에는 정밀한 물체 마스크가 필요하지만, 사람 주석자와 프롬프트 기반 모델 모두 신뢰할 수 없는 윤곽선을 만들어낼 수 있다. 윤곽선 근처의 높은 예측 손실이 반드시 주석 오류를 의미하는 것은 아니며, 유효한 경계도 불확실할 수 있다. 대상과 주변 사이의 전이를 부드럽게 하는 레오나르도 다 빈치의 \emph{스푸마토}에서 영감을 받아, 본 논문은 \textbf{\texttt{CB-LNL} (Copula-Boundary Learning with Noisy Labels)}를 제안한다. CB-LNL은 각 윤곽선 픽셀을 개별적으로 판단하는 대신, 마스크 내부의 전경 증거와 외부의 배경 증거를 결합하여 국소 지도와 주석 수정을 유도한다. 우리는 짝지어진 COCO와 LVIS 주석에 대한 감사(audit)에 이 접근법의 근거를 두고, 사람 주석, 약한 프롬프트의 SAM2 마스크, 자연 및 주행 장면에서의 통제된 오염을 포괄하는 벤치마크를 도입한다. 통제된 비교 결과, 절차적으로 생성된 윤곽선 잡음에 대한 학습이 개선되었으며 교사 마스크를 직접 대체하는 방식보다 해로운 수정이 적었다. 짝지은 시드 평가와 고정 예측 평가는 이러한 이점이 주석 출처에 따라 어떻게 달라지는지를 보여 주며, 범주 신뢰도와 윤곽선 신뢰도를 분리하여 평가해야 함을 뒷받침한다.
과업 자동화는 소프트웨어 공학 개발부터 범용 추론에 이르는 과업에서 Python 코드를 통한 대규모 언어 모델(LLM)의 최근 발전으로 크게 강화되었다. 현재의 벤치마크는 LLM이 인간 개발자처럼 프로그램을 이용하여 과업을 해결할 수 있음을 보여 주었으나, 대부분의 평가는 짧고 독립적인 알고리즘 과업이나 단독 함수 호출에 한정된다. 어렵고 실용적인 과업을 해결하려면 데이터 분석과 웹 개발 같은 기능을 효율적으로 구현하기 위해 다양한 함수 호출을 도구로 활용하는 능력이 필요하다. 또한 여러 도구를 사용하여 하나의 과업을 해결하려면 복잡한 지시를 정확히 이해하는 조합적 추론이 필요하다. 이 두 가지 특성을 모두 충족하는 것은 LLM에게 큰 도전이 될 수 있다. LLM이 프로그램을 통해 어렵고 실용적인 과업을 얼마나 잘 해결할 수 있는지 평가하기 위해, 우리는 7개 도메인의 139개 라이브러리에서 여러 함수 호출을 도구로 호출하도록 LLM에 요구하는 1,140개의 세분화된 과업으로 구성된 벤치마크 BigCodeBench를 소개한다. LLM을 엄밀하게 평가하기 위해 각 과업은 평균 분기 커버리지 99%의 테스트 케이스 5.6개를 포함한다. 또한 원래의 docstring을 필수 정보만 담은 짧은 지시문으로 자동 변환하는, 자연어 중심의 BigCodeBench 변형인 BigCodeBench-Instruct를 제안한다. 60개 LLM에 대한 광범위한 평가 결과, LLM은 아직 복잡한 지시를 따라 함수 호출을 정확하게 사용하지 못하며, 최대 60%의 점수로 97%의 인간 성능보다 크게 낮다. 이 결과는 이 분야의 추가적인 발전이 필요함을 강조한다.
딥러닝 모델 예측의 근거를 이해하는 것은 분자 설계가 특성을 결정하는 화학정보학과 신약 개발에서 매우 중요하다. 그러나 이 분야에서 설명 가능한 AI(XAI)에 대한 현재의 평가 체계는 인공적인 데이터셋이나 단순화된 과제에 의존하는 경우가 많고, 실제 시나리오의 복잡성을 포착하지 못하며 설명 충실도와의 직접적인 연관성이 부족한 데이터 기반 지표를 사용한다. 이를 해결하기 위해, 우리는 실제 분자 데이터와, 부여된 레이블에 대한 정답 근거가 알려진 다양한 과제로 구성된 새로운 벤치마크인 B-XAIC를 소개한다. B-XAIC를 이용한 포괄적인 평가를 통해 분자 영역에서 그래프 신경망(GNN)을 위한 기존 XAI 방법의 한계를 밝힌다. 이 벤치마크는 XAI의 충실도에 대한 더 깊은 통찰을 얻는 데 유용한 자원을 제공하며, 더 신뢰할 수 있고 해석 가능한 모델의 개발을 촉진한다.
6D 물체 자세 추정의 최근 발전은 LM-O, YCB-V, T-Less와 같은 대표적인 벤치마크에서 높은 성능을 달성하였다. 이러한 데이터셋은 조명과 카메라 설정의 자연 발생적 변화를 담고 있으나, 노출, 게인, 깊이 센서 모드와 같은 제어 가능한 센서 구성의 영향을 체계적으로 탐구하지는 않는다. 이러한 간극을 메우기 위해, 우리는 13개의 RGB 노출, 9개의 RGB 게인, 자동 노출, 4개의 깊이 촬영 모드, 5개의 조명 수준을 물리적으로 변화시킨 최초의 RGB-D 물체 자세 벤치마크 SenseShift6D를 소개한다. 일반적인 가정용 물체 여섯 종에 대해 198.8k개의 RGB 이미지와 20.0k개의 깊이 이미지(즉, 795.4k개의 RGB-D 장면)를 수집하여, 물체 자세마다 1,380개의 고유한 센서-조명 조합을 제공한다. 최신 사전학습 범용 자세 추정기를 이용한 실험은 대규모 사전학습에도 불구하고 조명 및 센서 설정에 따라 성능이 상당히 달라짐을 보여준다. 놀랍게도 동일한 물체와 배경에서 학습 및 테스트된 인스턴스 수준 추정기조차 환경 및 센서 변화에 뚜렷한 민감성을 보인다. 이러한 발견은 센서 및 환경 인식 강인성이 6D 자세 추정에서 충분히 탐구되지 않았지만 필수적인 차원임을 확립한다. 이 벤치마크가 가능하게 하는 기회를 보이기 위해, 재학습 없이 테스트 시점에 센서를 선택하는 방식을 평가한다. 이상적인 제어기는 범용 모델에서 최대 +16.2 pp의 현저한 향상을 제공하는 반면, 실용적인 일관성 기반 대리 지표는 제한적인 개선만을 제공하여, 상당한 개선 여지와 신뢰할 수 있는 센서 인식 적응에 대한 향후 연구의 필요성을 부각한다. SenseShift6D는 huggingface.co/datasets/Yegyu/SenseShift6D에서 이용할 수 있다.
최근 자기회귀(AR) 모델은 이미지 생성에서 강력한 성능을 보여주고 있으며, 여기서 핵심적인 구성 요소는 연속적인 픽셀 입력을 이산 토큰(token) 시퀀스로 매핑하는 시각적 토크나이저(VT)입니다. VT의 품질은 AR 모델 성능의 상한선을 크게 좌우합니다. 그러나 현재의 이산 VT는 연속형 변이형 오토인코더(VAE)에 비해 성능이 크게 뒤처져, 이미지 복원 품질이 저하되고 세부 디테일과 텍스트 보존이 제대로 이루어지지 않습니다. 기존 벤치마크들은 VT의 성능만을 분리하여 평가하지 않고 엔드투엔드 생성 품질에만 초점을 맞추고 있습니다. 이러한 공백을 해소하기 위해, 우리는 세 가지 핵심 과제인 이미지 복원, 세부 디테일 보존, 텍스트 보존 전반에 걸쳐 VT를 체계적으로 평가하고 다양한 평가 시나리오를 아우르는 포괄적인 벤치마크인 VTBench를 소개합니다. 우리는 복원된 이미지의 품질을 평가하는 일련의 지표를 사용하여 최신 VT들을 체계적으로 평가합니다. 연구 결과에 따르면, 연속형 VAE는 이산 VT에 비해 특히 공간적 구조와 의미적 세부사항을 유지하는 데 있어 우수한 시각적 표현을 생성하는 것으로 나타났습니다. 반면, 이산 VT가 생성하는 저하된 표현은 종종 왜곡된 복원, 미세한 질감 손실, 텍스트 및 객체 무결성 보존 실패로 이어집니다. 나아가 우리는 GPT-4o 이미지 생성에 대한 실험을 수행하고 잠재적인 AR 특성을 논의함으로써 시각적 토큰화(tokenization)의 역할에 대한 새로운 통찰을 제공합니다. 우리는 추가 연구를 지원하기 위해 벤치마크와 코드베이스를 공개하며, 오픈소스 커뮤니티가 강력한 범용 오픈소스 VT를 개발하도록 촉구합니다.
토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.
우리는 지정된 시간 및 공간 복잡도를 가진 코드를 이해하고 생성하는 생성형 언어 모델의 역량을 평가하기 위해 설계된 새로운 코딩 벤치마크(benchmark)인 BigO(Bench)를 소개한다. 이 벤치마크는 계산 복잡도(computational complexity)에 제약을 받는 코드를 이해하고 작성하는 모델의 능력을 간과해 온 기존 평가의 한계를 해결한다. BigO(Bench)는 인간 또는 LLM이 생성한 솔루션을 포함하여 모든 Python 함수의 알고리즘 복잡도를 프로파일링(profiling) 측정값으로부터 추론하는 도구를 포함한다. 또한 BigO(Bench)는 복잡도 프레임워크를 통해 추론된 (합성) 시간 및 공간 복잡도 레이블이 주석으로 추가된 Code Contests 기반의 3,105개 코딩 문제와 1,190,250개 솔루션 세트를 포함하며, 광범위한 입력 크기 집합에 대한 해당 실행 시간 및 메모리 사용량 값도 제공한다. 우리는 이 벤치마크에서 여러 최신 언어 모델을 평가한 결과를 제시하고, 복잡도 요구사항을 처리하는 데 있어 이들 모델의 강점과 약점을 조명한다. 특히 토큰(token) 공간 추론 모델은 코드 생성에서는 독보적이지만 복잡도 이해에서는 그렇지 못하며, 이는 학습(training) 시점에 보상(reward)이 주어지지 않은 작업에는 잘 일반화되지 않을 수 있음을 시사한다.
대규모 언어 모델(LLM)은 상용 코드 자동완성 엔진에 널리 채택되어 코딩 효율과 생산성을 크게 높였다. 그러나 기능적으로 올바른 LLM 생성 코드라도 코딩 표준과 모범 사례를 위반하는 비기능적 품질 문제—예를 들어 스타일 불량이나 유지보수성 부족—를 보일 수 있다. 이를 해결하기 위해, 우리는 LLM이 기준을 준수하는 코드를 생성하도록 유도하는 품질 인식 선호 학습 프레임워크를 제안한다. 우리 접근법은 세 단계로 구성된다. 첫째, 각 쌍이 특정 비기능적 품질 이슈를 보이는 코드와 그 이슈를 해결한 수정 버전을 포함하는, 기준 위반·기준 준수 샘플 쌍으로 데이터셋을 구축한다. 둘째, 품질에 민감한 코드 영역을 강조하기 위한 적응형 토큰 가중 메커니즘을 설계한다. 셋째, 순위 손실(ranking loss)과 언어 모델링 손실 및 KL 발산을 결합한 하이브리드 최적화 목표를 도입하여 효과적인 비교 최적화를 가능하게 한다. DeepSeek-Coder와 Qwen2.5-Coder에 대한 광범위한 실험에서, 우리 방법은 기능적 정확성을 유지하면서 목표 비기능적 품질 기준 준수를 크게 개선하였으며, Qwen2.5-Coder에 대해 MBPP-sanitized에서 Quality Reciprocal Score(QRS)가 75.7% 상대 증가를 달성했다. 7B 모델의 미세조정에는 3시간 미만이 필요하여 실용적 타당성이 높음을 보여준다. 절제 연구와 사용자 연구가 제안 프레임워크의 효과를 추가로 뒷받침한다.
인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.
인간은 한 아이디어에서 관련된 다른 아이디어로 이동하는 정신적 과정을 통해 복잡한 추론(reasoning) 작업을 해결하는 데 뛰어납니다. 이에 영감을 받아, 본 논문에서는 서브골 탐색(Subgoal Search, kSubS) 방법을 제안합니다. 이 방법의 핵심 요소는 달성 가능하면서도 해결책에 더 가까운 다양한 서브골을 생성하는 학습된 서브골 생성기입니다. 서브골을 사용하면 탐색 공간을 줄이고 효율적인 계획 수립(planning)에 적합한 고수준 탐색 그래프를 유도할 수 있습니다. 본 논문에서는 트랜스포머 기반 서브골 모듈을 고전적인 최선 우선 탐색(best-first search) 프레임워크와 결합하여 kSubS를 구현합니다. $k$단계 앞의 서브골을 생성하는 단순한 접근 방식이 두 가지 인기 퍼즐 게임인 소코반(Sokoban) 및 루빅스 큐브(Rubik's Cube), 그리고 부등식 증명 벤치마크인 INT라는 세 가지 까다로운 도메인에서 놀라울 정도로 효율적임을 보여줍니다. kSubS는 적당한 계산 예산 내에서 INT의 최고 성능(SOTA)을 포함한 강력한 결과를 달성합니다.
사전학습된 모델은 재학습 없이 새로운 데이터셋으로 일반화할 수 있을까? 우리는 사전학습된 이미지 모델을 학습되지 않은 데이터셋에 적용하고, 그 임베딩이 의미 있는 클러스터를 형성하는지 조사한다. 본 벤치마킹 실험 세트는 ImageNet-1k만으로 지도 학습 또는 자기지도 학습(self-supervised) 기법을 통해 사전학습한 인코더를 사용하며, 학습 중 보지 못한 이미지 데이터셋에 적용한 뒤 기존의 클러스터링 알고리즘으로 클러스터링한다. 이 평가는 지도 학습 모델과는 다른 특징을 우선시하는 자기지도 모델의 임베딩에 대한 새로운 통찰을 제공한다. 우리는 학습 도메인 내에서는 지도 학습 인코더가 SSL 인코더보다 더 유용하고, 도메인에서 매우 멀리 벗어난 경우에는 그 반대임을 보여주는 증거를 발견했다. 그러나 SSL 인코더를 ImageNet-1k 분류에 대해 미세조정하면 반대의 양상이 나타난다. 즉 도메인 내 데이터에서는 지도 학습 전용 모델보다 성능이 더 좋지만, 도메인에서 매우 먼 데이터(far-OOD)에서는 성능이 감소하며, 이는 SSL 전용 모델이나 지도 학습 전용 모델보다도 far-OOD에서 더 나쁜 결과이다. 클러스터링은 기존의 특징 품질 추정 방법과는 직교하는 방식으로 자기지도 학습된 표현의 유용성을 평가하는 방법을 제공한다. 또한 UMAP으로 차원 축소한 공간에서 측정한 실루엣 점수(silhouette score)가 클러스터링 성능과 높은 상관관계를 보이므로, 정답 레이블이 없는 데이터에서 클러스터링 성능의 대용 지표로 사용할 수 있음을 발견했다. 코드 구현은 https://github.com/scottclowe/zs-ssl-clustering/ 에서 확인할 수 있다.
본 연구는 주어진 비정규화 밀도 또는 에너지 함수를 갖는 분포에서 샘플링하도록 확산 모델(diffusion model)을 학습하는 문제를 다룬다. 시뮬레이션 기반 변분(variational) 접근법과 오프-정책 방법(연속 생성 플로우 네트워크, continuous generative flow networks)을 포함하여 확산 구조 기반의 여러 추론 방법을 벤치마크한다. 그 결과는 기존 알고리즘들의 상대적인 장점을 밝혀 주는 동시에, 과거 연구의 일부 주장에 의문을 제기한다. 또한 리플레이 버퍼(replay buffer)를 사용하여 타깃 공간에서 국소 탐색(local search)을 수행하는, 오프-정책 방법을 위한 새로운 탐험 전략을 제안하고, 이것이 다양한 타깃 분포에서 샘플 품질을 향상시킴을 보인다. 본 연구에서 다룬 샘플링 방법과 벤치마크의 코드는 상각 추론(amortized inference)을 위한 확산 모델의 향후 연구의 토대로서 https://github.com/GFNOrg/gfn-diffusion 에 공개되어 있다.
관심 지점(Point-of-Interest, POI) 궤적 모델링을 통해 인간의 이동성을 이해하는 것은 도시 계획, 개인화 서비스, 생성형 에이전트 시뮬레이션과 같은 응용에서 점점 더 중요해지고 있다. 그러나 이 분야의 발전은 두 가지 핵심 과제로 인해 저해되고 있다. 하나는 2012-2013년의 오래된 데이터셋에 대한 과도한 의존이고, 다른 하나는 전 세계의 다양한 지역을 반영하면서 재현 가능한 도시 단위 체크인 데이터셋이 부족하다는 점이다. 이러한 격차를 해소하기 위해 우리는 Semantic Trails 데이터셋을 기반으로 하고 시맨틱 POI 메타데이터로 보강한 대규모 공개 벤치마크 데이터셋인 Massive-STEPS(Massive Semantic Trajectories for Understanding POI Check-ins)를 제시한다. Massive-STEPS는 지리적·문화적으로 다양한 15개 도시를 아우르며, 2012-2013년과 2017-2018년의 체크인 데이터를 모두 포함하고, 기존 데이터셋보다 긴 24개월의 기간을 갖는다. 우리는 지도 학습 방식과 제로샷 방식을 모두 사용하여 Massive-STEPS에서 다양한 POI 모델을 벤치마킹하고, 여러 도시 환경에 걸쳐 그 성능을 평가했다. Massive-STEPS를 공개함으로써 인간 이동성 및 POI 궤적 모델링 분야에서 재현 가능하고 공정한 연구를 촉진하고자 한다. 데이터셋과 벤치마킹 코드는 https://github.com/cruiseresearchgroup/Massive-STEPS 에서 확인할 수 있다.
복잡한 추론 과제를 수행할 수 있는 획기적인 대규모 언어 모델(LLM)의 등장은 복잡한 임상 시나리오에서 비롯되는 문제를 포함해 다양한 과학적 난제 해결에 큰 가능성을 지닌다. 실제 의료 환경에서 이를 안전하고 효과적으로 배포하려면 현재 모델의 진단 능력을 체계적으로 벤치마킹할 필요가 시급하다. 고급 진단 추론을 평가하는 데 있어 기존 의료 벤치마크의 한계를 고려하여, 전문 수준의 진단 역량을 엄격히 평가하도록 설계된 포괄적이고 도전적인 벤치마크 DiagnosisArena를 제안한다. DiagnosisArena는 28개 의료 전문 분야에 걸친 분할된 환자 사례와 해당 진단 1,113쌍으로 구성되며, 10개 최상위 의료 저널에 게재된 임상 증례 보고에서 파생되었다. 이 벤치마크는 AI 시스템과 인간 전문가의 다轮 선별 및 검토를 포함하는 정밀한 구축 파이프라인을 통해 개발되었으며, 데이터 유출을 방지하기 위한 철저한 검증이 수행되었다. 본 연구는 가장 진보된 추론 모델인 o3, o1, DeepSeek-R1조차 각각 51.12%, 31.09%, 17.79%의 정확도에 그친다는 것을 밝힌다. 이는 임상 진단 추론 과제에 직면했을 때 현재 대규모 언어 모델에 존재하는 상당한 일반화 병목을 부각한다. DiagnosisArena를 통해 AI의 진단 추론 능력을 더욱 발전시키고, 실제 임상 진단 난제에 대한 더 효과적인 해결책을 가능하게 하는 것을 목표로 한다. 추가 연구 및 개발을 위해 벤치마크와 평가 도구를 https://github.com/SPIRAL-MED/DiagnosisArena 에서 제공한다.
딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.
자율적 과학 실험의 실현은 현재 LLM이 생물학적 프로토콜이 요구하는 엄격한 절차적 논리와 정확성을 파악하는 데 어려움을 겪는다는 점에 의해 제한되고 있다. 이 근본적인 과제를 해결하기 위해, 우리는 생물학에서의 절차적 추론을 위한 포괄적 자원인 \textbf{BioProBench}를 제시한다. BioProBench는 22,413개의 사람이 작성한 프로토콜로 구성된 기초 컬렉션인 \textbf{BioProCorpus}에 기반한다. 이 코퍼스로부터, 우리는 체계적으로 523,784개의 태스크 인스턴스로 구성된 데이터셋을 구축하였으며, 이는 대규모 학습 자원과 새로운 지표를 갖춘 엄격한 벤치마크를 모두 제공한다. 10개의 주류 LLM을 평가한 결과, 일반적인 이해도는 높지만 깊은 추론, 정량적 정밀도, 그리고 안전성 인식을 요구하는 태스크에서 성능이 크게 하락함을 확인하였다. BioProCorpus가 이러한 문제를 완화하는 데 갖는 가치를 입증하기 위해, 우리는 코퍼스에 기반한 \textbf{ProAgent}를 개발하였으며, ProAgent는 최신 기술 수준을 상당히 앞당긴다. https://github.com/YuyangSunshine/bioprobench and https://huggingface.co/BioProBench.
밈은 민감한 아이디어를 공유하는 암호 같은 도구 역할을 하며, 올바르게 해석하려면 종종 맥락적 지식이 필요하다. 이로 인해 다중모달 밈 검열이 어려워지는데, 기존 연구는 미묘한 혐오 카테고리를 위한 고품질 데이터셋이 부족하거나 저품질 소셜 미디어 시각 자료에 의존하기 때문이다. 본 연구에서는 영어 밈으로 구성된 두 가지 새로운 다중모달 혐오 표현 데이터셋인 MHS와 MHS-Con을 구축하였으며, 이들은 각각 일반적 시나리오와 혼동(confounding) 시나리오에서 세분화된 혐오적 추상화를 포착한다. 이 데이터셋들을 여러 경쟁 기준선과 벤치마킹한다. 또한 SAFE-MEME(Structured reAsoning FramEwork)와 두 가지 변형을 제안한다: Q&A 스타일 추론을 활용하는 새로운 다중모달 사고의 연쇄(Chain-of-Thought) 기반 프레임워크(SAFE-MEME-QA)와 계층적 분류(SAFE-MEME-H)로, 밈에서 견고한 혐오 표현 탐지를 가능하게 한다. SAFE-MEME-QA는 가장 강력한 오픈소스 기준선 모델을 능가하며, MHS에서 2%, MHS-Con에서 4.7%의 향상을 보이고, 폐쇄형 모델인 GPT-4o와 Gemini 2.5에 근접한 성능을 달성한다. 반면 SAFE-MEME-H는 SAFE-MEME-QA를 능가하며, 최고의 오픈소스 기준선 대비 3% 향상을 기록하고, MHS에서만 GPT-4o에 필적하는 성능을 달성한다. SAFE-MEME-H 내 단일 층 어댑터의 미세조정이 일반적인 세분화된 혐오 밈 탐지에서 전체 미세조정 모델보다 우수함을 보인다. 그러나 Q&A 설정을 사용한 전체 미세조정 접근법은 혼동 사례 처리에 더 효과적이다. 또한 오류 사례를 체계적으로 분석하여, 혐오 밈 분석을 위한 제안된 구조화된 추론 프레임워크의 견고성과 한계에 대한 유용한 통찰을 제공한다.
전문가 혼합(MoE) 아키텍처는 스케일링의 핵심 기반이 되었으며, GPT-OSS, DeepSeek-V3, Llama-4, Gemini-2.5 등 대부분의 대규모 언어 모델(LLM)에서 핵심 구성 요소이다. 그러나 MoE에 대한 체계적 연구는 학습과 평가에 드는 막대한 계산 비용으로 인해 여전히 심각하게 제약되어, 대부분의 연구자가 접근할 수 있는 대규모 연구를 제한하고 있다. 우리는 재현 가능하고 효율적이며 확장 가능한 MoE 연구를 위한 통합 프레임워크인 LibMoE를 제안한다. 이는 사전학습(pre-training)과 sparse upcycling 체제를 모두 지원한다. 통합 구현을 넘어, 이 프레임워크는 라우팅과 전문가 동역학을 탐색하기 위한 투명한 분석 도구를 제공한다. 이 기반을 활용하여, 우리는 세 가지 차원에서 종합 분석을 수행한다: (i) 라우팅 동역학—전문가 선택 패턴, 라우팅 안정성과 최적성, 라우팅 엔트로피가 과제 특화와 전문가 다양성을 어떻게 드러내는지를 포함한다; (ii) 부하 균형에 대한 경량 초기화의 영향—라우터 초기화의 미세한 변화가 초기 전문가 활용을 어떻게 형성하는지를 보여준다; (iii) 학습 체제 차이—sparse upcycling과 전체 사전학습이 서로 다른 라우팅 패턴과 안정성 프로파일을 보인다는 점을 밝힌다. 진입 장벽을 낮추고 평가를 표준화함으로써, 그리고 종합 분석과 함께, LibMoE는 MoE 연구 접근성을 넓히고 향후 혁신을 이끌 신뢰할 수 있는 벤치마크를 확립한다. GitHub: \href{https://github.com/Fsoft-AIC/LibMoE}{https://github.com/Fsoft-AIC/LibMoE}.
다국어 지시 미세조정(MIT)은 다국어의 저주, 데이터 부족, 높은 계산 비용으로 인해 어려움을 겪는다. 자연스러운 가설은 언어학적으로 다양한 언어 집합을 신중하게 선택하면 보편적으로 더 나은 모델을 얻을 수 있다는 것이다. 우리는 유형론적, 지리적, 의미적, 학습된 특징에 기반한 언어학적 정보 기반 선택 전략을 무작위 기준선과 비교 평가하여, 세 가지 모델 패밀리(mGPT, mT5-xl, BLOOM)와 다섯 개의 다국어 벤치마크에 걸쳐 이를 체계적으로 검증한다. 우리의 핵심적인 부정적 발견은 고정 예산 설정에서 보편적인 언어 선택 전략이 나타나지 않는다는 것이다. 성능은 작업과 모델에 크게 의존하며, 적당한 임계값을 넘어 더 많은 언어를 추가하면 다국어의 저주와 일치하는 성능 저하가 발생한다. MIT 데이터 큐레이션에 대한 함의와 벤치마크 평균 평가의 함정에 대해 논의한다. 모든 자료는 https://github.com/GGLAB-KU/ling-informed-mit 에서 공개적으로 이용할 수 있다.