PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2502.09487v4cs.CL

메타추론 제약이 서사, 정동 및 인지를 결합하는 방식

Metareasoning constraints couple narratives, affect and cognition

서사와 감정은 사고를 형성하며, 사고는 우리의 감정과 우리가 전하는 이야기를 형성합니다. 그러나 서사, 정동(affect), 인지 상태가 상호작용하는 이유는 여전히 불분명합니다. 본 연구에서는 이러한 상호 관계가 공유된 계산 상태(shared computational state)에 의해 부과되는 메타추론(metareasoning, 무엇을 생각할지 결정하는 과정)에 대한 제약을 반영하는지 조사합니다. 대규모 언어 모델(LLM)을 이용한 우울증 서사의 정량화와 자기 보고(self-report)를 결합한 연구 1(n=704)에서는 서사 상태 구조가 공식 정동 평가의 요인 구조를 밀접하게 반영하며, 서사 상태의 섭동(perturbation)이 잠재 계산 상태를 통해 정동에 상응하는 영향을 미침을 보여줍니다. 연구 2(n=553)에서는 구조화된 서사에 대한 노출을 활용하여 모델의 예측을 생체 내(in vivo)에서 인과적으로 검증합니다. 서사 노출은 서사 상태에 일관된 영향을 미치며, 이는 순간적인 기분, 인지 및 정동에 연쇄적인 영향을 줍니다. 결정적으로, 이러한 효과는 잠재 계산 상태의 관여를 통해 예측됩니다. 이는 메타추론 제약이 공유된 계산 상태를 통해 서사, 인지, 정동 간의 상호작용을 결정한다는 가설을 뒷받침합니다.

arXiv:2504.16116v4cs.CR

DMind Benchmark: Web3 도메인 전반의 LLM 역량 종합 평가

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

암호학적 원시 구조(cryptographic primitives)와 탈중앙화 합의(decentralized consensus)에 기반한 Web3 생태계는 소프트웨어 취약점과 인센티브 불일치가 곧바로 금융적 손실로 이어지는 고위험 환경이다. 대규모 언어 모델(LLM)이 스마트 계약 감사부터 탈중앙화 금융(decentralized finance) 분석에 이르는 다양한 작업을 위해 이 도메인에 점점 더 통합되면서, 그 신뢰성 확보가 무엇보다 중요하다. 그러나 범용 벤치마크는 이러한 적대적(adversarial)이고 프로토콜 중심의 설정에서 요구되는 전문적 추론을 포착하지 못한다. 이 격차를 메우기 위해, Web3 스택 전반에서 LLM 숙련도를 엄격히 평가하도록 설계된 종합 평가 모음인 DMind Benchmark를 제안한다. DMind Benchmark는 아홉 개의 서로 다른 하위 도메인(인프라, 스마트 계약, 토큰 경제학 등)을 포괘하며, 객관적 지식 검색과 실제 운영 과제를 모사하는 복잡한 개방형 추론 작업을 결합한다. 우리는 31개의 선도적인 독점 및 오픈 가중치(open-weights) 모델에 대해 광범위한 평가를 수행했으며, 오염(contamination) 인식 파이프라인을 사용하고 엄격한 교차 심사자(cross-judge) 일관성 검증을 통해 채점 프로토콜의 통계적 견고성을 확인했다. 분석 결과 중요한 이분법이 드러난다: 모델들은 기초 인프라 개념에서는 역량을 보이지만, 보안 감사와 같은 고추론(high-reasoning) 작업에서는 상당한 취약성을 나타낸다. 또한 비용 효율적인 배포를 안내하기 위한 파레토(Pareto) 분석을 제공하고, 적대적 실험을 통해 DMind Benchmark에서의 높은 성능이 피상적 암기가 아닌 진정한 추론을 필요로 함을 보여준다. 2025년 4월 오픈소스 공개 이후 DMind Benchmark는 거의 일주일간 Hugging Face에서 1위 트렌딩을 기록했으며, 2026년 6월까지 13k 이상의 다운로드를 누적하여 Web3에서 안전하고 신뢰할 수 있는 AI를 발전시키는 표준으로 자리 잡았다.