arXiv:2606.24176v1 cs.CL

A Synthetic Reliability-Aware PINN Benchmark for Offshore Wind Turbine Support-Structure Monitoring with Bayesian Inverse Identification

Puneet Kant, Monika Tanwar

제출 2026-06-23

원문 초록

Reliable structural health monitoring (SHM) of offshore wind turbine (OWT) support structures requires fast state estimation from sparse measurements. Repeated high fidelity finite element or aeroelastic analyses are difficult to use directly in online monitoring loops, while purely data-driven surrogates can require large training sets. This paper presents Digi Turbine, a synthetic reliability-aware Physics Informed Neural Network (PINN) benchmark for OWT monopile support structure monitoring. The workflow embeds a simplified Euler Bernoulli beam equation with Winkler soil foundation in the training objective, couples it with Bayesian-prior-informed inverse identification, and adds First Order Reliability Method (FORM) screening. All validation uses synthetic configurations with analytical or finite-difference ground truth motivated by the NREL 5MW reference turbine context.

요약

해상 풍력 터빈(OWT) 모노파일 지지구조의 희소 측정 기반 구조 건전성 모니터링(SHM)을 위해 DigiTurbine이라는 신뢰성 인식 물리 정보 신경망(PINN) 합성 벤치마크를 제안하며, 단순화된 Euler–Bernoulli 보와 Winkler 지반 방정식을 학습 목표에 내재하고 베이지안 사전분포 기반 역식별과 1차 신뢰성법(FORM) 스크리닝을 결합한다. NREL 5MW 맥락의 합성 검증에서 순방향 PINN은 평균 RMSE 0.135mm와 10ms 미만 추론을 달성하고, 약한 베이지안 사전분포가 역 PINN의 gradient direction problem을 완화해 8/8 통과했으며, FORM 포함 전체 파이프라인은 약 7ms에 완료된다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.24176v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15722v1cs.CV공통 태그 Benchmarking, parameter estimation

PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.

arXiv:2609.39166v3cs.AI공통 태그 Bayesian Inference, Benchmarking

기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.

arXiv:2610.06591v2cs.AI공통 태그 Bayesian Inference, Benchmarking

심사 로또: 동료 평가 노이즈에 대한 관측 기반 추정기 벤치마킹 (ICLR 2017-2025)

The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)

동일한 논문을 다른 심사위원단이 평가한다면 학술대회 채택/탈락 결정은 얼마나 달라질까요? 두 번째 독립적인 프로그램 위원회를 운영하는 것이 이에 답하기 위한 최적의 표준(gold standard)이지만, 이는 비용이 과도하게 많이 들어 단 두 번(NeurIPS 2014 및 2021)만 진행되었습니다. 본 연구에서는 공개 심사 데이터만을 활용하여 이 수치에 대한 관측 기반 추정기를 구축하고, 두 차례 캘리브레이션을 거친 뒤 9년간의 ICLR(2017-2025; 논문 36,113편, 리뷰 134,912건) 데이터에 적용합니다. 이 추정기는 베이즈 순서화 프로빗 모델(Bayesian ordered-probit model)을 통해 점수를 논문 품질과 심사위원 노이즈로 분해하고, 로지스틱 모델로 점수를 최종 결정에 매핑하며, 두 개의 독립적인 위원회를 시뮬레이션합니다(사후 표본 추출 B=1,000; 위원회 크기 k=2,3,4). 추정된 불일치율은 k=2일 때 23-30%, k=4일 때 18-24%이며, 채택된 논문의 30-50%는 탈락될 수 있는 것으로 나타났습니다. 외부 캘리브레이션 결과, NeurIPS 2021 심사위원 수 기준(k=3)에서 시뮬레이션된 2021년 불일치율은 23.3% [21.7%, 25.0%]로 보고된 23.0%와 유사했습니다(바이어스 +0.3%p). 채택 정밀도와 위원회 간 상관관계 또한 각각 5%p 및 0.04 이내로 일치했습니다. 내부 캘리브레이션에서는 4개 이상의 리뷰가 있는 18,740편의 논문에 대해 모델을 배제한 무작위 2+2 심사위원 분할 결과가 2018년 및 2021-2025년의 k=2 시뮬레이션과 1%p 이내로 일치함을 확인했습니다. 시계열 분석상 2017-2025년 동안 심사위원 노이즈에서 뚜렷한 시간적 추세는 발견되지 않았습니다. 2020년과 2021년의 높은 채택 논문 번복률은 서로 다른 메커니즘을 가집니다. 2020년의 4점 척도는 점수를 압축시켰으며(논문의 23.7%가 논문 내 분산 0을 기록), 반사실적 분석에 따르면 척도를 단순화할 경우 불일치가 약 7%p 증가하는 것으로 나타났습니다. 반면 2021년은 표본 내 최저 신호 대 잡음비(SNR)와 임계값 부근에 가장 밀집된 채택 분포가 결합된 결과였습니다. 대규모 언어 모델(LLM) 시대와 관련하여, 논문 내 점수 분산에 대한 2023년 구조 변화 검정(breakpoint test)에서는 변화가 발견되지 않았으나, 해당 설계는 검정력이 거의 없으며 2022년 이후의 리뷰 텍스트나 확신도(confidence) 데이터가 존재하지 않아 LLM으로 인한 영향 귀인은 시도하지 않았습니다.

arXiv:2610.00353v1cs.AI공통 태그 Bayesian Inference, Benchmarking

JusticeAxis: 엄격한 법률 적용과 근거 없는 재량 사이의 사법 판단 벤치마킹

JusticeAxis: Benchmarking Legal Judgment between Rigid Rule Application and Ungrounded Discretion

올바른 판결은 확정된 사실관계에 법을 적용하고, 그 사실이 발생한 제반 사정을 종합적으로 고려합니다. 그러나 기존 방법들은 엄격한 법조문 매칭과 근거 없는 재량 사이에서 방황하며, 벤치마크는 단일 라벨이나 루브릭만을 평가할 뿐 이러한 균형을 제공해야 할 경험은 검증되지 않은 채로 남아 있습니다. 본 연구에서는 사법 판단을 법률과 제반 사정 모두에 동시에 기반을 두는 단일 결정을 목표로 하는 참조 고정(reference-anchored) 태스크로 정식화합니다. 이를 위해 18개국의 오디오, 이미지, 텍스트 증거를 포함하는 256건의 실제 형사 사건과 각 사건마다 변호사가 작성한 세 가지 판결(기록된 실제 판결 및 두 가지 실패 유형별 판결 각 1건)로 구성된 JusticeAxis를 소개합니다. 나아가 사실관계를 확정하는 요소 에이전트(agent)들과 제반 사정에 대한 경험을 담은 스킬을 바탕으로 법을 적용하는 판사 에이전트로 구성된 프레임워크인 JusticeAgent를 제안합니다. 이러한 스킬은 실행 궤적으로부터 증류(distillation)되며 베이지안 신뢰 구간(Bayesian credible bounds) 하에서만 채택됩니다. 실험 결과에 따르면 실패 양상은 모델 규모(scale)에 따라 방향을 바꿉니다. 즉, 오픈 가중치(open-weight) 백본은 근거 없는 판단으로 편향되는 반면, 프론티어 모델은 법조문 기본값으로 편향됩니다. 또한 단순하면서도 효과적인 플러그인으로서 JusticeAgent가 고정된(frozen) 오픈 가중치 백본을 상용 수준까지 끌어올릴 수 있음을 검증했습니다. 프로젝트 리소스는 https://github.com/beita6969/JusticeAxis 에서 확인할 수 있습니다.

arXiv:2610.00651v1cs.AI공통 태그 Bayesian Inference, Benchmarking

에이전트 평가 신뢰성: 더 많은 태스크가 (항상) 에이전트 리더보드를 해결해 주지는 않는다

Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard

에이전트(agent) 평가는 대규모 언어 모델(LLM)을 비교하고 배포 결정을 내리는 데 점점 더 많이 사용되고 있지만, 순위는 모델뿐만 아니라 스캐폴드(scaffold)나 태스크와 같은 평가 조건의 영향도 반영할 수 있습니다. 이로 인해 신뢰성은 평가하려는 주장(claim)에 따라 달라집니다. 즉, 배포된 시스템의 순위를 안정적으로 매기는 평가가 그 기반이 되는 모델의 순위까지 안정적으로 매기지는 못할 수 있습니다. 본 연구에서는 현재의 에이전트 평가가 어떤 결론을 안정적으로 뒷받침하는지, 그리고 어떤 추가 평가가 이를 개선할 수 있는지 질문을 던집니다. 이를 위해 희소하고 불균형한 에이전트 리더보드를 위한 베이지안 분산 분해 프레임워크를 개발하고, 이를 Holistic Agent Leaderboard 및 Harbor Index의 22개 벤치마크에 적용합니다. 이 프레임워크는 의도한 주장과 관련된 성능 차이인 '신호'와 순위를 바꿀 수 있는 무관한 변동인 '노이즈'를 분리합니다. 연구 결과는 다음과 같습니다: (1) 신뢰성은 측정 목표에 따라 달라집니다. 고정된 모델-스캐폴드 시스템은 안정적으로 순위가 매겨지지만(0.935–0.994), 기반 모델의 신뢰성은 상당히 낮습니다(0.148–0.841). (2) 스캐폴드 선택이 결론을 바꿀 수 있습니다. 스캐폴드 간 신뢰성은 스캐폴드가 모델 순위를 보존하는지 여부를 측정하며, 스캐폴드 효과가 평가 전반에 걸쳐 크게 달라짐을 보여줍니다. (3) 더 많은 태스크가 모든 불확실성을 해결할 수는 없습니다. 제한된 스캐폴드 커버리지가 불확실성을 지배하는 경우, 유사하게 구성된 태스크를 무한히 많이 추가하더라도 벤치마크의 모델 순위 신뢰성은 기껏해야 0.097만 향상됩니다. (4) 다양한 벤치마크를 풀링(pooling)하면 더 적은 비용으로 교차 태스크 순위를 개선할 수 있습니다. 다양한 에이전트 태스크 전반의 순위 평가에서 벤치마크를 풀링하면 동일한 태스크 예산에서 예상 신뢰성이 0.44에서 0.75로 상승하며, 예상 비용을 최대 83%까지 줄일 수 있습니다. 평가 설계는 의도한 주장을 따라야 합니다. 즉, 점수나 순위가 무엇을 의미해야 하는지 식별하고, 신뢰성을 제한하는 요인을 진단하며, 중요한 불확실성의 원인에 평가 예산을 투입해야 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.