클라우드-컨티뉴엄 시스템에서 물리 신경망을 위한 신뢰 인식 출력 관리
Trust-Aware Output Management for Physical Neural Network in Cloud-Continuum Systems
한국어 초록
물리 신경망(Physical Neural Networks, PNN)은 클라우드 컨티뉴엄 연산에 새로운 기회를 제공하지만, 출력은 노이즈, 드리프트, 지연, 불완전한 신뢰도 정보의 영향을 받을 수 있다. 기존 기판(substrate) 관리 접근법은 주로 탐색, 호출, 모니터링에 초점을 맞추는 반면, 반환된 출력의 신뢰성은 종종 다루지 않는다. 본 논문은 이질적 PNN을 위한 신뢰 인식 출력 관리 프레임워크를 제안한다. 각 출력은 품질 및 문맥 정보와 함께 표현되며, 경량 엣지 수준 신뢰 점수가 수락, 거부, 또는 fog로 전달할지를 결정한다. fog 층에서는 호환 가능한 출력 간 불일치를 검사하고, 신뢰도 및 불확실성 인식 융합을 통해 결합한다. 역사적 신뢰도 또한 지속적 성능 저하를 탐지하고 재보정 요청을 지원하기 위해 추적된다. 프레임워크는 통제된 및 무작위화된 PNN 출력 모델을 사용하여 평가된다. 20개의 무작위 시드에 걸쳐, 제안된 full-trust 정책은 원시 출력 처리에 대해 약 61.5%였던 불안전 수락을 약 5.0%로 줄이며, 수락된 출력의 MAE는 0.504에서 0.242로 감소한다. 위험 커버리지 분석은 이러한 개선이 낮은 로컬 수락만으로 설명되지 않음을 보여준다. 제안된 fog 융합 방법은 또한 평가된 방법 중 최저의 집계 평균 오차를 달성하며, 강력한 불확실성 인식 기준선 대비 작지만 일관된 이점을 보인다. 프로토타입은 증거 레코드당 약 $2~\mu\text{s}$의 엣지 처리를 추가한다. 이러한 결과는 호출 후(post-invocation) 신뢰성 관리가 edge–fog–cloud 시스템 전반에서 PNN 출력의 안전한 사용을 개선할 수 있음을 보여준다.
원문 초록
Physical Neural Networks (PNNs) introduce new opportunities for cloud continuum computing, but their outputs may be affected by noise, drift, delay, and incomplete reliability information. Existing substrate-management approaches mainly focus on discovery, invocation, and monitoring, while the reliability of the returned output is often left unaddressed. This paper proposes a trust-aware output management framework for heterogeneous PNNs. Each output is represented with quality and context information, and a lightweight edge-level trust score decides whether it should be accepted, rejected, or forwarded to the fog. At the fog layer, compatible outputs are checked for disagreement and combined using reliability- and uncertainty-aware fusion. Historical trust is also tracked to detect sustained degradation and support recalibration requests. The framework is evaluated using controlled and randomized PNN output models. Across 20 random seeds, the proposed full-trust policy reduces unsafe acceptance from approximately 61.5\% for raw output handling to about 5.0\%, while accepted-output MAE decreases from 0.504 to 0.242. Risk coverage analysis shows that this improvement is not explained only by lower local acceptance. The proposed fog fusion method also achieves the lowest aggregate mean error among the evaluated methods, with a small but consistent advantage over strong uncertainty-aware baselines. The prototype adds about $2~\mu\text{s}$ of edge processing per evidence record. These results show that post-invocation reliability management can improve the safe use of PNN outputs across edge--fog--cloud systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22443v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.
인증된 오염 예산: 적응형 조작 하에서 상시 유효한 리더보드 주장
Certified Corruption Budgets: Anytime-Valid Leaderboard Claims under Adaptive Rigging
AI 모델을 위한 공개 리더보드는 지속적으로 열람되며, 공격자는 공개된 모든 순위를 확인할 수 있다. 투표 조작, 비공개 변형 모델의 선택적 공개, 벤치마크 오염은 각각 순위를 뒤흔들 수 있다. 기존의 보증 방식은 기록이 조작되지 않았다고 가정하거나 단계별 오염 정도를 제한하는데, 이는 일시적으로 대량 오염을 가하는 공격자에게 무력화된다. 본 연구에서는 $t$개의 기록 이후 계산되어 각 쌍대 비교 주장과 함께 공개되는 허용 오차인 인증된 오염 예산(certified corruption budget) $\widehat{B}_t$를 제안한다. 최소 $1-α$의 확률로 모든 시점에서 동시에, 해당 주장이 정확하거나 또는 $\widehat{B}_t$개를 초과하는 기록이 오염되었음이 보장된다. 이는 예산 제한 없이 모든 인증서를 모니터링하는 공격자를 상대로도 성립한다. 위조된 기록과 확인 후 변경된 기록은 서로 다른 인증서를 필요로 한다. 위조 기록용 인증서는 이미 확인한 투표를 뒤집는 공격자에게 1에 수렴하는 확률로 실패하는 반면, 기록당 약 두 배의 비용을 부과하는 인증서는 미래를 내다보는 공격자를 상대로도 일정한 배팅을 통해 유효성을 유지하며, 모든 수준에서 이보다 더 적은 비용 부과는 성립하지 않는다. 인증된 예산은 유효한 모든 방법이 허용하는 한계에 가깝게 증가한다. 승률이 $\frac{1}{2}+δ$일 때, 각 신규 기록은 주장이 견뎌낼 수 있는 위조 기록 수에 거의 $2δ$만큼($δ$ 뒤집힘)을 추가한다. $V$개의 비공개 변형 중 최적 모델을 공개하는 데 드는 비용은 $\log V$ 수준으로만 증가한다. 180만 건의 Chatbot Arena 투표를 재현한 실험에서, 수백 건의 조작된 투표만으로도 표준 신뢰 구간은 잘못된 순위를 인증해 버린 반면, 제안 기법은 유효성을 유지했다. 실제 투표 데이터에서 본 인증서는 명확히 분리된 모델들이 약 2,000건의 위조 투표를 견뎌낼 수 있음을 보여준다.
CVAE-SM: A Conditional Variational Autoencoder with Style Modulation for Efficient Uncertainty Quantification
AI Sound Recognition on Asthma Medication Adherence: Evaluation With the RDA Benchmark Suite
STMGCN: Mobile Edge Computing-Empowered Vessel Trajectory Prediction Using Spatio-Temporal Multigraph Convolutional Network
토론
이 논문과 연결된 포럼 글이 아직 없습니다.