신뢰 인식 다중 에이전트 추적성: 일관된 소프트웨어 아티팩트 관리를 위한 신뢰도 보정 지식 그래프
Trust-Aware Multi-Agent Traceability: Confidence-Calibrated Knowledge Graphs for Consistent Software Artifact Management
한국어 초록
다중 에이전트 AI 시스템은 요구사항 분석, 아키텍처 설계, 테스트 생성, 추적성 연결(linking)을 포함한 소프트웨어 공학 작업을 자동화하는 데 점점 더 많이 사용되고 있습니다. 이러한 에이전트들이 공유된 소프트웨어 아티팩트(artifacts)에 대해 순차적 파이프라인(pipeline)으로 작동할 때, 상위 스트림 에이전트가 만든 오류와 낮은 신뢰도를 가진 결정은 하위 단계로 전파되어, 고립된 요구사항(orphaned requirements), 모순된 연결, 그리고 안전 중요(safety-critical) 도메인에서 중대한 위험을 초래하는 규정 준수 격차(compliance gaps)를 발생시킵니다. 우리는 공유된 지식 그래프(knowledge graph)가 중앙화된 의미론적 메모리이자 조정 표면(surface) 역할을 하는 신뢰 인식 조정 프레임워크를 제안합니다. 이를 통해 에이전트들은 보정된 신뢰도 점수를 사용하여 서로의 기여를 평가하고 이를 기반으로 구축할 수 있습니다. 우리의 접근 방식은 임베딩 기반 검색과 LLM(대규모 언어 모델) 기반 다기준 분석을 결합한 2단계 추적성 연결 예측 파이프라인, 도출 시간(derivation-time)과 검증(validation) 시간의 신뢰도 비교를 가능하게 하는 추적성 시딩(seeding) 메커니즘, 그리고 신뢰도 임계값 게이팅(gating), 신뢰도 발산 감지, 충돌 해결을 통해 파이프라인 상호작용을 관리하는 일관성 프로토콜을 도입합니다. 우리는 연결 예측 보정, 프로토콜 효과성, 임계값 민감도, 추적성 시딩의 영향을 측정하는 자동차 소프트웨어 공학 사례 연구를 통해 평가를 수행했습니다. 제거 연구(ablation studies)는 신뢰도 보정이 효과적인 파이프라인 조정에 필수적임을 확인했습니다.
원문 초록
Multi-agent AI systems are increasingly used to automate software engineering tasks including requirements analysis, architecture design, test generation, and traceability linking. When these agents operate as a sequential pipeline over shared software artifacts, errors and low-confidence decisions made by upstream agents propagate to downstream stages, producing orphaned requirements, contradictory links, and compliance gaps that pose significant risks in safety-critical domains. We propose a trust-aware coordination framework where a shared knowledge graph serves as both centralized semantic memory and a coordination surface through which agents assess and build upon each other's contributions using calibrated confidence scores. Our approach introduces a two-stage traceability link prediction pipeline combining embedding-based retrieval with LLM-based multi-criteria analysis, a traceability seeding mechanism that enables comparison between derivation-time and validation-time confidence, and a consistency protocol governing pipeline interactions through confidence threshold gating, confidence divergence detection, and conflict resolution. We evaluate on an automotive software engineering case study measuring link prediction calibration, protocol effectiveness, threshold sensitivity, and the impact of traceability seeding. Ablation studies confirm that confidence calibration is essential for effective pipeline coordination.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17203v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GRATE: 게이트 회전 어텐션을 통한 귀납적 지식 그래프 파운데이션 모델의 시간적 확장
GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention
Ultra, Trix와 같은 지식 그래프 파운데이션 모델은 관계 그래프 표현을 학습함으로써 미지의 개체 및 관계로 강력한 귀납적 전이를 달성한다. 이러한 전이 가능성을 시간적 지식 그래프(TKG)로 확장하는 것은 여전히 어려운 과제이다. 기존의 시간적 모델은 파라미터가 데이터셋 고유의 개체, 관계, 또는 타임스탬프에 고정되어 있어 어휘가 서로 다른 TKG로의 전이를 위해 설계되지 않았다. 우리는 학습 가능한 파라미터를 추가하지 않으면서 시간을 인코딩하는 개체 측 메시지 함수인 GRATE(Gated Rotary Attention for Temporal Encoding)를 제안한다. GRATE는 각 엣지 메시지를 쿼리와의 시간 간격에 따라 회전시켜 상대적 시간 차이를 인코딩하고, 쿼리 조건부 게이트를 적용하여 시간적으로 관련된 신호를 선택한다. GRATE는 구조적 전이 가능성을 유지하면서 NBFNet 방식의 지식 그래프 파운데이션 모델에 통합된다. 기존 TKG 벤치마크는 학습/테스트 어휘를 공유하는 환경에서만 평가하므로 데이터셋 간 시간적 전이를 직접 테스트하기 어렵다. 이를 위해 우리는 보간(interpolation)과 외삽(extrapolation) 모두를 아우르며 개체, 관계, 타임스탬프가 분리된 귀납적 전이 벤치마크 스위트인 GDELTIndT와 WIKIIndT를 구축하였다. 이 벤치마크들과 홀드아웃 예측 데이터셋 전반에 걸쳐, 단일 공동 사전학습 GRATE 체크포인트는 대부분의 설정에서 정적 베이스 모델을 능가한다.
지식 베이스 완성을 위한 충실성 기준의 위계
A hierarchy of faithfulness criteria for knowledge base completion
지식 그래프 완성은 관찰된 트리플을 무작위로 손상시킨 트리플보다 높게 순위 매기는 방식으로 평가되며, 이는 관찰되지 않은 모든 사실을 거짓으로 취급한다. 완성 대상이 단순 그래프가 아니라 기술 논리(description logic) 지식 베이스일 때, 개방 세계 가정(open world assumption)과 연역적 폐쇄(deductive closure) 때문에 이 방식은 부적절하다. 지식 베이스에 상대적으로 후보 공리는 함의(entailed)되거나, 모순(contradictory)이거나, 미정(undetermined)이며, 논리적으로 불가능한 공리와 그럴듯한 새로운 공리를 구분하지 못하는 모델은 단순히 정확도가 낮은 것이 아니라 의미론적으로 올바르지 않다. 우리는 지식 베이스 완성 모델이 논리적으로 충실(logically faithful)하다는 것이 무엇을 의미하는지, 그리고 현재 임베딩 모델이 그런지를 묻는다. 판별(discrimination), 논리적 허용 가능성(logical admissibility), 단조 논리적 충실성(monotonic logical faithfulness), 확률적 논리적 충실성(probabilistic logical faithfulness)이라는 네 가지 점점 더 엄격한 기준의 위계를 정의하고, 이들이 함의의 엄격한 연쇄를 이룸을 증명한다. 가장 엄격한 기준을 상대 모델 개수 $P(\alpha\mid\mathcal{O}) = \#(\mathcal{O}\cup\{\alpha\})/\#(\mathcal{O})$에 기반시키며, 이는 양 끝점에서 삼분법(trichotomy)을 복원하고 그 사이에서 미정 공리들의 순위를 매긴다. 추론기(reasoner)로 생성한 함의·모순·미정 테스트 집합을 사용하여 $\mathcal{EL}$ 온톨로지에서 지식 그래프 및 논리-기하 임베딩 모델을 평가한 결과, 순위 정확도가 논리적 충실성을 함의하지 않으며 평가된 모델 중 어느 것도 위계 전반에 걸쳐 충실하지 않음을 확인한다. 코드는 https://github.com/bio-ontology-research-group/kbc 에서 이용할 수 있다.
소프트맥스가 버리는 것: 증거 누적을 위한 질량 인식 어텐션
What Softmax Throws Away: Mass-Aware Attention for Evidence Accumulation
높은 태스크 성능은 모델이 내부 표현에서 예측과 관련된 구조적 정보를 유지하는지 여부를 보여주지 않는다. 예를 들어, 시간 그래프 모델은 높은 future-link AUC를 달성할 수 있지만, 동일한 표현에서 기본 그래프 통계를 복원하는 것은 여전히 어렵다. 우리는 이러한 격차의 한 원인을 표준 어텐션에서 사용하는 가중 평균에서 찾는다. 증거 패턴이 반복되면 분자와 분모가 같은 속도로 증가하므로, 누적된 증거의 양이 다른 입력들이 동일한 집계값을 만들 수 있다. 우리는 표준 L1 정규화를 Lp 계열로 일반화하는 Mass-Aware Attention(MAA)을 제안한다. 반복 상황에서 MAA는 분자와 분모가 서로 다른 속도로 스케일되게 하여, 표현 크기에 기여하는 입력의 유효 개수를 표현 크기에 유지한다. MAA는 추가적인 지도, 파라미터, 은닉 차원, 또는 명시적 개수 특징을 추가하지 않으며, p=1에서 표준 어텐션을 복원한다. 4개의 연속 시간 동적 그래프 모델과 3개의 데이터셋에 걸쳐, MAA는 12개의 모델-데이터셋 셀 중 11개에서 future-link AUC를 개선한다. 동일한 은닉 표현에서의 선형 복원은 평균 4.49% 증가하며, family-wise correction 후 preferential-attachment 복원은 12개 셀 모두에서 개선된다. 또한 marked temporal point process(MTPP), temporal knowledge graph(TKG), 검색-증강 생성(RAG), 시공간 point process(STPP)에서도 일관된 증거를 관찰한다. 정보 접근성과 태스크 유용성은 여전히 구별된다. MTPP에서 NLL은 개선되지만, TKG에서는 랭킹이 대체로 유지되고, RAG의 추가 정보는 진단 헤드를 개선하지 않으며, STPP에서는 하류 LayerNorm이 신호를 지울 수 있다. 이 결과들은 MAA를 표준 어텐션에서 반복 불변성(repetition invariance)을 제어함으로써 예측기 대면 표현의 정보성을 개선하는 일반적인 정규화 원리로 자리매김한다.
MA-DAR: 지속적 시간적 지식 그래프 추론을 위한 다양체 정렬 동적 적응형 라우팅
MA-DAR: Manifold-Aligned Dynamic Adaptive Routing for Continual Temporal Knowledge Graph Reasoning
지속적 시간적 지식 그래프(TKG) 추론은 새로 등장하는 사실을 지속적으로 통합하면서 이전에 습득한 지식을 보존하는 것을 목표로 한다. 재생(replay) 기반 지속 학습(continual learning)은 과거 표현을 재방문함으로써 유망한 성능을 달성해 왔다. 그러나 기존 방법들은 주로 무엇을 재생할지에 초점을 맞추며, 재생된 표현을 현재 표현과 어떻게 통합해야 하는지는 대체로 간과한다. 이러한 직접 통합은 종종 두 가지 중요한 형태의 표현 충돌, 즉 노름 지배(norm domination)와 의미적 흐림(semantic blurring)을 야기하여 결국 지속적 추론 성능을 저하시킨다. 이러한 과제를 해결하기 위해, 우리는 재생 표현 융합을 위한 경량 플러그 앤 플레이(plug-and-play) 프레임워크인 MA-DAR(Manifold-Aligned Dynamic Adaptive Routing)를 제안한다. MA-DAR는 먼저 재생된 표현과 현재 표현을 공유 다양체(shared manifold) 위에 정렬하여 분포 불일치를 완화한다. 그다음 동적 게이팅(gating) 메커니즘을 사용해 차원별 융합 가중치를 학습하고, 융합된 표현에 대한 재생 표현과 현재 표현의 기여도를 적응적으로 결정한다. 또한, 극화(polarization) 정규화(regularizer)는 모호한 게이팅 결정을 억제함으로써 보다 단호한 라우팅 동작을 유도하여, 더 안정적이고 효과적인 지식 통합을 이룬다. 4개의 공개 지속적 TKG 벤치마크에 대한 광범위한 실험 결과, MA-DAR는 다양한 재생 설정에서도 효과를 유지하면서 대표적인 TKG 인코더의 성능을 일관되게 향상시킴을 보여준다. 포괄적인 ablation 연구와 시각화 분석은 표현 충돌을 완화하고 지속적 추론을 개선하는 데 있어 다양체 정렬과 동적 적응형 라우팅의 효과를 추가로 검증한다.
Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처
Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation
검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.
Causal-AgentIR: 적응형 이미지 복원 에이전트를 위한 자기 진화형 인과 메모리
Causal-AgentIR: Self-Evolving Causal Memory for Adaptive Image Restoration Agents
최근 이미지 복원 에이전트는 실제 시나리오에서 다양하고 예측 불가능한 열화를 처리하는 유연한 패러다임으로 등장했다. 기존 에이전트는 일반적으로 복원을 도구 사용 프로세스로 공식화하는데, 에이전트가 열화를 인지하고, 후보 도구를 검색하며, 복원 연산을 실행하고, 반성(reflection)이나 롤백(rollback)을 통해 계획을 수정한다. 그러나 그들의 지식은 종종 정적 도구 설명, 수동으로 정의된 열화 사전(prior), 또는 비구조화된 텍스트 요약으로 저장되어, 장기 경험에 걸친 복원 지식의 축적, 검증, 수정, 망각을 제한한다. 본 논문에서는 자기 진화형 인과 메모리를 갖춘 계층적 다중 에이전트 프레임워크 Causal-AgentIR을 제안하여, 집단적 이미지 복원 지능을 구현한다. 복원 경험을 고립된 텍스트 기록으로 표현하는 대신, Causal-AgentIR은 열화 패턴, 이미지 영역, 복원 도구, 행동, 품질 변화, 사용자 선호를 구조화된 인과 메모리 그래프로 조직한다. 이 그래프는 그래프 기반 검색과 다중 홉(multi-hop) 인과 추론을 지원하여, 에이전트가 특정 복원 연산이나 도구 시퀀스가 서로 다른 열화 조건에서 복원 품질에 어떻게 영향을 미치는지 추론할 수 있게 한다. 프레임워크는 또한 계획, 열화 분석, 도구 전문성, 인과 메모리 추론, 결과 비평, 메모리 큐레이션을 포함하는 협력 시스템으로 여러 에이전트를 조직한다. 이 설계를 통해 복원 경험은 관찰된 품질 변화와 피드백에 따라 추가, 갱신, 병합, 강화, 무시, 또는 폐기될 수 있어, 에이전트가 신뢰할 수 있고 전이 가능한(transferable) 복원 지식을 유지할 수 있다. 광범위한 실험을 통해 제안 프레임워크의 효과가 입증되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.