LLM 기반 트레이딩 시스템에서의 체결 현실성과 재현성: 체계적 범위 고찰 및 증거 감사
Execution Realism and Reproducibility in LLM-Based Trading Systems: A Systematic Scoping Review and Evidence Audit
한국어 초록
대규모 언어 모델(LLM) 기반 트레이딩 시스템 연구에서 체결 현실성(execution realism)은 여전히 표준화가 미흡하여, 백테스트, 시뮬레이션 및 포트폴리오 벤치마크 전반에 걸친 비교와 재현을 제한하고 있습니다. 본 논문은 체결 재현성 증거 감사가 중첩된 PRISMA-ScR 체계적 범위 고찰(systematic scoping review)을 제시합니다. 재현 가능한 8개의 쿼리 패밀리를 통해 쿼리 수준의 레코드 796건이 반환되었으며, DOI/제목 중복 제거 후 687건의 고유 레코드가 남았고, 101건의 보고서에 대해 원문 회수를 시도하여 직접 및 대체 오픈 액세스 경로를 통해 59건의 전문(full text)을 확보했습니다. 53건의 보고서는 2건의 맹검 저자 검증(validation) 패킷 조정 결과에 따라 확장된 증거 차팅(charting) 대상 잠정 적격으로 분류되었습니다. 차팅 프레임워크는 시점 통제(point-in-time controls), 시간적 분할(temporal splits), 홀드아웃 평가(held-out evaluation), 거래 비용 및 회전율, 체결 시맨틱, 유니버스 구성, 아키텍처 보고, 아티팩트 가용성을 개별적으로 평가합니다. 직접 트레이딩, 포트폴리오 또는 알파 구성, 벤치마크 연구는 공통의 성과 추정치(estimand)로 통합되지 않고 별도의 기술적 하위 그룹으로 유지됩니다. 검색 응답, 회수 시도 내역, 파일 해시, 증거 발췌본, 스크리닝 결정 및 코딩 워크시트는 리뷰 자료와 함께 아카이빙됩니다. 최종 필드 수준 집계치는 저자 검증이 완료될 때까지 의도적으로 공개를 보류합니다.
원문 초록
Execution realism remains weakly standardized in research on large-language-model-based trading systems, limiting comparison and reproduction across backtests, simulations, and portfolio benchmarks. This article presents a PRISMA-ScR systematic scoping review with a nested execution-reproducibility evidence audit. Eight reproducible query families returned 796 query-level records; DOI/title deduplication left 687 unique records, 101 reports were sought for retrieval, and 59 full texts were recovered through direct and fallback open-access routes. Fifty-three reports are provisionally eligible for expanded evidence charting, subject to reconciliation of two blind author-validation packets. The charting framework separately evaluates point-in-time controls, temporal splits, held-out evaluation, trading costs and turnover, execution semantics, universe construction, architecture reporting, and artifact availability. Direct-trading, portfolio or alpha-construction, and benchmark studies are retained as distinct descriptive subgroups rather than pooled as a common performance estimand. Search responses, retrieval attempts, file hashes, evidence excerpts, screening decisions, and coding worksheets are archived with the review materials. Final field-level counts are intentionally withheld until author validation is complete.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
K-Dense BYOK: 로컬에서 실행되며 해시 체인 기반의 연구실 노트를 유지하는 오픈소스 AI 연구 어시스턴트
K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook
K-Dense BYOK(bring your own keys)는 모든 분야의 과학자를 위해 연구자의 자체 컴퓨터에서 실행되는 무료 오픈소스 AI 연구 어시스턴트이다. 연구자가 호스팅되거나 로컬에서 실행되는 원하는 모델(model)에 대한 접근 권한을 제공하면, 애플리케이션은 작업이 실행될 공간, 과학적 스캐폴딩 층(layer), 완전한 기록 등 그 외 모든 것을 제공한다. 각 프로젝트는 일반 폴더이므로 데이터, 코드, 결과 및 기록이 연구자가 관리하는 머신에 보관되며 해당 애플리케이션 없이도 수년 후에도 읽을 수 있다. 이는 세 가지 측면에서 챗 어시스턴트나 범용 코딩 에이전트(agent)와 구별된다. 첫째, 작성된 과학적 절차 라이브러리, 가이드형 워크플로 템플릿, 연구 데이터를 찾을 수 있는 카탈로그, 그리고 에이전트가 작업을 넘길 수 있는 리뷰어 및 작성자 역할을 함께 제공한다. 둘째, 항목들이 하나의 논거로 연결되고 추가만 될 뿐 절대 삭제되지 않는 리빙 랩 노트(Living Lab Notebook)를 유지한다. 셋째, 에이전트가 쓸 수 있는 도구가 전혀 없는 로그에서, 에이전트의 말을 그대로 믿는 대신 에이전트가 수행하는 동작을 관찰하여 발생한 일을 기록한다. 이러한 선택은 9개의 프론티어 모델을 대상으로 한 이전 벤치마크(benchmark)에서 가장 흔했던 실패인 모델의 과장된 주장(overclaiming)을 목표로 하며, 주장을 방지하기보다는 검증 가능하게 만든다. 사전에 확정된 루브릭에 따라 평가된 20개의 학제 간 연구 프롬프트(prompt)에서, K-Dense BYOK는 과학적 품질과 연구 실행력 모두에서 두 개의 매니지드 플랫폼을 앞섰다. K-Dense BYOK의 산출물은 실행된 소프트웨어를 기록한 유일한 산출물이었으며, 결과를 재생성하는 명령어를 함께 제공한 경우가 대부분인 유일한 산출물이었다. 매니지드 플랫폼 중 하나는 동일한 프론티어 모델을 실행했음에도 둘 다 제공하지 못했다. 이러한 환경(environment) 기록은 에이전트가 작성한 파일이었으며, 아직 소프트웨어 환경 자체를 캡처하지는 못하는 관찰된 로그의 일부는 아니었다. 코드는 MIT 라이선스 하에 https://github.com/K-Dense-AI/k-dense-byok 에서 이용할 수 있다.
자기 진화형 에이전트의 안전성: 서베이
Safety in Self-Evolving Agents: A Survey
대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.