Transformer Semantic Genetic Programming for Symbolic Regression
원문 초록
In standard genetic programming (stdGP), solutions are varied by modifying their syntax, with uncertain effects on their semantics. Geometric-semantic genetic programming (GSGP), a popular variant of GP, effectively searches the semantic solution space using variation operations based on linear combinations, although it results in significantly larger solutions. This paper presents Transformer Semantic Genetic Programming (TSGP), a novel and flexible semantic approach that uses a generative transformer model as search operator. The transformer is trained on synthetic test problems and learns semantic similarities between solutions. Once the model is trained, it can be used to create offspring solutions with high semantic similarity also for unseen and unknown problems. Experiments on several symbolic regression problems show that TSGP generates solutions with comparable or even significantly better prediction quality than stdGP, SLIM_GSGP, DSR, and DAE-GP. Like SLIM_GSGP, TSGP is able to create new solutions that are semantically similar without creating solutions of large size. An analysis of the search dynamic reveals that the solutions generated by TSGP are semantically more similar than the solutions generated by the benchmark approaches allowing a better exploration of the semantic solution space.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기호 회귀에서 선택 압력으로서의 계수 보정
Coefficient Calibration as Selection Pressure in Symbolic Regression
밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.
유전 프로그래밍 심볼릭 회귀에서 제로샷 LLM 생성 부모 선택 벤치마킹
Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression
부모 선택은 심볼릭 회귀를 위한 유전 프로그래밍(GP)에서 탐험, 활용, 복잡도 제어에 중요한 영향을 미친다. 대규모 언어 모델(LLM)이 반복적 메타 진화 없이 제로샷 설정에서 효과적인 연산자를 합성할 수 있는지는 불분명하다. 여기서 제로샷이란 모델이 참조 연산자나 반복적 피드백 없이 작업 설명만 받는 것을 의미한다. 본 연구에서는 심볼릭 회귀를 위한 표준 GP 프레임워크 내에서 8개 LLM에 걸쳐 부모 선택 연산자의 제로샷 합성을 벤치마킹한다. 각 모델은 부모 선택 연산자를 생성하기 위해 동일한 자연어 프롬프트를 받으며, 생성된 연산자는 부모 선택 연산자만 교체된 표준 GP 프레임워크에서 평가되고, 다른 모든 구성 요소와 진화 탐색 예산은 일정하게 유지된다. 각 LLM에 대해 10개의 독립적인 제로샷 연산자를 12개 OpenML 회귀 벤치마크에서 평가하고, 자동 lexicase 및 토너먼트 선택 기준선과 비교한다. Claude Sonnet~4.6과 Gemini~3.1 Pro는 학습 및 홀드아웃 테스트 $R^2$ 모두에서 일관되게 강한 성능을 보여 두드러진다. 벤치마크에서 가장 강한 연산자인 Kimi~K2.5 제로샷 합성은 탐색 효과성에서 자동 lexicase 및 토너먼트 선택 기준선을 능가한다. 이 결과는 제로샷 LLM 합성이 경쟁력 있는 GP 선택 연산자를 생성하는 실행 가능한 접근법임을 시사한다. 분석에 따르면 생성된 연산자 중 다수가 선택을 안내하기 위해 semantics를 사용하며, 이는 LLM이 작업 설명만으로 비자명한 탐색 휴리스틱을 생성할 수 있음을 시사한다. 또한 공개 LLM 리더보드 순위와 GP 성능 간의 관계를 조사한다. Humanity's Last Exam, SWE-bench Verified와 같이 널리 사용되는 벤치마크는 학습 $R^2$와 강한 상관관계를 보이지만, 홀드아웃 테스트 $R^2$와의 관계는 더 약하고 덜 명확하다.
기하와 의미의 결합: 시각 검출 작업에서 의미 기반 경계 상자 최적화를 위한 분수 차수 그래디언트 안정화
Geometry Meets Semantics: Fractional Gradient Stabilization for Semantic-Driven Bounding Box Optimization in Visual Detection Tasks
경계 상자는 시각 검출 작업에서 객체 위치 추정에 필수적이다. 그중 방향 경계 상자(oriented bounding box)는 시각 검출 작업에서 널리 사용되며, 보다 정밀한 방향 표현을 제공한다. 일반적으로 IoU 기반 손실은 상자 회귀(box regression) 최적화에 널리 채택된다. 그러나 우리는 IoU 기반 상자 최적화가 두 가지 핵심 문제를 겪는다는 것을 관찰했다: (1) 기하학적 속성에만 의존하고 의미론적 단서(semantic cues)를 무시한다; (2) 방향 최적화가 불안정한 그래디언트로 인해 방향 수렴 과정에서 진동을 일으킨다. 본 논문에서는 그래디언트 안정화와 함께 통합된 의미-기하 학습을 달성하기 위해 Fractional Semantic IoU 손실을 제안한다. 먼저, IoU 최적화를 안내하기 위한 의미 유사도 지표를 설계하고, 적응형 그래디언트 게이팅(adaptive gradient gating) 메커니즘을 갖춘 Semantic IoU 손실(SIoU loss)을 구축한다. 다음, 방향 상자 최적화에서 그래디언트 불안정성 문제를 재검토하고 SIoU 손실을 분수 차수(fractional-order) 형식으로 확장하여 Fractional Semantic IoU 손실(FrSIoU loss)을 구축한다. FrSIoU 손실은 경계 상자 최적화 과정에서 비정상적인 그래디언트를 정규화하기 위해 과거 IoU 상태를 누적한다. 광범위한 실험은 본 접근법이 다양한 경계 상자 표현과 여러 시각 검출 작업에서 안정적인 성능 향상을 달성함을 보여준다. 코드는 GitHub에서 제공될 예정이다.
단어 의미가 모음 고유 스펙트럼 변화를 공동 결정한다: 회화 중국어의 말뭉치 기반 조사
Word meaning co-determines vowel-inherent spectral change. A corpus-based investigation of conversational Mandarin
본 연구는 자발적 회화 중국어에서 모음 고유 스펙트럼 변화(VISC)를 조사한다. 분포 의미론의 단어 임베딩과 일반화 가법 모델을 사용하여, 모음 지속 시간, 성별, 화자 신원, 공발음, 모음 정체성, 발화 위치와 같은 변수를 통제할 때 모음 포먼트 궤적 동역학에 문맥에서의 의미와 연결된 단어별 구성 요소가 있음을 보인다: 단어의 F1 및 F2 궤적은 문맥화 임베딩으로부터 예측할 수 있으며, 그 정확도는 순열 기준선을 상당히 초과한다. 음성 생성의 모듈형 인지 모델에 도전하듯, 이러한 결과는 단어의 의미론이 발음의 세부 사항을 공동 결정함을 나타낸다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.