arXiv:2311.17354

A natural language processing-based approach: mapping human perception by understanding deep semantic features in street view images

Haoran Ma, Dongdong Wu

제출 2023-11-29

원문 초록

In the past decade, using Street View images and machine learning to measure human perception has become a mainstream research approach in urban science. However, this approach using only image-shallow information makes it difficult to comprehensively understand the deep semantic features of human perception of a scene. In this study, we proposed a new framework based on a pre-train natural language model to understand the relationship between human perception and the sense of a scene. Firstly, Place Pulse 2.0 was used as our base dataset, which contains a variety of human-perceived labels, namely, beautiful, safe, wealthy, depressing, boring, and lively. An image captioning network was used to extract the description information of each street view image. Secondly, a pre-trained BERT model was finetuning and added a regression function for six human perceptual dimensions. Furthermore, we compared the performance of five traditional regression methods with our approach and conducted a migration experiment in Hong Kong. Our results show that human perception scoring by deep semantic features performed better than previous studies by machine learning methods with shallow features. The use of deep scene semantic features provides new ideas for subsequent human perception research, as well as better explanatory power in the face of spatial heterogeneity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10592v2cs.CL공통 태그 Language Modelling

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2609.07780v3cs.CV공통 태그 Image Captioning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2608.13545v3cs.CL공통 태그 Language Modelling

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2609.26822v2cs.LG공통 태그 regression

HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크

HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting

실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.

arXiv:2609.27144v2cs.LG공통 태그 regression

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2610.15709v1cs.LG공통 태그 Language Modelling

저비트 순환 상태 양자화에서 업데이트 보존

Preserving Updates in Low-Bit Recurrent State Quantization

선형 어텐션(Linear attention) 및 순환 모델(recurrent model)은 이전 토큰들을 매 스텝마다 업데이트되는 고정 크기의 상태(state)로 압축합니다. 그러나 대규모 배치 크기에서 이러한 상태를 높은 정밀도로 저장하면 상당한 메모리 및 대역폭 비용이 발생하므로 저비트 상태 양자화(quantization)가 요구됩니다. 가중치나 키-값 캐시(key-value cache)와 달리, 순환 상태는 매 업데이트 후 다시 양자화되므로 양자화 오차가 스텝에 걸쳐 누적됩니다. 본 연구의 분석에 따르면 이러한 오차는 스텝 전반에 걸쳐 높은 일관성(coherence)을 보이므로, 스텝별 오차를 줄이는 것만으로는 충분하지 않습니다. 이러한 일관성은 주로 반올림 과정에서 손실되는 미세한 업데이트로 인해 발생합니다. 본 논문에서는 이러한 업데이트를 보존하기 위해 반올림 전과 반올림 시점 모두에서 개입하는 방안을 제안합니다. 반올림 전 단계에서는 미세한 업데이트를 소형 저계수 버퍼(low-rank buffer)에 누적하고 충분히 커진 요소를 주기적으로 상태에 병합하는 저계수 바이패스(Low-Rank Bypass, LRB)를 제안합니다. 반올림 시점에서는 상태 요소가 업데이트 방향과 반대로 이동할 수도 있으며, 이러한 역전 현상이 특히 유해함을 확인했습니다. 따라서 추가적인 저장 공간 없이 역전된 요소를 업데이트 방향으로 반올림하는 유계 방향성 반올림(Bounded Directional Rounding, BDR)을 제안합니다. BDR은 반올림 오차를 증가시키지만 모델 성능을 향상시키며, 이는 단일 스텝에서의 반올림 오차보다 업데이트 방향이 더 중요함을 시사합니다. Gated DeltaNet, GLA, Mamba2, RetNet 전반에서 본 연구의 학습(training) 불필요 방식은 INT4를 크게 능가하는 동시에, FP32 상태 대비 상태 메모리를 최대 5.3배 절감하고 디코딩 속도를 최대 1.9배 향상합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.