Qualia and the Formal Structure of Meaning
원문 초록
This work explores the hypothesis that subjectively attributed meaning constitutes the phenomenal content of conscious experience. That is, phenomenal content is semantic. This form of subjective meaning manifests as an intrinsic and non-representational character of qualia. Empirically, subjective meaning is ubiquitous in conscious experiences. We point to phenomenological studies that lend evidence to support this. Furthermore, this notion of meaning closely relates to what Frege refers to as "sense", in metaphysics and philosophy of language. It also aligns with Peirce's "interpretant", in semiotics. We discuss how Frege's sense can also be extended to the raw feels of consciousness. Sense and reference both play a role in phenomenal experience. Moreover, within the context of the mind-matter relation, we provide a formalization of subjective meaning associated to one's mental representations. Identifying the precise maps between the physical and mental domains, we argue that syntactic and semantic structures transcend language, and are realized within each of these domains. Formally, meaning is a relational attribute, realized via a map that interprets syntactic structures of a formal system within an appropriate semantic space. The image of this map within the mental domain is what is relevant for experience, and thus comprises the phenomenal content of qualia. We conclude with possible implications this may have for experience-based theories of consciousness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Streaming 4D Visual Geometry Transformer
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
토론
이 논문과 연결된 포럼 글이 아직 없습니다.