A Pattern Language for Machine Learning Tasks
원문 초록
We formalise the essential data of objective functions as equality constraints on composites of learners. We call these constraints "tasks", and we investigate the idealised view that such tasks determine model behaviours. We develop a flowchart-like graphical mathematics for tasks that allows us to; (1) offer a unified perspective of approaches in machine learning across domains; (2) design and optimise desired behaviours model-agnostically; and (3) import insights from theoretical computer science into practical machine learning. As a proof-of-concept of the potential practical impact of our theoretical framework, we exhibit and implement a novel "manipulator" task that minimally edits input data to have a desired attribute. Our model-agnostic approach achieves this end-to-end, and without the need for custom architectures, adversarial training, random sampling, or interventions on the data, hence enabling capable, small-scale, and training-stable models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RealSkin: 이미지-3D 속성 전이를 위한 공간-스펙트럼 부분 신경 인수 맵
RealSkin: Spatio-Spectral Partial Neural Adjoint Maps for Image-to-3D Attribute Transfer
사실적인 3D 에셋을 생성하려면 실세계 관측과 합성 모델 사이의 외형 격차를 메워야 한다. 유망한 접근법 중 하나는 실제 이미지의 시각적 속성을 합성 3D 표면으로 전이하는 것이다. 기존 방법들은 해상도 불일치와 점 대응(point correspondence)의 본질적 이산성 때문에 어려움을 겪는다. 반면 해상도에 강건한 함수형 맵(functional maps)은 매끄러운 속성 전파를 가능하게 하지만, 거의 등거리(near-isometry) 가정과 위상(topological) 일관성에 의존한다. 이러한 한계를 해결하기 위해, 우리는 공간 대응을 안내로 학습된 스펙트럼 영역에서 대응 최적화를 수행하는 자기지도(self-supervised) 프레임워크인 RealSkin을 제안한다. 먼저 심각한 위상 불일치 하에서 거친 대응을 확립하는 공간 안내 등록(registration) 알고리즘을 도입한다. 엄격한 등거리 가정을 완화하고 부분 대응을 처리하기 위해, 부분 대응을 신경 함수 공간에 통합하고 대응 정제를 위해 비등거리(non-isometric) 잔차를 모델링하는 스펙트럼 인식 신경 인수(adjoint) 네트워크를 추가로 설계한다. 실험 결과는 본 방법이 까다로운 실세계-합성 시나리오에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 공개 예정이다.
A Study on the Refining Handwritten Font by Mixing Font Styles
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
토론
이 논문과 연결된 포럼 글이 아직 없습니다.