Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.
교차 어텐션(cross-attention)은 선택된 정보 소스로부터 모델의 연산 과정으로 이어지는 전용 경로를 제공하지만, 해당 경로가 삽입되는 위치의 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 정보 소스가 특권적인(privileged) 시스템 프롬프트 구간일 때 이 문제를 조사합니다. 우리는 인과적 디코더(causal-decoder) 백본을 동결한 상태로 유지하면서, 시스템 프롬프트와 텍스트 사이에 교차 어텐션 층(Cross-Attention Layer, CAL) 블록을 삽입합니다. 1.5B 백본 모델에 대해 10가지 구성을 탐색한 결과, 성능은 작업에 따라 달라지며 배치 위치에 강하게 영향을 받는 것으로 나타났습니다. 대체로 후반부에 배치할수록 더 효과적이고 매개변수 효율적입니다. 8B 스케일링 연구에서는 전체적으로 가장 우수한 구성만을 학습(training)시켜 매개변수 수가 일치하는 적응(adaptation) 베이스라인들과 비교합니다. 평가된 벤치마크 전반에서 효과는 여전히 작업 의존적입니다. 즉, 교차 어텐션은 일반 작업 성능을 대체로 보존하면서도 지시사항 준수(instruction-following) 및 보안(security) 동작을 변화시킵니다. 종합적으로, 이러한 실험들은 교차 어텐션을 통해 시스템 프롬프트 정보를 주입할 때 배치 위치가 중요한 설계 변수임을 규명합니다.
많은 머신러닝 문제에서 근본적으로 서로 다른 내부 논리에 의존하면서도 거의 동일한 예측 성능을 달성하는 여러 모델이 존재할 수 있습니다. 그러나 표준적인 학습(training) 절차는 단일 모델만을 생성하므로, 다운스트림 요구에 더 적합할 수 있는 대안들을 탐색할 실질적인 방법을 제공하지 못합니다. 이처럼 동등하게 정확한 모델들의 집합을 라쇼몽 집합(Rashomon set)이라고 합니다. 라쇼몽 집합을 탐색하는 것은 중간 단계의 인간이 이해할 수 있는 개념을 통해 예측을 수행하여 컴퓨터 비전(CV) 분야에서 널리 사용되는 개념 병목 모델(Concept Bottleneck Models, CBMs)과 같이 크고 복잡한 가설 공간에서 특히 어렵습니다. 본 논문에서는 CBM의 라쇼몽 집합을 효율적으로 탐색하는 방법을 제시합니다. 제안하는 프레임워크는 특화된 병렬 매개변수 효율적 적응 모듈을 체크포인팅 기법 및 개념 다양성 목표와 결합하여, 단 한 번의 학습 과정에서 동등하게 정확한 다수의 CBM을 생성합니다. 실증적 결과는 제안하는 방법이 훨씬 적은 메모리를 사용하면서도 베이스라인보다 다양성이 더 뛰어난 모델들을 찾아냄을 보여줍니다. 나아가 이렇게 다양하면서도 정확한 CBM들에 접근할 수 있게 됨으로써 신뢰할 수 있는 모델 선택, 클래스 간 혼동 해소, 의사결정 시 신뢰성 있는 기권(abstention)이 가능해짐을 입증합니다.
멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.
VisCoP(Vision Contextualized Probing)은 비전-언어 모델(VLM)의 비전 인코더에 소규모 학습 가능한 시각적 프로브를 추가해, 사전학습된 파라미터를 고정한 채 중간 레이어에서 도메인 특화 시각 표현을 추출하는 매개변수 효율적 도메인 적응 프레임워크다. 교차 시점(외부→자기중심), 교차 모달(RGB→깊이), 교차 태스크(인간 이해→로봇 제어) 세 가지 적응 시나리오에서 기존 방법 대비 타깃 도메인 성능을 향상시키면서도 소스 도메인의 능력을 더 잘 보존함을 실험으로 입증했다.