Ang co-founder ng Ethereum, Vitalik Buterin, ay naglipat na buo sa labas ng cloud AI services at inilahad ang kanyang ganap na lokal, sandboxed na artificial intelligence (AI) setup sa isang blog post na ipinakilala noong linggong ito.
Mga Pangunahing Tala:
- Ang co-founder ng Ethereum, Vitalik Buterin, ay nagpabaya sa cloud AI noong Abril 2026, at tumatakbo ng Qwen3.5:35B lokal sa isang Nvidia 5090 laptop sa 90 tokens bawat segundo.
- Nakita ni Buterin na halos 15% ng mga kasanayan ng AI agent ay naglalaman ng masasamang utos, batay sa data mula sa security firm na Hiddenlayer.
- Ang kanyang open-sourced na messaging daemon ay nagpapatupad ng tao-plus-LLM na patakarang 2-of-2 para sa lahat ng panlabas na aksyon ng Signal at email sa mga ikatlong panig.
Paano ni Vitalik Buterin Ginagamit ang Self-Sovereign AI System na Walang Access sa Cloud
Ipinakita ni Buterin ang sistema bilang “self-sovereign / local / private / secure” at sinabi na ito ay nilikha bilang direkta ng tugon sa mga seryosong pagkabigo sa kaligtasan at privacy na kumakalat sa espasyo ng AI agent. Ipinakita niya ang pananaliksik na nagpapakita na halos 15% ng mga kasanayan ng agent, o mga tool na plug-in, ay naglalaman ng masasamang utos. Ipinaliwanag ng security firm na Hiddenlayer na ang pagpaparsing sa isang mag-isa lamang na masasamang web page ay maaaring buong kompromiso ang isang Openclaw instance, na nagpapahintulot sa ito na i-download at i-execute ang mga shell script nang walang kaalaman ng user.
“Galing ako sa isang pag-iisip na lubos na natatakot na habang huling nagkakaroon tayo ng hakbang pataas sa privacy sa pamamagitan ng pagiging pangkalahatan ng end-to-end encryption at lalong maraming local-first software, nasa dulo na tayong magtatanggap ng sampung hakbang pabalik,” isinulat ni Buterin.
Ang kanyang piniling hardware ay isang laptop na nagpapatakbo ng Nvidia 5090 GPU na may 24 GB ng video memory. Habang pinapatakbo ang open-weights na Qwen3.5:35B model mula sa Alibaba sa pamamagitan ng llama-server, ang setup ay nakakamit ng 90 tokens bawat segundo, na tinatawag ni Buterin bilang ang target para sa komportableng araw-araw na paggamit. Sinubok niya ang AMD Ryzen AI Max Pro na may 128 GB na unified memory, na nakamit ang 51 tokens bawat segundo, at ang DGX Spark, na nakamit ang 60 tokens bawat segundo.
Sinabi niya na ang DGX Spark, na ipinaglalabas bilang desktop AI supercomputer, ay hindi nakaimprenta dahil sa gastos nito at mas mababang throughput kumpara sa isang magandang laptop GPU. Para sa kanyang operating system, Buterin ay nagpalit mula sa Arch Linux patungo sa NixOS, na nagpapahintulot sa mga user na tukuyin ang kanilang buong system configuration sa isang solong deklaratibong file. Gumagamit siya ng llama-server bilang background daemon na nagpapakita ng lokal na port na maaaring kumonekta ng anumang application.
Claude Code, ayon sa kanya, ay maaaring i-point sa isang lokal na llama-server instance kesa sa mga server ng Anthropic. Ang sandboxing ay sentral sa kanyang security model. Ginagamit niya ang bubblewrap upang lumikha ng mga hiwalay na kapaligiran mula sa anumang directory gamit ang isang solong command. Ang mga proseso na tumatakbo sa loob ng mga sandbox na ito ay maaaring mag-access lamang sa mga file na eksplisitong pinahihintulutan at kontroladong network ports. Binuksan ni Buterin ang isang messaging daemon sa github.com/vbuterin/messaging-daemon na nagpapalibot sa signal-cli at email.
Kanyang sinabi na ang daemon ay maaaring basahin ang mga mensahe nang libre at magpadala ng mga mensahe sa sarili nito nang walang pagpapatotoo. Kailangan ng eksplisitong pahintulot ng tao ang anumang outbound na mensahe sa isang ikatlong panig. Tawag niya ito sa “human + LLM 2-of-2” model, at sinabi niya na ang parehong lohika ay tumutukoy sa Ethereum wallets. Naseguro niya ang mga koponan na nagbuo ng mga tool para sa wallet na konektado sa AI na limitahan ang autonomous na transaksyon sa $100 kada araw at kailangan ang pahintulot ng tao para sa anumang mas mataas o anumang transaksyon na may calldata na maaaring mag-exfiltrate ng data.
Remote Inference, sa mga Tuntunin ni Buterin
Para sa mga gawain sa pananaliksik, kinompara ni Buterin ang lokal na kasangkapan na Local Deep Research sa kanyang sariling setup na gumagamit ng pi agent framework kasama ang SearXNG, isang self-hosted na meta-search engine na nakatuon sa privacy. Sinabi niya na ang pi kasama ang SearXNG ay nagbigay ng mas mataas na kalidad na mga sagot. Ibinabawas niya ang kanyang pagkakasalalay sa mga panlabas na query sa paghahanap sa pamamagitan ng pag-iimbak ng isang lokal na Wikipedia dump na may halagang humigit-kumulang 1 terabyte kasama ang teknikal na dokumentasyon, na itinuturing niya bilang isang paglabag sa privacy.
Kumalat din siya ng isang lokal na audio transcription daemon sa github.com/vbuterin/stt-daemon. Ang kasangkapan ay gumagana nang walang GPU para sa pangunahing paggamit at nagpapadala ng output sa LLM para sa pagkorekta at pagbuod. Tungkol sa integrasyon sa Ethereum, sinabi ni Buterin na ang AI agents ay hindi dapat magkaroon ng walang hangganan na wallet access. Inirerekumenda niya na tratuhin ang tao at ang LLM bilang dalawang magkakaibang factor ng pagpapatibay na bawat isa ay nakakatanggap ng iba’t ibang uri ng pagkabigo.
Para sa mga kaso kung saan ang lokal na mga modelo ay hindi sapat, isinampa ni Buterin ang isang pagpapahalaga sa privacy na pagkakaroon ng remote inference. Ipinakita niya ang kanyang sariling propuesta na ZK-API kasama ang researcher na Davide, ang Openanonymity project, at ang paggamit ng mixnets upang maiwasan ang paglink ng mga server sa mga susunod na request gamit ang IP address. Dinugtong niya ang trusted execution environments bilang paraan upang mabawasan ang data leakage mula sa remote inference sa maikling panahon, habang binanggit niya na ang fully homomorphic encryption para sa private cloud inference ay patuloy pa ring masyadong mabagal upang maging praktikal ngayon.
Ipinatapos ni Buterin ang isang tala na ang post ay naglalarawan ng isang punto ng pagmumula, hindi isang natapos na produkto, at binigyan ng babala ang mga mambabasa na huwag kopyahin ang kanyang mga eksaktong kasangkapan at mag-isip na sila ay ligtas.