Binasa ko na ang ulat na ang Google Cloud ay nagtatanggi sa mga deal ng mga customer dahil kulang sa compute sa loob, at agad kong nais malaman kung ano talaga ang binubuo nila para ayusin ito. Nakita kong ito ay isang chip na may code name na Frozen V2, at ang kasaysayan nito ay totoong interesante. Isang mas maagang bersyon ng ideyang ito, na pinamumunuan ni Jeff Dean, pangunahing siyentipiko ng DeepMind, ay nais na i-burn ang mga model weights ng Gemini diretso sa silicon. Ipinabayaan ito, dahil magiging walang kwenta ang chip agad kapag i-update ng Gemini ang isang bagong bersyon. Pinagayos ng Frozen V2 ito sa pamamagitan ng pag-hardwire lamang ng arkitektura, ang matatag na pundasyon, habang pinapahintulutan ang pag-update ng weights sa pamamagitan ng normal na pag-load. Ang naitalang resulta ay 6 hanggang 10x higit pang mga token ang napaproseso bawat watt kumpara sa kasalukuyang TPUs ng Google! Layunin na i-deploy noong 2028, na tumatakbo kasama ang umiiral na lineup ng TPU, hindi upang palitan ito. Parang pinakamalinaw na palatandaan pa rin na ang mga pinakamalaking lab ay nagsisimulang tratuhin ang model at ang chip bilang isang problema sa disenyo, hindi bilang dalawang hiwalay na bagay!