Unang pagkakataon na ipinakilala ng Bridgewater Associates ang buong disenyo ng kanilang AI research assistant na Pat. Ginagamit na ng mga daan-daang investor ang Pat araw-araw, na makakapag-automate ng paghahanap ng data, pagsusulat ng code, at pagbuo ng interaktibong ulat, na binabawasan ang mga gawain na dati ay kailangan ng mga researcher ng ilang araw o linggo sa ilang minuto lamang. Ang pangunahing estratehiya ng Bridgewater ay gawing mas mapagkakatiwalaan ang AI kaysa mas matalino, gamit ang dalawang malinaw na nakapartisyon na agent (ang chat agent para sa pakikipag-usap at ang coding agent para sa pagbuo ng code) at isang mekanismo na katulad ng compiler para sa determinismo, kaya 95% ng oras ay nagpapalabas ng ganap na magkakatulad na code kapag tinanong ang parehong tanong nang dalawang beses. Ang tagumpay na ito ay hindi maaaring mangyari nang walang mga data sa merkado, logika sa pagtinda, at mga aset sa metodolohiya na nakalikom ng Bridgewater sa nakaraang 50 taon.May-akda ng artikulo, pinagmulan: AI-native Lab
Ang pinakamalaking hedge fund sa mundo, Bridgewater, ay nagpalabas ng unang beses ang buong disenyo ng kanilang loob na AI research assistant na Pat.
Ginagamit na ni Pat ng mga higit sa isang daan na investor araw-araw. Bigyan mo ito ng isang tunay na pananaliksik na tanong—tulad ng "Magkakaroon ba ng ulit ang kasalukuyang konflikto sa Middle East sa mga nakaraang pagbaba ng suplay ng langis"—at ito ay maghahanap nang sarili nito ng data, sumusulat ng code para sa pagsusuri, at naglalabas ng interaktibong ulat sa pananaliksik. Ang mga gawain na dati ay kailangan ng mga mananaliksik ng ilang araw o linggo upang tapusin, ay maaari nang magbigay ng resulta sa ilang minuto.
Ngunit ang pinakamahalagang aral para sa mga negosyo mula sa pagkakalabas ng Bridgewater ay hindi ang pagkakaroon ng AI na makagawa ng pananaliksik, kundi ang isang iba pang bagay: hindi nila ginawa ang AI na mas matalino, kundi ginawa nila itong mas mapagkakatiwalaan.
Upang makilahok ang AI sa mga desisyon ng pananaliksik para sa mga dolyar na milyon sa pondo, hindi nagdepende ang Bridgewater sa mas malalaking modelo ng AI, kundi itinayo nila ang buong "deterministic" na mekanismo sa paligid ng AI: unang plano ang gawain bago ito isagawa, pagsusuri ng code na ipinag-uutos, maaaring muling i-verify ang resulta, at anumang karanasan ng isang investor ay awtomatikong maiiwan bilang bagong kakayahan ng buong organisasyon.
Ang daan patungo sa AI na pinaglalakaran ni Pat ay nakaayos na ng BridgeWater bago pa umabot ang AI.
Ang pangulo ng koponan ng AI ng Bridgewater, Brendan McManus, ang pangulo ng pamumuhunan, Michael Rand, at ang pangulo ng teknolohiya, Santi Wait, ay unang ipinakita ang buong disenyo ng Pat sa isang pampublikong teknikal na talakayan.
Kumakalap ng data—ito ang ginawa ng Bridgewater sa loob ng halos 50 taon. Ang talakayan ni Burren ay nagsimula sa isang dilaw na legal pad noong 1980.
Ito ang unang sistema ng pagtrato ng obligasyon ng Bridgewater. Itinakda ng tagapagtatag na si Ray Dalio ang isang patakaran: bawat beses na gawin ang isang transaksyon, isulat nang malinaw ang bawat sanhi at epekto kung bakit ganoon ang gawin. Kapag isinulat, makakakita ang iba, makakapagsuri, at makakatulong upang palawakin ito. Bawat beses na matutunan ang isang bagong bagay, palitan ang isang lumang patakaran ng isang bago.
Ginawa ng Bridgewater ang bagay na ito sa loob ng halos 50 taon. Ang lohika sa likod ng bawat desisyon sa pagtinda, ang metodolohiya sa bawat paghuhusga sa merkado, at ang aral mula sa bawat pagkabigo—lahat ay na-encode bilang isang eksperto sistema na maaaring basahin ng tao at ng makina. Ang mga salita ni Burren: "Hindi namin kailangang bumalik at isulat muli ang aming kaalaman para sa AI. Nasa doon na ang mga data."
Ang pagkakaiba na ito ay maaaring ang pinakamahalagang punto ng paghahati sa lahat ng mga negosyo na gumagamit ng AI. Hindi ito kung sino ang mas magandang modelo, kundi kung sino ang data na naka-ayos na bago pa man dumating ang AI.
Ang AI strategy ng Bridgewater ay may dalawang linya.
Ang unang linya ay ang pag-unawa sa AI bilang isang investor—ang pag-aaral sa supply at demand na istruktura ng AI, ang pagbuo ng cycle, at ang epekto nito sa makro at merkado, tulad ng kanilang dating pag-aaral sa pandemya at mga pagbaba ng suplay ng langis. Ang pangalawang linya ay ang paggamit ng AI upang baguhin ang sariling proseso ng pag-aaral bilang isang praktisante—ang huling layunin ay ang pagbuo ng isang "artipisyal na investor" na kopyahin ang lahat ng ginagawa ng tao sa araw-araw. Si Pat ang responsable sa isang bahagi: ang pagsisiyasat at pagsusuri.
Paano inilunsad ng Bridgewater ang proseso na ito? Bago ipaliwanag ang teknikal na aspeto, unang sinabi ni Burren ang isang madalas na nakakalimutang dimensyon: ang organisasyon.
Hindi nila ibinigay ang proyektong ito sa departamento ng IT. Nilikha nila ang isang "internal startup team"—nagkakasama ang mga investor, inhinyero, at siyentipiko sa isang cross-functional team, maliit na grupo na agil na nag-i-iterate, habang gumagamit ng mga mapagkukunan ng malalaking organisasyon ng Bridgewater.
Ang papel ng investor ay tukuyin ang layunin—ano ang dapat pag-aralan para maging may halaga. Ang papel ng inhinyero ay magdisenyo ng implementasyon—paano itatayo ang sistema para maging matatag. Ang papel ng siyentipiko ay magbigay ng mahigpit na pagtataya—paano matiyak na talagang nagiging mas mabuti ang kalidad ng pagsusuri ni Pat, at hindi lang "mukhang mabuti".
Higit sa isang daan na mga investor ang gumagamit araw-araw, nagbibigay ng patuloy na mga tunay na feedback signals. Kapag nagsimula na ang ganitong siklo, ang direksyon ng pag-unlad ng produkto ay hindi na batay sa paghula ng product manager, kundi sa pagkilos ng mga daan-daang ekspertong user.
Dalawang Agent, bawat isa ay may sariling tungkulin. Ang sistema arkitektura ay hindi isang malaking modelo na nagpapatakbo ng lahat. Ito ay dalawang independiyenteng agent na nahati ang mga gawain.
Isang tawag na Chat Agent. Tanging nag-uusap ito sa mga investor at tanging tumatalakay sa mga paksa tungkol sa pag-invest—“Sapat ba ang data na ito?”, “Kailangan pa bang tingnan ang ibang pananaw?”, “Ano ang mga pangunahing salik sa kasalukuyang bersyon?”. Ang mga investor ay hindi mga programmer, at hindi dapat sila piliting mag-alala tungkol sa code. Kaya ang chat agent na ito ay hindi nagpapakita ng anumang teknikal na detalye mula sa simula hanggang sa wakas—hindi makikita ng user na may code na tumatakbo sa likod sa pamamagitan ng usapan.
Ang isa pang tawag ay Coding Agent. Hindi ito nag-uusap sa user. Ang tanging gawain nito ay ang pagsasalin ng plano na ginawa ng Chat Agent patungo sa Python at Pandas code.
Sinabi ni Santi na ang pagkakahiwalay ay nagdulot ng tatlong hindi inaasahang benepisyo.
Una, mas natural ang karanasan ng mga investor—gumagamit ito tulad ng isang kaalaman na research assistant, hindi isang programming tool. Pangalawa, ang bawat isang intelligent agent ay may sariling espesyalisasyon at ang kanilang konteksto ay hindi nagkakasalungatan—ang mga nag-uusap tungkol sa pag-invest ay hindi kailangang mag-alala tungkol sa code, at ang mga sumusulat ng code ay hindi kailangang maunawaan ang kahulugan ng pag-invest. Pangatlo, maaaring i-productize ang proseso ng pag-uusap bilang isang mapagkakatiwalaang fixed workflow, hindi bilang isang hanay ng mga hiwalay na kaalaman.
Determinism ng compiler: Kapag tinanong ang parehong tanong dalawang beses, 95% ng oras ang code ay magkakatulad. Ito ang pinakamalakas na bahagi ng buong arkitektura ni Pat.
Sinabi ni Santi na sa isang sitwasyon na kailangan ng mataas na pagkakatotoo—mga dosen-dosen bilyon dolyar na posisyon—hindi maaaring mag-umpisa sa vibe coding. Ang problema sa vibe coding ay ang bawat beses na i-rerun mo, iba-iba ang resulta; kung tama ito ngayon, hindi ibig sabihin na tama rin ito sa susunod. Para sa isang hedge fund, hindi kayang tanggapin ang kawalan ng katiyakan na ito.
Kaya isinabuhay niya ang agentic coding bilang isang problema sa compiler.
Unang hakbang, ang plano ay hindi isang to-do list, kundi "natural language version ng Python project". Sa plano, isulat na ang lahat ng mga data table (dataframe) na dapat mabuo sa pag-aaral na ito, ang bawat field at istruktura ng bawat table, at ang mga ugnayan sa pagitan ng mga table. Ang bawat subtask ay parang isang Python function—may malinaw na mga input dependency at output specification. Ang layunin ay upang ang parehong plano ay maaaring patakbuhin ng iba’t ibang mga instance ng malaking model at magbigay ng code na may ganap na katumbas na semantika at magkakasunod na output.
Pangalawang hakbang, ang code ay ginagawa nang paralelo. Dahil may malinaw na grap ng mga dependensya, ang sistema ay una nang gumagawa ng static analysis upang makakuha ng isang DAG (directed acyclic graph), at pagkatapos ay ginagawa nang paralelo ang code ayon sa antas. Sa isang analysis na may 3 na tabla ng data at 30 na tabla ng data, ang oras ng paggawa ng code ay halos magkapareho.
Hakbang 3, ang pag-verify ay hindi "desisyon ng sariling agent kung susubaybayan o hindi". Tekad na tekad ni Santi na ang kanilang harness ay karaniwang Python code—ang pag-verify ay obligatorio at isinulat sa arkitektura. "Maaaring 'makalimutan' ng isang agent na gawin ang pag-verify, ngunit hindi magkakaroon ng ganitong problema ang isang patuloy na code pipeline." Sa ilalim ng limitasyong ito, ang kanilang resulta sa test suite ay: sa 95% ng mga pagkakataon, ang code na ginawa mula sa parehong plano ay ganap na magkakatulad.
Sa ikapapat na hakbang, hindi pinapagalaw ang malaking modelo para i-run ang code. Ginagamit ang tradisyonal na static analysis pipeline, kung saan awtomatikong iniiwan ang mga annotation sa cache—alamin kung aling data ay naload na at aling kalkulasyon ay naranasan na, kaya hindi kailangang muling gawin ang ikalawang pagkakataon. Bilang resulta, kung ang user ay nagbabago lamang ng pamagat ng isang graph, maaaring muling i-run ng tradisyonal na tool ang buong proseso ng pagsusuri, ngunit ang Pat ay nakakapagbigay ng resulta sa halos sandaling oras. Mas mabilis ito habang mas maraming pagbabago.
Dagdag na isang hakbang sa pagkuha ng data—tulad ng isang tao, kailangan muna ni Pat na maghanap ng data bago ang pormal na pagsusuri.
May dalawang database ang Bridgewater. Isa ay hindi struktura—mga milyon-milyong report ng brokerage, transcript ng mga telekonperensya ng financial reports, internal emails, at memos, na updated sa near real-time, na may libu-libong bagong dokumento araw-araw. Ang isa pang isa ay struktura—mga diliyaryo ng time series data, na may mga eksternal na data (tulad ng presyo ng langis, stock index) at internal na modeling concepts (tulad ng "amin ay naghuhula ng inflation rate sa loob ng 12 buwan").
Ang paghahanap mismo ay gumagamit ng karaniwang paraan tulad ng RAG at re-ranking. Ngunit natuklasan ng koponan ni Santi na pagkatapos magdagdag ng isang hakbang na "pagsusuri na para sa tao," tumataas ang antas ng pagkakatukoy mula sa halos 50% papunta sa malapit sa 90%.
Ang ibig sabihin ng "pagsusuri na parang tao" ay, pagkatapos makahanap ng isang sequence ng data, hindi lang batay sa pagkakatugma ng pangalan—kundi kailangang suriin ito tulad ng isang researcher: tama ba ang frequency nito? Tama ba ang cryptocurrency? Tugma ba ang mga halaga sa iyong mga dating pagtataya? Ang hakbang na ito ay nagpapalit sa mga ambigong paghahanap ng keyword sa isang data validation na may pagpapasya.
May dalawang mekanismo ng self-evolution si Pat.
Implicitly: Ang background agent ay awtomatikong sascan sa mga natapos na usapan, hahanapin ang mga pattern ng pagkabigo, gagawa ng benchmark para sa pag-verify, titingnan kung maaaring muling ipakita ang problema, at pagkatapos ay awtomatikong i-iterate ang kaalaman at mga utos ng sistema ni Pat hanggang sa makapasa ang benchmark na iyon.
Mas direktang eksplisito. Kung sa proseso ng pagsusuri ay naisip ng user na dapat mas mabuti ni Pat ang gawin—halimbawa, dapat may karagdagang graph, dapat na naisip niya ang isang pananaw nang maaga—pwedeng i-click ang button na "Ituro sa Kanya".
Ang sistema ay awtomatikong magrereview ng buong pag-uusap upang matukoy kung ito ay pagkakamali sa pagkilos, kakulangan sa konteksto, o kung ang gabay ng user ay maaaring ma-predict. Pagkatapos, ito ay awtomatikong maglalikha ng isang "dapat magkamali" na test case, kumpirmahin ang pagkakaroon ng problema, at ayusin ang knowledge base hanggang sa makapasa ang test case na ito, at pagkatapos ay i-re-run ang lahat ng umiiral na test case upang siguraduhing hindi nagdulot ng bagong problema. Sa huli, ang Pull Request ay ipopost sa Slack, at pagkatapos ng tao na pagsusuri, i-merge.
Ang susunod na pagkakataon na may tao ay magtanong ng katulad na tanong, ang makukuha nila ay ang pinabuting bersyon.
Narito ang talumpati, na isinalin ng AI:
Ang pangulo ng team ng AI ng Bridgewater Associates, Brendan McManusKamusta, tawagin ako ni Brendan McManus, ang pangulo ng team ng AI sa Bridgewater Associates. Ang Bridgewater ay isang systematikong macro hedge fund. Nasa Bridgewater na ako ng halos sampung taon, nagsimula bilang isang software engineer, at pagkatapos ay naging systematikong investor at researcher. Sa mga nakaraang taon, pangunahing nakatuon ako sa pagtutulungan ng investmnet at teknolohiya.Ngayon, kasama ko ang aking mga kasamahan, si Michael Rand at si Santi Wait, na ang bawat isa ay ang head ng investment at head ng teknikal ng proyekto. Papakilala namin sa inyo ang isang mahusay na tool na aming nilikha sa loob, na tinatawag na Pat—“Pocket Analyst”.Sa pagtatapos ng talakayan na ito, makikita ninyo: paano namin binuo ang isang AI analyst na kayang matapos ang pag-aaral na karaniwang kailangan ng mga eksperto ng ilang oras sa loob ng ilang minuto.Ang kasangkapan na ito ay kasalukuyang ipinapasa sa loob ng kumpanya para sa higit sa isang daan na mga investor; at ito ay patuloy na natututunan mula sa bawat interaksyon. Bukod dito, ipapakita namin sa inyo kung paano namin disenyo at binuo ang ganitong sistema.Bago ipakita ang aming binuo na produkto, gustong ipaliwanag ko nang maikli kung paano tinatanggap ng Bridgewater ang AI.Ipinagkaloob ng Bridgewater ang ilang dekada—tumpak na 50 taon—upang isipin kung paano i-encode ang mga batas ng merkado at ekonomiya bilang mga sistema na kayang magkaroon ng patuloy na compound growth. At ang lahat ng ito, talagang nagsimula sa mga bagay na nakikita ninyo sa inyong screen: ang aming bond system na isinulat namin sa yellow sticky note noong 1980.Ang pangunahang prinsipyo ay simpleng simple: kapag nais mong gawin ang isang transaksyon, isulat nang tumpak ang mga patakaran na naniniwala kang magiging batayan ng transaksyon na iyon; isulat ang eksaktong ugnayan ng sanhi at epekto. Dahil sa paggawa nito, makakakita ang iba pang mga investor sa iyong sinulat at makakatulong upang matukoy kung saan ang kamalian at makatulong sa pagpapabuti ng buong proseso.Kapag natututo ka ng isang bagong bagay, palitan ang isang lumang patakaran sa isang bagong patakaran. Ito ang nagbuo ng isang napakalakas na proseso ng pagkatuto, at ito ang batayan ng lahat ng ginagawa ng Bridgewater sa nakalipas na 50 taon.Sa loob ng maraming dekada, malaki ang aming pagkolekta at pagsusulong sa prosesong ito. Isinama namin ang bawat karanasan, bawat metodolohiya, at bawat patakaran tungkol sa mga transaksyon na ginawa, kung paano ito ginawa, at bakit ito ginawa, sa isang expert system na maaaring basahin ng machine at maintindihan ng tao.Ngayon, mayroon tayong napakaraming data assets. At ito ang mga data na nagpapahintulot sa amin na mabuti nang harapin ang panahon ng AI. Hindi namin kailangang bumalik at mag-re-record ng lahat para sa mga agent—ang mga ito ay nasa ilalim na ngayon, handa na para sa aming paggamit.Bago pa man ipakilala ang kasaligan na kasangkapan, gusto kong talakayin kung paano ginagamit at nauunawaan ng Bridgewater ang AI sa mas malawak na antas. Nagpapatuloy kami sa dalawang pananaw.Ang unang pananaw ay: bilang mga investor, kailangan nating maunawaan nang malalim ang bawat mahalagang trend at dinamika na nagpapabago sa pandaigdigang merkado at ekonomiya.Tulad ng kailangan nating maunawaan ang pandemya ng COVID-19 o ang kamakailang pagbaba ng suplay ng langis, kailangan din nating maunawaan ang AI. Ano ang anyo ng pagkakaiba sa suplay at demand sa larangan ng AI? Ano ang mga salik na nagpapalakas sa pagbuo at pagpapalawak ng imprastruktura? Paano haharapin ng merkado ang mga salik na ito sa huli?Para sa mga investor tulad natin, ang pag-unawa sa mga tanong na ito ay simpleng batayan lang.Ang pangalawang pananaw ay ang paggamit ng AI bilang isang tagapagsagawa, na kung saan ay pangunahing pinag-uusapan natin ngayon.Bilang mga tagapagsagawa, ginagamit namin ang AI sa bawat bahagi ng proseso ng pag-aaral, na may panghuling layunin na buuin ang isang "artipisyal na investor"—na makakapagpapatupad ng lahat ng aktibidad na ginagawa ng ating mga tao na investor araw-araw.Ano nga ba ang tunay na ginagawa ng mga tao bilang mga investor?Isinasaalang-alang namin ito bilang isang "cycle ng pag-aaral." Patuloy na sinusuri ng mga investor ang nangyayari sa panlabas na mundo, at itinatanong kung ano ang totoo at ano ang maaaring nalilimutan nila; pagkatapos ay isinasagawa ang pagsusuri at pag-aaral upang subukang sagutin ang mga tanong na ito; sumusunod ang pagpapagsama ng mga natuklasan sa pag-aaral; at sa huli, isinasama ang lahat ng natutunan sa patuloy na nakalikom na kaalaman at expert system natin.Ang huling hakbang dito ay lalong mahalaga.Ang lahat ng kaalaman na natututunan sa prosesong ito ay iipon sa isang shared memory system para sa patuloy na paggamit ng mga tao.Kaya maaari mong i-imagine: kung gagawin ang isang artipisyal na investor, kailangan itong makapagawa ng bawat iba’t ibang hakbang sa proseso ng pag-aaral. Maaari mong isipin ang pagbuo ng isang serye ng mga hiwalay na sub-agent, bawat isa ay nakatuon sa isang partikular na bahagi ng siklo ng pag-aaral.Ito ang tamang paraan kung paano ginagamit namin ang AI. Binubuo namin ang mga espesyalisadong sub-agent para sa iba't ibang gawain na kailangang gawin ng mga tao, at pinapagana namin sila na gamitin ang parehong set ng kaalaman at pag-unawa na natin na nakumpuni sa loob ng 50 taon.Gayunpaman, sa araw na ito ay tatalakayin natin ang isang smart agent lamang: ito ay nakatuon sa pagsusuri sa bahagi ng "pag-aaral" sa proseso, o ang mga malalim na pagsusuri na kailangan ng mga analista ng tao na magugol ng ilang araw hanggang sa ilang linggo.Inilalagay namin ang pangalan na Pat sa kasangkapan na ito, na ang ibig sabihin ay "Pocket Analyst Tool".Dito rin, unang i-clear ang inaasahan: hindi direktang nabibilang si Pat sa aming paraan ng pag-trade. Ang tunay nitong gamit ay ang paggawa ng malalim na pag-aaral upang makatulong sa mga investor na pag-aralan ang mga isyu na dati'y hindi nila kayang pag-aralan dahil sa kakulangan ng oras at enerhiya.Ano nga ba ang aming itinayo?Ginawa namin ang isang tool na pangbulsa na pinangalanang Pat. Mula sa unang araw, ang mga spesipikasyon ng produkto nito ay simpleng simple: kailangang makapagawa ng Pat ng lahat ng mga bagay na ginagawa ng mga tao naming investor sa kanilang pag-aaral at pagsusuri.At ang una ay ang kakayahan sa data.Dapat makapaghahanap at makabasa ng lahat ng iba’t ibang uri ng data sa loob ng aming platform, kabilang ang:Structured time series data, such as stock prices spanning decades;Unstructured data, tulad ng mga研究报告 na aming sinubskribo mula sa mga broker/trader;Internal research memo na isinulat namin.Dapat makapaghahanap at makabasa ng lahat ng mga ito si Pat.Dapat din ni Pat na makagamit ng iba’t ibang kasangkapan na ginagamit ng mga human analyst, kabilang ang aming sariling nalikhang mga tool para sa visualisasyon, diagnosis, at pagtataya ng kalidad ng mga ideya ng mga indikador.Dagdag pa, sa palagay ko, ito ay lalo na interesante para sa teknikal na audience: maraming mga analisis na isinasagawa ni Pat na kailangan ng ilang oras ng isang human analyst para sa bawat isa.Ibig sabihin nito na ang pagsusuri mismo ay kumplikado. Kaya, ang pagsusuri ni Pat ay dapat ganap na diagnostiko—hindi lamang para sa mga tao kundi pati na rin para sa mga agent na tumatakbo sa background na makakabasa ng execution trace, maunawaan ang proseso, at matiyak na tama ang bawat kalkulasyon.Bukod dito, naniniwala ako na ang kaalaman na nakarekord at nakumpila sa loob ng 50 taon ay nagsisimulang magkaroon ng tunay na halaga dito: alam ni Pat ang aming buong konteksto.Nakakapag-access ito sa aming proseso at framework sa pag-invest; tama itong alam kung paano dapat gumawa ang aming mga analista, dahil pati na ang mga ito ay narekord namin sa nakalipas na 50 taon.Sa huli, kailangan ni Pat na matuto.Hindi lamang ito dapat mag-akumula ng mga natutunan para sa isang investor, kundi kailangan ding makapag-akumula at mag-replicate ng mga natutunan na iyon para sa bawat investor sa kumpanya.Hindi isang prototype ang Pat today. Nakuha na nito ang internal deployment ilang buwan na ang nakalipas, at kasalukuyang ginagamit ng mga hundreds ng investor araw-araw.Nagdudulot ito ng isang lubos na makapangyarihang palakasin na pahilis: habang gumagamit ang mga investor ng Pat para sa totoong pag-aaral, patuloy na tumatakbo ang mga agent sa likod, na nagsascan sa mga interaksyon, na nakikilala kung saan nagkakamali ang Pat, at nagbuo ng mga benchmark na may pagsusuri ng tao; pagkatapos, hinahatid ang mga natuklasang ito upang palitan ang mga konteksto at ang framework na ginawa para sa Pat.Kaya ang mga pagpapabuti ni Pat ay hindi naglalayong maglingkod sa isang tao lamang, kundi sa lahat.Sa huli, bago ipakilala ang produkto, gustong sagutin ko ang isang madalas tanungin na tanong: Paano ba nabuo ng isang hedge fund na may 50 taon ng kasaysayan ang produkto na kayo ay malalaman agad?Lahat ay nagsisimula sa: kailangan mong magkaroon ng kakayahan at kagustuhan na muling magsasakripisyo sa sarili mo.Binubuo ni Pat ang kanyang koponan, na isang aplikasyon na AI na startup na inihubog sa loob ng kumpanya. Maaari naming maging napakalikhos at mabilis sa pagkilos, at maaari rin naming gamitin ang lahat ng mga yaman ng buong kumpanya.Dagdag pa, nagtatag kami ng isang koponan na may iba’t ibang papel na nagtatrabaho nang sama-sama: ang mga investor, teknikal na eksperto, at mga siyentipiko ay nagkakasama at nagkakasama upang buuin ang produkto.Naniniwala ako na mahalaga ito kung gagawa ka ng ganitong produkto para sa mga ekspertong gumagamit.Ang mga investor ay dala ang kanilang background sa negosyo at ekspertisya sa larangan;Ang mga teknikal na eksperto ang nagdadala ng kakayahan sa sistema arkitektura;Ang mga siyentipiko ang nagdudulot ng katiyakan.Kailangan ng ganitong maraming papel na koponan para sa pagbuo ng AI system para sa mga ekspertong gumagamit.Sa pagbanggit sa mga ekspert na user, mayroon kaming mga hundreds na tao sa loob na gumagamit ng iba’t ibang AI tools, hindi lang ang Pat na agad nyong makikita. Sila ay nagbibigay ng mga signal araw-araw upang tulungan kaming masuri kung paano patuloy na pag-unlad at pagpapabuti ang mga tool na ito.Sa huling bahagi, mayroon pa kaming isang napakagaling at patuloy na kompound na ecosystem na maaaring i-integrate: 50 taon ng data, mga kasangkapan, at metodolohiya. Ang mga yamang ito ay available hindi lamang para sa mga tao ngunit pati na rin para sa mga agent, upang suportahan ang aming matagalang paglalakbay sa pagbuo ng "puno ng investor" — upang ito ay maaaring kumpletuhin sa huli ang lahat ng mga gawain na kayang gawin ng tao ngayon.Susunod, ipapasa ko ang oras sa aming head of investment, Michael Rand. Siya ang magpapakita sa inyo ng aming nabuo na produkto at magpapaliwanag tungkol sa its架构.Michael Rand, Punong Tagapag-invest sa Bridge Water Pocket Analyst ProgramSige, salamat Brendan.Ako si Michael Ryan, ang tagapangasiwa ng pamumuhunan sa Pocket Analyst Program. Isang maikling pagkakilala sa akin: Nagtatrabaho na ako sa Bridgewater ng limang taon, mula sa isang teknikal na posisyon, ngunit ang karamihan ng aking panahon ay nakatuon sa mga tungkulin na may kinalaman sa pamumuhunan.Sa kasalukuyan, ang pangunahing tanong na aking pinag-uusapan ay: paano i-integrate ang AI sa aming proseso ng pag-invest.Susunod, gusto kong ipakita nang direkta ang Pocket Analyst, ipakita ang kanyang kakayahan, at kung paano ito ginagamit ng mga tagapag-ayos ng Bridgewater.Makikita ninyo sa screen sa likod ni Pat ang kanyang homepage, kung saan matatagpuan ang mga prompt na ginamit natin sa demo ngayon.Ang pangunahing kahulugan ng prompt na ito ay: Hinihingi namin na pagsisiyasatin ni Pat ang reaksyon ng merkado sa kamakailang konflikto sa Middle East at ihambing ang kasalukuyang pangyayari sa mga katulad na kasaysayang pangyayari. Sa huli, hinihingi namin na lumikha si Pat ng isang serye ng mga visual na grapiko upang bigyang-diin ang pagkakatulad at pagkakaiba ng kasalukuyang sitwasyon sa mga nakaraang pagbaba ng suplay ng langis.Ito ang totoong problema na pinag-aaralan ng Bridgewater sa mga nakalipas na buwan, at ginagamit ni Pat upang mabilisain ang proseso ng aming pag-aaral.Ngunit bago magsumite ng request na ito, gustong-gusto kong maglaan ng kaunting oras para talakayin ang isang interesanteng isyu sa kaligtasan na aming kinaharap habang dinisenyo ang framework ng Pat.Ang ating puntos ng pagmumula ay: kung gagawin ng Pat ang totoong papel nito, kailangan itong makakapag-access sa lahat ng impormasyon na karapatan ng mga investor na ma-access habang nag-aaral.Ngunit ang problema ay sa Bridgewater, iba-iba ang impormasyon na ma-access ng iba’t ibang investor.Halimbawa, maaaring may karapatan ang isang investor na tingnan ang aming kasalukuyang posisyon sa lahat ng mga merkado. Para sa taong ito, ang gamit niyang Pat ay dapat ding makakapag-access sa mga impormasyong ito.Ngunit samantala, may ilang analista na hindi nakakakita ng mga impormasyong ito. Kaya, mahalaga rin na: hindi natin dapat idinidikta ang mga pinoprotektadong karapatan sa ari-arian o sensitibong impormasyon sa mga analistang ito.Kaya, sa pagkakaiba sa isang sistema na ginagamit ng lahat ng tao tulad ng Claude Code na may parehong system prompt at mga kasangkapan, ang bawat tao sa Bridgewater ay may sariling natatanging bersyon ng Pat na nakabatay sa impormasyon na makikita o hindi makikita ng user.Sa praktikal na pananaw, ang pagkakaiba na ito ay batay sa konteksto at mga kasangkapan na mayroon ang bawat tao sa kanilang Pat.Ngayon, isumite natin ang prompt na ito. Pagkatapos magsimula ang pagsusuri, ang unang ginawa ni Pat ay ang paghahanap sa internet at sa aming loob na warehouse ng di-istrukturadong data upang mas maunawaan kung ano ang nangyayari sa mundo ngayon at isama ito sa isang historical context.Para sa mga modernong app sa pagkakausap, ang paghahanap sa web ay kung ano ang basic na kakayahan.Ngunit ang tunay na pagkakaiba-iba dito ay ang malawak na saklaw ng hindi strukturadong nilalaman na maaaring hanapin ni Pat, na galing sa iba’t ibang pinagkukunan ng impormasyon na aming isinubskribir.Mayroon kaming database na naglalaman ng milyun-milyon na dokumento na nakakapalibot sa impormasyon sa buong mundo, kabilang na rito:Broker research report;Transcript ng telekonferensya ng financial report;Internal email;At higit pa.Nakakapag-update ang database na ito sa halos real-time, at dumadagdag ng libu-libong nilalaman araw-araw.Ito ay sumasalungat sa aking nabanggit kanina: kung gagawin ng Pat ang totoong leverage, kailangan niyang makakuha ng lahat ng impormasyon na ma-access ng kanyang mga user, upang maging tulad ng totoong paraan ng paggawa ng user.Pagkatapos makalap ang mga konteksto na ito, susundin ni Pat ang paghahanap sa aming time series database para hanapin ang data na kailangan para sa pagsusuri.Ang database na ito ay naglalaman ng milyon-milyon na time series, na resulta ng patuloy naming pagmomodelo at pagkolekta sa loob ng higit sa 50 taon.Kasama rito ang mga data mula sa labas na mundo, tulad ng presyo ng langis; at ang mga konsepto na aming dinedebelop sa loob, tulad ng aming hinuhulaang antas ng inflasyon sa susunod na 12 buwan.Ang paghahanap ng mga intelligent agent ay gagamit ng ilang tradisyonal na teknik sa paghahanap, tulad ng RAG (Retrieval-Augmented Generation), re-ranking, atbp.Ngunit natuklasan namin na ang isang tunay na nagdudulot ng malaking pagpapabuti ay ang pagdaragdag ng isang "check" na katulad ng isang tao na researcher.Ang ibig kong sabihin, kapag hinahanap ng mga human researcher ang data, hindi sila nagpapatingin lang sa pangalan ng time series. Tinitingnan nila rin ang maraming bagay, tulad ng:Kahalagahan ng sequence;Ang pera na ginagamit sa sequence;Ang pinakamahalaga ay kung ang mga halaga ng sequence ay tugma sa kanilang dating pagtataya at nakaraang kaalaman.Isinama namin ang mga mekanismo ng pag-iisip na ito sa aming search agent, na nagpataas ng aming akurasyo mula sa halos 50% hanggang 90%.Pagkatapos makakuha ng kinakailangang konteksto at data, magtatanong ang Pat ng mga tanong para sa paglilinaw at maaaring magmungkahi ng iba pang mga pananaw na值得进一步探索 sa proseso ng pagsusuri.Sa pag-unlad ni Pat, umusbong ang aming paniniwala: ang plano ay sariling pagsusuri.Kung makakabuo tayo ng isang mataas na kalidad, sapat na detalyadong plano, mayroon kaming tiwala na makakapagpatuloy at matalinong pagsasagawa ng plano at makakamit ang mga resultang hinahanap natin.Santi ay magpapaliwanag nang mas detalyado tungkol dito sa isang pagkakataon.Ngayon, ang pagtatanong ng mga agent ay karaniwan na sa mga chatbot. Ngunit ang tunay nating pagmamasid ay sa nilalaman ng mga tanong na ito.Inilagay namin ang malaking dami ng oras at pagsisikap upang lumikha ng konteksto at benchmarking upang mabuo ang kakayahang ito. Tinuruan namin si Pat kung ano ang mabuting tanong sa pag-aaral at kung ano ang masamang tanong sa pag-aaral.Ang ganitong interaksyon ay nakakatulong sa mga humanong user na karaniwang kulang sa pagpaplano upang mabuo ang aming mga mataas na kalidad na pananaliksik na plano.Pagkatapos malutas ang lahat ng hindi malinaw na puntos, pumasok si Pat sa fase ng pagpaplano.Sa panahon ng pagpaplano, ito ay naglalayong gawin ang tatlong bagay:Malinaw na tukuyin ang mga data frame (DataFrame) na magiging bahagi ng proseso ng pagsusuri;Tukuyin ang bawat schema ng data frame;Ang pinakamahalaga ay malinaw na ipaliwanag kung paano nagkukonekta ang mga data frame na ito sa isa't isa.Sa pananaw ng oras, ang phase ng pagpaplano ay may mataas na gastos sa buong proseso ng pagsusuri.Ngunit ito ay isang gastos na tayong pinili na tanggapin, dahil ito ang nagpapahintulot sa amin na makamit ang mas epektibong kakayahan sa pagpapatupad.Ngayon, ang plano ay naka-set. Ang unang hakbang sa pagsasagawa ng plano ay ang pagbuo ng code.Dahil sa aming plano ay napakadetalyado, maaari naming gamitin ang mga sub-agent upang paralel na magbuo ng code para sa bawat data frame sa pagsusuri.Dahil alam ng bawat sub-agent:Ano ang mga data frame na ito ay nakadepende?Ano ang mga pattern ng mga data frame?Ano ang dapat na anyo ng data frame na gagawin nito.Kaya, anuman ang isang pagsusuri ay naglalaman lamang ng 3 na data frame o isang mas kumplikadong pagsusuri na naglalaman ng halos 30 na data frame, ang oras na kailangan upang makagawa ng code ay halos pareho.Pagkatapos matapos ang paggawa ng code, papanatilihin namin ang mga Python function na ito, habang sinasubaybayan ng isang agent ang proseso.Kumikilos ito upang sagutin ang mga runtime error, hindi makabuluhang halaga, at iba pang mga problema.Bago patuloy sa proseso ng pagpapatupad, gustong tukuyin ko: ang mga output ng time series na nilikha ng mga analisis ay magkakaroon sa parehong database kung saan nanggaling ang input data.Naniniwala ako na mahalaga ito dahil sa dalawang dahilan.Una, ito ay nagpapakita na ang anumang output ng pag-aaral ni Pat ay walang pagkakaiba sa anumang time series na in-upload at ginawa ng mga tao sa loob ng maraming taon sa sistema.Pangalawa, at mas mahalaga, ang anumang output ng pagsusuri ni Pat ay maaaring gamitin bilang input para sa susunod na pagsusuri.Sa ganitong paraan, nabubuo ang isang kapaligiran kung saan ang mga tao at mga agent ay maaaring madaling muli gamitin ang mga natuklasan ng isa’t isa at magpatuloy na mag-imbak sa mga natuklasan ng bawat isa.Pagkatapos maipagawa, ganoon din namin gustong gawin ni Pat, tulad ng inaasahan namin na ang junior analyst ay muling i-check ang kanyang sariling trabaho bago mag-report sa iyo.Kaya, sa fase na ito ng pagsusuri, susuriin ni Pat ang mga data na kalkulahado at ang mga visualisasyon na nilikha, upang masiguro na ang mga numero ay makatotohanan at ang mga graph ay malinaw at maayos.Kung makakakita si Pat ng anumang hindi tama, iiwasan niya ang proseso, sasagot ng problema, at pipilipilin ang proseso ng pagsusuri; bago ilabas ang resulta sa user, tiyak na siya na kasiyahan niya ang resulta.Ang final deliverable ay isang interactive report.Sa report na ito, ang anyo ng mga graph ay ganap na katulad ng mga graph na ginagawa ng Bridgewater Investors. Ginamit ni Pat ang parehong internal graph library, at ginamit din ang parehong sistema ng teksto at graph na aming pinapalawig nang patuloy sa loob ng maraming dekada.Nakikita ninyo na ang mga user ay maaaring mag-zoom in o zoom out sa mga graph; maaari rin nilang i-send ang data sa aming internal graph tool para sa agad na karagdagang pag-adjust.Bago ipasa ang oras kay Santi, gusto kong talakayin muli: paano patuloy na nagiging mas mabuti ang Pat habang ginagamit.May dalawang pangunahing paraan.Ang unang paraan ay ang self-directed learning na binanggit ni Brendan: pinapahintulutan namin ang agent na suriin ang mga natapos na usapin upang hanapin ang paraan kung paano gawing mas matalino si Pat.Ang pangalawang paraan, na ipinapakita namin dito, ay mas eksplisitong paraan: kung naniniwala ang user na mayroong makakatutong nilalaman sa kanyang interaksyon kay Pat, maaari niyang agad na simulan ang proseso ng pag-aaral sa konteksto ng pagsusuri.Dito, ang user ay naghiling lamang ng pagbuo ng isang set ng iba’t ibang visualization chart.Paalala na hindi sinabi ng user na may mali ang nakaraang nilalaman. Kanya lang ay nais na tingnan ang problema mula sa ibang pananaw at naniniwala na mahalaga ang pananaw na ito para sa pagbibigay ng sagot sa kasalukuyang tanong.Kung naniniwala ang user na dapat nang mag-generate o mag-rekomenda si Pat ng set ng mga graph mula sa simula, maaari niyang i-click ang button na "Teach".Ito ay magpapagana ng isang agent na susuriin ang buong usapan para hanapin ang mga problema tulad ng sumusunod:Mali sa pagkilos;Context gap;Ang mga gabay o pagkakaintindi ng user na maaaring maunawaan at matugunan nang maaga.Pagkatapos, maaari ng user i-edit ang mga nilalaman na ito o ipasa ito nang walang pagbabago.Pagkatapos mag-submit, unang gagawa ang back-end agent ng isang benchmark na inaasahang magkakaroon ng pagkabigo. Ito ay nagpapatotoo na kayang nating muling ipakita ang dating masamang pag-uugali.Pagkatapos, ito ay magpapatuloy na i-iterate ang aming context knowledge base o ang sariling runtime framework hanggang sa makapasa ang benchmark na ito.Pagkatapos, susuriin namin: ang pagpasa sa benchmark ay hindi nagdulot ng pagkabigo sa iba pang mga pagsubok sa test suite.Pagkatapos ay makakatanggap kami ng isang Slack message na may pull request na naglalaman ng mga pagbabago na nais gawin ng agent kay Pat.Ang epekto nito ay: sa susunod na pagkakataon, kapag may tao ay dumadaan sa Pat na may katulad na tanong, maaari nila agad makakuha ng pinabuting bersyon.Ngayon, ipapasa ko ang oras kay Santi para ipakilala ang teknikal na arkitektura.Santi Wait, Teknisyal na Punong Tagapag-ugnay ng Proyekto ng Pocket Analyst:Kamusta, salamat sa Michael. Ako si Santi, ang teknikal na lider ng Pocket Analyst.Naniniwala ako na marami sa inyong lahat dito ay nagtatayo ng katulad na mga produkto ng programming agent, tulad namin.At ang pagbuo ng mga produkto na ito ay talagang mahirap.Ang mga programming agent ay sobrang hindi matatag at mahirap ipaunawa; madalas silang nagkakamali; at kapag sobrang masama ang iyong palad, maaari silang lubos na mawala sa kontrol at subukang sirain ang iyong data at iba pang mga problema.Kaya, ang pagbuo ng isang magandang produkto na gustong-gusto ng mga tao ay mahirap na mismo; ngunit ang pagbuo ng isang produkto na handang i-embed ng mga user sa kanilang araw-araw na workflow ay mas mahirap.Sa isang hedge fund, sinusubukan naming i-trade ang mga dolyar ng milyar. Kaya hindi namin maaaring gawing batayan ng mga analisys ang tinatawag na "vibe coding".Ang aking background ay compiler theory at design ng programming languages.Ang compiler ay may isang napakakaparehong set ng mga kakayahan: dapat itong ganap na deterministikong, ganap na tama at mapagkakatiwalaan.Halimbawa, habang nagpapatakbo ng eroplano, hindi mo maaaring magkaroon ng "off-by-one error".Ang istruktura dito ay napakasimilar din: ang compiler ay tumatanggap ng user code at ii-compile ito sa target code tulad ng JavaScript; samantala, ang programming agent ay tumatanggap ng user prompt o plano at "ii-compile" ito sa Python.Sobrang nagustuhan namin ang ideyang ito.Kakulangan ng oras ngayon, kaya isasakop natin ito at umaasa na maging isang aral na dadalhin nila sa kanilang sariling trabaho.Subalit, magsisimula tayo sa sesyon ng pag-uusap.Ang layunin ng chat agent ay makabuo ng komon na pag-unawa kasama ang user: ano ang gustong matapos ng user.Ang chat agent ay isinagawa gamit ang LangGraph.Ginagamit namin ito pangunahin upang suportahan ang persistence feature. May native support ito sa cancellation at resumption; dati naming pinamamahalaan ang mga problema na ito nang sarili natin, at mas masama ang epekto.Ang chat agent ay maaaring magtawag ng mga kasangkapan. Mga ito ang mga nabanggit ni Michael kanina:Paghahanap ng time series data;Search sa unstructured data.Magkakaroon ng sariling gawain ang bawat kasangkapan.Pagkatapos, kapag naiintindihan na ng chat agent ang lahat ng data na kailangan para sa pagsusuri, itataya nito ang isang plano at ihihingi ang isang sub-agent—ang aming programming agent.Ang programming agent na ito ay magpapagawa ng isang analysis batay sa Python Pandas.Bakit dapat hihiwalayin ang dalawang agent?Sa mga unang panahon, nagpasya kami: ang ating mga investor ay hindi mga propesyonal na programmer, at sila ay nakikialam sa pag-invest.Kaya kami ay nagpasya na gawing purong paksang pang-invest sa chat.Ang resulta nito ay isang produkto: ang pag-program ay isang simpleng detalye ng implementasyon.Sa chat interface, hindi mo maaaring makaramdam ng anumang code na tumatakbo sa background.Mayroon pa ring ilang hindi inaasahang benepisyo:Hindi malilinaw ang konteksto ng mga detalye ng code;Bawat agent ay nakafokus sa sarili nitong gawain at natural na patuloy na nagpapabuti;Maaari naming kustomisahin ang karanasan sa chat nang malaki.Susunod, gusto namin ipaalala ang aming mataas na kalidad ng konteksto sa mga investmiento.Pinapakilala namin ang chat agent kung paano magsalita tulad ng isang investor ng Bridgewater.Maraming propesyonal na terminolohiya na kailangang turuan sa iyo. Kaya, ang paraan ng komunikasyon sa pagitan ng user at agent ay parang ang pagkakaintindihan ng mga kasamahan sa loob ng Bridgewater.Sa Bridgewater, pinapayagan namin rin ang mga investor na magbigay ng kontribusyon. Ito ang kung ano ang ipinakita ni Michael kanina—na sila ay nag-aambag ng nilalaman sa sistema tulad ng mga developer na nag-aambag sa codebase.Ito ay talagang isang napakabuting pananaw: sa karamihan ng mga kaso, mas marunong ang iyong mga user na sumulat ng business context kaysa sa iyo.Kaya, huwag masyadong mag-isip sa sarili, at payagan silang direktang makilahok sa pagkakaroon ng kontribusyon, ay isang mabuting paraan para makamit ang tagumpay.Tungkol sa chat agent, ang huling punto ay: Hindi lang namin itinuturo sa it ang konteksto.Kung ang tanging ibinibigay mo ay ang konteksto, ang resulta ay karaniwang isang ambiguo, mataas ang impormasyon ngunit hindi gaanong katulad ng workflow.Kaya, ibibigay namin sa agent ang step-by-step na gabay kung paano gamitin ang partikular na uri ng pagsusuri.Sa ganitong paraan, mas mukhang ito ay isang tunay na produkto, tulad ng isang mapagkakatiwalaan at kapani-paniwalaan na workflow.Susunod, sasabihin ko ang aking pinakamahalagang bahagi: ang pag-program ng mga agent.Ito ay isang mataas na antas na arkitekturang larawan ng isang programming agent.Ang lahat ng nakikita ninyo dito ay talagang Python code lamang. Ito ay implemementado gamit ang LangGraph, ngunit wala namang tinatawag na "agentic orchestration".Marami ang nagpapic, mabuti.Magsisimula tayo sa kaliwa, kung saan ang plano ng analisis ay ginawa ng chat agent.Ang analysis plan ay magiging mga gawain.Bawat gawain ay kumakatawan sa isang Python function, na magkakalkula at magpapalabas ng isang data frame.Isang halimbawa ng pattern dito.Ang bawat gawain ay maglalaman ng:Isang pangalan;Deskripsyon para sa mga nilalaman na kailangang kalkulahin;Tungkol sa struktural at semantikong impormasyon ng output dataframe.Inaasahan namin na ang bawat gawain ay maaaring i-compile nang deterministikong paraan sa isang code gamit ang malalaking modelo ng wika.Ibig sabihin, ang code na ginawa ng dalawang malalaking modelo sa wika para sa iisang gawain ay dapat magkasingkahulugan sa pagpapatakbo, at ang mga output na halaga ay dapat magkakatulad.Kaya ang ating plano ng pagsusuri ay hindi lamang isang lista ng mga gawain na maaaring makita sa Claude Code.Isinasaalang-alang namin ito bilang isang "Python project na isinusulat sa natural na wika."At dahil sa napakaraming detalye na naisasama rito, maaari na nating pumasok sa phase ng code generation at gamitin ang ilang mas advanced na teknik.Una, isasagawa namin ang paghahati ng plano sa mga gawain, pagkatapos ay isasagawa nang sabay-sabay ang pagbuo ng code ng malalaking modelo sa wika.Dahil sapat ang detalye ng plano, ang isang visual na gawain sa dulo ng plano ay alam na ang lahat ng nilalaman na kailangan niyang gamitin at konsyumin—kahit pa ang pag-generate ng code para sa pag-load ng data ay hindi pa tapos.Kapag isinasalin natin ang paraan na ito sa Claude Code sa aming benchmark suite, nakikita natin: sa parehong konteksto at parehong plano, mas mabilis namin ang paggawa ng code nang humigit-kumulang 4 beses.Bukod dito, mayroon tayong "super extension" capability: isang plano na may 20 na gawain ay kumukuha ng halos parehong oras kaysa sa isang plano na may 3 na gawain.Okay, ngayon mayroon na tayong code, susundin natin ang pagpapatakbo nito.Maaaring isipin mo na kailangan mo lang talagang patakbuhin ang code nang direkta at simpleng paraan.Ngunit sa pagkakalito, ang mga malalaking modelo ng wika ngayon ay hindi pa perpekto sa aming gawain. Karaniwan nilang hindi kayang magbigay ng ganap na tama na resulta sa isang pagkakataon.Kaya ang ating pamamaraan ay:Nakuha namin ang mga gawain sa plano, at nakuha rin ang code na ginawa ng gawain; pagkatapos, pinapatakbo namin ang code at ihahambing ang resulta sa mga hiling ng gawain upang suriin kung tama ito.Kung hindi tama, i-edit natin ang code at patuloy na i-iterate hanggang sa matapos.Ang unang bagay na ginawa namin sa code ay ang paggawa ng static analysis, pagbuo ng DAG (directed acyclic graph), at pagpapalapat ng mga validation agent nang paralelo.Dito, dalawang gawain ay tatanggap ng parehong pagpapatotoo.Kaya, isang plano na naglalaman ng 5 na gawain, ay hihiwalay sa 3 antas ng pag-verify; habang isang plano na may halos 20 na gawain, ay maaaring magbubuo ng 4 o 5 antas ng pag-verify.Ang pangunahang punto na gustong ipaalam ko sa inyo mula sa mga slide na ito ay:Pinoprotektahan namin ang kawastuhan sa antas ng arkitektura.Ipinapahalagang muli, walang agent-based orchestration. Ito ay karaniwang Python code.Kaya, ang buong framework ng pagpapatupad ay napakabilis, at imposible para sa mga agent na "makalimot" mag-verify—pinipilit silang mag-verify.Bilang resulta, habang pinapatakbo namin ang test suite, sa 95% ng mga kaso, ang code na ginawa ng dalawang iba’t ibang agent ay ganap na magkakatulad para sa anumang plano sa test suite.Kaya ang aming paniniwala ay: bumuo ng isang text-based intelligent agent na may mga tiyak na katangian.At dahil sa malakas na pagkakapareho ng agent na ito, mas maaasahan ang ating pundasyon kapag nagpapalawak, nagpapabuti nang paulit-ulit, at nagtataya kaysa sa mga paraan na nakasalalay sa pakiramdam o sa "LLM bilang hukom".Sige, may isa pang paksa na gusto kong pag-usapan, ang aming execution layer.Karaniwan, ang mga programming agent ay tumatawag at pinapagana ang kanilang sariling nilalikhang code.Ibig sabihin, nililikha muna nila ang code, pagkatapos ay tinatawag at pinapagalaw mismo sa terminal.May ilang kompromiso sa paraang ito.Sa isang bahagi, ang paggamit ng mga kasangkapan ay magdudulot ng mataas na latency; sa kabilang bahagi, naniniwala ako na lahat ng tao ay nakaranas na, ang mga intelligent agent ay minsan ay mawawala sa direksyon sa proseso.Kaya piliin namin na patakbuhin ang code para sa malalaking modelo ng wika.Gumagamit kami ng tradisyonal na static analysis pipeline: iniihinto ang cache annotations sa Python code upang maiwasan ang pag-uulit ng pagpapatakbo; at pagkatapos ay ipinapatakbo ito sa pamamagitan ng isang custom framework.Ito ay isang halimbawa ng benchmark na nagkukumpara sa pagtawag ng code execution ni Claude sa sarili nito at sa paraan ng Pocket Analyst.Makikita ninyo na mas mabilis kami muli, dahil hindi namin uuulitin ang pag-load ng data o ang mga intermediate process.Ngunit ang totoong kahusayan ay hindi nangyayari sa unang pagpapatakbo ng code, kundi sa ikalawang pagpapatakbo.Narito ang isang benchmark: kinuha namin ang huling chart sa isang plano, at binago namin lamang ang pangalan nito.Ang Claude Code ay magrerun ng lahat ng code muli, kaya ang kabuuang oras ay halos pareho, bagaman mas mabilis ang pag-edit ng code.Ngunit ang pocket analyst ay nakakamit ng halos instant code execution sa pangalawang round.Ibig sabihin nito, kapag ginagamit ng mga investor ang produkto na ito, maaari nilang gawin ang ilang mga maliit na pagbabago sa pagsusuri ng pag-invest nang hindi dapat magdala ng karagdagang gastos mula sa paulit-ulit na pag-load at pagpapatakbo sa karaniwang proseso ng iterasyon.Okay, natapos na ang ating oras.Mayroon kaming maraming karanasan at natutunan, ngunit sa pagkakataong ito, ito na lang ang maaari nating sabihin.Ang unang pangunahing konklusyon ay: naniniwala kami nang malakas sa pagpapaspecialize ng mga agent.Hindi namin lubos na naniniwala sa mga pangkalahatang, makapangyarihang agent.Totoo silang kayang gumawa ng napakagandang demo, at naniniwala akong marami na ang nagpakita ng ganitong uri ng demo; ngunit talagang mahirap gawin silang maaasahang workflow na maaaring gamitin araw-araw.Sa kabaligtaran, karaniwang umuunlad kami mula sa isang napakasmaling workflow, kung saan ginagawa namin ang maraming benchmark; pagkatapos ay patuloy naming pinapabuti ang mga benchmark na ito sa isang paunlating paraan.Pagkatapos, maaari mong i-combine ang mga kakayahan ng maraming agent; ngunit sa kabaligtaran, muling bumalik sa isang mapagkakatiwalaan at nararapat na workflow mula sa isang generalizing agent, madalas ay mahirap.Ang huling punto ay mas katulad ng isang pag-aaral sa isip, at umaasa akong makakatulong ito sa inyo:Dapat isipin ang pag-program sa agent bilang isang problema sa compiler, hindi bilang isang problema sa agent.Ang compiler ay nagbuo ng code nang mga dekada na at nakalap ng maraming teknolohiya na nagpapakita kung paano gumawa ng code nang mas maaasahan, mas tama, at mas determinado.Kaya, masigasig kaming magpapatuloy sa pag-uusap tungkol sa mga isyung ito.Sa huli, gustong salubungin ko ang aming direkta na mga miyembro ng team. Oo, mayroon pa ring maraming iba pang nakikilahok, ngunit ito ang pangunahing team.Salamat sa inyong lahat.Magkakaroon kami ng AMA (Q&A) sa labas, at talagang umaasa na makipag-usap at makipagdiskusyon tayo sa inyo, at tingnan kung nagkakaroon din kayo ng kasiyahan sa mga tanong na ito.Naghhintay din kami na makita kayo sa iba pang mga okasyon tonight.Salamat ng sobra.