Автор: L. M. Sacasas
Переклад: Shenchao TechFlow
Глибокий огляд: коли ми все більше делегуємо прийняття рішень ІІ, людське суспільство формує «безсвідомий шар», що віддаляється від активного судження. Це не науково-фантастична загроза надзвичайно розумного інтелекту, а більш прихована цивілізаційна трансформація — ми здатні робити все більше, але розуміємо все менше. Це попередження для кожного фахівця, який залежить від інструментів ІІ.
На початку XX століття британський математик і філософ Уайтхед сказав часто цитоване твердження: «Ми повинні виробити звичку думати про те, що робимо — це велика помилка, яку повторюють у всіх підручниках і промовах відомих осіб». «Навпаки», — вважав він, — «прогрес цивілізації полягає у збільшенні кількості важливих операцій, які ми можемо виконувати без думки». Він також навів аналогію: «Думати про операції — це як кавалерійський наїзд у битві — кількість строго обмежена, потрібні свіжі коні, і його можна застосувати лише у вирішальний момент».
Ви, ймовірно, вже бачили цей цитат. Вона дійсно передає певну правду. Але на мій погляд, це завжди здається короткозорим або недостатнім. Можливо, тому що я часто бачу, як люди використовують цю фразу, щоб оправдати безрозбірне делегування людської пізнавальної діяльності машинам, не розрахувавши витрат і навіть не усвідомивши їх існування.
Справедливо сказати, що цей вислів Уайтхеда походить з книги 1911 року «Введення в математику», де він насправді говорить про переваги символів і позначень у математичних обчисленнях — хоча він стверджує, що ці операції «не вимагають думки», вони все ж вивчаються і застосовуються розумом. Однак, згадуючи «цивілізацію» та додаючи цей розкішний риторичний фінал, він, мабуть, справді спонукає до такого (помилкового) тлумачення.
Проблема не в тому, чи зовнішнє втілення певних мислительних автоматизмів, навіть певних психічних процесів, корисне в певних ситуаціях. Щиро кажучи, я вважаю, що аргументи, засновані на порівнянні фізичних дій з ментальними, є більш переконливими. Я давно втратив майстерність, якою, можливо, володів у минулому, але уроки залишилися. Майже кожен молодий початківець у будь-якому виді спорту зневірено виявляє: потрібно провести величезну кількість часу — здається, надмірну й болісну — на повторення базових, монотонних вправ. Полірування, натирання — розуміють ті, хто бачив «Кунг-фу панда». Але саме це й є динаміка, описана Уайтхедом: ви автоматизуєте певні фізичні дії, щоб виконувати їх без зусиль. Лише так ви зможете проявити будь-яку креативність або надзвичайну майстерність. Те саме стосується навчання танцям чи інструментам. Автоматизація базових дій — це незамінна основа досягнення досконалості.
Але чи застосовується ця динаміка до всіх сфер людської діяльності? Чи існують ситуації, коли виведення певних дій назовні слабкішає, а не сприяє вищому добру, якого прагнуть? Чи не несуть «низькорівневі» дії певних благ, яких ми не хочемо втратити? Чи завжди, як у математиці, ми можемо легко відокремити певну підпрограму від заданого процесу чи діяльності? Чи існують нерозривні цілісні діяльності, які руйнуються, якщо спробувати вивести чи автоматизувати будь-який їхній елемент? І, як я вже згадував раніше, чи немає різниці між внутрішньою автоматизацією мислення та повним зовнішнім виведенням або повним виведенням когнітивної праці? Повернемося до аналогії з фізичними діями: якщо спортсмен уявляє собі, що машина виконує всю його «дрібну» підготовку, щоб він міг безпосередньо перейти до захоплюючої частини змагань — цей людина ніколи не досягне цього етапу. Це всі важливі питання, які слід розглянути, перш ніж бездумно приймати обітниці ефективності та звільнення, що робляться на ім’я нових технологій.
Однак мені не подобається цей часто цитований гімн автоматизації пізнання, який належить Уайтхеду, можливо, саме через його яскравий контраст із попередженням Ганни Арендт: ми повинні «думати про те, що ми робимо». Уайтхед писав майже на піввіку раніше, ніж Арендт, і я не вважаю, що Арендт мала на увазі Уайтхеда. Просто ці два твердження випадково утворюють протиставлення, і я вважаю корисним дослідити цю напругу.
Ми повинні виробити звичку думати про те, що робимо — це величезна помилка, стара пісня.» — Вайтхед
Тому моя пропозиція дуже проста: просто подумайте, що ми робимо.» — Ганна Арендт
Цікаво, що контекст, у якому звучить це попередження Арент, ближчий до нашої сьогоднішньої тривоги щодо технологій та людського існування. Це твердження походить із передмови до книги «Умови людини», яка вперше була опублікована в 1958 році. Вона пояснює:
Те, що я збираюся зробити, — це переглянути людське становище, виходячи з наших найновіших досвідів і недавніх страхів. Це, звичайно, питання мислення, а бездумність — безроздумна легковажність, відчайдушний хаос або самодовольне повторення «істин», які стали незначними та порожніми — на мою думку, є одним із найбільш виразних ознак нашого часу. Тому моя пропозиція дуже проста: просто подумати, що ми робимо.
Досвід, що спровокував дослідження Арент, включає запуск штучних супутників і прихід автоматизації. Хоча до недавнього часу можна було вважати, що її занепокоєння щодо впливу автоматизації на працю були помилковими, зараз здається, що її занепокоєння просто виникли занадто рано.
Коли я розмірковував про розбіжності між Уайтхедом і Арент щодо питання «Нам потрібно більше мислення чи менше?», я вважаю корисним розрізняти з одного боку створення набору несвідомих процедур для розвитку вищих здібностей, а з іншого — підпорядкування несвідомим силам, які нестабільно керують вашою поведінкою і можуть призвести до руйнування.
Чи існує точка перевороту або зворотного перелому для принципу Уайтхеда? «Розвиток цивілізації,» — сказав Уайтхед, — « полягає у розширенні кількості важливих операцій, які ми можемо виконувати, не думаючи.» Але що, якщо існує певна межа? Якщо перевищити певний поріг — незалежно від кількості чи якості — чи може цивілізація деградувати через збільшення кількості важливих операцій, які люди виконують без думки? Або, принаймні, чи отримаємо ми цивілізацію, яка повністю відрізняється від тієї, яку ми знаємо? Ми, ймовірно, дуже скоро дізнаємося відповідь, оскільки впровадження ШІ часто означає автоматизацію нашого мислення та створення величезної сфери безсвідомих дій у світі, що виникають ззовні зберігання нашої індивідуальної та колективної пам’яті.
Арент стурбована тим, що зі зростанням наших технологічних можливостей (які переважно пояснюються мовою математики) над нашою здатністю розуміти їх звичайною мовою, ми можемо втратити здатність «думати і говорити про те, що ми дійсно робимо». (Це свідчить про те, що проблема пояснюваності існувала ще до появи великих мовних моделей та так званих «чорних ящиків».) У фрагменті, який зараз знову став актуальним і терміновим, вона додає: «Це наче наш мозок — який є фізичною, матеріальною умовою нашого мислення — не може крокувати разом із тим, що ми робимо, і тепер нам справді знадобляться штучні машини, щоб думати і говорити за нас». Це політична проблема першочергової важливості. За таких умов ми більше не будемо самоврядувати в будь-якому значущому сенсі. Політика, як галузь людської діяльності, побудована на мові, перестане існувати.
1958 року, у Різдво, того ж року, коли Арент опублікувала «Умови людини», В. Г. Оден опублікував «Синів п’ятниці», з якого походять справді арентівські рядки:
Коли ми зустрічаємося під час спостереження
Та спостерігаюча свідомість, що спостерігає себе
Не тривожить і не холодно
а повністю звичайний
Хоча він контролює інструменти
Зробити бажання та протилежні бажання реальністю
Це очевидно не розуміє
Це може чітко зробити
Оден і Арент були друзями, і Оден написав позитивний відгук на «Умови людини», але я не впевнений у напрямку впливу.
Хоча Арент прямо пояснила, як ми опинилися в ситуації, коли "ми чітко не можемо зрозуміти те, що чітко можемо зробити" — тобто коли наші технологічно оснащені дії не можуть бути повністю зрозумілі нашою щоденною мовою — існує ще один цікавий підхід.
Дії, які мова не може проникнути, і тому не можуть бути проникнуті свідомим мисленням, також можна пояснити через підсвідомість. Я не той, хто інтуїтивно звертається до мови підсвідомості, але вона може бути корисною аналогією, що допомагає зрозуміти наші стосунки — як окремих осіб, так і колективно — із все більш посередницькими інструментами штучного інтелекту, які формують наше досвід світу.
Просто кажучи, я можу уявити два способи порівняти деякі приклади споживчого ШІ з безсвідомим. Перший спосіб досить прямий: з тим як ми все більше завдань передаємо агентам ШІ на особистому, організаційному та інституційному рівнях, ми створюємо в світі рівень діяльності, який функціонально відокремився від людського активного судження та нагляду. І поки цей рівень структурований і формує наш досвід, співвідношення свідомих та безсвідомих людських дій зменшується.
Звичайно, принаймні з індустріальної епохи (якщо не раніше), у світі людського досвіду функціонували відносно не透明ні системи. Але, на мою думку, різниця полягає в тому, що ці системи були відносно ізольовані від щоденних людських дій. Натомість системи штучного інтелекту все глибше плетуться в наш досвід. У багатьох випадках це не лише зовнішні сили, що діють на нас, а й процеси, які ми випускаємо та запускаємо, які діють від імені нас і зворотно впливають на нас. Саме це щільне переплетення людини та машини натякає мені на аналогію з підсвідомістю.
Ерік Хель недавно зробив подібний аргумент більш елегантною мовою та більш довгим текстом. Його висновок:
Традиційні небезпеки ШІ зазвичай вважаються загрозою існуванню, пов’язаною з надінтелектом. Однак це може приховувати справжню та більш тонку небезпеку: революція ШІ — це механізм, який переносить процеси нашої цивілізації з під нагляду свідомості під контроль безсвідомого. Але коли ШІ видаляє свідомість з функціонування світу, він робить світ все більш незрозумілим, все більш чужим і важким для сприйняття. До цього часу «забруднення спільного простору» підтвердилося як основний ризик революції великих мовних моделей. Крім того, зі зростанням інтелекту ШІ-систем, особливо якщо вони залишатимуться (або, ймовірно, залишатимуться) безсвідомими, більш серйозною загрозою стає зниження значущості свідомості в культурі.
Ця ідея паралельна моїм розривчастим аргументам протягом десяти років: цифрові технології знову наділяють світ магією іншим способом. Іншими словами, вони роблять світ таємничим і незрозумілим.
Ми, ці речі, наділені технічним чарівністю, стоять перед нами зі значенням, якого не можна ігнорувати, і ми повинні з ними мати справу. Ми звертаємося до технологій за допомогою, покладаючи надії на їхню силу. Ми також боїмося технологій, вважаючи їх джерелом проблем. Технічні сили, з якими ми зустрічаємося, іноді є доброзичливими, але так само часто є зловісними силами, що руйнують наші зусилля і зводять на нічтожний рівень наші плани.
Технічні об’єкти не лише мають потенціал наділити нас силою, але й іноді викликають у нас захоплення. Ми також сприймаємо ці об’єкти та їхню силу як важливі чинники, що визначають нашу долю, — вони діють поза нашим контролем і за непонятних для нас умов. Іншими словами, ми вразливі, і наша автономія підсилюється через мережі розподілених технічних агентів, які перетинаються з нашою волею та бажаннями.
Другий спосіб порівняти штучний інтелект із безсвідомістю може здатися трохи складним, дозвольте мені пояснити. У книзі «Розуміння засобів масової інформації» Маршалл МакКлюен стверджував: «З приходом електричних технологій людина розширилася, або ж винесла зовні свій власний живий моделювальний центральний нервовий систему». Він неодноразово повертався до ідеї, що електричні засоби масової інформації є зовнішнім вираженням нашої нервової системи. Наприклад:
Однією з головних рис електричної епохи є створення глобальної мережі, яка в значній мірі має характеристики нашої центральної нервової системи. Наша центральна нервова система — це не просто електрична мережа; вона утворює єдине об’єднане поле досвіду.
Маклюган не був першим, хто висунув таку думку. Ще в 1950 році католицький священик і палеонтолог Дей-де-Шарден стверджував, що медійні технології утворюють «справжню нервову систему для людства» та «досконало створену спільну свідомість». За допомогою виникаючої мережі обчислювальних і комунікаційних технологій з’являється новий рівень реальності, який охоплює біологічний рівень. Це — технологічно опосередкований, єдиний рівень людської свідомості, який він назвав «ноосферою» і описав як «дивовижну машину для мислення».
(Я зізнаюся, це не мій звичний спосіб висловлюватися, але давайте трохи поіграємо з цими концепціями. Фактично, я вже намагаюся переконати вас, що погляд на ШІ з позиції психоаналізу може бути корисним.)
Електричні засоби комунікації розширили нашу здатність відчувати світ, привівши віддалені події до наших очей і вух, скоротивши час передачі інформації майже до миттєвого. Але з часів де Шардена та Маклюена з’явилося ще щось інше: значне зростання штучної пам’яті або здатності до зберігання даних. Отже, хоча електричні засоби комунікації розширили нашу нервову систему, вони останнім часом також сприяли збиранню та зберіганню небачених обсягів інформації у вигляді тексту, зображень, відео тощо. Наша нервова система доповнена масштабною цифровою пам’яттю. Саме ця цифрова пам’ять живить великі мовні моделі, які зараз майже стали синонімом штучного інтелекту.
Ця величезна база людських знань і культури — це майже інтернет, або принаймні інтернет — це спосіб, яким він став для нас доступним. Саме через це цифровий теоретик Грегорі Урмер назвав інтернет «протезом нашої колективної безсвідомості» на початку 2000-х років.
Я вважаю, що Ульмер мав на увазі саме це. Ми завжди були соціальними істотами, тобто культурними суб’єктно-інтерсуб’єктними істотами. Але більша частина того, що формувала нас, особливо в дитинстві, зазвичай з часом зникає з нашої свідомості. Однак інтернет як протез цього безсвідомого виміру у формуванні нашої соціальної ідентичності робить нашу колективну культурну пам’ять доступною. Інтернет — це величезна мережа, складена з культурних артефактів, символів, зображень, текстів та різноманітних дрібниць, які формували наш життєвий шлях; їхні зв’язки не побудовані за лінійною логікою, а за майже соноподібною асоціативною логікою, що дуже схоже на людське безсвідоме в теорії психоаналізу.
Ульмер вірить, що це дає нам глибоку можливість. Зробивши колективне підсвідоме тим, що ми можемо розглядати, тим, що стає доступним для свідомого мислення, ми отримуємо шлях подолання глибоких сліпих плям, які зазвичай є ядром нашого досвіду. Ясно, що я ніколи не був надто оптимістичним щодо цієї можливості. Але як би ви не оцінювали оптимістичний візіон Ульмера — я тут значно спрощував, але сподіваюся, не був несправедливим — на мою думку, з’явлення комерціалізованих чат-базованих ШІ справді веде нас у дуже іншому напрямку.
Цікаво, що вставлення інтерфейсу повсякденної мови між нами та цифровим колективним безсвідомим робить його для нас ще більш неясним і незрозумілим. Інтерфейс чат-бота перебудовує нашу здатність орієнтуватися в колективному безсвідомому — можна сказати, що він стає антитерапевтом, що відводить нас від самопізнання та прозрінь (незалежно від того, наскільки вони незручні чи дивні) до зручної та утішної зустрічі. Він надає хибну ясність, вводячи нас у самозадоволення, захищаючи від самозапитань, від тривалого перебування в свідомості нашої власної невідомості чи в незручній невизначеності. Він приховує переплетену лісисту мандрівку людського досвіду, підсвічувуючи нам штучно чіткий шлях до обіцянки знань і мудрості. Але таким чином він м’яко, але вирішувально, знову занурює нас у безсвідоме. Можливо, саме це й є коренем шизофренії ШІ.
Незалежно від зв’язку з психічними розладами ШІ, варто задуматися: наша публічна та колективна існування, наповнене безумством, апатією, нав’язливістю, агресією, тривогою та відчайдушністю, у певній мірі виникає через поступове відступлення людської свідомості перед новою формою колективного безсвідомого, яке відновлює себе у формі штучного інтелекту.
Шар нечеловічних дій у цьому світі був створений ще до появи агентних ШІ. Алгоритмічні процеси вже формували елементи людського досвіду, особливо в контексті бюрократії.
Я не впевнений, коли й хто вперше встановив концептуальний зв’язок між електрикою, нервовою системою та мисленням, але у своєму романі 1851 року «Сімкутний будинок» Натанієл Готорн писав: «А потім — електрика, диявол, ангел, могутня фізична сила, всесвітній інтелект!» та: «Це правда — чи я це приснилося — що за допомогою електрики матеріальний світ перетворився на величезний нерв, що тріпотів тисячами миль у хвилину неподвижності? Ще точніше, кругла Земля — це величезна голова, величезний мозок, наповнений інтелектом! Або, можливо, ми повинні сказати, що вона сама є думкою, просто думкою, більше не тим, чим ми вважали її матеріальним об’єктом!»