Автор: L. M. Sacasas
Перевод: Shenchao TechFlow
DeepChaо обзор: когда мы передаем все больше решений ИИ, человеческое общество формирует «бессознательный слой», лишённый активного суждения. Это не научно-фантастическая угроза сверхразума, а более скрытая трансформация цивилизации — мы можем делать всё больше, но понимаем всё меньше. Это предупреждение для каждого профессионала, зависящего от инструментов ИИ.
В начале XX века британский математик и философ Уайтхед сказал часто цитируемую фразу: «Мы должны привыкнуть думать о том, что мы делаем — это огромная ошибка, которую повторяют все учебники и выступления знаменитостей». «Напротив», — считал он, — «прогресс цивилизации заключается в расширении количества важных операций, которые мы можем выполнять без размышлений». Он также привел аналогию: «Думать о действиях — это как кавалерийская атака на поле боя — их количество строго ограничено, они требуют свежих лошадей и могут быть предприняты только в решающий момент».
Вы, вероятно, уже встречали эту цитату. Она действительно передаёт некую истину. Но, на мой взгляд, она всегда кажется узким или недостаточно полным высказыванием. Возможно, это связано с тем, что я часто вижу, как люди используют эту фразу, чтобы оправдать слепую передачу человеческой познавательной деятельности машинам, не учитывая затраты и даже не осознавая их существование.
Справедливости ради, этот отрывок Уайтхеда взят из его книги «Введение в математику» 1911 года, где он на самом деле обсуждает преимущества символов и обозначений в математических вычислениях — хотя он и говорит, что эти операции «не требуют мышления», они всё же изучаются и применяются мыслящим разумом. Однако, упоминая «цивилизацию» и завершая это великолепной риторикой, он, вероятно, действительно провоцирует такое (неправильное) толкование.
Проблема не в том, полезны ли в определенных ситуациях автоматизация мышления или даже внешнее выражение некоторых когнитивных процессов. Честно говоря, я считаю, что более убедительный аргумент можно построить, используя аналогию с физической активностью, а не с умственной. Я давно утратил те физические навыки, которые когда-то мог иметь, но уроки остались. Почти каждый молодой человек, только начинающий заниматься спортом, разочарованно обнаруживает: вам нужно потратить огромное количество времени — кажущегося чрезмерным и болезненным — на повторение базовых и монотонных упражнений. Воск, нанесение воска — те, кто смотрел «Мастера кунг-фу», поймут. Но именно то, что происходит на практике, — это динамика, описанная Уайтхедом: вы автоматизируете определенные физические движения, чтобы выполнять их без осознанных усилий. Только так вы сможете проявить какую-либо креативность или исключительное мастерство. То же самое верно и для танцев, и для изучения музыкальных инструментов. Автоматизация базовых действий — незаменимая основа для достижения совершенства.
Но распространяется ли эта динамика на все сферы человеческой деятельности? Существуют ли ситуации, при которых аутсорсинг определенных действий ослабляет, а не способствует более высокому благу, которого стремятся достичь? Или же «низкоуровневые» действия несут в себе некоторые блага, которые мы не хотим терять? Более того, всегда ли мы можем легко выделить определенные подпрограммы из заданного процесса или деятельности, как в математике? Существуют ли неразделимые целостные действия, которые разрушаются при попытке аутсорсинга или автоматизации любого из их элементов? И, как я уже упоминал ранее, разве нет различия между внутренней автоматизацией мышления и полной внешней децентрализацией или полным аутсорсингом когнитивного труда? Вернемся к аналогии с физической активностью: если спортсмен воображает, что машина выполняет всю его «мелкую» тренировку, позволяя ему сразу перейти к захватывающей части соревнований — на самом деле он никогда не достигнет этого уровня. Эти вопросы крайне важны, прежде чем мы безоговорочно принимаем обещания эффективности и освобождения, выдвигаемые во имя новых технологий.
Однако я испытываю недовольство по поводу этого часто цитируемого восхваления автоматизации познания Уайтхеда, возможно, потому что оно резко контрастирует с предупреждением Ханны Арендт: нам следует «думать о том, что мы делаем». Уайтхед писал на полвека раньше Арендт, и я не считаю, что Арендт имела в виду Уайтхеда. Просто эти два высказывания случайно образуют противопоставляющий отклик, и мне кажется полезным исследовать это напряжение.
«Следует привыкнуть думать о том, что вы делаете — это старая, но совершенно неверная истина.» — Уайтхед
Поэтому мое предложение очень простое: просто подумать о том, что мы делаем.» — Ханна Арендт
Интересно, что контекст, в котором звучит это предупреждение Арендт, ближе к нашему современному беспокойству по поводу технологий и человеческого существования. Эта фраза взята из предисловия к книге «Состояние человека», впервые опубликованной в 1958 году. Она объясняет:
То, что я собираюсь сделать далее, — это пересмотреть человеческое положение, исходя из нашего последнего опыта и недавних страхов. Это явно вопрос размышления, а неразмышление — безрассудная легкомысленность, отчаянное смешение или самодовольное повторение «истин», ставших тривиальными и пустыми, — на мой взгляд, является одной из самых заметных черт нашего времени. Поэтому мое предложение очень простое: просто подумать о том, что мы делаем.
Опыт, породивший исследования Арент, включают запуск искусственных спутников и приход автоматизации. Хотя до недавнего времени можно было считать, что её опасения по поводу влияния автоматизации на труд были ошибочными, теперь кажется, что её тревоги просто появились слишком рано.
Когда я размышляю о различиях между Уайтхедом и Арент в вопросе «нам нужно больше мышления или меньше мышления?», мне полезно различать, с одной стороны, создание набора бессознательных рутинных процедур для развития более высоких способностей, а с другой — подчинение бессознательным силам, которые нестабильно управляют вашим поведением и могут вызывать разрушения.
Есть ли у принципа Уайтхеда точка перелома или обратного поворота? «Прогресс цивилизации,» — сказал Уайтхед, — «заключается в расширении количества важных операций, которые мы можем выполнять, не задумываясь.» Но что, если существует порог? Превысив определенный порог — будь то по количеству или качеству — будет ли цивилизация деградировать из-за увеличения числа важных операций, выполняемых человеком без осознания? Или, по крайней мере, мы получим цивилизацию, совершенно отличающуюся от той, что нам известна? Мы, возможно, скоро узнаем ответ, поскольку внедрение ИИ часто означает автоматизацию нашего мышления и создание обширной сферы бессознательных действий, исходящих из внешнего хранения нашего индивидуального и коллективного опыта.
Арендт опасалась, что по мере того, как наши технологические возможности (в основном выраженные на математическом языке) превзойдут нашу способность понимать их на обычном языке, мы можем потерять способность «думать и говорить о том, что мы действительно делаем». (Это указывает на то, что проблема объяснимости существовала еще до появления крупных языковых моделей и так называемых «черных ящиков».) В отрывке, который сегодня вновь стал актуальным и насущным, она добавляет: «Это как будто наш мозг — физическое и материальное условие нашей мысли — не может поспевать за тем, что мы делаем, и нам теперь действительно потребуются искусственные машины, чтобы думать и говорить за нас». Это первостепенная политическая проблема. При таких условиях мы больше не будем самоуправляться ни в каком значимом смысле. Политика как сфера человеческого действия, основанная на речи, перестанет существовать.
В Рождество 1958 года, в тот же год, когда Арендт опубликовала «Человеческое условие», У. Х. Оден опубликовал «Детей пятницы», в котором были такие по-настоящему арендтовские стихи:
При наблюдении мы сталкиваемся с
Тот наблюдательный разум, который наблюдает за собой
Ни тревожное, ни холодное
а именно полное посредственность
Несмотря на инструменты, которыми оно управляет
Сделать желания и антижелания реальностью
Он явно не может понять
Он может четко сделать
Оден и Арендт были друзьями, и Оден написал положительный отзыв на «Состояние человека», но я не уверен в направлении влияния.
Хотя Арендт прямо объяснила, как мы пришли к состоянию, в котором мы ясно не можем понять то, что ясно можем сделать — то есть когда наши действия, усиленные технологиями, не могут быть полностью поняты нашим повседневным языком — существует и другой интересный подход.
Действия, которые язык не может проникнуть и, следовательно, сознательное мышление не может проникнуть, также можно объяснить через бессознательное. Я не тот, кто инстинктивно прибегает к языку бессознательного, но он может быть полезной аналогией, помогающей понять наши отношения — как индивидуальные, так и коллективные — с искусственными системами, которые все больше опосредуют наше восприятие мира.
Проще говоря, я могу представить два способа сравнить некоторые примеры потребительского ИИ с бессознательным. Первый относительно прямой: по мере того как мы все больше передаем задачи на личном, организационном и институциональном уровнях искусственным агентам, мы создаем в мире слой деятельности, функционально отделенный от человеческого сознательного суждения и контроля. И пока этот слой структурирован и формирует наш опыт, соотношение сознательных и бессознательных человеческих действий сокращается.
Очевидно, что по крайней мере с промышленной эпохи (если не раньше) в мире человеческой жизни функционировали относительно непрозрачные системы. Но, на мой взгляд, различие заключается в том, что эти системы были относительно изолированы от повседневной человеческой деятельности. В то время как системы искусственного интеллекта все глубже переплетаются с нашим опытом. Во многих случаях это не только внешние силы, воздействующие на нас, но и процессы, которые мы сами запускаем и освобождаем, которые действуют от нашего имени и обратно воздействуют на нас. Именно эта тесная переплетенность человека и машины наводит меня на мысль об аналогии с бессознательным.
Эрик Хёль недавно провел аналогичное рассуждение более изящно и подробно. Его вывод:
Традиционные опасности ИИ обычно воспринимаются как угроза выживанию, исходящая от сверхразума. Однако это может игнорировать реальную и более тонкую опасность: революция ИИ — это механизм, который переносит процессы нашей цивилизации из сферы сознательного контроля в сферу бессознательного. Но когда ИИ удаляет сознание из функционирования мира, он делает мир все более необъяснимым, все более чужим и труднопонятным. До сих пор «загрязнение общего пространства» подтвердило, что именно это является основным риском революции больших языковых моделей. Более того, по мере того как ИИ-системы становятся умнее, особенно если они остаются (или, скорее всего, остаются) бессознательными, возникает еще более серьезный риск — снижение значимости сознания в культуре.
Эта идея параллельна моим рассуждениям, которые я вел на протяжении десяти лет: цифровые технологии снова волшебным образом окутывают мир. То есть они делают мир таинственным и неуловимым.
Мы, эти предметы, наделённые техническим чаром, сталкиваемся с ними в значимом, не поддающемся игнорированию смысле, с которым нам необходимо иметь дело. Мы обращаемся к технологиям за помощью, возлагая на них свои надежды. Мы также боимся технологий, воспринимая их как источник проблем. Технические силы, с которыми мы сталкиваемся, иногда доброжелательны, но часто также являются враждебными силами, разрушающими наши усилия и сбивающими наши планы с курса.
Технические объекты не только обладают потенциалом усиливать нас, но иногда даже поражают нас своей мощью. Мы также воспринимаем эти объекты и силы как важные факторы, определяющие нашу удачу и неудачу, которые действуют вне нашего контроля и за пределами нашего понимания. Другими словами, мы уязвимы, и наша автономия ослаблена сетями распределенных технических агентов, пересекающимися с нашей волей и желаниями.
Второй способ сравнения ИИ с бессознательным может показаться несколько абстрактным, позвольте мне объяснить. В книге «Понимание медиа» Маршалл Маклюэн утверждал, что «с приходом электрических технологий человечество расширило себя или вынесло внешнюю модель своей центральной нервной системы». Он неоднократно возвращался к этой идее, что электрические медиа являются внешним выражением нашей нервной системы. Например:
One of the main features of the electrical age is that it established a global network with characteristics largely resembling our central nervous system. Our central nervous system is not merely an electrical network; it constitutes a single, unified field of experience.
Маклюэн не был первым, кто выдвинул такую идею. Еще в 1950 году католический священник и палеонтолог де Шарден утверждал, что медиатехнологии формируют «истинную нервную систему для человечества» и «тщательно выстроенное общее сознание». С помощью развивающейся сети вычислительных и коммуникационных технологий появляется новый уровень реальности, охватывающий биологический слой. Это — технологически опосредованный, единый уровень человеческого сознания, который он назвал «ноосферой» и описал как «удивительную мыслящую машину».
(Я признаю, что это не мой привычный способ выражения, но давайте немного поиграем с этими концепциями. На самом деле, я уже пытаюсь убедить вас, что взгляд на ИИ через призму психоанализа может быть полезным.)
Электрические медиа расширили наши способности воспринимать мир, принеся далекие события прямо к нашим глазам и ушам, сократив время передачи информации до почти мгновенного. Однако с эпохи де Шардена и Маклюэна появилось еще что-то: огромный рост искусственной памяти или способности к хранению данных. Таким образом, хотя электрические медиа расширили нашу нервную систему, в последнее время они также способствовали сбору и хранению беспрецедентно большого объема информации в виде текста, изображений, видео. Наша нервная система дополнена масштабной цифровой памятью. Именно эта цифровая память питает крупные языковые модели, которые сегодня стали почти синонимом искусственного интеллекта.
Эта огромная база человеческих знаний и культуры — это в основном интернет, или по крайней мере интернет — это способ, которым он стал для нас доступен. Именно по этой причине теоретик цифровых медиа Грегори Ульмер в начале 2000-х назвал интернет «протезом нашего коллективного бессознательного».
Я думаю, Ульмер имел в виду следующее. Мы всегда были социальными существами, то есть культурными субъектно-интерсубъективными существами. Но большая часть того, что формирует нас, особенно в детстве, со временем обычно исчезает из нашего сознательного восприятия. Однако интернет как протез этого бессознательного измерения в процессе формирования нашего социального существования делает нашу коллективную культурную память доступной. Интернет — это огромная сеть, состоящая из культурных артефактов, символов, изображений, текстов и всевозможных мелочей, которые формируют нашу жизнь, причем их связь осуществляется не линейной логикой, а почти сонной ассоциативной логикой, очень похожей на бессознательное человека в теории психоанализа.
Ульмер считает, что это предоставляет нам глубокую возможность. Путем превращения коллективного бессознательного в то, что мы можем осмысливать, в то, что становится доступным для сознательного мышления, мы получаем способ преодолеть глубокие слепые зоны, которые обычно составляют суть нашего опыта. Не нужно говорить, что я никогда не был слишком оптимистичен в отношении этой возможности. Но как бы вы ни оценивали оптимистичное видение Ульмера — я здесь сильно упростил, но надеюсь, не искажал — мне кажется, появление коммерциализированных чат-основанных ИИ действительно направляет нас в совершенно другом направлении.
Интересно, что вставка повседневного языкового интерфейса между нами и цифровым коллективным бессознательным делает его для нас еще более расплывчатым и непонятным. Интерфейс чат-ботов重构ирует нашу способность ориентироваться в коллективном бессознательном; можно сказать, он становится антитерапевтом, отводя нас от самопознания и прозрения (независимо от того, насколько они тревожны или удивительны) к комфортному и утешительному взаимодействию. Он предлагает ложную ясность, вовлекая нас в самоудовлетворение, защищая от самосомнений, от длительного пребывания в осознании собственного неведения или в тревожной неопределенности. Он скрывает запутанный лес человеческого опыта, освещая для нас искусственную, четкую дорогу к обещанию знаний и мудрости. Но таким образом он мягко, но решительно погружает нас обратно в бессознательное. Возможно, именно здесь коренится психоз ИИ.
Независимо от связи с психозом ИИ, стоит задуматься: наша общественная и коллективная безумность, апатия, навязчивость, агрессивность, тревога и отчаяние в некоторой степени возникают из-за постепенного отступления человеческого сознания перед новой формой коллективного бессознательного, которое восстанавливает себя в виде искусственного интеллекта.
Слои нечеловеческих действий в этом мире формировались задолго до появления агентных ИИ. Алгоритмические процессы уже строили элементы человеческого опыта, особенно в контексте бюрократических систем.
Я не уверен, когда и кто впервые установил концептуальную связь между электричеством, нервной системой и мышлением, но в своем романе 1851 года «Семиугольный дом» Натаниэль Хоторн писал: «Затем — электричество, дьявол, ангелы, мощная физическая сила, всепроникающий интеллект!» и: «Это правда — или я это приснил — что через электричество материальный мир превратился в огромный нерв, дрожащий на тысячи миль в мгновение ока? Более того, круглая Земля — это огромная голова, огромный мозг, наполненный интеллектом! Или, должно ли быть сказано, что она сама есть мысль, лишь мысль, больше не то существо, каким мы ее считали!»