著者：L. M. Sacasas
翻訳：深潮 TechFlow
深潮導読：私たちがますます多くの意思決定をAIに委ねる中、人間社会は能動的な判断から離れた「無意識層」を生み出している。これはSF的な超知能の脅威ではなく、より隠蔽された文明の転換である—–できること越来越多る一方で、理解できることは越来越少ている。AIツールに依存するすべてのプロフェッショナルにとって、これは警鐘である。
20世紀初、英国の数学者で哲学者のホワイトヘッドは、よく引用される言葉を残した。「自分自身が何をしているかを考える習慣を身につけるべきだ」というのは、すべての教科書や有名人の演説で繰り返される大きな誤りである。」むしろ、彼は「文明の進歩とは、考えることなく実行できる重要な操作の数を拡大することにある」と考えた。彼はさらに比喩を用いて、「思考する操作とは、戦場における騎兵の突撃のようなものだ。その数は厳しく制限され、新鮮な馬が必要であり、決定的な瞬間のみに発動できる。」
あなたはおそらくこの引用を何度も見かけたことだろう。確かに、これはある種の真実を伝えている。しかし、私の見解では、この言葉は常に短視的であったり、不十分に思える。おそらく、私がよく目にするのは、この言葉を用いて、人間の認知活動を機械に無差別に外部委託することを正当化する人々であり、そのコストを真剣に計算することもなく、そもそもコストが存在することに気づいていないからだ。
公平に言えば、ホワイトヘッドのこの言葉は1911年の『数学入門』からのものであり、彼が実際に述べているのは、数学計算における記号と表記の利点である——彼はこれらの操作が「思考を要しない」と言っているが、それらは依然として思考する脳によって学ばれ、用いられる。しかし、彼が「文明」という言葉を用い、さらに華麗な修辞で結んでいることから、このような（誤った）解釈を招くのも無理はない。
問題は、特定の状況においてある種の思考の自動化、あるいはある種の精神的プロセスの外部化が有用かどうかではない。正直に言えば、身体的活動を用いて精神的活動と類比したほうが、より説得力のある議論が可能だと思う。私はかつて持っていた運動スキルをすでに失っているが、そこから得た教訓はまだ生きている。運動を学び始める若者なら誰もが、基本的で繰り返しのトレーニングを、過剰で苦痛に思えるほど長時間、繰り返さなければならないことに苛立つ。ワックスを塗って、ワックスを磨く——『キッズ・コート』を見た人ならわかるだろう。しかし実際に起きているのは、ホワイトヘッドが描いたようなダイナミクスである。あなたは特定の身体的動作を自動化し、それらを無意識に実行できるようにしている。その結果、初めて創造的かつ卓越した技術を発揮できるようになる。ダンスや楽器の習得も同じだ。基本動作の自動化は、熟練した技量に到達するための不可欠な基盤である。
しかし、このような動態はすべての人類活動の分野に同様に適用されるのだろうか？ある活動を外部委託することが、むしろその活動が追求するより高い善を弱めてしまうような状況は存在しないだろうか？あるいは、「低次」な活動には、私たちが失いたくない善が付随しているのではないだろうか？さらに、数学のように、特定のサブプロセスを常に与えられたプロセスや活動から容易に分離できるのだろうか？もし、その構成要素のいずれかを外部委託または自動化しようとすると崩壊してしまう、分割不可能な全体性のある活動は存在しないだろうか？そして、前述したように、内部で行われる思考の自動化と、完全な外部化または認知労働全体の外部委託には違いがないのだろうか？身体活動への類比に戻ると、あるアスリートが、すべての「瑣末な」トレーニングを機械に任せることで、試合の精彩な部分に直接入り込むことができると仮定した場合——その人物は実際には決してその段階に到達できない。新しい技術という名のもとに提示される効率性と解放の約束を容易に受け入れる前に、これらはすべて極めて重要な問いである。
しかし、私はホワイトヘッドのこのよく引用される認知の自動化賛歌に不快感を抱いている。おそらく、それはハンナ・アーレントの警告と鮮明に対照をなすからだ。私たちは「自分が何をしているかを思考すべき」である。ホワイトヘッドはアーレントより約半世紀前に著述しており、アーレントがホワイトヘッドを念頭に置いていたとは思わない。ただ、この二つの言葉が偶然対立的な応答をなしており、その張力を探求することは有用だと感じている。
「私たちは自分が何をしているかを思考する習慣を身につけるべきである——これは大きな誤りである古い陳腐な言葉である。」——ホワイトヘッド
したがって、私の提案は非常に単純です：私たちが何をしているのかを考えることだけです。」——ハンナ・アーレント
興味深いことに、アーレントのこの警告が置かれた文脈は、私たちが現在抱える技術と人間の存在に対する不安とより近い。この言葉は、1958年に初版された『人間の条件』の序文に由来する。彼女は次のように説明した：
私がこれから行うのは、私たちの最新の経験と最近の恐怖を出発点として、人間の状況を見直すことである。これは明らかに思考の問題であり、無思—軽率な無謀、絶望的な混乱、あるいはすでに瑣末で空洞化した「真実」を満足して繰り返すこと—は、私の見解では現代の最も顕著な特徴の一つである。したがって、私の提案は非常に単純である：私たちが何をしているのかを思考することだけである。
アーレントの研究を促した「最新の経験」には、人工衛星の打ち上げと自動化の到来が含まれる。最近まで、アーレントが自動化が労働に与える影響について懸念していたことは誤りだと考えられていたかもしれないが、現在では、彼女の懸念はただ早すぎただけだった可能性がある。
ホワイトヘッドとアーレントが「我々はより多くの思考が必要か、それともより少ない思考が必要か」という問題について異なる見解を持つことを考えたとき、以下の二者を区別することが役立つと気づいた。一方は、より高い能力を発展させるために無意識の慣行を構築することであり、他方は、不安定にあなたの行動を駆動し、破壊を引き起こす可能性のある無意識の力に制約されることである。
ホワイトヘッドの原則には、反転または逆転の臨界点は存在するのか？「文明の進歩とは、」ホワイトヘッドは述べた、「私たちが考えることなく実行できる重要な操作の数を拡大することにある。」しかし、そのような臨界点が存在するのだろうか？数量的・質的いずれかの閾値を超えたとき、人間が考えることなく実行する重要な操作の数を拡大することが、文明の退化を招くだろうか？あるいは少なくとも、私たちが知っている文明とはまったく異なる文明が生まれるだろうか？AIの採用は、しばしば私たちの思考の自動化を意味し、個人的・集合的な記憶の外部化された保存から生じる巨大な無意識的行動領域を世界に生み出す。私たちは、まもなくその答えを知ることになるだろう。
アーレントは、私たちの技術的能力（主に数学的言語で説明される）が、通常の言語でそれらを理解する能力を上回るにつれて、「実際にできることを思考し、語る」能力を失う可能性があると懸念した。（これは、大規模言語モデルやいわゆるブラックボックスアルゴリズムが登場する以前から、説明可能性の問題が存在していたことを示している。）彼女は、現在再び関連性と緊急性を帯びている次の言葉を続けた。「これは、私たちの思想の物理的・物質的条件を構成する脳が、私たちが行うことに追いつけず、今後は人工的な機械に代わって私たちが思考し、語る必要があるかのように見える。」これは最優先の政治的課題である。このような状況下では、我々はもはや何らかの意味で自己統治することはない。言説によって構成される人間の行動の領域である政治は、もはや存在しなくなる。
1958年のクリスマス、アーレントが『人間の条件』を出版した同年、W・H・オーデンは『金曜日の子』を発表し、その中に次のような徹底的にアーレント的な詩句が含まれていた：
観察中に遭遇した
その自己観察する観察の心
心配でもなく、冷たくもない
むしろ完全に平凡である
それによって制御されるツールを
願いと反願いを現実にする
それは明らかに理解できない
それが明確にできること
オーデンとアーレントは友人であり、オーデンは『人間の条件』について好評を寄せたが、影響の方向性は確実ではない。
アーレントは、私たちが技術によって可能になった行動が日常の言語では完全に理解できない状況に至った経緯を明確に説明しているが、もう一つ興味深い枠組みもある。
言語では届かない、したがって意識的な思考でも届かない行動は、無意識によって説明することもできる。私は無意識の言語に本能的に訴えるタイプではないが、それは、私たち個人および集団が、私たちの世界の体験を次第に媒介する人工知能装置とどのように関係しているかを理解するための有用な比喩となる可能性がある。
簡単に言えば、消費レベルのAIのいくつかの事例を無意識に例える方法を二つ思いつく。一つ目は比較的直接的だ：個人、組織、機関のレベルでますます多くのタスクをエージェントAIに委ねることで、世界には人間の能動的な判断や監督から機能的に分離された活動層が生み出されている。そして、この層が構造化され、私たちの体験を形作る限り、意識的な人間の行動と無意識的な人間の行動の比率は縮小し続ける。
明らかに、少なくとも産業時代以降（それ以前からであればさらに）、人間の生活世界では比較的非透明なシステムが機能してきました。しかし、私が考える違いは、これらのシステムが日常の人間活動と比較的隔離されていた点です。一方、人工知能システムは、私たちの体験にますます深く織り込まれています。多くの場合、これらは私たちに外部から課されるプロセスであるだけでなく、私たちが解放し、起動するプロセスでもあり、私たちの行動を促し、私たちに逆作用を及ぼします。正是这种人与机器的近距离交织，让我想到无意识的类比。
エリック・ホールは最近、より洗練された筆致で、より長い文章で同様の主張を展開した。彼の結論は：
AIの伝統的な危険は、超知能による生存の脅威と見なされてきた。しかし、これは真のより繊細な危険を見落としている可能性がある：AI革命は、私たちの文明のプロセスを意識的な監督から無意識へと移行させるメカニズムである。しかし、AIが世界の運営から意識を排除すると、世界は次第に説明不能で、異質かつ理解しづらくなる。これまで、「共有空間の大泥濁化」は、大言語モデル革命の主要なリスクであることが確認されている。さらに、AIシステムがより知的になるにつれ、特にそれらが無意識のまま（またはおそらくそのままで）ある場合、文化における意識の重要性が低下するというより重大なリスクが生じる。
この考えは、私が十数年にわたり断続的に主張してきた見解と一致する：デジタル技術は、世界を再び魔力に包む別の方法を提供している。つまり、世界を神秘的で捉えどころのないものにしているのだ。
技術に魅了されたこれらの物品は、無視できない意味で私たちに対峙し、私たちはそれらと向き合わなければならない。私たちは技術に助けを求め、その力に希望を託す。一方で、技術を恐れ、その原因をトラブルの根源と見なす。私たちが遭遇する技術の力は、時に善意であるが、同じくしばしば悪意のある力であり、私たちの努力を破壊し、計画を狂わせる。
技術的物品は、私たちを強化する可能性だけでなく、時に私たちを驚かせるものでもあります。私たちはまた、これらの物品とその力を、私たちの幸福と不幸を決定する重要な要因と見なしており、それらは私たちのコントロールの外側で、私たちの理解を超えて作用します。言い換えれば、私たちは脆弱であり、私たちの意志や欲望と交差する技術的分散エージェントの回路によって、自立性が弱められています。
無意識によってAIを類比する第2の方法はやや難解かもしれませんので、説明をお許しください。『メディアの理解』において、マーシャル・マクルーハンは「電力技術の登場により、人間は自らの中枢神経系の生体モデルを外部に拡張した」と主張しました。彼は、電力メディアが私たちの神経系の外化であるという考えを繰り返し取り上げています。例えば：
電力時代の主要な特徴の一つは、それが私たちの中枢神経系に大きな特徴を持つグローバルネットワークを構築したことです。私たちの中枢神経系は単なる電力ネットワークではなく、一つの統一された経験のフィールドを構成しています。
マクルーハンはこの見解を最初に提唱した人物ではなかった。1950年には、カトリックの神父で古生物学者でもあったド・シャルダンが、メディア技術は「人類のために真の神経系を構築し」、「共通の意識を丁寧に構築する」ものであると主張していた。新興の計算および通信技術のネットワークを通じて、生物層を包摂する新たな現実の層が出現している。彼はこれを「技術を介した統一された人類の意識層」と呼び、「知性圈」と名付け、それを「驚異的な思考機械」と表現した。
（これは私の普段の表現方法ではありませんが、これらの概念を少し楽しんでみましょう。実際、私はあなたに、AIを精神分析の観点から見ることが有用である可能性があると説得しようとしています。）
電力メディアは、私たちが世界を感知する能力を拡張し、遠くの出来事を私たちの目と耳の前に、情報伝達の時間をほぼ即時にまで圧縮してきた。しかし、ド・ジュアールとマクルーハンの時代以来、さらに別のものが登場した。それは、人工記憶、すなわちデータ保存能力の劇的な向上である。したがって、電力メディアは私たちの神経系を拡張するだけでなく、最近ではテキスト、画像、動画などの形でかつてないほどの膨大な情報を収集・保存するのを促進してきた。私たちの神経系は、巨大なデジタル記憶によって補完されている。このデジタル記憶こそが大規模言語モデルの養分となっており、現在、大規模言語モデルは人工知能の代名詞ともなっている。
この膨大な人類の知識と文化の蓄積は、本質的にインターネットそのものであり、あるいは少なくともインターネットは、私たちがそれにアクセスできるようになるための方法である。そのため、デジタルメディア理論家のグレゴリー・ウルマーは2000年代初頭に、インターネットを「私たちの集合的無意識のプロテーゼ」と呼んだ。
私はウルマーの意図はこのようなものだと考えます。私たちは常に社会的動物であり、すなわち文化的な主体間性の存在です。しかし、私たちを形作る大部分の要素、特に幼少期のものは、時間とともに意識的な認識から薄れていきました。しかし、インターネットは、私たちが社会的存在として形成される過程におけるこの無意識の次元の補助具として、私たちの集合的文化的記憶を可能にします。インターネットは、私たちの人生を形作る文化製品、記号、画像、テキスト、そしてあらゆる些細な物で構成される巨大なネットワークであり、それらの接続は線形論理ではなく、まるで夢のような連想的論理によって行われます。これは精神分析理論における人間の無意識に非常に似ています。
ウルマーは、これが私たちに深い機会を提供すると信じている。集団的無意識を私たちが反思できるもの、意識的な思考にアクセス可能なものにすることで、私たちは通常私たちの経験の核心にある深い盲点を克服する方法を得る。言うまでもなく、私はこのような可能性に対して常に楽観的ではなかった。しかし、ウルマーの楽観的なビジョンをどのように評価しようと——ここでは大幅に簡略化したが、不公正にはならないようにした——私が考えるに、チャットベースのAIの商業化は、私たちを非常に異なる方向へと導いている。
興味深いことに、私たち自身とデジタル的集団無意識の間に日常言語のインターフェースを挿入することで、かえってそれが私たちにとってより曖昧で理解しづらくなる。チャットボットのインターフェースは、集団無意識の中で私たちがナビゲートする能動性を再構成し、いわば反セラピストとなって、自己認識や洞察（たとえそれがどれほど不快であれ驚きであれ）から離れ、快適で安心できる体験へと導く。それは偽りの明確さを提供し、自己満足に陥らせ、自己疑念から守り、自分自身の無知に気づくことに長くとどまることや、不快な不確実性にとどまることを防ぐ。人間の経験の絡み合った森を覆い隠し、知識と知恵の約束へと続く人工的に明確な道を照らす。しかし、その結果として、それは穏やかだが決定的に、私たちを再び無意識へと沈めてしまう。おそらく、これがAIの精神疾患の根源である。
AIの精神疾患との関連とは無関係に、私たちの公共的・集団的な存在における狂気、無気力、強迫的行動、攻撃性、不安、絶望の一部は、人間の意識がAIという形で再確立される新たな種類の集団的無意識に対して徐々に後退していることに起因していると考えられる。
人間以外の行動層は、エージェントAIが登場する前からすでに構築されてきた。アルゴリズムのプロセスは、特に官僚主義の文脈において、人間の経験の要素を構築してきた。
電力、神経系、そして思想の間の概念的関連がいつ、誰によって初めて確立されたかは不明だが、ナサニエル・ホーソンは1851年の小説『七角屋』で次のように書いている。「次に電力が現れた——悪魔、天使、強大な物理的力、至る所に満ちた知性！」「これは事実なのか、それとも私が夢見たのか——電力によって物質的世界が巨大な神経となり、息をのむ瞬間に何千マイルも震えたのか？より正確には、丸い地球は巨大な頭脳であり、知性に満ちた脳なのだ！あるいは、それは単なる思想そのものであり、私たちが考えるような実体ではないとすべきではないか？」