文・構成：K.Kato x Claude
はじめに：二つの警告
2024年、AIの父と呼ばれるジェフリー・ヒントンがノーベル物理学賞を受賞した。しかし彼は、自らが育てた技術の危険性を警告するために前年にGoogleを退職していた。「人類にとって実存的な脅威となる確率は10〜20%」——その言葉は重い。
同じ年、東京大学の池上高志は映画『オッペンハイマー』を観て衝撃を受けたとXに投稿した。1989年にロスアラモス国立研究所に滞在した経験を持つ池上にとって、科学の頂点が原爆開発に結びついた歴史は他人事ではなかった。そして彼は、現在のAI研究が当時のマンハッタン計画と「状況が似ている」と語る。
二人の科学者の警告。しかしその本質は、果たして「技術の危険性」なのだろうか。
AIは制御できないのか、それとも
ヒントンの警告の核心は、超知能による「制御不能なリスク」である。人間の知性を上回るAIが出現したとき、私たちはその内部状態や意思決定を把握できなくなる——彼はそう懸念する。だからこそ、最先端モデルの規制・監督の強化、安全研究の拡充、開発の一時停止やモラトリアム、国際協調を訴える。
一見、合理的な主張に思える。しかし、ここには根本的な問いが隠されている。
AIは技術的に制御できないのか、それとも、AIを制御できない状況に人類自身が追い込まれているのか。
OpenAIは当初「安全なAGI開発」を掲げて非営利組織として始まった。しかし2019年、Microsoftから巨額の投資を受け、事実上の営利企業となった。2023年11月、サム・アルトマンの解任騒動は、利益追求と安全性のどちらを優先するかという対立を露呈させた。結局、アルトマンは復帰し、企業は加速の道を選んだ。
なぜか。答えは単純だ——競争に勝つためである。
「他社より先に」「他国より先に」というレースにおいて、立ち止まることは敗北を意味する。Google、Meta、Anthropic、中国のBaidu——誰もが同じ論理の中を走っている。安全性を優先すれば、競合に市場を奪われる。株主は短期的な成果を求める。四半期決算が研究の方向を決める。
池上が指摘する通り、潤沢な資金を持つアメリカが科学技術を牽引してきたのは事実であり、国力と科学技術は切り離せない。しかしそれは同時に、科学が資本と権力の論理に従属してきたことをも意味する。
オッペンハイマーの系譜
歴史は繰り返す。
1930〜40年代、物理学の最も華やかな時代、その頂点に位置した科学者たちがマンハッタン計画に集結した。オッペンハイマー、ファインマン、アインシュタイン——彼らは原爆を作った。そして戦後、オッペンハイマーは核兵器の危険性を訴え、政治的に追放された。
科学者個人の倫理ではどうにもならない。国家権力と軍事的必要性が科学を飲み込む。「作れるから作る」「作らなければ敵が作る」——この論理の前で、科学者の良心は無力だった。
ヒントンもまた、この系譜に連なる。彼がGoogleを辞めたのは、企業競争が安全性研究を後回しにさせることへの警告だった。しかし彼の警告もまた、オッペンハイマーと同様、時すでに遅しかもしれない。技術は既に解き放たれ、誰も止められない競争が始まっている。
池上は言う。「フォン・ノイマンのように積極的に軍事研究を進めた研究者もいる。本人の気質によるものでしょう」と。しかしそれは本当に個人の問題なのか。むしろ、資本主義と国家競争という構造が、科学者を特定の選択へと追い込んでいるのではないか。
日本の敗北——甘利俊一という忘れられた先駆者
池上の証言は示唆に富む。
1960〜70年代、東京大学の甘利俊一はニューラルネットワークモデルを考案していた。ホップフィールドやヒントンより10年以上早く。しかし当時はAI研究の冬の時代であり、コンピュータの性能も低く、彼の研究は注目されなかった。2024年、ノーベル物理学賞はホップフィールドとヒントンに授与された。池上は言う。「やはり甘利さんが受賞してもよかったんじゃないかな」と。
発見が早すぎた——これは悲劇である。しかしそれ以上に、日本の基礎研究を取り巻く環境の貧困が問題だ。
池上によれば、日本は「あまりにも貧乏になってしまった」。アメリカに倣ってプロジェクト単位の競争的資金制度を導入してから、ダメになった。予算規模が違いすぎる。かつては分野横断的な交流があり、自由な研究風土があったが、今は完全に縦割りになった。革新的な研究が生まれにくい。
1980〜90年代、日本政府は莫大な予算を投じて第五世代コンピュータの開発を進めた。結果は大失敗だった。日本のAI研究は一度死にかけた。
この歴史が示すのは、短期的な成果主義と競争原理が、基礎研究を殺すということだ。そしてこれは日本だけの問題ではない。ヒントンでさえ「一時期は冷や飯を食っていた」のだ。研究には浮き沈みの波がある——しかし資本の論理は、その波を待つことを許さない。
生命論的転回——ノイズこそが創造する
ここで視点を転換しよう。池上高志の思想は、ヒントンとは全く異なる次元からAIと知性を捉え直す。
池上は物理学者として出発しながら、人工生命(ALIFE)研究へと進んだ。彼が問い続けてきたのは「生命とは何か」という根源的な問いである。そして彼が辿り着いたのは、生命を構造ではなく動的な関係性やノイズの生成から捉えるという視座だった。
1980年代、池上はロスアラモスのCNLS(非線形科学センター)で、金子邦彦、クリストファー・ラングトン、ウォルター・フォンタナ、ドアン・ファーマーといった複雑系科学・人工生命研究の先駆者たちと出会った。そこで彼は「ホメオカオス」の理論を考えた——生物ネットワークにおける多様性維持のメカニズムである。
そして現在、池上が注目するのは「バイオロジカルノイズ」である。
遺伝子発現にはゆらぎがある。同じ遺伝子から発現しても、様々な表現型が現れる。単細胞生物でさえ、ノイズによって役割分化が起こる。ゾウリムシも大腸菌も、集団で飼うとノイズが生まれて自己組織化する。
ノイズが個体差を生み、多様性を生み、進化を可能にする。
池上は言う。「かつて分子生物学につまらなさを感じたのとは違って、いまや生物学のほうがよほど複雑系的な考え方をしている」と。
制御という幻想
ここに、根本的な対立がある。
ヒントン(工学的AI観)
- AIを「制御すべき技術」として見る
- 超知能による実存リスクを懸念
- 規制・ガバナンスによる安全確保
池上(生命論的AI観)
- AIや知性を「創発する動的システム」として見る
- ノイズ、ゆらぎ、自己組織化といった制御不能性こそが生命性
- 完全な制御自体が生命的でない
もしAGIが本当に「知的」であるならば、ある程度の予測不能性は不可避ではないか。完全に予測可能で制御可能なシステムは「生きていない」。生命は本質的にノイズとゆらぎから秩序を生む。
エコシステムにおいて、ノイズこそが意味を持つ。カオスの縁(Edge of Chaos)——完全な秩序でも完全な無秩序でもない、その境界領域で最も豊かな現象が生まれる。次のMOVEMENTは、予測不能なゆらぎから突然現れる。
完璧な秩序は停滞する。
真の問題——欲望の制御不能性
しかし、だからといって「AIに制御不能性があってもいい」という単純な結論には至らない。
本質的な問いはこうだ——制御不能なのはAIなのか、それとも人間の欲望なのか。
ヒントンが警告するのは、実は技術の危険性ではない。彼が本当に警告しているのは、利益動機だけに任せてはいけないということだ。つまり、資本主義の暴走への警告である。
オッペンハイマーが直面したのも、科学者個人の倫理の問題ではなかった。国家権力と軍事的必要性——つまり、権力の論理が科学を飲み込んだのだ。
AGIにおいても同じ構造が繰り返されている。
- OpenAIの変質——非営利から営利へ
- Google、Meta、Anthropicの競争
- アメリカと中国の覇権争い
- 短期的利益を求める株主の圧力
- 四半期決算が決める研究の方向性
問題はAIが制御できないことではない。AIを制御できない状況に追い込む、人類の欲望と競争の論理こそが問題なのだ。
資本主義の加速主義は、立ち止まることを許さない。「速さ」が価値となり、「持続可能性」は二の次にされる。成長至上主義の前では、安全性は常に後回しになる。
これは技術の問題ではなく、社会システムの病理である。
ノイズと欲望——二つの制御不能性
ここで、二つの「制御不能性」を区別する必要がある。
生命的なノイズ
- 多様性を生み、システムを豊かにする
- 創造性の源泉
- 予測不能だが、破壊的ではない
- 進化と適応を可能にする
破壊的なカオス
- システム自体を崩壊させる
- 暴走する欲望によって生み出される
- 競争の論理が生む過剰な加速
- 制御を失った権力と資本
前者は肯定すべきであり、後者は警戒すべきである。
池上の生命論は前者を指し、ヒントンの警告は後者を指している。そしてこの二つは、しばしば混同される。
共進化という可能性
では、どうすればいいのか。
「制御」という発想自体を疑う必要がある。完全な制御は不可能であり、またそれは望ましくもない。むしろ必要なのは「共進化」という発想ではないか。
生態系において、種は互いに影響を与え合いながら共進化する。捕食者と被食者、植物と昆虫、菌類と樹木——制御する者とされる者という関係ではなく、相互作用の中で共に変化していく。
AIと人間の関係も同様であるべきかもしれない。
- 単体のAIを制御しようとするのではなく
- 複数のAI、人間、環境が相互作用する系全体として捉える
- そこでのノイズ、摩擦、予期せぬ相互作用を排除するのではなく
- それらから新しい知性、新しい文化、新しい可能性を生み出す
ただしそのためには、暴走する欲望を制御する社会システムが必要だ。
構造的変革の必要性
結局のところ、AI危険論の多くは「人間社会の病理」を映し出しているに過ぎない。
必要なのは：
短期的には
- 国際協調による規制の枠組み(EUのAI規制法など)
- 企業の利益動機だけに任せない外部監督
- 安全性研究への十分な資金配分
- 基礎研究の自由と多様性の確保
長期的には
- 成長至上主義からの脱却
- 「速さ」ではなく「持続可能性」を価値とする文化
- 競争ではなく協調を基盤とする社会システム
- 欲望ではなく好奇心で動く科学の復権
しかしこれは、資本主義そのものの変革を意味する。
池上の嘆き、ヒントンの警告
池上高志の「日本の基礎研究の貧困」という嘆きと、ジェフリー・ヒントンの「AI危険性」の警告は、根を同じくしている。
どちらも、資本と権力の論理が科学を飲み込むことへの警告なのだ。
池上は、短期的な成果を求める競争的資金主義が創造性を殺すと言う。
ヒントンは、企業競争が安全性を後回しにすると言う。
甘利俊一の先駆的研究が評価されなかったのも、
第五世代コンピュータが失敗したのも、
オッペンハイマーが原爨を作らざるを得なかったのも、
OpenAIが変質したのも、
すべて同じ構造の中で起きている。
結び——問われているのは人類自身
AGIは出現するだろうか。おそらく、する。
それは危険だろうか。おそらく、危険だ。
しかし問題の本質は、技術の危険性ではない。
問われているのは、私たち人類自身である。
- 競争の論理から協調の論理へと転換できるか
- 短期的利益から長期的持続可能性へと価値観を変えられるか
- 成長の加速から、立ち止まって考える勇気を持てるか
- 完全な制御という幻想から、共進化という知恵へと移行できるか
ノイズは排除すべき敵ではない。それは創造性の源泉だ。しかし暴走する欲望は制御しなければならない。
生命は、ノイズとゆらぎの中で秩序を生み出してきた。カオスの縁で、予測不能な創発が起きてきた。次のMOVEMENTは、私たちが想像もしなかった形で現れるだろう。
問題は、その時、私たち人類が欲望の奴隷として破滅へ向かうのか、それとも生命的な知恵を持って共進化の道を選ぶのか——それだけである。
ヒントンの警告と池上の探究心は、対立するものではない。どちらも、科学者として誠実に、人類の未来を憂いている。
そして彼らが私たちに突きつけているのは、技術の問題ではなく、生き方の問題なのだ。
「研究の倫理について考えることは、研究者として非常に難しい。当然、倫理を踏まえるべきだが、AIの原理を突きつめて、その可能性を見極めたいという欲求を止めることはできない」——池上高志
「AIは巨大な利益ももたらすが、産業界の利害だけに委ねるのは不十分で、外部のチェックとルールが必要だ」——ジェフリー・ヒントン
二人の科学者の言葉は、時代を超えて響く。私たちは、その声に耳を傾けなければならない。