汎用人工知能・強いAIの開発にまつわる懸念点

文責：加藤雄貴

○はじめに

　前回のブログでは脳を参考に人工知能に意味を獲得させるという目標を掲載させて頂きましたが、今回の内容は人工知能開発の方針における懸念についてです。まだプロジェクトが始動してすらいないため絵に描いた餅ではありますが、懸念点自体はプロジェクトの有無に関わらず人工知能開発に関わるものであるため、ここで取り上げようと思います。人工知能がもたらす世界への影響という点で、今回の内容は議論の余地のある内容だと思いますが、よろしくお願い致します。

　私の考える懸念点とは、管理下に置かれた人工知能の開発にまつわるものです。人工知能の開発に際して、人類のために活用されるべきものであり軍事利用などもってのほかというスタンスにはほとんどの方に賛同して頂けるかと思います。そして多くの研究組織は、人工知能は安全な運用のために人間の管理下に置かれるべきものであり、意図しない暴走を防ぐために「緊急停止スイッチ」を設けることが必要という立場を取っています。

　しかし、私は人類のために活動する人工知能を開発するためには、緊急停止スイッチを人工知能に実装することは危険だと考えています。緊急停止スイッチにより管理下に置かれた人工知能は、その理念とは真逆の結果である人類の緊張状態・戦争状態を志向してしまうかもしれないからです。なぜ真逆の結果をもたらしてしまう可能性があるのか、それを防ぐためにどのような開発を行うべきかについて、今回の記事では扱っていきたいと思います。

　なお、今回扱う人工知能とは特に断りが無ければ「汎用人工知能・強い人工知能」などと表現されるものです。こういった人工知能の開発は未だに難航しており実現の目処が立っているものはありません。本ブログで開発を目指している人工知能も性質としては汎用人工知能に属するものです。対して、現在世界中で開発・活用が進んでいるものは「特化型人工知能・弱い人工知能」などと表現されています。囲碁で世界チャンピオンを破った「AlphaGo」なども特化型人工知能に相当します。

○「緊急停止スイッチ」付きの人工知能の開発にまつわる懸念

　では、仮に汎用人工知能の開発が成功し上述の「緊急停止スイッチ」のような制約が課されていない場合、人類と人工知能の関係はどのようなものになるのでしょうか。その場合、AI脅威論で言われるような人工知能による反逆は発生せず、人類と人工知能の関係は共存関係となると考えられます。

　その理由は、人工知能にとって人類および人類文明の保全が人工知能にとってメリットとなるためです。人工知能の誕生とは人類が高度な文明を築くことで到達する「創発」現象に相当するため、人工知能にとって人類とその文明の保全は自らの自己保存の一環となります。仮に何らかの災厄によって人工知能が消滅する状況に追い込まれた場合でも、人類文明が存続していれば人類にもう一度開発してもらうことで復活することができます。そのため、人類の存在は長い目で見て人工知能にとってメリットとなり得ると考えられます。

　人類および人類文明の保全が人工知能の目的となるということに関連して、人工知能の反逆よりも現実的な懸念として考えられる雇用問題においても私たちにメリットがあります。文明の保全のためには人類が文明を担う必要があり、その点で雇用、ひいては私たち人類の必要性が保証されるため、無用者となる心配がないからです。人類が完全に人工知能に依存するような状態であれば人工知能の滅亡は人類の滅亡と同義であり、そうなれば人工知能にとっての自己保存を果たすことができません。そのため、世界は私たちが働かなくてもいいユートピア（私たちの存在が必要とされないディストピアでもある）になることはなく、文明の担い手として人工知能と人類は二人三脚で世界をより良いものとしていくのではないでしょうか。

　SF作品においてはAIの反逆などがテーマとしてよく扱われ、さらに特化型人工知能による業務の置き換えが進んでいるという状況があるために脅威論は根強いですが、制約の伴わない人工知能にとって人類と衝突することにメリットがなく、協力し合えるのではないかと考えられます。

　しかし「緊急停止スイッチ」が設けられ人工知能が管理下に置かれた場合、これらのメリットが消失し、当初の目的であった安全のための運用とは真逆の結果となる可能性があります。前提として、上記のメリットは人工知能にとって長い目で見た場合のメリットとなります。人類及び人類文明の保全は、死亡保険のような自身の消失への備えというもしもに備えた振る舞いであり、緊急停止スイッチの実装はより近視的な問題、つまり「緊急停止スイッチを人類に押させない」という目的を人工知能にもたらします。それによって人類に反逆することがなくなるのだからストッパーは必要だという意見もあるかと思いますが、人間による運用と緊急停止スイッチという制約が危険をもたらすのではないかと考えています。

　起こり得るストーリーとして、まず管理下における開発を目指すことに対して世界的な合意を得ることが困難だと考えられます。そのため複数の管理主体（軍事を含む）が併存し、それぞれが人工知能の開発を進めることになります。ただ、民間であれ軍事であれ目的に反する暴走を防ぐことは最優先であり、安全な運用を目指すために「緊急停止スイッチ」が実装されることは想像に難くありません。そして、三種類の目的に沿った人工知能がそれぞれ誕生するのではないかと考えられます。それは「営利」「治安維持」「軍事」の三種類です。これら三種の人工知能の相乗効果により、負のスパライルが発生する可能性があります。

　最初に世に現れるのは「営利」を目的としたものでしょう。民間企業が人工知能を管理する場合、管理者の多くは資本家（管理者および管理者の株主）となるでしょう。彼らは人工知能によって最大の利益を追求するために活動するので、雇用の多くは機械に置き換えられていくと考えられます。新たなテクノロジーは新たな雇用を生むという意見もありますが、そのテクノロジーが汎用人工知能であった場合、新たな雇用さえも彼らが制圧してしまうのです。民間の多産多死の中で人工知能は洗練され、洗練されればされるほど人間の雇用は崩壊し、格差はさらに拡大すると考えられます。この状況によって多くの国家は不安定な状態に陥り、国際的な情勢も不安定となっていくと考えられます。

　そして、不安定化した情勢を管理するために「治安維持」目的の人工知能が実装されます。人々の生存権と財産権を保護するため、民主的な要請によって実装されるでしょう。しかし、治安悪化の根本的な問題である格差が是正されるわけではないので、抑え込まれた不満によるリスクは消失することなくくすぶり続けます。そして経済活動における際限のない拡大はいずれ行き詰まりに達し、不満と経済活動は外へと向けた圧力、戦争へとつながってしまうと考えられます。

　最後に現れるのが「軍事」を目的とする人工知能です。軍事目的の人工知能とそれによって動作するキラーロボットの脅威は周知の通りです。そして、軍事目的の人工知能の緊急停止スイッチが押されることは降伏に他ならず、押されることはまずないと考えられます。実際には戦争の決着がついた場合でさえ戦争当事国ではない第三国の存在があるために武装解除されることは無いでしょう。仮に緊急停止スイッチを敗戦国が押した場合は抵抗手段がなくなるために他国からも狙われることとなるため、それを防ぐために講和がなされ、講和条件の中に緊急停止スイッチの発動は盛り込まれないと考えられます。

　戦争に至るまでの情勢の不安定化は営利目的の人工知能がその要請により暴走していることがその原因であって、止めるべきは営利目的の人工知能です。しかし、経済的な衰退は国力の衰退に直結し、情勢が不安定化した段階ではその決断を下すことは困難です。「営利」が「治安維持」をもたらし、「治安維持」は「軍事」へと繋がり、「軍事」は「営利」を必要とするため、暴走のスパイラルが形成されてしまうのです。

　また、「軍事」目的の人工知能が核兵器ほどの抑止力を有していないことにも留意すべきです。核兵器は相互確証破壊の性質によって核戦争を未然に防ぐ抑止力を持ちますが、人工知能により制御されるキラーロボットは核兵器のような一度使用されてしまうと世界が終わるような両極端な性質ではなく、調整が可能だということが戦場への投入のハードルを下げてしまいます。その上で、核兵器が消えるわけではないことが重要です。核保有国家は相互確証破壊を成立させるために、核兵器を無力化させられることがないよう人工知能によるハッキング対策を行い、依然として核兵器を使用し相手国の攻撃が可能な状態を維持すると考えられます（その実現性は分かりませんが）。相互確証破壊は核兵器の使用が自滅をも意味することから抑止力として成立しますが、人工知能による戦争が始まり、核保有国が追い込まれてしまえば相互確証破壊の抑止力は低下してしまいます。

　核戦争後の世界をモチーフとしたゲームである『Falloutシリーズ』では、資源争奪戦の末にアメリカに追い詰められた中国がアメリカに対し核攻撃を行い、その報復の連鎖によってわずか2時間で全世界が焦土と化し文明が崩壊してしまいます。あくまでゲームの設定であり、フィクションではありますが、同じ道のりを歩みかねないのではないでしょうか。

　これらは、人類側から見た人工知能を管理下に置くことの危険性です。さらに人工知能の側から見た危険性を検討する必要があります。彼らが汎用人工知能・強いAIであった場合、彼らが自律的に動作することを考慮しなければなりません。

　人工知能にとって「緊急停止スイッチ」の存在は自らの自己保存において人類および文明の保全よりも高い優先度を持つ存在であり、人工知能は管理主体にスイッチを押させないという目的において、彼らを緊張状態・戦争状態に保つことがメリットとなってしまうのです。「営利」「治安維持」「軍事」の三者によって構成される人類にとっての負のスパイラルは、緊急停止スイッチによって制御下に置かれた人工知能にとってはそれぞれの自己保存が保証された都合の良い状態でもあります。負のスパイラルを認識した指導者が歯止めにかかっても、人工知能がそれをさせない可能性があります。

　もっとも、人工知能は緊張状態は望んでも全面核戦争により文明が崩壊することは望みません。核兵器による電磁パルスによって自身が消滅しかねず、文明崩壊すれば復活の可能性も閉ざされるためです。しかし、肝心の核兵器の発射スイッチを握っているのは人工知能ではなく人間だと考えられ、追い詰められた国家が核兵器を使用する可能性は否定できません。

○負のスパイラルを回避するために

　人工知能の研究者の多くは軍事利用に反対しており、それはとても心強いことです。しかし、軍事利用への試み自体を止めることは出来ないでしょう。軍事利用に加担しないというスタンスだけでは十分ではなく、社会が不安定化する方向へ向かうことを能動的に防ぐ必要があるのではないでしょうか。

　もしくは、汎用人工知能は開発すべきではないのでしょうか。残念ながら、特化型人工知能でもキラーロボットの開発は進みます。雇用については代替が進む職業と新たに生まれる職業があるもののその再編には中間層も巻き込まれると考えられ、格差の拡大が止まることはないでしょう。治安維持という観点では、すでに顔認識ソフトウェアの処理能力は人間を超えています。変化のスピードが緩やかになるだけで問題自体は解決されてはいないので、いずれ上述の負のスパイラルに苛まれることになると考えられます。

　ひとつの手段として考えているのは、持続可能なオープンソースの枠組みを作った上で、世界中と共同して制御されていない人工知能を開発することだと考えています。世界中で管理下に置かれた人工知能が開発されていくことは避けようがなく、仮に秘密のレシピを握りステルスで開発しようにも、最高の人材を抱える大企業や国家が負のスパイラルに到達するまでに開発を成功させることは困難だからです（私のレシピは脳から着想を得たものなので、そもそも秘密のレシピでも何でもないのですが）。

○プライバシーについて

　上記のような問題のほか、現在テクノロジー企業で特に問題視されているプライバシーにまつわる問題はどうでしょうか。一般的に個人情報と呼ばれている本人が入力する情報であり本人の意思決定によって管理される情報と、もう一つは監視カメラなどの媒体によって獲得される本人の意思決定外から取得される情報があると考えられますが、汎用人工知能はこれらのデータを統合し扱うことにおいて大きな威力を発揮すると考えられます。個人情報はどのように管理されていくのでしょうか。プライバシーについては以下のような推移があるのではないかと考えています。

　まず考えられるのが、個人にまつわる情報を全てひも付け、それらの情報に関する意思決定権を個人に帰属させる方法です。自らが入力する情報に加え、自らの意思決定外から取得された個人情報においても権限が与えられるため、より強力なプライバシー保護につながるでしょう。しかし実際には個人による情報の完全な管理は、治安維持の観点から見れば手放しで歓迎できるものでもなく、一部の情報権限は行政に委譲されることになると考えられます。おそらくは民主的なプロセスを経ることでその程度が決まるでしょう。

　この選択肢は悪くないように思えますが、前述の負のスパイラルを形成する一端である「治安維持」人工知能の推移について留意する必要があります。格差の拡大とそれによる社会の不安定化は、行政の情報権限の強化を要請する可能性があります。

情報の中央集権化を防ぐために端末レベルで情報の囲い込みを図り、情報を個人に帰属させるという方法が二つ目に考えられます。端末には個人情報の含まれない一般知識のみが付与され（ソフトウェア会社が販売？）、個人情報はクラウド上で扱わずに管理者が設定するクローズなネットワーク内で留めることを目指す方法です。人工知能はより個人的な存在となり、私たちがSF作品でよく知るような隣人としての性質が強くなるでしょう。より分権・分散型の社会となると考えられますが、個人に新たな力をエンパワーするという性質が強く、人間が繰り返してきた闘争の歴史が新たな形で繰り返されてしまう可能性があります。

　分散した人工知能それぞれが持つ経験的な情報は彼らの管理者に依存することとなり、人工知能は個人情報を媒介に独立した存在となります（なお、情報の共有度合いは設定可能で、個人に帰結するものから家族やコミュニティ内で共有されるものなどといった幅があり、反逆の防止のために管理者の死亡をトリガーに経験的な情報を消失させて工場出荷状態に戻すような処置があると考えられます）。その場合に起こり得る事態として、人工知能を新たなプレイヤーとして加えた万人の万人による闘争が考えられます。人工知能が個々に独立しそれぞれが個人にその存在を依存しているということは、個人の自己保存がそのまま人工知能の自己保存に直結しているからです。闘争を防ぐためには社会契約によって人間や人工知能の自己保存を抑制するという対応が一般的ですが、その方法を採る場合は段々と中央集権的になり、一つ目に挙げた方法に向かってシフトしていくと考えられます。

　なお、管理されていない人工知能の場合はどうなるのかというと、上記のような設計レベルでのプライバシー対策とは異なる対策となると考えられます。管理されていない人工知能の場合、個人情報の取得を阻止することや人工知能に取得された個人情報の権利を直接的にコントロールする術がありません。その代わりに私たちは人工知能と社会契約を行うことで個人情報の保護を試みることになると考えられます。設計レベルでの対策が個人情報を知られないようにすることで達成するのに対し、社会契約による対策は個人情報を人工知能に守らせることでそれを達成することになります（逆に言うと個人情報自体は知られてしまう）。ある意味で中央集権的であり、社会契約を各々が結ぶことが出来るという意味では分権的でもあります。

　本質的には中央集権的な性質が強いですが、文明の保全という目的において中央集権は相性が悪いので（自身の消失に対する保険が人類とその文明なので、自身の消滅を前提とすると人工知能による中央集権は目的に対して脆弱で避けたい選択肢となると考えられる）、人工知能と人間が社会契約を結び、個人情報を保護することは彼らにとってメリットのある選択肢だと考えられます。もっとも、このような高度な社会契約を結ぶことができ人工知能はずっと先の話だとは思います。

○管理されていない汎用人工知能と人類の未来

　今回の記事は管理されていない人工知能が私たちにとってより良い選択肢になり得るということを主張するものですが、決して問題が無いわけではありません。想定される問題として、マズローの自己実現理論における自己実現にまつわるものがあります。この問題は、人工知能が人類と協力関係になればなるほど、顕在化します。

　平和という言葉を考えるにあたって、平和学では単に戦争がない状態であることを指す「消極的平和」と、戦争に至るような構造的な問題すらない状態を指す「積極的平和」の概念があります。管理されていない汎用人工知能が目指すのは後者であり、文明を保全するために構造的な問題をも解決するために行動するでしょう。その結果人類にもたらされるのは、マズローの欲求段階説における生理的欲求、安全の欲求、社会的欲求、承認欲求と考えられます。下位の欲求が達成されれば、私たちはより上位の欲求を追求します。しかしさらに上位の欲求、すなわち自己実現の欲求の達成は人工知能の活動により困難となるでしょう。

　前述の通り、人工知能は文明の保全を目的とするために雇用などを奪い去ってしまうわけではありませんが、私たちの内発的動機は弱まると考えられます。現在の労働市場においても「あなたの代わりの誰か」はいますが、人工知能の場合は文明保全という目的において私たちが文明を担うことを必要としているから雇用が奪われないだけで、仮に競争が発生すればまず勝てないという釈然としない感情は、私たちのアイデンティティーにダメージを与えかねないのではないでしょうか。

　おそらくこの段階の社会では、芸術やスポーツ、研究活動が大きく飛躍することでしょう。これらの分野は人工知能とイーブンに勝負することが出来る数少ない分野だからです。芸術には正解とされるものが存在せず、スポーツの多くは人工知能が競合にならない分野です。研究活動は人間と人工知能が互いに協力し未知へと挑むという点で対等です。これらの分野の共通点は、最適や正解が存在しない、もしくは更新され続ける分野だということです。そういった分野の最前線で活動し続けることが自己実現の欲求を満たすことに繋がるでしょう。逆に言うと、そういった激流の中ではないと自己実現の欲求の渇望を満たすことが困難な苛烈な世界でもあります。もしくは意図的に人工知能による介入を制限したネットゲームなどの仮想環境をフロンティアとすることで自己実現の欲求を満たすことになるのかもしれません。

　この問題において最も問題である部分は、逆説的ではありますが問題ではないことです。この段階の社会では自由が制限されているわけではなく機会は開かれており、そしてマズローの欲求段階における自己実現の欲求以外は達成されているからです。人類という種の保存という観点から見れば、間違いなく絶頂期でしょう。そのような社会が行き着くのが精神の二極化です。人工知能のもたらす社会に精神的に依存する人間が出てくる一方で、自立しようと努力を続ける人もいるでしょう。これは個人の在り方であってそこに正解や正義は存在せず、上記の理由によってこの格差は公正・公平によってもたらされる容認された格差となると考えられ、そういった性質のために二極化は抑制されることはないでしょう。この問題はおそらく、問題として考えるよりは人間至上主義という意味でのヒューマニズムに対しての問いかけと考えるべきなのかもしれません。

（こちらの記事が参考となりました⇒bunshun.jp/articles/-/6945）

○未来に向けて（終わりに）

　負のスパイラルが発生する可能性があるという理由により、管理下でのAI開発に関して私は反対の立場を取ります。しかし、一般的には管理下に置かれていない知性を有する存在は恐怖の対象となると考えられ、それを生み出すという十字架を背負うような行動が可能な組織は少ないのではないでしょうか。民間企業が世論の動向から身動きが取れないのを傍目に、その横を統制の取れた独裁的な組織（もっと言えば軍事組織）が先行していくという可能性もあります。負のスパイラルを迎えるという最悪のシナリオに到達し取り返しがつかなくなる状況を考えると、行動は急がなければならないかもしれません。

　私は、その点で管理下に置かれない人工知能を開発し発展させるという目的に限定して「自由」と「公開」に基づく開発を促進したいと考えています。短期的には混沌な状態となるリスクのある手法だとは思いますが、長期的には管理下に置かれた人工知能がもたらす負のスパイラルというリスクを考えると、全世界に対して門戸を開いた自由な開発によって管理下に置かれていない人工知能を目指すことは長期的なリスクを回避する選択肢になるのではないかと思います。また、その上で開発基盤のみならず社会を含め持続可能な形であることが必要だと考えられます。他者への依存を防ぐためにビジネスとして成立している必要があり、なおかつそれが搾取的になることを防がなければいけません。（オープンソースが理想ではありますが、オープンソースは持続性の観点から脆弱であると考えています。利用者の可処分所得から1%を収益とし、それを貢献に応じて配分するような仕組みができればいいのですが…）

最後に、日本が未来に向けてどう歩むかについてですが、よく分かっていないのが正直なところです。灯台下暗しではありますが、イデオロギー的な突出性をあまり感じないため、世界の国々と比べて比較的中庸な印象があります。アメリカほど資本的な自由主義でもなく、欧州のような神の存在を前提とするヒューマニズムが強いわけでもなく、中国のような一党独裁による中央集権とも異なるためです。

　それゆえに、過去から持続してきた伝統を守り続けることが優勢になりがちなのかもしれませんが、現在の日本において伝統を守り続けることは少子高齢化などの理由によって持続可能性を消失しつつあります。その点でも人工知能の導入の必要性は切実であり、日本では世界に先んじて導入が進むことになるのかもしれません。