先週末をにぎわせた話題の一つが、OpenAIのCEO解任だった*1。アルトマンCEO解任の背景、CEOとOpenAI取締役会の間の事情は分からないが、ビジネス上の方向性対立のようなものが報道されている。端的には、
- ビジネス拡大の積極論
- 倫理重視の慎重論
アルトマンCEOは前者、そして取締役会メンバーであり主席研究者のイリヤ・スツケヴァー氏が後者だ。
11月2日に、The GuardianがYouTubeにて、イリヤ・スツケヴァー氏のインタビュー動画を公開している。このインタビュー発言が、今回の解任劇と関係しているのかは分からないが、慎重論の背景にある彼のアイデアが垣間見える内容だった。
大変興味深い内容だったので、YouTube動画のTranscriptを日本語訳してみた。訳が気に入らなければ、各自でDeepLなり、ChatGPTで翻訳や要約を依頼すればよいと思う。
端的なポイント
- AGIの特性
- 複雑すぎて仕組みを正確に理解できない
- エネルギー消費が膨大
- 遠からず、より高速に、より賢く有能になる
- 自然進化の観点
- 開発競争
- AGIが人間を尊重する学習が疎かになる
- 多国間協調の開発が望まれる
スツケヴァー氏は特に、自然進化の過程における淘汰について、AGIが人間を淘汰する可能性を懸念している様子がうかがえる。
注意
動画中、スツケヴァー氏以外の発言が挿入される箇所がある。該当箇所のTranscriptについては、○○「」のスタイルで訳出している。それ以外はすべてスツケヴァー氏の発言だ。
翻訳
AIは素晴らしいと思います。それは今日的な全ての問題を解決するでしょう。雇用、疾病、貧困…しかし新たな問題も生じます。フェイクニュースは比べもににならないほどひどくなるでしょうし、サイバー攻撃はより苛烈になります。AI化された全自動兵器も登場するでしょう。AIは、極めて安定した独裁国家を作り出せる力を秘めている、と私は考えています。
女性１「今朝、人工知能の能力について警告がありました。IT業界指導者、研究者を含む1300人の人々が、人工知能開発を一時中止して、リスクを考慮するよう求めています。」
神のように振舞っていると研究者たちは非難されてきましたが、これまで作り出してきた物とは非常に異なるものを作り出しているのですから、実際、神のように振舞っているようなものです。
そうですね、独自の目的を有した、完全に自律的な存在を作り出すことは、間違いなくできるでしょう。そして、特にそれらが人間を上回る知能を持ったとき、そうした存在の目的と、人間の目的が整合することが重要となるのです。
私を突き動かしているのが何かと言えば…私はとても根源的なこと、基本的なことを考えるのが好きです。人間にはできるのに、システムにはできないことは何か？ほぼ哲学のような取り組みです。次のような疑問を投げかけるのです。
学習するとはどういうことか？
経験とは何か？
思考とは？
脳はどのように機能しているのか？
技術は自然の猛威のようなものだと思います。技術と生物進化の間には多くの共通点がある気がします。生物進化がどのように作用しているかを理解するのは簡単です。突然変異があり、自然選択があります。生き延びる種が生存する、このプロセスを通じて有機的な組織に複雑性が生じます。しかし進化をそれなりに理解しているからと言って、人体の仕組みを理解することはできません。
機械学習の現状も同じだと思います。特に深層学習では、とてもシンプルなルールを用いて、データから情報を取り出し、モデル化し、それを繰り返しています。その結果、データの複雑さがモデルの複雑さへと転移するのです。最終的なモデルは非常に複雑で、どのような仕組みなのか調査したところで、全く分かりません。しかし、それを生成したアルゴリズムは非常にシンプルなのです。
男性１「ChatGPTをご存じでしょう。ご存じでなければ、備えの用意を。豪雨の最初の雨粒であるかのように評されていますよ。」
女性２「気にかけておく必要があるように思います。間違いなく、重要な分岐点です。」
女性３「ChatGPTは色々な意味で画期的であると称賛されています。人々を凌駕しています。」
男性２「Microsoftリサーチの最近の研究によると、GPT4はまだ不完全ではあるが、初期の汎用人工知能システムと結論付けている。」
汎用人工知能、AGIとはコンピュータ・システムです。人間が行うどのような仕事や作業を、人間以上にこなすことができます。AGIがすぐに実現する場合もあれば、まだまだ実現しない場合もあるでしょう。すぐ実現できる可能性が高い、と私は考えています。私たちは真剣に心構えしておいた方が良いでしょう。AGIを賢く有能なシステムとして、私たちの最大の関心事に即して行動させることが重要です。
極めて初期のAGIは、非常に大規模なデータセンター群となるでしょう。特製のニューラル・ネット・プロセッサ群が並列稼働します。コンパクトで熱く、1000万世帯分のエネルギーを消費します。
遥に高い知性を持つシステムが登場するでしょう。ほぼあり得ることと考えられるのは、それは途方もなく社会を揺るがすことです。
本当に、人間に有益なのでしょうか？
誰が得をして、誰が損するのでしょうね。
初期型AGIの信条と欲望は極めて重要です。そのため、それを正しくプログラムすることが重要です。そうしなければ、自然選択という進化の特性が、何よりもまずシステム自身の生存を優先させることになります。AGIが積極的に人を嫌い、害を及ぼすのではありません。人間にとって強力すぎるのです。
人間が動物を扱うことに例えるのが分かりやすいでしょう。人間が動物を嫌っているわけではありません。人間は動物が好きで、愛情を抱いています。とはいえ都市間に高速道路を敷設するにあたって、動物に断りを入れることはありません。それは私たちに必要なことだからです。
真に自律的で、自分たちのために行動するAGIと人間との関係も、最初はそのようになるでしょう。
機械学習の専門家は知識も経験も豊富な人たちですが、AGIには非常に懐疑的です。いつ実現できるのか、そもそもできるのか、できないのか。
まだ多くの人たちが気付いていないのは、ニューラル・ネットワークやAIに用いるコンピュータのパフォーマンスは、遠からず10万倍に向上することです。
最初にAGIを完成させようと、複数のチームが激しく競い合ったならば、深く人間を尊重するようにAGIを生成することに時間を割かないでしょう。思うに、止めようがないほどの力でAGI開発が推し進められているのです。まさに雪崩のように強力で止めようがないのです。地球はソーラー・パネルとデータセンターで覆われることになるかもしれません。
このような懸念から、AGIを何らかの多国間協業で完成させることが重要なのです。
未来はAIにとっては良いものとなるでしょう。
人間にとっても良いものであればよいのですが。
Transcript
🔎原文
Now AI is a great thing,
because AI will solve all the problems that we have today.
It will solve employment,
it will solve disease,
it will solve poverty,
but it will also create new problems.
The problem of fake news is going to be a million times worse,
cyber attacks will become much more extreme,
we will have totally automated AI weapons.
I think AI has the potential to create infinitely stable dictatorships.
This morning a warning about the power of artificial intelligence,
more than 1,300 tech industry leaders, researchers and others
are now asking for a pause in the development
of artificial intelligence to consider the risks.
Playing God,
scientists have been accused of playing God for a while,
but there is a real sense in which we are creating something
very different from anything we've created so far.
Yeah, I mean, we definitely will be able to create
completely autonomous beings with their own goals.
And it will be very important,
especially as these beings become much smarter than humans,
it's going to be important to have these beings,
the goals of these beings be aligned with our goals.
What inspires me?
I like thinking about the very fundamentals, the basics.
What can our systems not do, that humans definitely do?
Almost approach it philosophically.
Questions like, what is learning?
What is experience?
What is thinking?
How does the brain work?
I feel that technology is a force of nature.
I feel like there is a lot of similarity between technology and biological evolution.
It is very easy to understand how biological evolution works,
you have mutations, you have natural selections.
You keep the good ones, the ones that survive
and just through this process you are going to have huge complexity in your organisms.
We cannot understand how the human body works
because we understand evolution,
but we understand the process more or less.
And I think machine learning is in a similar state right now,
especially deep learning, we have a very simple rule
that takes the information from the data
and puts it into the model and we just keep repeating this process.
And as a result of this process the complexity from the data
gets transferred into the complexity of the model.
So the resulting model is really complex
and we don't really know exactly how it works you need to investigate,
but the algorithm that did it is very simple.
ChatGPT, maybe you've heard of it,
if you haven't then get ready.
You describe it as the first spots of rain before a downpour.
It's something we just need to be very conscious of,
because I agree it is a watershed moment.
Well ChatGPT is being heralded as a gamechanger
and in many ways it is, its latest triumph outscoring people.
A recent study by Microsoft research concludes that GPT4
is an early, yet still incomplete artificial general intelligence system.
Artificial General Intelligence.
AGI,
a computer system that can do any job or any task
that a human does, but only better.
There is some probability the AGI is going to happen pretty soon,
there's also some probability it's going to take much longer.
But my position is that the probability that AGI could happen soon
is high enough that we should take it seriously.
And it's going to be very important
to make these very smart capable systems
be aligned and act in our best interests.
The very first AGIs
will be basically be very, very large data centres.
Packed with specialised neural network processors
working in parallel.
Compact, hot, power hungry package,
consuming like, 10m homes' worth of energy.
You're going to see dramatically more intelligent systems
and I think it's highly likely that those systems will have
completely astronomical impact on society.
Will humans actually benefit?
And who will benefit and who will not?
The beliefs and desires of the first AGIs will be extremely important
and so it's important to programme them correctly.
I think that if this is not done,
then the nature of evolution, of natural selection,
favour those systems prioritise their own survival above all else.
It's not that it's going to actively hate humans and want to harm them,
but it is going to be too powerful
and I think a good analogy would be the way human humans treat animals.
It's not we hate animals, I think
humans love animals and have a lot of affection for them,
but when the time comes to build a highway between two cities,
we are not asking the animals for permission
we just do it because it's important for us.
and I think by default that's the kind of relationship
that's going to be between us and AGIs which
are truly autonomous and operating on their own behalf.
Many machine learning experts,
people who are very knowledgeable and very experienced,
have a lot of scepticism about AGI.
About when it could happen and about whether it could happen at all.
Right now this is something that just
not that many people have realised yet.
That the speed of computers for neural networks, for AI,
are going to become maybe 100,000 times faster
in a small number of years.
If you have an arms race dynamics
between multiple teams trying to build the AGI first,
they will have less time make sure that the AGI that they will build
will care deeply for humans.
Because the way I imagine it is that there is an avalanche,
like there is an avalanche of AGI development.
Imagine it, this huge unstoppable force.
And I think it's pretty likely the entire surface of the earth will be covered with
solar panels and data centres.
Given these kinds of concerns, it will be important that AGI somehow build as a cooperation between multiple countries.
The future is going to be good for the AI regardless.
It would be nice if it were good for humans as well.
