人工知能(AI)開発において、ディープラーニング、機械学習、ニューラルネットワークといった様々な
技術的手法/概念が登場してきます。それらの関係性を下図に示します。
左図に示すとおり、ディープラーニングは人間の神経回路を模した「ニューラルネットワーク」の一種で、それらの回路をより深く、多層化したものです。ニューラルネットワークは、機械学習と呼ばれるアルゴリズムの1つです。さらに機械学習とは人工知能を実現する上で最も重要な技術要素の1つです。
つまり、ディープラーニングとは、人工知能開発の歴史の中で、徐々に研究を深めていった機械学習
からニューラルネットワークの土台に立つ、新しいAI開発の技術的手法と言えます。
本記事ではディープラーニングの初歩の初歩から触れ、技術の発展の歴史を踏まえた基礎理論を学びます。
ディープラーニングは技術的には何を指すのか？
ディープラーニングとは、一言で言えば「多層のニューラルネットワーク」のことです。最も単純な
ニューラルネットワークの構成は「入力層」「中間層」「出力層」の3層構造ですが、デープラーニング
では4層以上のニューラルネットワークで構成されます。この深層ニューラルネットワークのことを
ディープニューラルネットワーク(DNN:Deep Neural Network)と呼びます。
通常の階層型ニューラルネットワーク
ディープラーニング
人工知能の進化から見るディープラーニング
・第1次人工知能ブーム(1950年〜1970年代)
これまで手作業で行ってきた作業や計算を自動で行うためのルールをコンピュータにやらせる
ことを目的に、主にルールベース(Rule-base)の人工知能が研究され、オートマトン(automaton)や
新しいプログラミング言語が多数開発されました。
<ルールベースとは>
人工知能を実現するために最初に考えられたのが、「AならばB」といったルールに
基づくアルゴリズムを開発し、これを実現することでした。このような方式をルール
ベースと呼びます。
<オートマトンとは>
何らかの入力xに対して出力yを変えるようなプログラムを考えたとき、内部状態hに応じ
て出力yが変わるようなアルゴリズムf(x,h)を構成する概念です。
下図は「かな漢字変換」の技術をオートマトンで実現する例です。
ディープラーニングの基本単位といえるニューロンの基礎理論が、統計分野など各分野で生み
出されたのもこの頃です。神経細胞の構造に習って、複数のニューロンを結合することで、
複雑な問題に対応できる知能を生み出そうとする試みが盛んに行われ、1958年にニューラル
ネットワークの基となったパーセプトロンが発表されました。
<パーセプトロンとは>
ニューロンを連結して構成される原始的なニューラルネットワークの一種です。
入力層と出力層の2層構造パーセプトロンは単純パーセプトロンと呼びます。
より複雑な問題を解くために入力層、中間層、出力層の3層構造なものを多層パーセプ
トロンと呼びます。
最も単純なパーセプトロン(形式ニューロン)
上図は最も単純なパーセプトロンで、1個のニューロンを表しています。形式ニューロンと呼ばれる
こともあります。
多重パーセプトロン(3層パーセプトロン)
上図は3層のニューラルネットワークを表しており、この構造にすることでより複雑な
問題を解こうと試みましたが、単純なパーセプトロンでは排他的論理和(XOR問題)を解くことができない
ことが証明され、次第にニューラルネットワークの研究は下火になっていきました。
・第2次人工知能ブーム(1980年代)
1980年代にはハードウェアの技術の進歩に伴い、多くのデータを蓄積するデータベースが開発され、
目的の情報を高速に検索する情報検索、データマイニング、リレーショナルデータベース
(RDB:Relational Data Base)などが研究・開発されました。
人工知能の分野では、データベースを活用した知識ベースのアルゴリズムの研究が盛んになり、
エキスパートシステムと呼ばれるシステムの商用化も進み、第2次人工知能ブームを迎えました。
ニューラルネットワークの分野でも1967年に提唱された誤差逆伝搬法(バックプロパゲーション)が
1986年になってようやく有用性が示され、単純なパーセプトロンで解くことができなかった排他的
論理和(XOR問題)が解決できることがわかりました。しかしながら、層を重ねるごとに性能が劣化する
勾配消失の問題や局所最適化の問題があり、加えて当時のコンピュータの性能では現実的な時間で
学習を収束させることが困難であったため、次第に下火になっていきました。
<知識ベースとは>
人間の知識や経験をデータベースに格納し、ルールベースのプログラムと連結することで
より人間に近い人工知能を実現しようと試みられました。このようなデータベースを
知識ベースと呼びます
<エキスパートシステムとは>
特定の領域でのみ活用できる人工知能を実現するために考えられた知識ベースシステム
が「エキスパートシステム」です。
誤差逆伝搬法の簡略化された数学モデル
・第3次人工知能ブーム(1990年代〜2023現在まで)
1990年代、コンピュータの性能向上と並行してニューラルネットワークの研究が進み、4層以上の
深層ニューラルネットワークの場合でも局所最適化や勾配消失の問題を解消することができる
様になりました。そして2012年、画像認識の制度を競うILSVRC(ImageNet Large Scale Visual
Recognition Challenge)で、深層ニューラルネットワーク、いわゆるディープラーニンが注目される
様になりました。またディープラーニングの応用はこれにとどまらず、画像生成、自然文作成、
ロボット制御などあらゆる分野で利用されており、今現在まさに、第3次人工知能ブームを
迎えています。
ディープラーニングの力は凄まじく、人間が知的活動をおこなうあらゆる分野で、ディープ
ラーニングに代表される人工知能に圧倒されようとしています。その状況下では、来たるべき
生活様式の変化について考え、人工知能について常に情報をキャッチアップする必要があると
考えています。