概要 Edit

最近の人工知能研究のブームをけん引しているのはニューラルネットワークです.特に識別に関する性能が成熟化しました.ただ,ニューラルネットワークには,膨大な計算が必要なネットワーク最適化を要したり,膨大な入力データを要する点が脳と乖離するという指摘があります.我々には,次世代の技術基盤を作りたいという思いがあります.人間の脳の高度な機能は,大脳新皮質にあるといわれており,その本質は予測にあると考えられます.我々は予測知能の実現に向けた研究をしています.

大脳新皮質学習(Cortical Learning Algorithm) Edit

脳機能をモデル化して利用する研究は多種多様で,簡素なモデルを利用するものから,精緻なモデルを利用するものまであります.その中で,我々はJ. Hawkinsらによって提唱された階層時間記憶(Hierarchical temporal memory, HTM)*1の概念に注目し,それを具現化したアルゴリズムのひとつである大脳新皮質学習アルゴリズム(Cortical Learning Algorithm, CLA)*2*3の研究をしています.

CLAは,人間の大脳新皮質の仕組みを模倣した時系列予測法であり,異常検知に利用されることもあります.入力データを離散表現にして取り扱うこと,シナプスを簡素なアルゴリズムで構築するところに特徴があります.以下,簡単にCLAについて紹介します.

構成 Edit

CLAの学習器の構成を以下に示します.CLA の学習器全体をリージョンと呼びます.リージョン内には,複数のカラムを用意します.それぞれのカラム内には,複数のセルを用意します. 入力データはバイナリビット列で表現し,各ビットとカラムの間にシナプスを配置します.また,セルとセルの間にもシナプスを配置します.

1.png

カラムは,入力データを学習器内の内部表現にするために使われます. セルは,入力データの時系列を内部表現するために使われます.

空間プーリング Edit

データビット1とシナプス接続のあるカラムを活性させ,入力データをカラムの活性パターンで内部表現にします.活性に貢献したシナプスは強度を高めます.この処理を空間プーリングといいます.

2.png

時間プーリング Edit

空間プーリングにおいて,同じデータが入力されれば同じカラムが活性するのですが, 出現する文脈の違いを表現するために,そのカラム内セルをひとつずつ活性させて,文脈を表現します.

3.png

また,予測もセルによって行います.

4.png

この場合,次状態でこれらのカラムが活性すると予測成功ということになります.

5.png

実験結果 Edit

実験設定 Edit

テストとして正弦波と気象庁の過去のデータを用いた平均気温を予測する結果を示します.使用したパラメータについて,カラム数は,正弦波では256,平均気温では32に設定しました.1つのカラムおけるセル数は,正弦波,平均気温ともに16に設定しました.正弦波は,100時点で一周する[-1,1]のデータで,これを1024ビットの入力データビットにしました.平均気温は,64ビットの入力データビットにしました.

正弦波の時系列予測 Edit

学習終盤 Edit

sin2.gif

学習序盤 Edit

sin1.gif

平均気温の時系列予測 Edit

学習終盤 Edit

w2.gif

学習序盤 Edit

w1.gif

まとめ Edit

我々が取り組んでいる階層時間記憶と大脳新皮質学習について紹介しました.詳細は,下記文献を参照されるのが良いと思います.今回紹介したのは基礎であり,特に我々はアルゴリズムの改良と,予測の適用可能範囲の拡大のための研究をしています.


*1 J. Hawkins, S. Blakeslee: On Intelligence: How a New Understanding of the Brain Will Lead to the Creation of Truly Intelligent Machines, Times Books, 2005.
*2 Hierarchical Temporal Memory (HTM) Whitepaper, https://numenta.com/neuroscience-research/research-publications/papers/hierarchical-temporal-memory-white-paper/
*3 nupic.core: Implementation of core NuPIC algorithms, https://github.com/numenta/nupic.core
添付ファイル: filew2.gif 32件 [詳細] filew1.gif 26件 [詳細] filesin2.gif 19件 [詳細] filesin1.gif 22件 [詳細] filewh10.png 12件 [詳細] filewh1.png 10件 [詳細] filesin10.png 10件 [詳細] filesin1.png 10件 [詳細] file5.png 17件 [詳細] file4.png 21件 [詳細] file3.png 17件 [詳細] file2.png 18件 [詳細] file1.png 19件 [詳細]
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2018-11-03 (土) 19:15:52 (41d)