時系列データの長期的な予測が可能なニューラルネットワークのハードウェアアーキテクチャに関する研究
折茂 健太郎
2017 年度 卒 ／修士（情報科学）
修士論文の概要
本研究は時系列データの長期的な予測が可能なニューラルネットワークのシステムを構築するものである。
時系列データの予測に向けたニューラルネットワークとして最も有名なモデルはリカレントニューラルネットワーク（RNN）である。しかしRNNの学習法のひとつで、最もよく用いられているBackpropagation Through Time 法（BPTT 法）では、勾配消失問題により長期の時系列データ予測は極めて難しい問題とされる。この問題に対し、帰還路ではなく時間領域フィルタを多層ニューラルネットワークの任意の中間層に備えることにより、時系列データ予測を可能とするネットワークが提案された。FSMNは従来のネットワークとは異なり、時間領域フィルタにより時間的特徴を掴み、時系列データの予測を行うことを目指したネットワークである。また、ニューラルネットワークの処理は莫大な積和演算により行われており、従来のCPUによる逐次処理では膨大な演算時間を必要とする。そのため時系列データ向けのニューラルネットワークの大目的である未来を予測するということが、演算の遅延により実現できないことが容易に起こり得る。したがって、ハードウェアによる高速な処理が求められている。このネットワークのハードウェア化へ向けて提案するアーキテクチャは、ネットワーク構造および時間領域フィルタの有無に制約を設け、それに合わせて、演算ユニットを構成し、FSMNを部分並列・部分時分割処理により実現する。また、時分割処理によって生じる総和処理を、時間領域フィルタと共通のリソースを利用することで低資源での処理を可能にした。さらに、アーキテクチャのRTL設計および論理合成を行い、この提案アーキテクチャが設計者が望むネットワーク規模に柔軟に対応できることを確かめた。またFSMNのモデル解析を行い、時間領域フィルタのタップ数と予測精度の関係性を確かめた。この結果を考慮し、このアーキテクチャおよび固定小数点演算上でのLSTM（従来手法）の比較を行い、このアーキテクチャが長期の時間依存性を考慮した高い予測精度を持っているということを示した。