軽量時系列予測を実現する Encoder-Decoder モデルのニアメモリコンピューティングアーキテクチャに関する研究
曻 航己
2025 年度 卒 ／修士（情報科学）
修士論文の概要
近年、生成AIはTransformerアーキテクチャの導入と計算資源の飛躍的向上、膨大なデータセットの活用により、驚異的な性能を発揮している。しかし、これらのモデルは数十億規模のパラメータを持ち、高性能なGPUやクラウド環境を前提としているため、リアルタイム性やプライバシー、消費電力が重視されるエッジデバイスへの実装には大きな乖離がある。特にIoTデバイスから生成される膨大な時系列データを現地で即時処理し、予測や制御に役立てるエッジAIの実現には、モデルの軽量化とそれに応じたハードウェアアーキテクチャの最適化が不可欠である。
本研究の目的は、時系列予測に特化した軽量なEncoder-Decoderモデルを対象として、モデル構造および演算特性を評価し、ニアメモリコンピューティングアーキテクチャを設計することである。これにより、計算資源が限られたエッジ環境下での生成AI活用の可能性を見出し、エッジ指向AI設計におけるソフトウェアとハードウェアの両面からの評価指針を提示する。
本研究では、Transformerの機能を模倣するためにその骨格を成すEncoder-Decoder構造を維持しつつ、計算負荷を低減するために再帰的ニューラルネットワーク（RNN）を用いたSeq2seq（Sequence to Sequence）モデルを採用した。RNNはデータを時系列に処理することが可能なネットワークであり、自己注意機構に依存するTransformerに比べて計算資源を低減できる。本モデルは、入力をEncoderで符号化してDecoderに渡し、Decoderが新たなデータを生成する過程で系列データ間の共通表現を効率的に抽出する。
提案モデルの有効性を検証するため、まずテキスト形式で入力された数式に対して解答を出力する演算タスクを実行した。その結果、モデルが単なる文字列操作ではなく、入力と出力の間に存在する数学的規則、すなわち共通表現を獲得できることを確認した。さらに、Logistic mapやNARMA10といった非線形時系列ベンチマークを用いたシミュレーションを行い、時系列予測モデルとしてのFeasibility Studyを実施した。また、Information Processing Capacity（IPC）指標を用いてモデルの計算能力を定量的に評価した。
ハードウェア実装に向けた検討では、Encoder-Decoder接続におけるデータフローの課題を整理し、提案アーキテクチャ「EnDeBR」を設計した。ニアメモリコンピューティングを導入することで、メモリアクセスボトルネックの緩和や演算器削減、加算木構成の効率化を行った。スケーラビリティ評価を通じて、メモリ構成や乗算器数がスループットおよび実行時間に与える影響を明らかにし、エッジ環境下でも高い計算効率を達成できる見通しを得た。
本研究は、ソフトウェア側における軽量Encoder-Decoderモデル設計と、ハードウェア側におけるニアメモリコンピューティング最適化を統合することで、生成AIをエッジ実装するための具体的かつ実践的な設計指針を確立したものである。