自動車生涯排出の5倍 大規模ニューラルネットワークが排出するCO2について考える

・大規模なニューラルネットワークの開発また最適化には、最大284,000キログラムの二酸化炭素を排出する可能性があります。

・これは平均的な自動車の生涯排出量の5倍に相当します。

人工知能（ＡＩ）の分野は、最新の進歩により、大量のデータの大規模ネットワークの新時代を迎えました。これらのネットワークは、数種の基本的な自然言語処理（NLP）タスクに大幅な精度の向上をもたらしました。

特に、最もリソースを消費するモデルは最も高い排出量を示しています。しかしながら、そのようなモデルを開発することは膨大な量の計算資源を必要とし、かなりのエネルギーを消費してしまいます。

最近、マサチューセッツ大学アマースト校の研究者は、大きなニューラルネットワーク開発でのライフサイクルアセスメントを実施し、AIモデルからの二酸化炭素排出量を記述した論文を発表しました。

10年前、NLPモデルは従来のサーバーまたはラップトップで開発および最適化することができましたが、現在のものはそうではありません。今日、高精度モデルにはTPU（テンソル処理装置）またはGPUの複数のインスタンスが必要です。さらにモデルアーキテクチャとハイパーパラメータを使用した研究と実験により、ハードウェアコストがさらに上がりました。

このようなハードウェアに何週間も電源を繋いでいると、環境に大きな影響を与えます。このエネルギーの一部は再生可能資源から来ていますが、発生させそして貯蔵する技術があり、ほとんどの場所で、カーボンニュートラルなエネルギー源からエネルギーを得る設備が設置されています。

トレーニング中NLPモデルからの炭素排出量

この研究では、研究者らは大規模ニューラルネットワークのトレーニングから生じる炭素排出量とコストの特徴を記しました。人気のあるNLPモデルの開発と最適化に必要なエネルギーのキロワット数を見積もり、それをおよその電気代と炭素排出量に変換したのです。

NLPモデルからの推定CO2排出量と他消費量

その結果、大規模なNLPパイプラインを開発および最適化すると、284,000キログラムの二酸化炭素が排出される可能性があることがわかりました。これは、平均的な自動車の生涯排出量の5倍に相当します。

参照：arXiv：1906.02243

経済的コストと環境コストの両方がAIモデルのサイズに比例して増加します。しかし、モデルの精度をさらに上げるために調整機能を追加すると、関連するコストが急増します。

具体的には、試行錯誤を集中的に行いネットワークデザインを繰り返し微調整する調整機能（ニューラルアーキテクチャ検索とも呼ばれます）は、わずかにパフォーマンスが上がることに対して、コストは非常に高いものになります。

AI分野における現在の傾向を考えると、この研究には大きな意義があります。豊富なデータについて最適化されたネットワークモデルはさまざまなタスクに役立つことがわかっているため、多くのAI研究施設は上記の事実を無視している状態です。

計算効率の良いアルゴリズムは存在しますが、TensorFlowやPyTorchのような最も一般的なディープラーニングフレームワークとの互換性がないため、NLPモデルの最適化には実際にはほとんど使用されていません。

研究者は、この種の研究は、資源の広範囲での使用についての認識を高め、注意深い使用と政策を促進するために実施されるべきとしています。