注目のトピック
1bitLLM (BitNet b1.58)は革命を起こすか？ (2024.05)
前世紀末から急速に進展した高度情報化は確実に私たちの社会のあり方を変えました。この社会変容は多面的で複雑であり、その理解には技術面のみならず、倫理的、法的、社会的な観点からの総合的なアプローチが必要です。私たちは、最新の情報技術の理解を基礎とし、持続可能で公平な社会を築くための基盤を強化することを目指しています。デジタル倫理の研究が、個人情報の保護、AIの倫理的利用、デジタルディバイドの緩和、社会的課題へのアプローチなど、多岐にわたる社会貢献となることを期待しています。
OpenAIがChatGPTを発表したのは2022年11月30日、人間の言語を理解するかのように振る舞えるChatGPTはLLMを応用した生成AIの一つです。その能力は世界を驚かせ瞬く間にビジネストレンドを塗り替えました。頻繁アップデートされ、その度に大幅に能力が向上し、人類の能力を超えるのも時間の問題かと実しやかに話されるほどです。
その弱点の一つは、大量のデータを用いて深層学習させるためにも、またそうして訓練された学習データを使って推論するにも、膨大な電力とコンピューティングパワーが必要とされることです。
スタンフォード大学が発表した研究によると、GPT-3が深層学習の際に使用した消費電力量は1,287MWhとのことで、これは100万kW級の原子力発電1基が発電する電力を超えてきます。
IEAは、ChatGPTが一回のクエリを推論する時には2.9Whを消費するとの推計しています。推論はデータセンターで集約的に実行される学習と違い、世界中のコンピュータで拡散的に処理されるだけに一般への普及とともに爆発的に使用電力が増加する可能性を含むものです。
2024年2月末、Microsoft Researchと中国科学院大学の研究チームにより発表された「1ビットLLM」(The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits)は、推論にかかる電力その他のリソースを大幅に削減できる可能性を持った新技術です。
この論文では通常FP16bit（16bit浮動小数点）で表されるLLMのモデルパラメータ（65536値を取れる）を1.58bit（-1、0、1の3値）に絞っても、精度をほぼ下げることなく推論でき、その際の消費電力は単純計算でも1/20から1/40になるといいます。まだ研究がはじまったばかりの技術のため、現時点では精度についての検証が十分とは言えません。とはいえ、精度の低下を小幅に抑えることができるのであれば、実用上の効果が早期に期待できる注目の分野と言えるでしょう。
高度情報化による社会変容
多くのメリットをもたらす一方で生じるいくつかの深刻な問題