2025年06月22日
国産LLM開発に「富岳」で挑む
本書の中から、白幡晃一（富士通研究所コンピューティング研究所）による「国産LLM開発に『富岳』で挑む」の章。
深層学習は物量勝負になっていて、「GAFAのようなビッグテックは1社でも巨大なスパコンを持つ」ことから、米国に大きく差を付けられているのが現状。それでも、「生成AIを国内で開発できるような基盤技術を整えていく」ことには意義があるという。
127：なぜ「富岳」なのか
国内で現時点でのGPUシステムとして一番大きいものは、産総研のABCIなのですが、実は理論性能としては「富岳」のほうが高い。GPUはクラウドでもオンプレでも不足しているというところもあって、ABCIを誰かが自由にフルに使えるということは基本的にはあり得ない。
129：OpenAI論文のスケール則2020
��Transformerの性能がたった3つの変数のべき乗則に支配されている
Compute, Dataset Size, Parameters
��現時点でのスケール則の有効範囲には上限が見当たらず、性能に限界が存在しない可能性あある
134：LLM開発の最終ゴール
生成AIを国内で開発できるような基盤技術を整えていく。
