LLMをゼロから作る授業、スタンフォードCS336

いま大規模言語モデル（LLM）は、できあがった製品として使うのが当たり前になりました。けれど『中身を一から自分で作ってみる』としたら——スタンフォード大学の講義『CS336: Language Modeling from Scratch』は、まさにそれに挑む授業です。

この授業が扱うのは、AIの便利な使い方ではありません。言語モデルそのものを、土台から組み立てる工程です。大量のテキストデータをどう集めて整えるか。文章を単語の断片に分けるトークナイザをどう作るか。Transformerという仕組みをどう実装し、どう効率よく学習させるか。そして、人の意図に沿うようどう調整するか。

ふだん私たちが触れるのは、こうした膨大な工程の『結果』だけです。授業では、その一段一段を学生自身が手を動かして積み上げていきます。出来合いの部品を組み合わせるのではなく、なぜそう動くのかを内側から理解する。

ブラックボックスに見えるものも、分解すれば一つひとつの判断の積み重ねでできています。『使う』から『作る』へ。その視点の切り替えが、技術の見え方を変えてくれるのかもしれません。