7440億ものパラメータを持つAIモデル「GLM-5.2」が、わずか223GB～245GBのメモリでローカル実行可能になった。これは、GPT-5.5やClaude Opus 4.8に匹敵する性能を、個人PCで実現できる可能性を示唆している。
このすごいモデルは、Z.ai社によって開発されたオープンAIモデルだ。その総パラメータ数は7440億にも及ぶが、実際に処理に使われるアクティブパラメータは400億に抑えられている。さらに、コンテキストウィンドウは100万トークンという広大な記憶容量を持つ。この規模でありながら、Unsloth Studioが提供する「Dynamic 1-bit」量子化技術を用いることで、モデルサイズを86%も削減し、元のモデルの約76.2%というトップ1精度を達成している。
より高い精度を求めるなら、「Dynamic 2-bit」量子化も選択肢に入る。この技術では、モデルサイズが84%削減されながらも、約82%の精度が得られる。これは、フルモデルと比較して精度の低下が約18%に留まることを意味する。ローカル実行に必要なメモリ容量は、1-bit量子化で最低223GB、2-bit量子化で最低245GBとなる。大規模なモデルを限られたリソースで動かすための「MoE offloading」のような技術も活用されている。
GLM-5.2は、タスクの複雑さに応じて「ノンシンキング」「ハイシンキング」「マックスシンキング」の3つの思考モードをサポートする。特に複雑なタスクには「マックスシンキング」の使用が推奨されているが、これにはより多くの計算リソースが必要となる。
このGLM-5.2とUnsloth Studioの登場は、最先端AIの利用における「場所」の制約を劇的に緩和する。
関連記事
参考にした情報源: unsloth.ai
コメント