AIは、計算を担うGPUと、データを供給するメモリ(HBMなど)で動いています。本稿は「AI産業を読み解く」シリーズの基礎編として、CPU・GPU・DRAM・NAND・HBMの役割と、学習と推論でボトルネックがどう違うのかを整理します。
前回はAI企業のIPOの進み具合を扱いました。
→ AI企業IPOウォッチ:OpenAIとAnthropicの上場動向を追う【2026年10月28日時点】【AI産業を読み解く#2】
AIは、膨大な計算と、そのためのデータの出し入れで動いています。計算を担うのがGPU、データをすぐ近くで高速に供給するのがHBMというメモリです。どちらかが足りなければ、AIの性能も、AIを動かす費用も頭打ちになります。この回では、CPU・GPU・DRAM・NAND・HBMの違いを先に整理し、そのうえで学習と推論の違いを見ていきます。
① 計算を担うのがGPU、データを近くで高速に供給するのがHBM(DRAMの一種)
② 学習は「作る費用」、推論は「使われるたびにかかる費用」。推論ではメモリが足りなくなりやすい
③ HBMの性能は、メモリの供給側の事情にも左右される(例:Rubinの仕様の下方修正)
はじめに
本記事の情報基準日は2026年11月5日(日本時間)です。GPUやHBMの仕様、市場の状況は変わりやすいため、数値には基準日を付けています。一方、CPU・GPU・メモリの役割や、学習と推論の違いといった基本の仕組みは、比較的長く使える内容です。
このシリーズは、AI産業の仕組みを理解し、読者の皆さんが自分で企業や分野を調べるための材料を提供するものです。特定の銘柄の売買を勧めるものではありません。
AIは何をしているのか
ChatGPTのような対話AIの中身は、巨大な数値の集まり(パラメータ)です。AIの仕事は、入力された文章を数値に直し、このパラメータと掛け算・足し算を繰り返して、次に来る言葉を予測することです。
この仕組みには、2つの段階があります。
学習は、大量の文章や画像を読み込ませ、予測が当たるようにパラメータを少しずつ調整する作業です。モデルを作るときに集中的に行い、数週間から数か月単位の大規模な計算になります。費用は先にまとめてかかります。
推論は、学習が終わったモデルに、利用者の質問へ答えさせる作業です。利用者が使うたびに実行されるため、利用が増えるほど費用が積み上がります。
【図表1】AIの処理の流れ
パラメータを調整してモデルを作る
(作るための費用:先にまとめてかかる)
利用者の質問に答える
(使うたびにかかる費用:利用に応じて積み上がる)
つまり、学習は「作るための費用」、推論は「使われるたびにかかる費用」です。この違いは、このシリーズの後半で、AI企業の収益と費用を考えるときに効いてきます。
用語を先に整理|CPU・GPU・DRAM・NAND・HBM
ここから先、半導体の名前がたくさん出てきます。先に、それぞれが何をするものなのかを整理します。
まず「半導体」とは、電気の流れを細かく制御して、計算したり、データを記憶したりする部品の総称です。CPUもGPUも、DRAMもNANDもHBMも、すべて半導体です。大きく分けると、計算をするチップ(CPU・GPU)と、データを覚えておくチップ(DRAM・NAND・HBM)の2種類があります。
【図表2】CPU・GPU・DRAM・NAND・HBMの違い
| 用語 | どんなもの? | AIでの出番 |
|---|---|---|
| CPU 計算チップ |
コンピューターの「頭脳」。いろいろな仕事を、順番に正確にこなす万能型です。同時にこなせる量は多くありません。 | 全体の制御と、GPUへの指示。計算の主役ではない。 |
| GPU 計算チップ |
もともとは画面に絵を描くためのチップ。単純な計算を、何千も同時にこなす(並列計算)のが得意です。 | AIの計算の主役。 |
| DRAM メモリ |
作業中のデータを一時的に置くメモリ。速いですが、電源を切ると消えます。パソコンの「メモリ」と言えば、普通はこれです。基板に平らに並べ、主にCPUが使います。 | CPU側の作業用メモリ。 |
| NAND メモリ |
データを長く保管するメモリ。スマホの保存領域、SSD、USBメモリに使われます。電源を切っても残ります。DRAMより遅い代わりに、大容量で安く作れます。 | 学習用データやモデルの保管。 |
| HBM メモリ |
DRAMの一種。DRAMを縦に何層も積み、GPUのすぐ隣に置き、幅の広い通り道でつないだものです。一度に運べるデータの量が桁違いに大きく、一般に高価で、製造が難しいとされています。 | GPU側の作業用メモリ。GPUへデータを高速に供給する。 |
ポイントは、「計算するチップ」と「データを覚えておくチップ」は別物で、AIにはどちらも必要だということです。さらに、覚えておくチップにも「速くて小容量(DRAM・HBM)」と「遅くて大容量(NAND)」の違いがあります。この違いが、次の節以降の話につながります。
なお、HBMはDRAMの一種で、データを覚える部分の中身は同じです。違いは、縦に積み、GPUのすぐ隣に置き、データの通り道を広げた点にあります(詳しくは「メモリがボトルネックになる理由」で説明します)。DRAMは主にCPU側、HBMはGPU側の作業用メモリです。
質問から回答までの部品の動き
用語を整理したところで、AIに質問してから回答が返ってくるまで、これらの部品がどの順に動くのかを見ていきます。
【図表3】質問から回答までの流れ(一般的な構成)
| 順 | できごと | 動く部品 |
|---|---|---|
| 準備 | 学習済みモデルのパラメータを、保管場所から、GPU側のHBMへ読み込んでおく(多くの場合、CPU側のDRAMを経由する) | NAND → DRAM → HBM |
| 1 | 利用者が質問を入力する | — |
| 2 | 質問を数値に直し、GPUへ計算の指示を出す | CPU(DRAM) |
| 3 | GPUが、HBMからパラメータを読み出す | HBM → GPU |
| 4 | GPUが計算し、次の1語を決める | GPU |
| 5 | 3と4を繰り返し、回答を1語ずつ返す | GPU・HBM |
※一般的な構成の説明です。サービスの作りによって、細部は異なります。
ステップ3と4は、回答が1語出るたびに繰り返されます。GPUの計算が速くても、HBMからの読み出しが遅ければ、GPUは待たされます。この読み出しの部分が、次の節以降で見る「メモリの壁」が起きる場所です。
なぜAIにGPUが使われるのか
AIの計算は、難しい処理ではありません。単純な掛け算と足し算を、桁違いの数だけ繰り返します。この種類の計算には、難しい仕事を順番に片付けるCPUより、単純な計算を同時に大量にこなすGPUのほうが向いています。画像を描くための性質が、AIの計算とたまたま相性がよかったため、AI用の計算機として広まりました。
データセンター向けのGPUは、ゲームなどに使うGPUとは別の製品です。計算の精度を落として速度を上げる機能や、複数のチップをつなぐ高速の通信機能などが、AI向けに加えられています。
また、GPUとは別に、AI専用に設計されたチップ(AIアクセラレーター)もあります。クラウド事業者やAI企業が、自社のAI処理に合わせて設計するものです。GPUより用途を絞る代わりに、特定の処理を効率よくこなすことを狙っています。
GPUもAIアクセラレーターも、設計する会社と、実際に製造する会社(ファウンドリー)が分かれているのが一般的です。この関係は、シリーズの別の回で扱います。この回では、「チップには設計と製造の分業がある」という点だけ押さえてください。
メモリがボトルネックになる理由
GPUがどれだけ速く計算できても、必要なデータ(AIでは、パラメータ)が届くのが遅ければ、GPUは待たされます。計算するチップの能力と、データを運ぶ速さのバランスが崩れるこの問題は、「メモリの壁」と呼ばれています。
AIの計算では、巨大なモデルのパラメータを、計算のたびに何度も読み出します。普通のパソコン用のメモリでは、この読み出しが追いつきません。そこで使われるのが、HBM(High Bandwidth Memory、広帯域メモリ)です。
HBMは、DRAMのチップを何層も縦に積み重ねた構造をしています。積み重ねた層を、チップを貫く細い配線でつなぎ、GPUのすぐ隣に配置します。距離が短く、データの通り道の本数が多いので、大量のデータを一度に運べます。
【図表4】GPUとHBMの位置関係(イメージ)
(計算チップ)
※図は単純化したイメージです。実際のDRAM層は8〜16段程度で、HBMはGPUの周囲に複数個(例:Rubinは8個)搭載されます。
普通のDRAMとHBMは、中身は同じDRAMですが、置き方と運び方が違います。
【図表5】普通のDRAMとHBMの違い
| 項目 | 普通のDRAM | HBM |
|---|---|---|
| 中身 | DRAM | DRAM(同じ) |
| 置き方 | 基板のスロットに平らに並べる | 縦に積み重ねる |
| 置き場所 | CPUの近く(別の部品として) | GPUのすぐ隣 |
| データの通り道の幅 | 狭い(DDR5のモジュールで64ビット) | 広い(HBM4は1スタックで2,048ビット) |
| 価格・製造 | 比較的安く、作りやすい | 一般に高価で、製造が難しいとされる |
| 主な用途 | パソコン・サーバーの一般用途 | AI用GPUなど |
※DDR5の64ビットは、誤り訂正用を除いたデータ部分の幅(2本の32ビットのチャネルの合計)[1]。HBM4の幅はJEDEC規格による[2]。Rubinは8個のHBM4を積むため、GPU全体では2,048ビット×8=16,384ビット[3]。
通り道が広いほど、一度に運べるデータの量が増えます。HBMがGPUの隣に置かれるのは、この広い通り道で、GPUへ大量のパラメータを供給するためです。
HBMの世代と現在の数値
HBMには世代があります。標準規格は、業界団体のJEDEC(半導体技術の標準化団体)が定めています。
- HBM4の規格:2025年4月16日、JEDECは第4世代のHBM4の規格を公表しました。データの通り道の幅は2,048ビットで、従来のHBMの2倍です。データの転送速度は最大8Gb/s(1ピンあたり)、帯域幅は最大約2TB/s(2,048ビット×8Gb/sの計算で、1スタックあたり)。積む段数は最大16段、容量は最大64GBとされています[2]。
- NVIDIAの現行GPU:Blackwell Ultra(B300)は、1チップあたり最大288GBのHBM3e(第3世代の拡張版)と、毎秒約8TBの帯域幅を持つと、公開仕様をもとにした解説で報じられています[4][5]。一部の資料には、これより少ない容量の表記もあります。
- 次世代のRubin(ルービン):288GBのHBM4を搭載します。メモリの帯域幅は、当初22TB/sと発表されていましたが、2026年9月にNVIDIAが仕様ページを更新し、出荷仕様は19.2TB/sになったと、2026年10月31日にサーバー専門メディアのServeTheHomeが報じています。NVIDIAは理由を説明していないとされています[3]。
【図表6】NVIDIAのAI用GPUのメモリ(世代別)
| GPU | HBMの世代 | 容量 | 帯域幅(毎秒) |
|---|---|---|---|
| H100 | HBM3 | 80GB | 3.35TB |
| B200 | HBM3e | 192GB(注) | 約8TB |
| B300 | HBM3e | 最大288GB | 約8TB |
| Rubin | HBM4 | 288GB | 19.2TB(当初22TB) |
※情報基準日:2026年11月5日。H100・B200・B300は解説サイトの記載値[4][5]、RubinはServeTheHomeの報道(2026年10月31日)[3]による。容量・帯域幅は製品の構成により異なる場合がある。(注)B200の192GBは発表時の最大値で、出荷システムでは180GB前後の表記もある。
Rubinの変更は、HBMを巡る事情をよく表しています。規格で定められた速度は8Gb/sですが、NVIDIAは当初、これを大きく上回る約10.75Gb/s(1ピンあたり)を目標にしていました[3]。出荷仕様では約9.375Gb/sに下がりましたが、それでも規格を上回る水準です。理由は公表されていないため確かなことは言えませんが、メモリの供給側が目標の速度を安定して出せるかどうかが、GPUの性能そのものを左右しうることを示す例です。
HBMを供給しているのは、SK hynix、サムスン電子、マイクロンの3社です。SK hynixは、2026年7月29日の決算説明会で、HBM4の量産と顧客への供給を2026年4〜6月期に始めたと説明しました[6][7]。HBM4の次の世代であるHBM4Eは、2027年の本格量産を目標としています。これは同社の説明です。
学習と推論で、ボトルネックはどう違うのか
学習と推論では、不足しやすいものが異なる傾向があります。
学習は、モデル全体のパラメータを何度も調整する、大規模な計算です。計算量そのものが大きくなりやすく、多数のGPUを並べて同時に動かします。
推論は、答えを1語ずつ作っていく処理です。1語出すたびに、モデルのパラメータを読み出します。そのため、計算よりも、メモリからデータを読み出す速さと、メモリの容量が足りるかどうかが効きやすい傾向があります。
メモリ容量のイメージをつかむために、簡単な計算例(仮定)を示します。パラメータが700億個のモデルを、1つあたり2バイトで保存すると、約140GBです。1つあたり0.5バイト(4ビット)まで圧縮すると、約35GBです。圧縮するほど入る量は増えますが、精度とのトレードオフがあります。
推論では、直前の会話の内容を一時的に保管する領域(KVキャッシュ)も、メモリに置かれます。長い文章を扱ったり、同時に多くの利用者に答えたりするほど、必要な容量が増えます。
【図表7】学習と推論の比較
| 項目 | 学習 | 推論 |
|---|---|---|
| 目的 | モデルを作る | 作ったモデルで質問に答える |
| 費用の出方 | 先にまとめてかかる | 使われるたびに積み上がる |
| 不足しやすいもの | 計算量、GPUの台数 | メモリの容量と読み出す速さ |
この構造から見えること
ここまでの内容を、部品ごとの仕事として整理します。
- 設計:GPUやAIアクセラレーターを設計する会社
- 製造:チップを実際に作るファウンドリー
- メモリ:HBMなどを供給する会社
- 装置・素材:チップやメモリを作るための製造装置と素材を供給する会社
AIの利用が増えると、これらの仕事が、それぞれ別々に増えます。ただし、仕事が増えるタイミングや規模、利益の出方は、部品ごとに異なります。
どの部品の会社が、どれだけ恩恵を受けるかは、その会社の供給能力、競合、顧客への依存度、投資負担などで変わります。この回では評価はしません。読者の皆さんが自分で調べるときの地図として、使ってください。
よくある誤解
「GPUがあればAIが動く」わけではありません。AIを動かすには、次の条件がそろう必要があります。
- 計算するチップ(GPU)
- データを近くで高速に供給するメモリ(HBM)
- 複数のチップをつなぐ通信
- それらを動かし続ける電力と冷却
どれか1つが足りなければ、ほかが十分でも、全体の性能は下がります。通信、電力、冷却は、データセンターを扱う回で取り上げます。
まとめ
- AIは、膨大な掛け算と足し算を、半導体で処理している。
- CPUは全体の制御、GPUは計算の主役。DRAMはCPU側、HBMはGPU側の作業用メモリで、NANDは長期保管にあたる。
- 学習は「作る費用」、推論は「使われるたびにかかる費用」。
- 計算はGPU、データの供給はHBMが担い、メモリがボトルネックになることがある。
- HBMは世代ごとに進化するが、目標の性能を出せるかは、供給側の事情にも左右される。
データについて:本記事の情報は、2026年11月5日時点のものです。HBM4の規格はJEDECの公式発表、Rubinの仕様変更はServeTheHomeの報道、SK hynixの量産開始は同社の決算説明会(報道経由)に基づきます。H100・B200・B300の容量・帯域幅は、NVIDIA公式のデータシートを直接確認できておらず、解説サイトの記載値です。モデルのサイズに関する計算例は、筆者による仮定です。
主な出典
- Kingston『DDR5 overview』(掲載日の記載なし)
- JEDEC『JEDEC and Industry Leaders Collaborate to Release JESD270-4 HBM4 Standard: Advancing Bandwidth, Efficiency, and Capacity for AI and HPC』(2025年4月16日)
- ServeTheHome『NVIDIA Updates Rubin GPU Specs as First Production Hardware Arrives』(Ryan Smith記者、2026年10月31日)
- VESSL『NVIDIA B300 GPU Cloud』(掲載日の記載なし)
- Civo『NVIDIA B300 vs. NVIDIA B200: Blackwell Ultra vs. Blackwell』(掲載日の記載なし)
- アジアエー『[Conference Call] SK hynix: “HBM4 Mass Production Yield and Quality Approaching Maturity”』(2026年7月29日)
- エデイリー『“HBM4 Yield and Quality Stable… HBM4E Mass Production in 2027”—SK hynix Conference Call』(2026年7月29日)
✍️ 執筆者/ぱぶちゃん|投資歴6年
ファンダメンタルを事実ベースで解説するブログを運営中。相場の「なぜ?」を一緒に考えましょう。たまにチャート分析もします。ナンピンは得意です。
X(旧Twitter):@pablo29god
免責事項:本記事は情報提供を目的としたものであり、特定の金融商品の売買を推奨・勧誘するものではありません。また、特定の企業・政策・団体等への評価や意見を代表するものではありません。本記事は公開されている一次資料・報道をもとに事実関係を整理したものであり、独自の取材に基づくものではありません。市場価格は常に変動しており、内容の正確性・完全性・最新性を保証するものではありません。最新の情報については各出典元をご確認ください。執筆者は金融商品取引業者ではなく、投資助言業の登録を受けていません。投資判断はご自身の責任で行ってください。FX・先物・CFD取引はレバレッジにより、預けた元本を超える損失が生じる可能性があります。
更新履歴:2026年11月5日 初回公開



コメント