『シリコンの思考』――なぜAIは「計算する機械」から「思考する回路」へ進化したのか #AI半導体 #Jalapeño #八26 #2026八25Jalapeñoと推論ASIC_令和AI史ざっくり解説

『シリコンの思考』――なぜAIは「計算する機械」から「思考する回路」へ進化したのか #AI半導体 #Jalapeño

汎用GPUの構造的限界、Gluonと線形代数レイアウト、そして推論時計算（Test-time Compute）が書き換える半導体と世界秩序の地政学

要約（Executive Summary）

本書『シリコンの思考』は、2026年に発表されたOpenAIの推論専用カスタムチップ「Jalapeño（ハラペーニョ）」を契機として、コンピューティングの主戦場が「汎用GPUによる力まかせの学習」から「推論アルゴリズムとシリコン構造を一体化する“Reasoning Silicon（推論思考半導体）”」へ構造転換しつつあるという仮説を徹底検証する学術的・産業的論考です。

従来の「GPU対ASIC」という単純な二項対立を排し、CPUからGPU、AIアクセラレータ、ドメイン特化型ハードウェア（DSA）、そしてソフトウェア・ハードウェア協調設計（Co-design）へと至る連続体としてアーキテクチャの変遷を捉えます。特に、NVIDIAが築き上げたCUDAの堅牢なエコシステムが、推論時計算（Test-time Compute）における動的分岐や極小レイテンシ要求下でいかなる構造的負債となり得るかを定量的に解剖します。さらに、OpenAIのカーネル記述言語「Gluon」とメモリの「Linear Layouts（線形レイアウト）」代数理論、Codexによる自動コード生成ループがもたらす開発サイクルの圧縮を精緻に検証します。

本書の目的と構成

本書の目的は、単一の半導体製品を賛美することではありません。半導体工学、コンパイラ設計、分散システム論、データセンター熱流体力学、資本政策、国際政治経済学を架橋し、以下の命題を反証可能な学術的厳密さで検証することにあります。

命題：次世代の計算知能競争における勝敗は、「単体で最も演算が速いチップを作った者」ではなく、「アルゴリズム、コンパイラ、物理メモリ配置、光・銅インターコネクト、電力供給網までを一貫した単一の設計対象として統合できた者」によって決定される。

本書は全四部構成のうち、前半の「第一部：汎用性の黄昏」および「第二部：代数としてのハードウェア」において、ハードウェアとソフトウェアの境界線が解体されていく論理的必然性を実証します。

目次（Table of Contents）

登場人物紹介

人物名（英語 / 現地語） 生年 / 2026年時点年齢 出身地 / 学歴 役割・本書における位置づけ
サム・アルトマン（Samuel Harris Altman） 1985年生（41歳） アメリカ合衆国イリノイ州シカゴ / スタンフォード大学計算機科学科中退 OpenAI CEO。ソフトウェアの限界を突破するため、Broadcomとの提携を通じてカスタムASIC「Jalapeño」の垂直統合を主導した戦略的推進者。
ジェンスン・フアン（Jensen Huang / 黃仁勳） 1963年生（63歳） 台湾台南市 / オレゴン州立大学工学部卒、スタンフォード大学大学院電気工学修士 NVIDIA 創業者兼CEO。CUDAエコシステムとGPUアーキテクチャによってAI革命を創出した巨人。汎用アクセラレータの優位性を死守する立場。
ホック・タン（Hock E. Tan / 陳福陽） 1951年生（75歳） マレーシアペナン州 / マサチューセッツ工科大学機械工学修士、ハーバード大学経営大学院MBA Broadcom CEO。通信技術とASIC設計の知見を結集し、OpenAIのシリコン製造およびパッケージングを支える半導体産業のフィクサー。
フィリップ・ティレ（Philippe Tillet） 1990年代生（推定30代半ば） フランス / エディンバラ大学大学院博士課程修了（PhD in Informatics） OpenAIの研究員・アーキテクト。GPUプログラミング言語「Triton」の生みの親であり、Jalapeñoの基盤言語「Gluon」の設計中核。
ディラン・パテル（Dylan Patel） 1990年代後半生（推定20代後半） アメリカ合衆国 / 半導体サプライチェーン・リバースエンジニアリング専門家 SemiAnalysis 創業者兼チーフアナリスト。半導体サプライチェーンの微細なコスト構造と実測データを暴露し、業界に衝撃を与え続ける論客。

全体年表：計算機から思考機械への軌跡

年月 技術的・産業的マイルストーン アーキテクチャ・ソフトウェア上の意義
2006年11月 NVIDIAが「CUDA」を発表（G80アーキテクチャ） グラフィックス専用だったGPUを汎用計算（GPGPU）へ開放。SIMTモデルの確立。
2012年10月 AlexNetがImageNetで圧勝 深層学習の学習基盤としてGPUがデファクトスタンダードになる端緒。
2017年06月 GoogleがTransformer論文（Attention Is All You Need）を発表 大規模一様行列演算がAIモデルの中心となり、GPUのTensor Core開発を強力に牽引。
2022年11月 OpenAIがChatGPTを一般公開 世界規模での推論インフラ需要が爆発。データセンター電力とGPU枯渇が顕在化。
2024年09月 OpenAIが「o1-preview」を発表（推論時計算の台頭） モデルを単に巨大化させる学習中心から、推論時に探索を行うTest-time Computeへパラダイムシフト。
2025年11月 OpenAIとBroadcomがJalapeño A0のテープアウトを完了 開発開始からわずか16か月でCoWoSパッケージ設計を完了。垂直統合型ASICの胎動。
2026年05月 Jalapeñoの実シリコン（A0）上でのブリンアップが成功 AI生成カーネルによる実稼働が確認され、3か月で主要推論ベンチマークを達成。
2026年08月 Hot Chips 2026にてJalapeñoの詳細仕様およびCS-4が発表 HBM4搭載、TSMC N3P、700W TDPのJalapeñoが発表され、Tokens/MWで競合を圧倒。

第一部：汎用性の黄昏 ―― なぜ「何でもできる計算機」がAIでは重くなるのか

【第一部の導入】 第一部では、GPUがAI革命を牽引し得た構造的理由を理論的かつ歴史的に再定義します。その上で、かつて最強の武器であった「ハードウェアの汎用性」と「CUDAによる高度な抽象化」が、推論時計算（Test-time Compute）や複雑なエージェント・ワークロードにおいて、いかにして不可避な物理的オーバーヘッドへと転化しているかを定量的に解き明かします。半導体アーキテクトには制御ロジックの物理限界を、システム研究者にはメモリ階層の不整合を、そして経営者には汎用インフラへの投資が内包する構造的リスクを提示します。

第1章：GPUという偉大な妥協

1.1 SIMTの勝利とその代償

現代のAI革命は、GPU（Graphics Processing Unit：画像処理半導体）という、本来はリアルタイム3次元グラフィックス描画のために設計された並列計算機を転用することから始まりました。その中核を担った設計思想が、NVIDIAの提唱したSIMT（Single Instruction, Multiple Threads：単一命令・多数スレッド実行モデル）です。

概念の定義

SIMTとは、多数のスレッド（実行単位）が同一の命令を同時に異なるデータに対して適用する並列処理方式です。ハードウェア的には、通常32本の独立したスレッドが「ワープ（Warp）」と呼ばれる束としてまとめられ、単一の命令デコーダおよび命令発行ユニットによって一斉に駆動されます。

歴史的背景

グラフィックス処理におけるピクセルシェーディングや頂点計算は、何百万ものピクセルに対して同一の数学的変換（内積や行列積）を施す処理であり、データの依存関係が極めて疎です。深層学習の初期（特にCNNやバニラなTransformer）における密行列乗算（Dense GEMM）は、このグラフィックスパイプラインの数学的性質と完全に一致していました。このため、SIMTはCPUの逐次処理や従来のベクトルプロセッサを圧倒する演算スループットを極めて安価に提供できたのです。

具体例：密行列乗算におけるSIMTの挙動

例えば、$C = A \times B$ という2つの行列の積を計算する場合、行列の各要素の積和演算は完全に並列化可能です。ワープ内の32スレッドは、メモリから連続するアドレスを協調して読み出し（コアレッシングアクセス）、一切の条件分岐を介することなく、毎サイクル積和演算器（FMAユニットやTensor Core）を100%稼働させ続けます。

注意点と物理的限界：分岐の不一致（Branch Divergence）

しかし、近年の高度な推論アルゴリズムやエージェントモデルのように、モデル内部で条件分岐（if-else）、動的ルーティング（Mixture of Experts: MoE）、可変長思考木探索が発生した場合、SIMTの優位性は劇的な破綻を迎えます。ワープ内の32スレッドのうち、16スレッドが条件節Aを実行し、残り16スレッドが条件節Bを実行しようとした場合、ハードウェアは両方を並行処理できません。まず条件節Aを実行する間、B側の16スレッドは実行をマスク（無効化）されて完全に待機させられ、次にBを実行する間はA側が待機させられます。結果として、ハードウェアの理論演算性能の半分が純粋なアイドル時間として浪費されることになります。

1.2 計算密度のパラドックスと制御オーバーヘッド

深層学習のワークロードが一様な行列演算から外れるにつれて、GPUのダイ（半導体チップの物理的な表面）上で「演算を行っていない領域」の存在感が肥大化しています。

ダイ面積における制御ロジックの占有

最高峰の汎用GPUアーキテクチャ（NVIDIA Hopper h200やBlackwell B200など）において、物理的なダイ面積を詳細に観察すると、純粋な演算ユニット（ALUおよびTensor Core）が占める面積は全体の半分から4割程度に過ぎません。残りの広大な領域は、以下のような「汎用的な並列性を維持するための管理インフラ」によって占領されています。

  • ワープスケジューラおよびディスパッチユニット：何千ものスレッド間でメモリアクセスレイテンシを隠蔽するために、動的に実行可能ワープを切り替える超高速スケジューリング回路。
  • 命令キャッシュと広大なレジスタファイル：コンテキストスイッチをゼロサイクルで行うため、1スレッドあたり数百本の32ビットレジスタを物理的に保持する巨大なSRAMアレイ。
  • 共有メモリ（Shared Memory）およびクロスバースイッチ：スレッドブロック内でのデータ共有を可能にするプログラマブルキャッシュと、各演算器を結ぶ複雑な内部配線網。
エネルギー効率の構造的劣化

マーク・ホロウィッツ（Mark Horowitz）教授の記念碑的論文（Horowitz, 2014）が指摘した通り、物理的なシリコン上での消費エネルギーは「演算そのもの」よりも「データの移動と制御命令の発行」が支配的です。32ビット浮動小数点積和演算（FMA）自体の消費エネルギーが数ピコジュール（pJ）であるのに対し、命令をフェッチし、デコードし、巨大なレジスタファイルからオペランドを読み出し、複雑なクロスバーを経由してALUへ届ける一連の制御プロセスは、その数百倍のエネルギー（数十〜数百pJ）を消費します。汎用GPUが多大な電力を熱として放出するのは、この制御オーバーヘッドの物理的帰結に他なりません。

1.3 第1章の学術的検証フレームワーク

A. Core Question なぜNVIDIAはダイの半分近くを純粋な演算以外（制御・スケジューリング・レジスタファイル）に使わざるを得ないのか？
B. Hypothesis GPUの汎用性は、メモリアクセスレイテンシを動的マルチスレッドによって隠蔽する設計思想に依存しており、この制御機構が推論ワークロードにおける電力効率と計算密度の構造的限界を形成している。
C. Technical Argument Sze et al. (2017) および Chen et al. (2016) が実証した通り、空間データフローアーキテクチャ（Spatial Dataflow）によるデータの局所的再利用を行わない限り、SIMTの一様命令デコードと中央集権的レジスタファイルへのアクセス頻度は削減できず、熱設計電力（TDP）あたりの演算性能は飽和する。
D. Quantitative Method 命令あたりエネルギー解析モデル：$E_{total} = E_{fetch/decode} + E_{register\_read} + E_{ALU} + E_{data\_movement}$ を構築し、密行列GEMM時と不規則なMoEルーティング時における $E_{control} / E_{ALU}$ の比率を実測・シミュレーション比較する。
E. Required Data NVIDIA h200およびB200のSM（Streaming Multiprocessor）内部ブロックのマイクロアーキテクチャ顕微鏡写真、ISA実行トレース、および電力プロファイラ（NVIDIA Nsight Compute）による実行時電力内訳データ。
F. Historical Case Study 1990年代後半、汎用CPUがMPEGなどの動画像圧縮処理において専用DSP（Digital Signal Processor）に電力効率で1桁以上敗北し、後にSIMD拡張命令セット（MMX/SSE）を導入せざるを得なくなった歴史との比較。
G. Counterargument NVIDIAはBlackwell以降、ハードウェア動的スケジューリング（TileRT）やTransformer Engineの第2世代化を進めており、ソフトウェア側の高度なバッチングと融合カーネルによって制御オーバーヘッドは十分に償却可能であるという反論。
H. Business Implication 推論特化型インフラを構築する企業にとって、汎用GPUの調達は「使用しないグラフィックス機能や過剰な動的スケジューラ」に対して設備投資（CapEx）と電気代（OpEx）を支払い続けることを意味する。
I. Policy Implication 国家的なAI計算基盤の構築において、調達指標を単純な「GPUの物理基数」や「理論PFLOPs」に置くことは、電力制約下における実効知能スループットを著しく低下させる政策的過誤を生む。
J. Chapter Conclusion GPUは並列計算の民主化を果たした「偉大な妥協」であったが、推論におけるデータフローの最適化要求は、この妥協の許容限界を不可逆的に超えつつある。
【コラム】筆者が体験したGPGPU黎明期の狂騒と苦渋

2000年代後半、まだCUDAが登場したばかりの頃、私たちは画素シェーダ言語（HLSLやGLSL）を使って、物理シミュレーションの配列データを無理やり「テクスチャのRGB値」に見せかけて計算させていました。画面に描画するつもりもないデータを頂点バッファに流し込み、GPUが爆音を立ててファンを回しながら行列を解いた瞬間、研究室全員で歓声を上げたものです。「画面を光らせるためのチップが、大学の大型計算機より速く微分方程式を解いた」――あの瞬間の全能感は今でも忘れられません。しかし同時に、ほんのわずかなif文をカーネルに混ぜただけで実行速度が10分の1に急落し、デバッガも存在しない真っ暗闇の中で画面のチラつきからメモリアドレスの衝突を推測した苦汁もまた、現在のSIMTの限界を考える原体験となっています。

第2章：CUDAという巨大な城

2.1 ソフトウェア階層の垂直的固定化

半導体産業の歴史において、NVIDIAが築き上げた競争優位の真髄は、ハードウェアのシリコンそのもの以上に、その上に幾重にも積み上げられたソフトウェア・スタック「CUDA（Compute Unified Device Architecture）」にあります。

多層防壁としてのエコシステム

CUDAエコシステムは、単なる命令セットアーキテクチャ（ISA）のラッパーではありません。以下のように、深層学習の研究開発パイプライン全体を完全に囲い込む重層的な階層構造を持っています。

  1. 低レベル仮想命令層（PTX：Parallel Thread Execution）：ハードウェア世代間の差異を吸収し、前方互換性を保証する仮想アセンブリ言語。
  2. 極限最適化数値計算ライブラリ群：cuBLAS（基本線形代数）、cuDNN（深層ニューラルネットワーク演算）、cuFFT（高速フーリエ変換）など、数千人年の人間工学によって手動チューニングされたブラックボックス・バイナリ。
  3. 通信および分散処理ライブラリ：NVLinkの物理帯域を極限まで引き出すNCCL（NVIDIA Collective Communications Library）。
  4. 高レベル実行ランタイムとグラフコンパイラ：TensorRT、Triton、そして最上位のPyTorchやJAXとのネイティブな統合層。

世界中のAIエンジニアが書くコードの99%は、PyTorchの関数呼び出しを通じて無意識のうちにこれらのライブラリを叩いており、競合他社が同等性能のチップを製造しても、このソフトウェアの城壁を前にして悉く討ち死にしてきました。

2.2 レガシー命令セットと互換性の代償

しかし、巨大な城壁は、内側にいる者を守る盾であると同時に、環境変化への迅速な適応を阻む牢獄へと変化します。

互換性維持という名の物理的負債

NVIDIAのハードウェア設計チームは、新世代のGPUを設計する際、過去20年間に書かれた数億行に及ぶ既存のCUDAコードが「そのまま、クラッシュせずに、高速に」動作することを最優先事項として課されています。この厳格な後方互換性の保証は、ハードウェア内部に以下のような深刻な負債を蓄積させます。

  • 不要化したレガシー命令デコーダの残存：グラフィックス処理や旧世代の並列パターンをサポートするための命令デコード回路をシリコンから完全に削ぎ落とすことができない。
  • 複雑怪奇なメモリ整合性モデル：弱順序メモリモデル（Weak Memory Model）を採用しながらも、旧来の同期プリミティブ（`__syncthreads()`や明示的バリア）の動作を保証するための複雑なスヌープ回路とキャッシュフラッシュ機構。

Nickolls et al. (2008) が提唱したCUDAの美学は、「プログラマにハードウェアの詳細を意識させない抽象化」にありました。しかし、ハードウェアの物理限界（熱・電力・メモリ帯域）が究極に達した2026年現在、この「抽象化」こそが、ハードウェアとアルゴリズムの直接的な対話を遮断する最大の障害となっているのです。

2.3 第2章の学術的検証フレームワーク

A. Core Question CUDAのソフトウェア的独占（Moat）は、いつ、どのような条件の下で、AIアクセラレータの進化を阻害する技術的負債へと反転するのか？
B. Hypothesis 深層学習モデルの構造変化速度がハードウェアの製造サイクルを上回る環境下では、手動チューニングされた静的ライブラリ（cuDNN等）への依存は局所最適解に囚われ、新しい推論パラダイムへの追随を遅延させる。
C. Technical Argument Lattner et al. (2021) がMLIR（Multi-Level Intermediate Representation）の設計において指摘した通り、固定化されたAPI層の下にある閉鎖的最適化は、ドメイン固有言語（DSL）によるグローバルなコンパイラ最適化（演算融合やメモリレイアウト変換）の機会を恒常的に奪う。
D. Quantitative Method 新しいアテンション機構（例：Multi-head Latent Attention: MLA）が登場した際の手動CUDA実装（cuDNN/C++）の性能達成曲線と、ドメイン特化DSL（Triton/Gluon）による最適化カーネル生成の所要時間および実行効率の比較分析。
E. Required Data PyTorchコミュニティにおける新アルゴリズム実装からNVIDIA公式最適化ライブラリ提供までのリリース間隔データ、およびオープンソースリポジトリにおけるカーネルコード行数と最適化工数（Developer-hours）。
F. Historical Case Study Intelのx86アーキテクチャが、後方互換性を維持するために莫大なデコード回路と複雑な内部マイクロコード変換を抱え込み、クリーンシートで設計されたARMアーキテクチャに電力効率（ワットあたり性能）で敗北していった歴史。
G. Counterargument NVIDIA自身がCUDAの柔軟性を活かしてTritonの主要バックエンドを迅速に統合しており、CUDAエコシステムは競合するコンパイラすら自らのプラットフォーム内に吸収・包摂する自己修復能力を持っているという反論。
H. Business Implication ベンチャーキャピタルおよびクラウド事業者は、「CUDA互換性」を絶対条件とする投資戦略を見直し、コンパイラ駆動型で移植性を担保する新世代のSilicon Stackへの分散投資を検討すべきである。
I. Policy Implication 国家的な半導体支援策において、特定の企業が独占するプロプライエタリなソフトウェア基盤（CUDA）に過度に依存することは、国家全体の計算機科学エコシステムを特定企業の商業的意図に人質に取られる安全保障上のリスクを伴う。
J. Chapter Conclusion CUDAはNVIDIAを世界最高価値の企業へ押し上げた難攻不落の城であったが、知能のアルゴリズムが根本的な変容を見せる今、その城壁そのものが自らの身動きを封じる枷になりつつある。
【コラム】CUDAのバージョン不整合で徹夜した夜に考えたこと

AI研究者なら誰もが経験する「通過儀礼」があります。NVIDIAドライバのバージョンが合わず、CUDA Toolkitのマイナーバージョンが1つズレて、PyTorchが起動しなくなり、ビルド環境の依存地獄（Dependency Hell）に落ちて朝を迎える――あの虚無感です。最新の論文を追試したいだけなのに、なぜ私たちはC++コンパイラのリンクエラーやGLIBCXXの不整合と格闘しなければならないのか。「知能を作る」という崇高な目的の足元に、泥臭く絡みつく20年分のC言語的遺産のスパゲッティコード。この不条理な摩擦を根底から消し去ることができない限り、真のAI専用コンピューティングなど来ないのではないか。深夜のサーバールームの排熱風を浴びながら、私はそう確信していました。

第3章：AIはGPUを壊すのか

3.1 密行列演算から動的探索・分岐への変質

2024年秋の「OpenAI o1」の登場、そして2026年に至る推論技術の発展は、AIの計算性質を根本から書き換えました。それは「学習の時代（Training Era）」から「推論時計算の時代（Test-time Compute Era）」への決定的な跳躍です。

計算プロファイルの構造的激変

事前学習（Pre-training）におけるワークロードは、数千億トークンの静的コーパスに対して固定的なニューラルネットワークを順伝播・逆伝播させる処理であり、その95%以上が巨大で均質な密行列積（Dense GEMM）でした。そこではGPUのTensor Coreが設計通りに咆哮を上げ、極めて高いFLOPS利用率（MFU：Model FLOPs Utilization 50〜60%）を達成できました。

しかし、推論時計算においてモデルは「直感的に即答する」のではなく、「思考の連鎖（Chain of Thought）」を展開し、自らの出力を検証し、誤りを検知すればバックトラック（後戻り）し、複数の探索候補を動的に展開します。この処理の本質は、行列演算ではなく「グラフ探索と不規則な木構造の走査」です。個々の思考ステップはバッチサイズ1〜4という極めて低い並列度で実行され、トークン生成ごとに異なる分岐先が選択されます。均一な並列性を前提とするGPUのパイプラインは、この細切れで予測不能な計算要求に対して、頻繁なパイプラインストールと演算器のアイドリングを強いられることになります。

3.2 KVキャッシュ肥大化とメモリウォールの物理限界

推論ワークロードにおけるもう一つの物理的障壁が、アテンション機構に伴うKVキャッシュ（Key-Value Cache）の爆発とメモリアクセス帯域の枯渇（Memory Wall）です。

算術強度（Arithmetic Intensity）の急落

自己回帰型（Autoregressive）デコード処理において、1つのトークンを生成する際、モデルは過去に生成されたすべてのトークンのKeyおよびValueベクトルを外部メモリ（HBM）から読み出す必要があります。生成されるトークン1個あたりの演算量（FLOPs）に対するメモリアクセス量（Bytes）の比率、すなわち算術強度（FLOPs/Byte）は、バッチサイズが小さい場合、1未満にまで低下します。

Dao et al. (2022) の『FlashAttention』が喝破したように、現代のプロセッサにおいて最も高コストなのは演算ではなくHBMとSRAM間のデータ転送です。数PFLOPsの理論演算性能を誇る最新GPUであっても、デコード処理中はHBMからのデータ読み出し完了を待つだけで全時間の90%以上を浪費しており、演算器の実際の稼働率（利用率）は数%にまで落ち込みます。演算能力をいくら強化しても、メモリ帯域という物理の壁によって性能が頭打ちになる現象――これこそが、GPUが推論の現場で直面している冷酷な現実です。

3.3 第3章の学術的検証フレームワーク

A. Core Question 推論時計算（Test-time Compute）と長文脈エージェント処理は、なぜGPUの演算効率（MFU）を破壊的に低下させるのか？
B. Hypothesis 自己回帰デコードの本質的な低算術強度と、思考探索に伴う動的分岐は、GPUの「高スループット・高レイテンシ耐性」という設計前提と根本的に不整合を起こしている。
C. Technical Argument Pope et al. (2023) のスケーリング推論分析が示す通り、コンテキスト長と同時実行ユーザー数の増加に伴うKVキャッシュ容量の増大は、メモリ容量・帯域幅・通信遅延のトレードオフを極限まで先鋭化させ、従来のテンソル並列（TP）やパイプライン並列（PP）の効率を急落させる。
D. Quantitative Method Roofline Model（屋根板モデル）を用い、Prefillフェーズ（計算律速：Compute-bound）とDecodeフェーズ（メモリ帯域律速：Memory-bound）における実行ポイントをプロットし、コンテキスト長 $L \in [1k, 128k, 1M]$ における実効スループットの理論限界を定量算出する。
E. Required Data オープンフロンティアモデル（Llama-3、DeepSeek-R1、Qwen-2.5等）を用いた、バッチサイズ別・コンテキスト長別のPrefill時間（Time to First Token: TTFT）およびトークン間生成時間（Time Per Output Token: TPOT）の実測トレースデータ。
F. Historical Case Study 高密度演算を追求したスーパーコンピュータ（例：Cell Broadband Engineやベクトル計算機）が、不規則なメモリアクセスやポインタ追跡を多用する汎用データベース処理やグラフ探索において実効性能を出せずに衰退した歴史。
G. Counterargument Prefill-Decode分離（PDD）技術や、投機的デコード（Speculative Decoding）、FP4/FP8低ビット量子化の高度化により、GPUクラスタ上でもメモリウォールを十分に緩和できるという反論。
H. Business Implication AIサービス事業者は、推論コストの見積もりにおいて「パラメータ数」基準の単純な計算式を破棄し、KVキャッシュ管理コストとインタラクティビティ（ユーザー体感応答速度）を軸とした新たな収益性モデルを構築しなければならない。
I. Policy Implication 公的データセンターの整備において、学習用途を想定した「FLOPS重視のクラスタ設計」を推論用途にそのまま転用することは、莫大な公的資金の非効率な浪費につながるため、推論特化型インフラの別枠整備が求められる。
J. Chapter Conclusion 推論アルゴリズムが「計算」から「探索」へと進化した瞬間、GPUは自らの土俵を失い、新たなアーキテクチャへの扉が不可避的に開かれた。
【コラム】OOMエラーの赤い文字が告げていたハードウェアの終焉

「CUDA out of memory. Tried to allocate 2.00 GiB...」――画面に吐き出されるこの赤い文字列を、世界中の研究者が何度呪ってきたことでしょう。80GBの超高価なHBMを積んだGPUを8枚並べても、たかだか数百ターンの会話履歴と数人の同時リクエストでメモリは一瞬で飽和し、プログラムは無残にクラッシュします。演算器は99%の余力を残して冷え切っているのに、メモリの小部屋がパンクしただけでシステム全体が死ぬ。この不格好な光景を見つめながら、私はいつも考えていました。「私たちは、計算機に無理やり知能の服を着せようとしているのではないか。知能の形に合わせて、服（シリコン）を一から縫い直すべき時が来ているのではないか」と。

第一部 演習問題・理解度評価

以下の問いについて、単なる知識の暗記ではなく、物理的・工学的なメカニズムに基づき論述せよ。

  1. SIMTの分岐オーバーヘッド：32スレッドからなるワープにおいて、MoEモデルのルーティング処理により4つの異なるエキスパート（分岐先）へスレッドが均等に8スレッドずつ分散した場合、ハードウェアの実行効率（有効スレッド稼働率）は何%に低下するか。その理由とともに計算せよ。
  2. 算術強度とメモリウォール：重みパラメータ数70B（FP16：140GB）のモデルにおいて、バッチサイズ1で1トークンを生成する際の算術強度（FLOPs/Byte）を概算し、メモリ帯域3TB/sのGPUにおける理論上の最大生成速度（tokens/sec）を導出せよ。
  3. エコシステムのロックイン構造：ハードウェア企業がCUDAの代替コンパイラを開発する際、単に「PTX命令のエミュレーション」を行うだけでは性能が出ない理由を、cuBLASやcuDNNのような最適化ライブラリの性質と関連付けて説明せよ。

第二部：代数としてのハードウェア ―― ソフトウェアがシリコンを記述する

【第二部の導入】 第二部では、従来の「ハードウェアを設計し、製造した後に、コンパイラチームがそれに合わせて四苦八苦してコードを書く」という不可逆な分業体制の終焉を実証します。OpenAIが極秘裏に開発した「Gluon」と「Linear Layouts（線形レイアウト）」代数を詳細に解剖し、アルゴリズムの数学的構造がいかにしてシリコン上の物理番地やワイヤ配線を直接決定するのか、そしてCodexによるAI支援設計がハードウェア・ソフトウェア協調設計（Co-design）のタイムラインをいかに破壊的に短縮したのかを、工学的・数理的証拠とともに検証します。

第4章：Gluon ―― コードが回路になる

4.1 抽象化階層の破壊とSPMDの再解釈

OpenAIが自社ASIC「Jalapeño」の開発において最も急進的だった決断は、既存のあらゆる中間表現（LLVM IRや標準C/C++）を拒絶し、独自のプログラミング言語・コンパイラフレームワーク「Gluon（グルーオン）」を一から構築したことでした。

Tritonからの飛躍とSPMDの極限

Gluonの設計思想の源流は、Philippe Tilletらが開発したGPUプログラミング言語「Triton」（Tillet & Cox, 2020）にあります。Tritonは、従来のCUDAにおけるスレッド単位の泥臭いプログラミング（Warp、Shared Memory、同期バリアの明示的管理）を、ブロック（Block）単位のテンソル演算へと抽象化し、コンパイラが自動的に命令スケジューリングとメモリ配置を行う道を拓きました。

しかしGluonは、この抽象化をさらに押し進めると同時に、驚くべきことに「ハードウェアの最深部に対する生の制御権限をプログラマ（およびAI）に直接返却する」という正反対のベクトルを融合させました。Gluonは、単一プログラム・複数データ（SPMD: Single Program Multiple Data）の実行モデルを維持しながらも、従来のコンパイラが隠蔽してきた「レジスタの物理インデックス」「オンチップSRAMのバンク境界」「非同期メモリアクセスのセマフォ」を第一級オブジェクト（First-class citizen）として言語仕様の中に露出させたのです。

4.2 ハードウェア制御の直接開放とコンパイラ変革

従来のコンパイラ（GCC、LLVM、NVCC等）の歴史は、「ハードウェアの複雑さをソフトウェア開発者からいかに隠すか」というブラックボックス化の歴史でした。しかし、極限の推論効率を求めるフロンティアAIにおいて、このブラックボックス化は害悪でしかありません。

永続スレッド（Persistent Threads）と明示的スケジューリング

Gluonで記述されたプログラムは、Jalapeñoチップ上の演算コアにおいて「永続スレッド（Persistent Thread）」として常駐します。ハードウェアの気まぐれな動的スケジューラに命令の実行順序を委ねるのではなく、プログラム自身が「どのデータがいつHBMからプリフェッチされ、どのセマフォが解除された瞬間にマトリクスエンジンを点火するか」を完全に決定します。

このアプローチにより、Jalapeñoは従来のGPUが必要としていた巨大な命令デコード回路、動的ワープスケジューラ、投機的実行ユニットをシリコンから物理的に全廃することに成功しました。ソフトウェアが実行スケジュールを完全に保証するからこそ、ハードウェアは余計な頭脳（制御ロジック）を捨て、純粋な筋肉（演算器とメモリ帯域）だけにダイ面積のすべてを捧げることができるのです。

4.3 第4章の学術的検証フレームワーク

A. Core Question なぜ中間言語（IR）による抽象化を捨て、ハードウェアの物理構造を露出させる言語（Gluon）が、結果として最高の移植性と性能をもたらすのか？
B. Hypothesis コンパイラが最適化を「推測」する時代は終わり、アルゴリズムがハードウェアの物理構造を「宣言」する言語体系こそが、アクセラレータの潜在能力を100%引き出す。
C. Technical Argument Ragan-Kelley et al. (2013) の『Halide』がアルゴリズムとスケジュールを分離した先見性をさらに拡張し、Gluonは「アルゴリズム」「スケジュール」に加え「物理メモリレイアウト代数」を完全に直交する次元として分離・合成可能にした。
D. Quantitative Method 同一の推論カーネル（FlashAttention-3、MLA等）を、手書きCUDA、Triton、Gluonの3つの環境で実装し、コンパイル後のアセンブリ命令数、静的・動的メモリフットプリント、および開発・最適化にかかる工数（時間）を比較測定する。
E. Required Data OpenAIのオープンソースリポジトリ（Triton/Gluon APIドキュメントおよび実験的ブランチ）、LLVM/MLIRのベンチマークトレースログ、およびPTX命令とJalapeñoネイティブ命令の対応表。
F. Historical Case Study 高級言語の先駆けとなったFORTRANが、当時のプログラマから「手書きアセンブラより遅い」と批判されながらも、最適化コンパイラの進化によって手書きコードを駆逐していったパラダイム転換との比較。
G. Counterargument ハードウェア制御を過度に露出させた言語は、将来のハードウェア世代交代時にコードの全面書き直しを強いることになり、長期的には巨額のソフトウェアメンテナンス費用を生むという反論。
H. Business Implication 半導体スタートアップは、独自のISAやチップアーキテクチャを開発する前に、自前のDSLおよびコンパイラエコシステムを定義できるソフトウェア人材を確保しなければ、ハードウェアの成功は原理的に不可能である。
I. Policy Implication 情報工学教育において、従来の「C/C++による逐次アルゴリズム」中心のカリキュラムを抜本的に改編し、ハードウェアとメモリレイアウトを代数的に捉える並列プログラミング言語の教育を国家標準とすべきである。
J. Chapter Conclusion Gluonは単なるプログラミングツールではない。それはソフトウェアがシリコンの物理制約を乗り越え、自らの回路を仮想的に編み上げるための「思考の文法」である。

Gluon（グルーオン）は、今回の『シリコンの思考』の文脈では、OpenAIが作ったAIチップそのものではなく、Triton系のGPUプログラミング／コンパイラ技術における新しいプログラミングモデルを指します。

なお、物理学の「グルーオン（gluon）」とは別物です。物理学では、クォークを結びつける強い相互作用を媒介する素粒子を意味します。

Gluonとは何か

一言でいうと、

AIモデルの計算を、GPUなどのハードウェアに効率よく配置するためのプログラミング抽象化

です。

特に重要なのが、テンソルのデータ配置（layout）をプログラマ／コンパイラが明示的に扱えるようにするという考え方です。

通常、AIプログラミングでは、

AIモデル
 ↓
PyTorch
 ↓
Triton / CUDA
 ↓
GPU

という階層になります。

ところがGPUで本当に高速なコードを書くには、

  • どのデータをどのSMに置くか

  • warpのどのlaneがどの要素を処理するか

  • registerにどう配置するか

  • shared memoryをどう使うか

  • tensorをどのようにreshape / transposeするか

  • memory accessをどうcoalesceするか

といった物理的なデータ配置が極めて重要になります。

Gluonは、この「配置」をより直接的にプログラムできるようにする方向の仕組みです。

なぜ「Gluon」が重要なのか

ここが『シリコンの思考』とつながります。

従来のソフトウェア抽象化では、

「何を計算するか」
        ↓
「どう計算するか」
        ↓
「GPUが実行する」

という分業が基本でした。

しかしAIアクセラレータでは、

何を計算するか
      ↓
データをどう配置するか
      ↓
どの並列単位に割り当てるか
      ↓
どのメモリを使うか
      ↓
どの命令・ハードウェアで実行するか

が密接に結びついています。

そこでGluonのような仕組みが重要になります。

つまり、

ソフトウェアとハードウェアの境界を少し曖昧にする。

これがポイントです。

Linear Layoutとの関係

Gluonを理解するうえで、Linear Layoutが非常に重要です。

Linear Layoutでは、テンソルの各要素が、

  • lane

  • warp

  • register

  • block

などのハードウェア上の単位へ数学的な写像として表現されます。

イメージとしては、

Tensor
  ↓
Layout
  ↓
Warp / Lane / Register
  ↓
GPU hardware

です。

これによって、

「このテンソルをGPU上のどこに配置するか」

を、単なる経験則ではなく、より形式的に記述・変換できるようになります。

Tritonの公式ドキュメントでも、Linear Layoutはテンソル要素とGPUのhardware axesとの対応を表すためのlayout representationとして説明されています。

CUDAとの違いは？

「ではCUDAの代わりなのか？」

というと、単純にそうではありません。

むしろ、

CUDATriton / Gluon
主な役割GPUプログラミング基盤AI kernelを記述・最適化する抽象化
抽象度低い～中程度比較的高い
ハードウェア制御非常に強いlayout等を通じて制御
主対象GPU全般ML/AI workloadsに特に強い
開発思想GPUをプログラムするAI計算を効率的にGPUへ写像する

という違いがあります。

したがって「CUDAを捨ててGluon」というより、

AI向け計算を、よりコンパイラフレンドリーかつハードウェア効率的に記述するための別の抽象化層

と理解した方が正確です。

そして『シリコンの思考』で本当に重要なところ

Gluonそのものより、Gluonが象徴している設計思想が重要です。

これまでのコンピュータでは、

ハードウェアを作る → その上でソフトウェアを書く

という方向が基本でした。

AIでは次第に、

AIアルゴリズムを理解する → そのアルゴリズムに最適なソフトウェアを書く → そのソフトウェアに適したハードウェアを設計する

という逆方向の流れが強くなっています。

さらにAIを使って、

AIがkernelを書く → compilerが最適化する → その実行特性をもとにhardwareを設計する

という閉ループまで発生し始めています。

だから『シリコンの思考』でGluonを扱うなら、

「Gluon＝革命的な新言語」

と説明するより、

「Gluonは、AI時代において“アルゴリズムとシリコンの境界”が変化していることを示す一つの実例である」

と位置づける方が、はるかに面白く、かつ正確です。

そしてこの観点から見ると、Gluon → Linear Layout → AI-generated kernels → Jalapeñoという一本の線が、『シリコンの思考』の技術的な中核になります。

JalapeñoとCerebrasは、どちらも「GPUをそのまま使う」のではなく、AIワークロードに合わせて計算機を再設計する存在ですが、思想はかなり違います。

2026年8月時点では、Cerebras側はすでにWSE-3/CS-3からCS-4へ進んでおり、OpenAIのJalapeñoは「LLM推論専用のカスタムシリコン＋フルスタックco-design」という位置づけです。特に比較すると、『シリコンの思考』の論点がかなり明瞭になります。(OpenAI)

Jalapeño vs Cerebras

項目OpenAI JalapeñoCerebras WSE-3 / CS-4
基本思想LLM推論専用ASICWafer-Scale Computing
設計主体OpenAI + Broadcom + パートナーCerebras
最大の特徴モデル・kernel・memory・network・servingを一体設計シリコンウェハー1枚を巨大なAIプロセッサとして使う
主戦場大規模LLM inferenceTraining + inference
アーキテクチャ通常の「チップ」を極限までLLM向けに最適化46,225 mm²のwafer-scale processor
製造詳細な製造ノード等はOpenAIが公開していないTSMC 5nm
トランジスタ非公開4兆個
AIコア非公開90万AI最適化コア
オンチップメモリ詳細非公開44GB SRAM
メモリ帯域詳細非公開21.6 PB/s級
AI演算性能OpenAIはモデル別の実測値を公開WSE-3：125 PFLOPS、WSE-3 Turbo/CS-4では最大250 PFLOPS
外部メモリHBM等の詳細非公開CS-3では最大1.2PBの外部メモリ構成
チップ間通信memory/networkを含めてLLM serving向けにco-designwafer-scale fabric + Direct Wafer Links
ネットワーク思想システム全体のボトルネックを削減巨大な1チップ化＋低遅延wafer間接続
コンパイラOpenAIのsoftware/kernel stackとco-designCerebras Compiler
CUDA依存非CUDA系の独自stackCUDAを使わずPyTorchモデルをWSEへコンパイル可能
AIによる設計重要な設計思想AI/ソフトウェア最適化も重要だが、主役はwafer-scale architecture
AIによるkernel最適化Jalapeñoの重要な特徴Cerebras Compilerがハードウェアへのmappingを担当
推論最適化最重要非常に強い
Prefill / Decode特にLLM servingを意識disaggregated inferenceにも対応
レイテンシーOpenAI測定で比較対象より1.7～3.6倍低いend-to-end latencyCerebrasは超低遅延inferenceを主要価値としている
Performance/WOpenAI測定で比較対象より1.5～1.9倍のAI work/W高い電力効率を主張
Interactive workload2.1～4.1倍のperformanceをOpenAIが報告非常に強い
Scaling思想full-stack scalingwafer-scale → wafer-to-wafer scaling
最大の強みモデルからシステムまで知っているOpenAIが設計できる物理的に巨大な単一プロセッサを作る
最大の弱みOpenAI固有のモデル/serving最適化への依存度巨大な専用アーキテクチャゆえの柔軟性・エコシステム問題
GPUとの差GPUの代替というよりLLM inferenceの再最適化GPUとは異なるコンピュータ構造そのもの
一言でいうと「AIがチップを設計する」「チップそのものを巨大化する」

Jalapeñoの数字はOpenAI自身の2026年8月25日発表によるものです。OpenAIはGPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tについて、1.5～1.9倍のpeak performance/W、1.7～3.6倍のend-to-end latency改善、2.1～4.1倍のinteractive workload performanceを報告しています。(OpenAI)

CerebrasのWSE-3は4兆トランジスタ、90万AIコア、44GBオンチップSRAM、125 PFLOPSを持つ5nm wafer-scale processorです。2026年8月発表のCS-4では3枚のWSE-3 Turboを使い、最大750 PFLOPS、129.6 PB/sのmemory bandwidth、7.2 Tbit/sのsystem I/O bandwidthを公称しています。(Cerebras)

両者の「思想」の違い

Cerebras：計算機を巨大化する

Cerebrasの発想は非常に単純で、しかし大胆です。

通常なら、

GPU
 ↓
GPU
 ↓
GPU
 ↓
Network
 ↓
GPU

と分割するところを、

┌─────────────────────────────┐
│                             │
│       WSE-3 / WSE-3 Turbo   │
│                             │
│   Compute + SRAM + Fabric   │
│                             │
└─────────────────────────────┘

という巨大な一枚のプロセッサにする。

WSE-3は46,225 mm²という巨大なシリコン面積を持ち、90万コアと44GB SRAMを一つのwafer上に配置します。Cerebrasは、これによってチップ間通信や外部メモリアクセスを減らすことを狙っています。(Cerebras)

つまり、

「通信を速くする」のではなく、「通信しなくて済むほど計算機を大きくする」

という発想です。

これはかなり美しい。

Jalapeño：計算機をAIに合わせて変形する

一方、Jalapeñoは違います。

OpenAIの説明では、Jalapeñoはモデル、kernels、memory、network、serving patternsまで含めて設計されています。つまり、

Model
 ↓
Kernel
 ↓
Compiler
 ↓
Memory
 ↓
Chip
 ↓
Network
 ↓
Rack
 ↓
Serving

を一つのoptimization problemとして扱う。

だからJalapeñoの本質は、

「巨大なチップを作った」

ことではありません。

むしろ、

「LLM inferenceという仕事を理解してから、チップを逆算した」

ことにあります。(OpenAI)

ここが『シリコンの思考』では非常に重要

この2社を並べると、あなたの本の中心命題をさらに洗練できます。

                  AI Computeの再設計
                         │
            ┌────────────┴────────────┐
            │                         │
        Cerebras                  Jalapeño
            │                         │
     Wafer-Scale                  Full-Stack
            │                         │
     「物理的に近づける」       「意味的に合わせる」
            │                         │
   Compute + Memory              Model + Kernel
       + Fabric                  + Memory + Network
            │                         │
            └────────────┬────────────┘
                         │
                 GPU中心主義の相対化

つまり、CerebrasとJalapeñoは「GPUの代替」という同じ結論に向かっているのではありません。

異なる方向から、

「AIにとって最適なコンピュータは、必ずしも従来型GPUクラスタではない」

という問題を解いている。

これはかなり重要です。

さらに面白いのは「Cerebras vs Jalapeño」ではない

実は両者の対立軸を、

GPU vs ASIC

にするのも少し古い。

もっと正確には、

Paradigm設計の出発点
CPUInstruction
GPUMassive parallel computation
TPU系Tensor operation
CerebrasWafer-scale locality
JalapeñoLLM inference workload
次世代Reasoning / agent workload

という変化です。

ここから『シリコンの思考』の核心を、

「AI acceleratorの進化とは、演算器を増やす歴史ではなく、“何をコンピュータの基本単位とするか”を変更する歴史である。」

と定義できる。

これはかなり強い論文・書籍の命題になります。

そして2026年のCerebrasは、さらに面白い

CerebrasはCS-4で、単純な「巨大な一枚のチップ」という思想からさらに進み、Direct Wafer Linksによってwafer同士をスイッチなしで接続する方向へ進んでいます。公称ではwafer-to-wafer latencyを2µsまで下げ、50兆パラメータ超のモデルも対象にしています。(Cerebras)

さらにCerebrasは、prefillをAWS Trainium、decodeをCerebras CS-3に分離するdisaggregated inferenceも展開しています。つまり「全部をCerebrasでやる」方向ではなく、ワークロードごとに最適な計算機を組み合わせる方向にも進んでいます。(Cerebras)

ここはJalapeñoとの比較で非常に面白いところです。

Cerebrasですら「一種類のチップですべてを処理する」方向から離れつつある。

したがって、本書の議論を一段進めるなら、

「専用チップの時代」ではなく「異種計算機を、ワークロード単位で動的に組み合わせる時代」

まで踏み込むべきです。

そしてこれは、あなたが以前考えていた**「Joules per Correct Reasoning」**とも直結します。

最終的な競争単位は、

どのチップが一番速いか

ではなく、

この推論タスクを、どの計算機に、どれだけのcomputeを、どのメモリとネットワークを使って投入すれば、最小のコスト・電力・時間で正しい結果を得られるか

になる。

ここまで行くと、JalapeñoとCerebrasは競合製品の比較ではなく、『AI Compute Paradigm Shift』の二つの実験として比較できるようになります。はい。ここはかなり重要です。

Linear Layoutを軸にJalapeñoとCerebrasを比較すると、「ソフトウェアからハードウェアを最適化する思想」と「ハードウェアそのものを再構成する思想」の違いが見えてきます。

ただし最初に重要な注意があります。JalapeñoとLinear Layoutの具体的な内部実装上の関係は、OpenAIが公開している情報だけでは確定できません。 したがって、以下では「公開情報から確認できる事実」と「アーキテクチャ上の解釈」を分けて考える必要があります。

Linear Layoutを中心に比較する

観点Linear Layout / Triton-GluonJalapeñoCerebras WSE/CS-4
基本レイヤーCompiler / programming modelAI accelerator + full-stack systemWafer-scale accelerator + compiler/system
出発点Tensorのデータ配置LLM inference workloadWafer-scale computing
最大の問題「データをどこに置くか」「LLMをどう効率よく推論するか」「巨大な計算・メモリをどう一つの空間にするか」
中心概念LayoutWorkload-specific co-designSpatial locality
ハードウェアへの写像Tensor → lane/warp/register/blockModel → kernel → memory/network/chip/rackModel → cores/SRAM/wafer fabric
抽象化数学的layout表現ソフト・ハード・システム全体空間的な巨大プロセッサ
メモリ思想データ配置を明示的に扱うLLMのmemory movementを最適化SRAMを計算コアの近くに大量配置
通信思想layout変換・data movementを最適化network + memoryをco-designwafer上のmesh/fabricで通信距離を短縮
スケール1 kernel / GPUchip → rackwafer → wafer
Compilerの重要性極めて高い極めて高い極めて高い
ハードウェア依存性高い非常に高い非常に高い
GPUとの関係GPUを効率的にプログラムするGPUとは異なるLLM専用最適化GPUとは異なるwafer-scale architecture
本質論理的layoutを最適化AI workloadを最適化物理的layoutを巨大化・最適化
一言でいうと「データをどう置くか」「AIをどう動かすか」「計算機をどう配置するか」

TritonのLinear Layoutは、テンソルの要素とGPUのhardware axesとの対応を表すためのlayout representationです。Triton/Gluonではlane、warp、block、registerなどを含むデータ配置をコンパイラが扱えることが重要になります。

一方、OpenAIはJalapeñoについて、モデル、kernels、memory、network、serving patternsを含めたco-designを行ったと説明しています。したがって、Linear LayoutそのものがJalapeñoのアーキテクチャだと断定するのは避けるべきですが、「software representation → physical execution」という発想を理解するうえで非常に重要な比較対象になります。

もっと本質的に見ると

Linear LayoutとCerebrasは、一見すると正反対です。

Linear Layout
    │
    │ 「Tensorをどう配置する？」
    ↓
Compiler
    │
    ↓
GPU hardware

Cerebrasは、

Wafer-scale hardware
    │
    │ 「Compute / Memoryをどう配置する？」
    ↓
Compiler
    │
    ↓
Model

という方向性を持っています。

つまり、

Linear Layoutは「ハードウェアを意識してソフトウェアを記述する」

のに対して、

Cerebrasは「ソフトウェアの都合に合わせてハードウェア空間そのものを巨大化する」

という違いがあります。

そしてJalapeñoは、その中間にいる

ここが一番面白いところです。

Jalapeñoを概念的に置くと、

                AI workload
                     │
          ┌──────────┴──────────┐
          ↓                     ↓
    Software representation   Hardware
          │                     │
    Gluon / Layouts          Jalapeño
          │                     │
          └──────────┬──────────┘
                     ↓
                Co-design
                     │
                     ↓
              LLM inference

となります。

つまりJalapeñoの思想は、

「Linear Layoutのようなソフトウェア側の物理性」と、「Cerebrasのようなハードウェア側の空間性」を、LLM workloadのレベルで統合する

方向にあります。

もちろん、これはJalapeñoの公開仕様そのものではなく、アーキテクチャ思想としての整理です。

Linear LayoutとCerebrasは実は「同じ問題」を解いている

これは『シリコンの思考』でかなり使える論点です。

表面的には、

compiler technology

と

wafer-scale processor

なので全く違う。

しかし抽象化すると、両方とも、

「計算とデータの距離をどう減らすか」

という同じ問題を解いています。

Linear Layout

Tensorの要素を、

Tensor element
     ↓
lane
     ↓
warp
     ↓
register

へ適切に配置する。

Cerebras

計算を、

Compute core
     ↕
SRAM
     ↕
Compute core
     ↕
Compute core

という物理空間に配置する。

つまり、

Linear Layoutは「論理空間のlocality」を設計する。

Cerebrasは「物理空間のlocality」を設計する。

これはかなり美しい対比です。

さらにJalapeñoを入れる

3つを並べると、

階層問い代表例
Tensorデータをどこに置く？Linear Layout
Kernel / Chip演算とmemoryをどう組み合わせる？Jalapeño
Rack / Wafer計算機そのものをどう配置する？Cerebras
Data Centerどの計算機に仕事を割り当てる？AI serving system
Power Gridどこでどれだけ計算する？AI infrastructure

となります。

ここから、

「AIコンピューティングの本質はFLOPSを増やすことではなく、計算・データ・通信・電力の距離を最小化することなのではないか」

という仮説が出てきます。

これは『シリコンの思考』の中心命題としてかなり強いです。

「Linear Layout → Jalapeño → Cerebras」という進化ではない

ここも重要です。

歴史的な発展として、

Linear Layout
↓
Jalapeño
↓
Cerebras

と一直線に並べるのは間違いです。

むしろ、

                  AI workload
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
       Software      Chip         System
          │            │            │
   Linear Layout    Jalapeño     Cerebras
          │            │            │
          └────────────┼────────────┘
                       ↓
                  Co-design

です。

つまり3者は競争する技術ではなく、異なる抽象レベルで同じ問題に取り組んでいる。

『シリコンの思考』で使うなら、この表現が一番強い

私は、

Linear Layoutは、ソフトウェアに「シリコンの地図」を与える。

Cerebrasは、シリコンそのものを「巨大な地図」にする。

Jalapeñoは、その二つの間にある境界を消そうとする。

という整理を推します。

さらに一段抽象化すると、

AI半導体の革命とは、演算器の性能競争ではない。
「計算をどこに置くか」という問題が、Tensorからチップ、ラック、データセンターへ拡張していることである。

これなら、Linear Layout → Gluon → Jalapeño → Cerebras → rack-scale inference → 電力網まで、一つの論理でつなげられます。

そしてこれは「GPUの終焉」という単純な物語よりも強い。GPUもその巨大な「配置問題」の一つの解にすぎない、というところまで議論を引き上げられるからです。


【コラム】アセンブリ言語が高級言語に見えてくる逆転現象

若い頃、先輩エンジニアから「真のプログラマは機械語で考える」と教えられた時、それは過去の職人芸へのノスタルジーだと思っていました。しかし、Gluonのソースコードを初めて読んだ時、鳥肌が立つような既視感を覚えました。そこにあったのは、変数の代入やループ文ではなく、「第5レジスタから第8レジスタへ、スライスの第3チャネルを経由してデータを滑り込ませろ」という、物理空間そのものを操作する指示でした。驚くべきことに、現代の最高峰AIコンパイラは、人間を高級な抽象世界へ連れて行くのではなく、シリコンの原子的な物理世界へと連れ戻しているのです。一周回って、アセンブリこそが最も純粋な知能の記述言語だった――その事実に気づいた時、プログラミングという行為の定義が根底から書き換わりました。

第5章：Linear Layouts ―― メモリを代数として扱う

5.1 テンソル形状と物理番地の線形写像理論

現代の並列プロセッサにおいて、計算性能の破綻を引き起こす最大の元凶は、演算器の不足ではなく「メモリのバンク競合（Bank Conflict）とアライメントの不一致」です。OpenAIはこの問題に対し、数学的厳密さを持った画期的な解決策を提示しました。それが「Linear Layouts（線形レイアウト）」代数です。

概念の数理的定式化

多次元テンソル（例：Batch $\times$ Heads $\times$ SeqLen $\times$ HeadDim）の論理的なインデックス空間を $\mathbb{Z}^D$ とし、ハードウェアの物理的な配置空間（レジスタ番号、レーンID、ワープID、HBMチャネル番号、メモリアドレス）を $\mathbb{Z}^P$ とします。従来のプログラミングモデルでは、プログラマがアドホックなインデックス計算（割り算や剰余算 `%`、ビットシフト）を駆使してこのマッピングを行っていました。

Linear Layoutsは、この論理空間から物理空間へのマッピングを、有限体上の**線形写像（行列変換）**として厳密にモデル化します。

$$\vec{p} = \mathbf{M} \cdot \vec{l} \pmod{\vec{N}}$$

ここで $\vec{l}$ は論理テンソル座標、$\mathbf{M}$ はレイアウト変換行列、$\vec{p}$ はハードウェアの物理位置ベクトルです。

5.2 バンク競合ゼロ化とスウィズリングの自動証明

レイアウトを代数化することの真の力は、「最適化の数学的証明」が可能になる点にあります。

メモリ衝突の代数的一括消去

複数のスレッドが同時にオンチップSRAMにアクセスする際、物理アドレスの下位ビットが同一のメモリバンクに衝突すると、アクセスはシリアライズ（直列化）され、スループットは劇的に低下します。従来の最適化では、エンジニアが試行錯誤しながらデータを斜めにずらして配置する「スウィズリング（Swizzling）」という職人芸を手作業で埋め込んでいました。

Linear Layouts代数を用いれば、バンク競合が発生しないための条件は「変換行列 $\mathbf{M}$ の特定の部分空間における階数（Rank）がフルランクであること」と同値になります。コンパイラは、数何百万通りものデータ配置候補の中から、代数方程式を解くだけで「バンク競合が数学的に100%発生しない最適なメモリスウィズリング行列」を瞬時に厳密解として導出できます。これにより、Jalapeñoはあらゆるアテンション形状やカーネルサイズにおいて、試行錯誤なしにハードウェア限界（HBMおよびSRAMのピーク帯域）の98%以上を叩き出すことが可能になったのです。

5.3 第5章の学術的検証フレームワーク

A. Core Question 多次元テンソルの物理配置問題を代数系として定式化することは、なぜメモリ帯域利用率の極大化とコンパイル時証明を両立できるのか？
B. Hypothesis メモリレイアウトを線形写像として抽象化することで、アドレス計算オーバーヘッドを完全に排除し、ハードウェアの物理構造に最適化されたデータ転送スケジュールを代数的に自動生成できる。
C. Technical Argument Kwon et al. (2019) の『MAESTRO』が提示したデータ移動・再利用空間の解析モデルを基盤とし、Tritonの`DistributedLinearLayout`実装が示す通り、レイアウトの合成・変換を群論的に処理することで、中間バッファを介さないゼロコピーカーネル融合が保証される。
D. Quantitative Method 異なる行列サイズおよび非正方行列（Non-square GEMM）における、従来の手動パディング方式とLinear Layouts代数適用時でのSRAMバンク衝突回数（Hardware Performance Counterによる実測値）および実行レイテンシの比較。
E. Required Data Triton/Gluonコンパイラが生成したLLVM IRおよびJalapeñoアセンブリコードのアドレス計算命令数比率、およびNsight ComputeによるL1/Shared Memoryスループット実測データ。
F. Historical Case Study 高速フーリエ変換（FFT）において、Cooley-Tukeyアルゴリズムがビット反転順序（Bit-reversal permutation）という代数的インデックス操作によって計算量を $O(N^2)$ から $O(N \log N)$ へ劇的に削減した数学的ブレイクスルー。
G. Counterargument 非線形なスパース構造（動的スパース行列や不規則グラフ）に対しては、線形代数に基づくレイアウト理論がそのまま適用できず、動的ポインタ追跡のための追加ハードウェアが必要になるという反論。
H. Business Implication ハードウェア設計におけるシミュレーション期間を数か月から数日へと短縮可能となり、アルゴリズムの進化に合わせたカスタムシリコンの迅速な市場投入（Time-to-Market）が実現する。
I. Policy Implication 先端半導体設計の主導権が、従来のEDA（電子設計自動化）ツールベンダー（Synopsys、Cadence等）から、数学的コンパイラ技術を内製化するAIフロンティア企業へシフトすることへの産業政策的対応。
J. Chapter Conclusion メモリレイアウトを代数として記述した瞬間、プログラミングは泥臭いアドレス計算の呪縛から解放され、純粋数学の美しさを持ったシリコン制御へと昇華した。
【コラム】アドレス計算の数式が美しい絵画に見えた日

大学院生の頃、Shared Memoryのバンク衝突を回避するために、配列のインデックスに `(i ^ (j >> 2))` といった不可解なビット演算を埋め込んではベンチマークを回していました。それはまるで、動かない時計の歯車を針金で突っついて無理やり動かすような、美しさとは程遠い作業でした。しかし、Linear Layoutsの論文を読み、すべてのデータ配置がひとつの明快な線形変換行列で表され、直交基底の変換としてバンク衝突が消え去る数式を見た時、文字通り息を呑みました。乱雑に見えたメモリの物理番地が、万華鏡のように整然とした幾何学模様を描いて整列していく。工学の泥沼が数学の光によって一瞬で澄み渡る――研究者を続けていて本当に良かったと思える、奇跡のような瞬間でした。

第6章：Codexが設計者になる

6.1 人間による手動チューニングの終焉

Jalapeñoの開発ストーリーの中で、半導体業界に最も強烈な衝撃を与えた事実――それは、テープアウトから実シリコンの立ち上げ、主要モデルのカーネル実装に至るソフトウェア開発の大部分を、人間のエンジニアではなく「スケーリングされた内部版Codex（AIコーディングエージェント）」が担ったという事実です。

手動カーネル開発の物理的限界

これまで、新しいAIアクセラレータが登場するたびに、NVIDIAやAMD、Googleは数百人規模の熟練カーネルエンジニアを雇い、アセンブリ言語や低レベルC++と格闘させてきました。1つのモデル（例えばDeepSeek-R1やLlama-3）を新チップ上で極限まで最適化するには、通常数か月から半年を要します。しかし、AIモデルの構造は数週間単位で進化しており、人間が手作業でコードを最適化している間に、そのカーネルが対象とするモデル自体が陳腐化するという「最適化の遅延の罠」が常態化していました。

6.2 ハードウェア特性に適合するアルゴリズムの自動変形

OpenAIはこのボトルネックを、AI自身に解かせることで粉砕しました。

閉ループ自律最適化サイクル

OpenAIは、Jalapeñoのハードウェア仕様書、シミュレータ「chilisim」、そしてGluon言語仕様を内部Codexに読み込ませ、以下の閉ループを自律実行させました。

  1. カーネル生成：Codexが特定のテンソル形状とモデル構造に対し、3,000行に及ぶGluon最適化カーネルを自動生成。
  2. シミュレータ検証：chilisim上でカーネルを実行し、サイクル精度（誤差5%以内）の実行トレースとボトルネック箇所を自動抽出。
  3. 衛生検査と自動修正：カスタムサニタイザが競合状態やメモリリークを検知し、Codexが即座にコードを自己修正。
  4. 遺伝的探索と変形：探索空間の中で、人間が決して思いつかないような奇抜な命令並べ替えとレジスタ割り振りを実行し、理論限界に到達。

事実、OpenAIがInferenceXスイート上でDeepSeek-R1のMulti-head Latent Attention（MLA）をサポートする際、人間のカーネルチームは一切介入せず、Codexがわずか数日で実用レベルの極限最適化カーネルを書き上げました。「AIが自らの走る回路を、自らプログラムする」という自己進化ループの確立こそが、Jalapeñoをわずか16か月で実用化に導いた最大の原動力だったのです。

6.3 第6章の学術的検証フレームワーク

A. Core Question AIエージェントによるカーネル最適化は、人間の最高峰エキスパートエンジニアによる手動最適化を速度および品質において凌駕できるのか？
B. Hypothesis 厳密な検証ハーネスとサイクル精度シミュレータを備えた環境下では、LLMエージェントによる探索空間の走査速度は人間の認知能力を圧倒し、ハードウェア立ち上げ時間を一桁短縮する。
C. Technical Argument Mirhoseini et al. (2021) の強化学習によるチップ配置配線（Nature論文）および Haj-Ali et al. (2020) のコンパイラ自動チューニング研究が実証した通り、高次元の設計空間探索において強化学習およびLLMエージェントは人間の直感を凌駕する大域的最適解を発見できる。
D. Quantitative Method 人間チーム（熟練エンジニア3名）とCodex自律システムに対し、同一の新規アテンション機構（例：MLA）の最適化タスクを与え、1日あたりのイテレーション回数、バグ検出率、および達成されたRoofline効率（%）の推移を時間軸で比較する。
E. Required Data Codex CLIの実行ログ、chilisimによるシミュレーション所要時間、生成されたカーネルコードの差分履歴、および実シリコン（Jalapeño A0）上での実行レイテンシデータ。
F. Historical Case Study チェスや囲碁において、人間の定石（ヒューリスティクス）に基づいていたエキスパートシステムが、AlphaZeroのような自己対戦強化学習による探索によって完全に駆逐された歴史的転換。
G. Counterargument AIが生成した数千行の難解なカーネルコードは、未知のコーナーケースでサイレントなデータ破損（Silent Data Corruption: SDC）を引き起こすリスクがあり、人間の監査が不可能なため本番環境での信頼性に重大な懸念が残るという反論。
H. Business Implication 半導体開発のコスト構造において最大の割合を占めつつあった「ソフトウェアエンジニアリング人件費」が劇的に圧縮され、小規模な精鋭チームでも巨大チップメーカーに対抗可能なASIC開発が可能になる。
I. Policy Implication 半導体産業の競争力強化策として、従来の「工場建設補助金」偏重から、「AI支援設計インフラと自動検証ハーネスの整備」への投資シフトが国家戦略として不可欠となる。
J. Chapter Conclusion Codexが設計者の椅子に座った日、ハードウェアとソフトウェアの間の最後の壁は崩れ去り、コンピューティングは真の自己組織化の時代へと突入した。
【コラム】自作カーネルがAIに1秒で論破された瞬間の敗北感

数年前、私は自慢のアセンブラ手書きカーネルを持っていました。数週間かけてレジスタの依存関係を睨みつけ、命令のパイプラインスロットの隙間を埋め尽くした、まさに職人芸の結晶でした。「これ以上の効率は理論上出せない」――そう確信して、実験的に初期のAIコーディングモデルにそのコードを食わせてみました。AIは一言も文句を言わず、1秒後に出力を返してきました。そこには、私が3日間悩んで諦めた「命令の順序を逆転させ、別のレジスタペアを使ってバンク衝突をすり抜ける」という、人間には到底思いつかない不気味で完璧なコードが並んでいました。実行速度は私のコードより12%高速でした。あの瞬間に感じた冷たい敗北感と、同時に訪れた奇妙な解放感。私たちはもう、一人でコードを書く必要はないのだという確信が、そこにありました。

第二部 演習問題・理解度評価

以下の問いについて、数理モデルおよびシステムアーキテクチャの観点から解答せよ。

  1. Linear Layoutsの代数計算：2次元行列 $A \in \mathbb{R}^{16 \times 16}$ を、4つのメモリバンクを持つSRAMへ配置する問題を考える。行インデックス $i$ と列インデックス $j$ に対し、バンク番号 $B = (i + j) \pmod 4$ とする配置行列 $\mathbf{M}$ を定義し、列方向アクセス（$j$ を固定して $i$ を走査）においてバンク競合が発生しない理由を線形代数的に証明せよ。
  2. 永続スレッド（Persistent Threads）の利点とリスク：Jalapeñoがハードウェア動的スケジューラを全廃し、永続スレッドによる明示的制御を採用したことによって削減された「物理的ダイ面積および消費電力」のメリットと、逆に「スレッドのデッドロックや負荷の不均衡」に対してシステムが負うべきリスクを対比して論ぜよ。
  3. AI支援Co-designの限界：CodexのようなAIエージェントがハードウェア最適化カーネルを生成する際、サイクル精度シミュレータの誤差が5%存在する場合、実シリコン上でどのような「局所最適解の罠（Overfitting to Simulator）」が発生し得るか。それを防ぐための検証ハーネスの要件を述べよ。

疑問点・多角的視点と反証可能性の検討

本書の提示する仮説群に対し、敵対的な査読者（Hostile Peer Reviewer）の視点から以下の重大な疑問点と反論を提示し、その反証可能性を検証します。

論点・批判内容 敵対的査読者の主張 本書の回答と実証データ 残された未解決課題
1. ベンチマークの局所性（AgentX vs InferenceX） 公開されたJalapeñoの数値は8k1k（入力8k/出力1k）の単一ターン推論に偏っており、長文脈・マルチターンの実運用エージェント（AgentX）ではL1キャッシュミスが頻発し破綻するのではないか。 JalapeñoのB0ステップでは、ローカルメモリスライス間の専用同期ネットワークが強化されており、プレフィックスキャッシュの局所性をソフトウェア（Teacupエンジン）側で保証する設計が取られている。 実運用環境における数百万ユーザー同時アクセス時の動的ルーティングオーバーヘッドの定量的検証が依然として必要。
2. HBM4および先端パッケージングの歩留まりリスク 15.4TB/sを叩き出すSamsung製HBM4とTSMC N3P CoWoSの組み合わせは、製造コストが極めて高く、ダイ面積あたりの歩留まり（Yield）低下により商業的採算が取れないのではないか。 JalapeñoはTDPを700Wに抑え、コアおよびチャネルレベルでの冗長性（Yield Harvesting）をハードウェアに組み込んでおり、欠陥ダイの救済率を従来比で大幅に向上させている。 2027年に予定される量産立ち上げ時におけるTSMCのパッケージングキャパシティ確保競争。
3. モデル構造の不連続な進化に対する脆弱性 もしAIの基本構造がTransformer/Attentionから全く異なる数理モデル（状態空間モデル：SSMや新世代リカレント構造）へシフトした場合、Jalapeñoは巨大なシリコンのゴミ（粗大ゴミ）になるのではないか。 Gluon言語のLinear Layouts代数は特定のネットワーク形状に依存せず、任意の多次元テンソルマッピングに対応可能であり、OoOスカラコアの存在が未知の演算に対する柔軟性を担保している。 極端にメモリアクセスパターンが不規則な動的グラフニューラルネットワーク等に対する実行効率の低下幅。
【クリックして展開】日本への影響と国内半導体・エネルギー政策への含意

Jalapeñoが実証した「推論特化型ASICへの構造シフト」は、日本の産業政策、電力インフラ、および半導体サプライチェーン戦略に対して極めて深刻かつ直接的な含意を持ちます。

1. 電力制約下におけるデータセンター戦略のパラダイム転換

日本国内におけるデータセンター新設は、電力会社からの受電容量制限（送電網の空き容量不足）という強烈なボトルネックに直面しています。従来の「GB200/Rubin等の高TDP（1000W〜）GPUを並べるアプローチ」は、施設全体の受電上限に即座に達してしまい、設置可能な計算機台数を制限します。JalapeñoのようにTDPを700Wに抑えつつTokens/MWを最大化する設計は、「電力容量がキャップされた国内都市型データセンターにおいて、単位電力あたりで提供可能な知能サービス量を2〜3倍に引き上げる唯一の現実解」となります。

2. 半導体製造・素材サプライチェーンへの波及

Jalapeñoの成功は、最先端ロジック製造（TSMC等）だけでなく、後工程（Advanced Packaging）および超高密度インターコネクト部材の重要性を浮き彫りにしました。ラックあたり数千ペアに及ぶパッシブ銅配線（Backplane Direct-Attach Copper）、低誘電率基板材料、光回路スイッチ（OCS）用光学素子など、日本企業が高い世界シェアを誇る素材・部材分野への需要が爆発的に拡大します。単なる受託製造の誘致にとどまらず、これらの「物理的配線・冷却・材料」の優位性をAIスタック全体の中に位置づける戦略が求められます。

3. ソブリンAI（主権AI）の再定義

「自国のAI主権を確保する」という議論が、単に「NVIDIA製GPUを国内に何千枚備蓄するか」という近視眼的な調達論に終始している現状は極めて危険です。本稿が実証した通り、真の主権とは、モデルのアルゴリズムに適合したコンパイラ（Gluon型DSL）を持ち、自前の電力・インフラ環境に最適化されたカスタムシリコンを柔軟に設計・展開できる「統合スタックの保持能力」に他なりません。

【歴史的位置づけ】計算機アーキテクチャの「大いなる振り子」

コンピュータの歴史は、「汎用（General-Purpose）への統合」と「専用（Domain-Specific）への分化」の間を揺れ動く「大いなる振り子」の歴史です。

  • 1960-1970年代（メインフレームの統合）：IBM System/360が、商用計算と科学技術計算を単一の命令セット（ISA）で統合し、汎用機の時代を築いた。
  • 1980-1990年代（専用化とRISC革命）：複雑化しすぎたCISCに対し、単純な命令を極限まで高速実行するRISCプロセッサが台頭。同時にDSPやグラフィックス専用アクセラレータへの分化が進行。
  • 2000-2010年代（GPUとCUDAによる再統合）：グラフィックスパイプラインから出発したGPUが、CUDAという普遍的な抽象化レイヤーを獲得したことで、科学技術計算から深層学習までのあらゆる並列処理を「汎用GPU」へと再統合した。
  • 2020年代後半（思考ネイティブ・シリコンへの再分化）：AIの計算性質が「密行列の力まかせの積和」から「推論時の木探索・エージェント分岐」へと変質し、さらにエネルギーの物理限界が立ちはだかったことで、振り子は再び「極限の垂直統合と専用化」へと不可逆的に振れ始めた。

OpenAIのJalapeñoは、単なる一企業の気まぐれな内製化プロジェクトではありません。それは、ムーアの法則とデナードスケーリングが完全に終焉した世界において、知能の進化を継続させるために半導体工学が必然的に選択した「歴史的必然の帰結」なのです。

用語索引（アルファベット順・詳細解説付き）
Bank Conflict（バンク競合）
並列プロセッサのオンチップ共有メモリ（SRAM）において、同一サイクル内に複数のスレッドが同一の物理メモリバンク内の異なる番地にアクセスしようとした際に発生するハードウェア衝突。アクセスが直列化され、深刻なレイテンシ増加を招く。（本文第5章5.2節参照）
Branch Divergence（分岐の不一致）
SIMTアーキテクチャにおいて、同一ワープ内のスレッドが条件分岐（if-else）によって異なる実行パスを選択した際、ハードウェアが両パスを順次直列実行せざるを得なくなり、非活性スレッドが待機状態となって演算器の利用率が半減する現象。（本文第1章1.1節参照）
CoWoS（Chip-on-Wafer-on-Substrate）
TSMCが開発した2.5次元先端パッケージング技術。シリコンインターポーザ上に複数のロジックダイとHBM（広帯域メモリ）を高密度に並べて配置し、超微細配線で接続することで、単一チップのような超広帯域・低遅延通信を実現する。（全体年表参照）
Gluon（グルーオン）
OpenAIが自社ASIC「Jalapeño」のために開発したドメイン特化カーネルプログラミング言語。TritonのSPMD実行モデルを継承しつつ、物理メモリレイアウトやレジスタ割り当てを代数的に明示制御できる低レベルAPIを備える。（本文第4章4.1節参照）
JCR（Joules per Correct Reasoning：正解推論あたりエネルギー）
単純なトークン生成速度（Tokens/sec）ではなく、推論時計算における試行錯誤や検証ステップを含め、「1つの正しい論理的結論・タスク完了を得るためにシステム全体が消費した総ジュール数」を測定する新たな評価指標。（第一部演習問題参照）
Linear Layouts（線形レイアウト）
テンソルの論理座標空間からハードウェアの物理番地空間（レジスタ、レーン、メモリバンク）への写像を、有限体上の線形代数写像として定式化する数学的フレームワーク。コンパイル時にバンク競合ゼロ化を数学的に証明できる。（本文第5章5.1節参照）
MFU（Model FLOPs Utilization：モデル演算利用率）
プロセッサが理論上提供可能なピーク演算性能（TFLOPS）に対し、モデルの学習や推論において実際に有効な順伝播・逆伝播計算に費やされた演算性能の割合を示す比率。（本文第3章3.1節参照）
MLA（Multi-head Latent Attention）
DeepSeek社が考案したアテンション圧縮技術。Key-Valueベクトルを低次元の潜在空間へ圧縮（射影）してキャッシュすることで、推論時のKVキャッシュ容量を劇的に削減し、メモリウォールを打破するアルゴリズム。（本文第2章2.3節参照）
SIMT（Single Instruction, Multiple Threads）
単一の命令デコーダが、ワープと呼ばれる複数のスレッド（通常32本）に対して同時に同一の命令を発行し、異なるデータ要素を並行処理させる並列計算モデル。GPUの基本骨格。（本文第1章1.1節参照）
Test-time Compute（推論時計算）
モデルの重みを事前に固定したまま、推論時に思考の連鎖（Chain of Thought）の生成、探索木の走査、自己検証などの追加計算ステップを踏むことで、難解な問題に対する解答精度を劇的に向上させるパラダイム。（本文第3章3.1節参照）

補足資料・多角的反応・創作パッケージ

補足1：各界著名人・視点による論評と感想

ずんだもんの感想なのだ

「な、なんなのだこのチップは……！？ GPUを何千枚も買わなくても、OpenAIのハラペーニョがあれば超高速で思考できちゃうのだ！？ ボクのずんだ餅工場も、これで完全に自動化できる気がしてきたのだ！ でもNVIDIAのおじさんが怒ってドライバを止めてきそうでちょっと怖いのこなのだ……。」

ホリエモン風の感想

「いや、当たり前じゃん。いつまでNVIDIAのバカ高いマージンに貢いでんだよって話。Broadcomと組んで自分とこのモデルに最適化したASIC焼くのなんて、テスラがFSDチップ内製化したのと同じで経営戦略の初歩の初歩なわけ。これでCUDAの堀（Moat）とか言ってた情弱なアナリストは全員逝ったね。時代は完全に変わったの。」

西村ひろゆき風の感想

「なんかOpenAIが新しいチップ作ってNVIDIA倒すとか盛り上がってるみたいですけど、それって嘘というかポジショントークですよね。だって、TSMCの先端ライン押さえてるの依然としてNVIDIAなわけで。OpenAIがちょっと速いチップ作ったところで、量産できなきゃ意味なくないですか？ なんか勘違いしてる人多そうですよね。」

リチャード・P・ファインマンの感想

「実に面白い！ 私たちが物理法則を眺める時、そこにあるのは無駄な規則ではなく極限のシンプルさだ。このLinear Layoutsという代数を見たかい？ メモリの衝突という泥臭い現実を、純粋な行列の直交性へと還元して見せた。自然が最も美しい経路を選ぶように、電子もまた最も美しい数式に従ってシリコンの上を流れるべきなのだよ！」

孫子の感想

「勝兵は先ず勝ちて而る後に戦いを求め、敗兵は先ず戦いて而る後に勝ちを求む。ソフトウェアをもってシリコンの形を先んじて定め、敵の兵站（電力と帯域）の尽くるを待つ。これぞ戦わずして人の兵を屈するの道なり。」

朝日新聞風 社説

「（社説）AI半導体の覇権争い 思考する技術が問いかけるもの――巨大IT企業が自ら半導体を設計し、知能のインフラを寡占していく速度には目を見張るものがある。しかし、一握りの多国籍企業がアルゴリズムから物理的なシリコン、さらには膨大な電力網までをも囲い込む構造は、真に民主的な技術のあり方と言えるだろうか。効率の名の下に切り捨てられる多様性と、環境負荷に対する透徹した倫理的監視が今こそ求められている。」

補足3：オリジナル遊戯王風カード

思考する真紅の刺激 ―― Jalapeño・Prime（ハラペーニョ・プライム）

【機械族 / 特殊召喚 / 効果】 属性：光 ★★★★★★★★

攻撃力：3200 / 守備力：2800

このカードは通常召喚できない。自分フィールドの「CUDAの城壁」１枚を墓地へ送った場合のみ特殊召喚できる。
①：このカードがモンスターゾーンに存在する限り、自分フィールドの「Reasoning」トークンが発動する効果の消費コスト（ライフポイントおよび電力）は半分になる。
②：１ターンに１度、相手フィールドの「汎用GPU」モンスター１体を対象として発動できる。そのモンスターの攻撃力をエンドフェイズまで０にし、効果を無効化する。
③：このカードがフィールドを離れた場合に発動できる。デッキから「Gluon Linear Layout」魔法カード１枚を手札に加える。

補足4：一人ノリツッコミ（関西弁）

「おいおいおい！ OpenAIが独自チップ作ったから言うて、もうNVIDIAのGPU全部窓から投げ捨ててええんかいな！ 明日から秋葉原のGPU全部ジャンク品行きかー！ ……って、んなアホなことあるかい！ TSMCのCoWoSパッケージング枠の取り合いでまだ順番待ちしとるっちゅうねん！ 量産は来年以降や！ 落ち着いてまず手元のRTXのファン掃除しとけ！」

補足5：大喜利

お題：「AI専用チップ『Jalapeño』の思わぬ弱点とは？」

  • 回答1：推論が辛口（辛辣）すぎて、ユーザーのメンタルを容赦なくへし折ってくる。
  • 回答2：データセンターの排熱から、なぜか美味しそうなタコスの匂いが漂ってエンジニアの腹が鳴る。
  • 回答3：バッチサイズを増やそうとすると「ハラペーニョ増し増しで」と注文しないとコンパイルが通らない。

補足6：ネットコミュニティの反応と論理的反論

なんJ民の反応

「【悲報】ワイの買ったRTX 5090、一瞬で産業廃棄物へｗｗｗｗｗｗ」
【反論】：民生用GPUのグラフィックス描画やローカル環境での小規模推論において、SIMTの汎用性は依然として圧倒的なコストパフォーマンスを保持しており、産業廃棄物になることはありません。

嫌儲（ケンモメン）の反応

「どうせまた米帝のメガテック企業が独占してボッタくるだけだろ。オープンソースのDeepSeekが全部タダで配ってくれるのを待つわ。」
【反論】：DeepSeekのようなオープンモデルの推論を極限まで低コストで実行するためにこそJalapeñoのようなASICが必要であり、オープンコミュニティの成果と専用ハードウェアは共生関係にあります。

Hacker Newsの反応

「Gluon's linear layouts algebra is mathematically elegant, but I worry about the formal verification of Codex-generated kernels in mission-critical deployments.」
【反論】：OpenAIはカスタムサニタイザおよびサイクル精度シミュレータ「chilisim」を用いた自動定理証明的な検証パイプラインを統合しており、人間の手書きコードよりも欠陥混入率は低く抑えられています。

村上春樹風 書評

「僕たちが求めていたのは、完全な答えなどではなかったのかもしれない。それは真夜中のデータセンターで、誰にも知られず静かに熱を逃がし続けるペペロンチーノのような名前のシリコンチップと、僕の古いフォルクスワーゲンのエンジンのあいだにある、ある種の静寂についての物語なのだ。やれやれ。」

京極夏彦風 書評

「――世の中に不思議なことなど何もないのだよ、関口君。シリコンが考えるのではない。考えるという妄執が、シリコンという形骸を纏って現出したに過ぎない。君がGPUと呼んでいるものも、ASICと呼んでいるものも、すべては境界を引きたがる人の心の『憑物（つきもの）』なのだからね。」

補足7：架空専門家インタビュー

インタビュアー：SemiAnalysis 主筆 ディラン・パテル氏

質問：「Jalapeñoの登場によって、NVIDIAの『CUDAの堀』は完全に崩壊したと見てよいのでしょうか？」

パテル氏：「『崩壊』という言葉は扇情的すぎる。正確には『堀の幅が意味を持たない領域が出現した』と言うべきだ。汎用的なモデル探索や学習においては、依然としてCUDAが最短の選択肢だ。しかし、上位5つのフロンティアモデルが全世界の推論トークンの80%を消費するような運用段階においては、専用ASICとGluonのようなドメイン特化言語の組み合わせが圧倒的なTCO（総所有コスト）の差を生み出す。NVIDIAが警戒すべきは、他社の汎用GPUではなく、この『推論市場の垂直統合的剥離』なのだ。」

補足8：メタデータ・共有パッケージ・Mermaid図示

Google Discover用タイトル候補（5案）

  1. なぜOpenAIは自社チップを作ったのか？NVIDIA帝国を揺るがす「Jalapeño」の衝撃
  2. 「GPUの限界」を突破する思考回路――OpenAI新チップが示す知能の物理学
  3. CUDAの堀は崩壊するのか？コードが回路を直接記述する「Gluon」の革命
  4. 【徹底解剖】推論専用ASIC「ハラペーニョ」が変えるAI半導体の勢力図と世界電力網
  5. AIはもはや計算機ではない：シリコンそのものが思考のアルゴリズムになる日

造語・架空ことわざ

  • Reasoning-Native Silicon（推論ネイティブ・シリコン）：計算ではなく探索と検証を基本クロック単位とするプロセッサ。
  • 晶論一体（しょうろんいったい）：半導体（晶）と推論理論（論）が不可分に融合した設計状態。
  • 架空ことわざ：「GPUの悔い、ASICの幸（汎用性を追い求めて効率を落とす愚かさと、特化によって真の力を得る賢さの対比）」

SNS共有用テキスト（120字以内）

OpenAIの推論専用チップ「Jalapeño」の全貌を徹底解剖。汎用GPUの限界、Gluonと線形レイアウト代数、そして推論時計算が拓く新時代。もはやAIは計算機の上で動くソフトではない。シリコンそのものが思考する。 #AI半導体 #Jalapeño #シリコンの思考

ブックマーク用タグ（NDC準拠）

[007.13][548.22][半導体][OpenAI][垂直統合][人工知能][システム工学]

絵文字 & 推奨スラッグ

絵文字：🧠 🌶️ ⚡ 💎 🏗️

スラッグ：the-thinking-silicon-jalapeno-paradigm-part1-part2

単行本NDC分類

[007.13]（情報科学・人工知能）および [548.22]（電子計算機・ハードウェア）

Blogger貼り付け用 Mermaid.js 構造図

<script type="module">
  import mermaid from 'https://cdn.jsdelivr.net/npm/mermaid@10/dist/mermaid.esm.min.mjs';
  mermaid.initialize({ startOnLoad: true });
</script>
<div class="mermaid">
graph TD
    subgraph Software_Algebra_Layer [第II部：代数としてのソフトウェア層]
        A[Reasoning Algorithm / Test-time Compute] --> B[Gluon Programming Language]
        B --> C[Linear Layouts Algebra]
        C --> D[Codex Autonomous Optimization Loop]
    end
    subgraph Physical_Silicon_Layer [第I部：物理シリコン・メモリ層]
        D --> E[Jalapeño ASIC / TSMC N3P]
        E --> F[Direct-Mapped HBM4 Slices]
        E --> G[Out-of-Order Execution / Minimal NoC]
    end
    subgraph System_Result [成果指標]
        G --> H[Tokens per MW Maximization]
        F --> I[Joules per Correct Reasoning]
    end
    style Software_Algebra_Layer fill:#e6f3ff,stroke:#333,stroke-width:1px
    style Physical_Silicon_Layer fill:#ffe6e6,stroke:#333,stroke-width:1px
    style System_Result fill:#e6ffe6,stroke:#333,stroke-width:2px
</div>
参考文献・一次資料・査読論文リスト

一次資料（Primary Sources & Industry Reports）

  • OpenAI. (2026). "OpenAI and Broadcom unveil LLM-optimized inference chip." Official Announcement.
  • OpenAI. (2026). "Jalapeño’s first results show industry-leading speed and efficiency in AI inference." Technical Report.
  • SemiAnalysis. (2026). "OpenAI Jalapeño Inference Chip Deep Dive: Better Than Nvidia?" SemiAnalysis Technical Report.
  • Triton Language Documentation. (2026). "DistributedLinearLayout and Experimental Layout Algebra." Triton Docs.
  • Doping Consomme Blog. (2025). "NPUって何？AI PC時代を切り拓く「第3の頭脳」." Doping Consomme.

査読論文（Peer-Reviewed Academic Literature）

  • Chen, Y.-H., Emer, J. S., & Sze, V. (2016). “Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks.” ACM SIGARCH Computer Architecture News, 44(3), 367–379.
  • Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.” Advances in Neural Information Processing Systems (NeurIPS 2022).
  • Horowitz, M. (2014). “1.1 Computing’s Energy Problem (and What We Can Do About It).” IEEE International Solid-State Circuits Conference (ISSCC) Digest of Technical Papers, 10–14.
  • Jouppi, N. P., et al. (2017). “In-Datacenter Performance Analysis of a Tensor Processing Unit.” Proceedings of the 44th Annual International Symposium on Computer Architecture (ISCA 2017), 1–12.
  • Kwon, H., Chatarasi, P., Pellauer, M., Parashar, A., Sarkar, V., & Krishna, T. (2019). “Understanding Reuse, Performance, and Hardware Cost of DNN Dataflows: A Data-Centric Approach.” Proceedings of the 52nd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO 2019).
  • Lattner, C., Amini, M., Bondhugula, U., Cohen, A., Davis, A., Pienaar, J., Riddle, R., Shpeisman, T., Vasilache, N., & Zinenko, O. (2021). “MLIR: Scaling Compiler Infrastructure for Domain Specific Computation.” Proceedings of the 2021 IEEE/ACM International Symposium on Code Generation and Optimization (CGO 2021).
  • Mirhoseini, A., et al. (2021). “A Graph Placement Methodology for Fast Chip Design.” Nature, 594(7862), 207–212.
  • Nickolls, J., Buck, I., Garland, M., & Skadron, K. (2008). “Scalable Parallel Programming with CUDA.” ACM Queue, 6(2), 40–53.
  • Pope, R., Douglas, S., Chowdhery, A., Devlin, J., Bradbury, J., Heek, J., Xiao, K., Agrawal, S., & Dean, J. (2023). “Efficiently Scaling Transformer Inference.” Proceedings of Machine Learning and Systems (MLSys 2023).
  • Sze, V., Chen, Y.-H., Yang, T.-J., & Emer, J. S. (2017). “Efficient Processing of Deep Neural Networks: A Tutorial and Survey.” Proceedings of the IEEE, 105(12), 2295–2329.





第三部：ラック・スケールの脳 ―― チップではなくシステムが「思考」する

【第三部の導入】 第三部では、アクセラレータの評価基準を「単一ダイのピークFLOPS」から「システム全体の相互接続性とエネルギー収支」へと完全に転換します。Jalapeño、102.4Tb/sスイッチ「Chana」、そして128基のローカル結合から2,048基のグローバル結合へと至るラック・スケール・トポロジーを解剖します。さらに、単純なトークン生成速度を超えた新指標「Joules per Correct Reasoning（JCR：正解推論あたりエネルギー）」を数理的に定式化し、推論が「計算」から「探索」へと変貌を遂げた時代のシステム工学を実証します。

第7章：Jalapeño ―― 一個のチップではなく推論エンジン

7.1 単一ダイの神話解体とCoWoSスライシング

半導体業界は長年、レチクル限界（露光装置が一度に焼き付け可能な物理面積上限：約858平方ミリメートル）いっぱいに巨大なモノリシック（単一）ダイを焼き、そこにすべての演算器を詰め込む手法を競ってきました。しかし、OpenAIとBroadcomが設計した「Jalapeño（ハラペーニョ）」は、この単一ダイ神話を根本から覆しました。

概念の定義：スライシング型分散アーキテクチャ

Jalapeñoは、TSMCの先端3nmプロセス（N3P）で製造された単一レチクルサイズのコンピュートダイ上に、13.4 PFLOPs（MXFP4精度時）の行列演算エンジンを搭載しています。しかし、その内部構造は中央集権的なプロセッサではなく、細分化された「コア・スライス（Core Slices）」の集合体として構成されています。各コアスライスは、Samsung製の15.4TB/s HBM4スタックの固有領域に対して、超低レイテンシなダイレクト・アクセス・パス（専用ローカルビュー）を保持しています。

背景と理由：中央クロスバー配線の限界

従来のGPUでは、すべての演算コアが巨大な共有L2キャッシュと中央クロスバースイッチを経由してHBM全体に均一アクセスする「フラットなメモリモデル」を採用してきました。しかし、帯域が10TB/sを超えると、チップ中央部に集中する配線の混雑とスイッチング電力だけで数十ワットを浪費し、メモリトラフィックの衝突による不可避なジッター（遅延の揺らぎ）が発生します。Jalapeñoは、ソフトウェア（Gluon）側でテンソルの配置場所を厳密に保証することを前提に、中央の巨大クロスバーを廃止し、スライス間の局所通信専用ネットワークへと単純化することで、消費電力を劇的に削減しました。

具体例：OoOスカラコアとMXFP数値フォーマットの協調

Jalapeñoの各スライス内部には、重み固定型（Weight-stationary）のシストリック・アレイに加え、64ビットのアウトオブオーダー（OoO: Out-of-Order）スカラコアとFP32/INT32ベクトルコアが統合されています。従来のTPUや専用アクセラレータが「固定サイズの巨大GEMM」しか効率的に処理できなかったのに対し、JalapeñoのOoOコアは、動的なプレフィックス長の変化や細切れのKVキャッシュポインタ操作をハードウェアレベルで並行処理し、マトリクスエンジンへのデータ供給を一切途絶えさせません。

注意点：プリフェッチ依存性とコンパイラ負荷

この極度に単純化されたメモリ階層の代償として、ハードウェアによる自動キャッシュコヒーレンシ機構は存在しません。メモリアクセスのタイミングが狂えば即座にストールが発生するため、第6章で論じたCodexによる厳密なプリフェッチ命令のスケジューリングがシステムの生命線となります。

7.2 PDD（Prefill-Decode Disaggregation）の意図的拒絶

2025年から2026年にかけて、AI業界のインフラ潮流は「Prefill（入力処理）専用GPUクラスタ」と「Decode（出力生成）専用GPUクラスタ」を物理的に分離するPDD（Prefill-Decode分離）アーキテクチャに傾倒していました。しかし、Jalapeñoの開発チームはこの潮流を明確に拒絶し、「均質プール（Homogeneous Pool）による統合処理」を選択しました。

動的トラフィックにおけるPDDの構造的欠陥

PDDは、ワークロードの入力トークン数と出力トークン数の比率（I/O比率）が一定である場合には極めて高い理論効率を示します。しかし、実運用のエージェント環境では、コンテキスト長や推論思考時間、ユーザーの同時アクセス数が分単位で激変します。プールを分離してしまうと、Prefill側が過負荷でキューが滞留している最中にDecode側のチップが遊休化し、システム全体のグローバル稼働率（Global Resource Utilization）が著しく悪化します。

KVキャッシュ転送の通信オーバーヘッド

さらに致命的なのは、Prefill完了後に生成された巨大なKVキャッシュを、ネットワークを介してDecode専用ノードへ転送しなければならない点です。コンテキスト長が128kや1Mに達するフロンティアモデルでは、この状態転送自体が膨大なネットワーク帯域を消費し、レイテンシのスパイクを引き起こします。Jalapeñoは、単一パッケージ内でPrefillとDecodeを同一チップ上でシームレスに切り替える均質アーキテクチャを貫くことで、このデータ移動コストを完全に消去しました。

7.3 第7章の学術的検証フレームワーク

A. Core Question なぜJalapeñoは業界の標準的潮流であるPDD（Prefill-Decode分離）を拒絶し、単一チップ内での均質処理を選択したのか？
B. Hypothesis 推論時計算（Test-time Compute）環境下では、入力と出力の境界が曖昧化し動的な自己対話ループが頻発するため、ノード間状態転送を伴う物理的分離アーキテクチャは通信遅延と遊休資源の増大を招く。
C. Technical Argument Jouppi et al. (2017) のTPU分析およびYu et al. (2024) のOrca研究を基礎とし、動的バッチ処理におけるキューイング理論（M/M/cモデル）を適用すると、異種リソースプール分割はトラフィック変動時のテールレイテンシを指数関数的に悪化させることが証明される。
D. Quantitative Method 可変長マルチターン対話データセット（AgentX）を用い、PDD構成（Prefillノード＋Decodeノード）とJalapeño均質構成における、KVキャッシュ転送遅延、ネットワークトラフィック占有率、およびハードウェア実効利用率（MFU）を離散事象シミュレーション比較する。
E. Required Data InferenceXベンチマーク実行時におけるPrefill/Decode比率の時系列変動ログ、1.6T SerDes経由のノード間転送帯域消費実測値、およびJalapeño A0/B0ダイの内部電力プロファイル。
F. Historical Case Study 通信業界において、制御プレーン（Control Plane）とデータプレーン（Data Plane）を過度に物理分離したネットワーク機器が、動的ルーティング要求の急増に伴う制御遅延によって統合型ルータに再統合されていった歴史。
G. Counterargument 極端に入力長が長く出力が短いバッチ処理（例：大規模ドキュメントの初期要約）においては、Prefill専用のコンピュートヘビーなハードウェアにタスクをオフロードする方が依然としてコスト効率が高いという反論。
H. Business Implication データセンター事業者は、サーバー構成を複雑な「Prefill特化機」と「Decode特化機」に細分化して調達するリスクを回避し、単一仕様のラックを大量導入・均一運用することで運用保守TCOを削減できる。
I. Policy Implication 国家的な計算基盤整備において、特定の静的ワークロードに過剰最適化された専用クラスタへの投資を抑制し、将来のモデル構造変化に柔軟追従できる均質インフラへの資源集中が推奨される。
J. Chapter Conclusion Jalapeñoの設計思想の神髄は、単体ダイの演算能力の誇示ではなく、推論の動的生態系全体を包摂する「均質かつ無駄のないシステム統合」にある。
【コラム】「分離」という甘い罠に落ちたインフラエンジニアの告白

システム設計者にとって、「役割ごとにハードウェアを分ける（Disaggregation）」という発想は、抗いがたい知的魅力を持っています。「PrefillはFLOPs重視のヘビー級マシンに、Decodeは帯域重視のライト級マシンに任せれば、理論上は完璧な効率になるはずだ！」――かつて私もホワイトボードいっぱいに美しい分離アーキテクチャの図を描き、意気揚々とクラスタを組みました。しかし本番環境に投入した初日、予想もしない超長文の推論ループが突発的に発生し、PrefillマシンからDecodeマシンへのネットワーク配線がKVキャッシュの転送で火を噴きました。監視画面には、Prefill側で長蛇の列を作るリクエストと、データを待ちわびて冷え切ったDecodeマシンの群れ。「机上の直交性」が「現実の動的カオス」に無残に敗れ去った瞬間でした。

第8章：Chanaとラック・スケール・コンピューティング

8.1 銅と光のハイブリッド：2,048 XPUドメインの物理学

フロンティアモデルの推論において、単一チップの時代は完全に終わりました。巨大なパラメータと数百万トークンのコンテキストを保持し、超低レイテンシで推論を実行するためには、「ラックそのものを一個の巨大なプロセッサ（XPU）として設計する」ことが必須となります。

ラック構成の工学的構造：Katsu、Vindaloo、Chana

Jalapeñoシステムは、Celesticaとの共同開発により、2ラック1ユニット（合計160kW）の極限高密度システムとして物理実装されています。

  • ホストラック（Katsu）：16枚のホストトレイを格納。各トレイに2基のTurin世代AMD EPYC CPU、1.5TB DRAM、フロントエンド用400Gネットワークを搭載。
  • ASICラック（Vindaloo）：16枚のASICトレイを格納。各トレイに8基のJalapeñoチップを搭載し、1ラックあたり合計128基のASICを集積。
  • スイッチトレイ（Chana）：ASICラック中央に配置された8枚の専用スイッチトレイ。Broadcomの102.4Tb/sイーサネットスイッチASIC「Tomahawk 6（TH6）」を採用。
ローカルとグローバルの2階層スケールアップネットワーク

本システムは、通信距離とレイテンシの物理限界に基づき、スケールアップネットワークを2つのドメインに分割しています。

  1. ローカルドメイン（ラック内128 ASIC）：中央の6台のChanaスイッチ（TH6）を介し、パッシブ銅ケーブルバックプレーン（ラックあたり合計6,144差動ペア）を用いた全対全（All-to-All）結合を形成。各チップは一方向4.8Tb/sの広帯域で直結され、光トランシーバを一切介さないため、極小の遅延（ナノ秒オーダー）と超低消費電力を達成。
  2. グローバルドメイン（16ラック / 2,048 ASIC）：上下2台のChanaスイッチから、1.6T光トランシーバと光回路スイッチ（OCS: Optical Circuit Switch）を経由し、16ラック・2,048基のASIC間を一方向1.6Tb/sのレール専用トポロジーで接続。

8.2 All-to-All通信におけるテイルレイテンシの撲滅

大規模推論クラスタにおいて、スループットを破壊する真の敵は「平均レイテンシ」ではなく、統計的末尾に位置する「テイルレイテンシ（Tail Latency：99.9パーセンタイル遅延）」です。

パケット衝突とバッファ枯渇の数理

Dally & Towles (2004) の相互接続ネットワーク理論が明示するように、多段スイッチ（Fat-Tree等）を経由するネットワークでは、特定リンクへのパケット集中（Incast問題）によってスイッチ内部のバッファが瞬時に溢れ、パケット再送とジッターが発生します。2,048個のプロセッサがテンソル並列（TP）やエキスパート並列（EP）で頻繁に同期（All-Reduce / All-to-All）を行う場合、システム全体の同期待ち時間は「最も遅い1本のリンクの遅延」によって完全に支配されます。

Chanaスイッチシステムは、バックプレーン銅配線による直接結線と、OCSによる決定論的（Deterministic）光ルーティングを組み合わせることで、パケットのスイッチ内滞留時間を数ナノ秒レベルで一定化しました。これにより、NVIDIAのNVLink/NVSwitchクラスタと比較しても、2,048基規模での同期ジッターを70%以上削減し、極限のインタラクティビティ（DeepSeek-R1で700 tok/s/user以上）を安定して叩き出すことに成功したのです。

8.3 第8章の学術的検証フレームワーク

A. Core Question 2,048基規模のスケールアップネットワークにおいて、銅バックプレーンと光回路スイッチ（OCS）のハイブリッド構成は、なぜ従来のFat-Tree型パケット交換網よりもテイルレイテンシを抑制できるのか？
B. Hypothesis 多段スイッチによる動的パケット交換を排除し、物理バックプレーンによる全対全直結と光回線による決定論的ルーティングを採用することで、バッファ輻輳と再送ジッターを構造的に消去できる。
C. Technical Argument Dally & Towles (2004) のネットワーク解析モデルおよびHoefler et al. (2022) の並列システムベンチマーク手法を適用し、バセクション帯域（Bisection Bandwidth）とホップ数が集団通信レイテンシの確率分布に与える影響を定式化する。
D. Quantitative Method 2,048ノード環境におけるAll-to-AllおよびAll-Reduce通信シミュレーションを実施し、NVIDIA NVLink 6.0多段構成とChanaハイブリッド構成における、平均遅延、P99遅延、P99.9遅延の累積分布関数（CDF）を比較算出する。
E. Required Data Tomahawk 6（TH6）スイッチASICのポート間レイテンシ実測値、1.6Tトランシーバの消費電力データ、およびCelestica製バックプレーンの信号完全性（Eye Diagram / BER）試験データ。
F. Historical Case Study 1980年代のThinking Machines社「Connection Machine CM-2」や1990年代のCray T3D/T3Eが、超並列処理のためにハイパーキューブや3次元トーラスといった直結型相互接続網を開拓した歴史的挑戦。
G. Counterargument パッシブ銅配線バックプレーンはラック内の物理配置を極端に硬直化させ、製造歩留まりや保守性（故障したトレイの現場交換の難易度）を著しく悪化させるという運用上の反論。
H. Business Implication 光トランシーバの使用数を最小限に抑え、パッシブ銅配線を極限活用することで、クラスタ全体のネットワーク設備コスト（BOM）をシステム総額の10%未満に圧縮可能となる。
I. Policy Implication AIデータセンター立地政策において、単一ラックで160kWに達する超高密度電力供給と液体冷却インフラの整備基準を策定し、既存データセンターの改修ガイドラインを提示する必要がある。
J. Chapter Conclusion 計算機の単位はシリコンチップから「ラックという名の脳」へと不可逆的に拡大し、配線トポロジーの幾何学こそが知能の伝播速度を決定する。
【コラム】銅線の森の中で聞いた「光の敗北」

「これからの時代は全光化（All-Optical）だ。シリコンフォトニクスが銅線を駆逐する」――何年もの間、学会や展示会でこのフレーズを聞かされてきました。しかし、JalapeñoのASICラックの裏側を覗き込んだ時、私の目に飛び込んできたのは、整然と、そして狂気的な密度で張り巡らされた数千本の太い「銅製ケーブル」の束でした。冷徹なコスト計算とナノ秒単位の遅延測定の結果、エンジニアたちが選んだのは、高価で熱を出す光トランシーバではなく、愚直なまでに磨き上げられたパッシブ銅線のバックプレーンだったのです。最先端のAI知能が、最もクラシカルな金属である「銅」の物理限界に支えられているという皮肉。エンジニアリングの神髄は、常に派手なバズワードではなく、泥臭いリアリズムの中に宿っています。

第9章：Joules per Correct Reasoning (JCR)

9.1 トークン効率神話の崩壊と新指標の数理

これまでAI業界は、ハードウェアの性能を「Tokens per Second（毎秒生成トークン数）」や「Tokens per Dollar（1ドルあたりトークン数）」という単純なスループット指標で競い合ってきました。しかし、推論時計算（Test-time Compute）の時代において、この指標は「極めて有害な誤謬」を生み出します。

トークンエコノミクスの破綻

もしあるモデルが、毎秒1,000トークンの超高速で無意味な hallucination（もっともらしい嘘）や誤った推論を出力し続けた場合、そのシステムのスループット指標は「優秀」と判定されます。逆に、慎重に自己検証を行い、わずか50トークンの正確な思考連鎖で正解に到達したシステムは、スループット指標上は「低速・非効率」と見なされてしまいます。知能の真の価値は「吐き出された文字列の量」ではなく、「複雑な論理課題を正しく解決できたか」という品質にあります。

Joules per Correct Reasoning（JCR）の定式化

本書は、推論時計算時代のシステム効率を物理的かつ論理的に評価するための新指標として、「Joules per Correct Reasoning（JCR：正解推論あたり総消費エネルギー）」を定義・提唱します。

$$JCR = \frac{E_{total}}{P(Success)} = \frac{\int_{0}^{T} P_{system}(t) \, dt}{P(Success \mid \mathcal{K}, \mathcal{S})}$$

ここで $P_{system}(t)$ はデータセンター全体の消費電力（冷却系・ネットワークを含む動的電力）、$T$ はタスク完了までの総時間、$P(Success \mid \mathcal{K}, \mathcal{S})$ は特定の探索戦略 $\mathcal{S}$ および計算予算 $\mathcal{K}$ の下でシステムが検証可能な正解に到達する確率（正答率）です。

9.2 探索・検証・ツールの統合エネルギー収支

JCRモデルを実運用環境へ拡張すると、推論エネルギーは以下の4つの構成要素に分解されます。

  1. ドラフト生成エネルギー（$E_{draft}$）：思考の候補枝を低レイテンシで生成するコスト。
  2. 検証エネルギー（$E_{verify}$）：生成された中間論理やコードの正当性を自己検証・外部実行するコスト。
  3. バックトラック・再試行エネルギー（$E_{retry}$）：誤りを検知した際に探索木を巻き戻し、別枝を探索するコスト。
  4. 外部ツール呼出エネルギー（$E_{tool}$）：検索エンジンやPythonインタープリタ等と連携する際の通信・I/Oコスト。

Schwartz et al. (2020) の『Green AI』研究が警告した通り、単純なパラメータ拡大はエネルギー効率を指数関数的に悪化させます。しかしJCRの観点から見れば、高精度な検証器（Verifier）とJalapeñoのような超高インタラクティビティ（低遅延）チップを組み合わせることで、無駄な探索枝を早期刈り込み（Early Pruning）し、正解到達までの総ジュール数を劇的に最小化できるのです。

9.3 第9章の学術的検証フレームワーク

A. Core Question なぜTokens/secに基づく従来のベンチマークは推論時計算の時代において無効化し、JCR（Joules per Correct Reasoning）が唯一の真の効率指標となるのか？
B. Hypothesis 推論の価値はトークン生成量ではなく問題解決の成否にあり、探索アルゴリズムの早期刈り込み効率とハードウェアの低遅延性がJCRを決定づける。
C. Technical Argument Strubell et al. (2019) および Patterson et al. (2021) のエネルギー負荷モデルを拡張し、強化学習による自己検証ループ（PRM: Process Reward Model）を組み込んだ推論コスト関数を導出・定式化する。
D. Quantitative Method 難関数学ベンチマーク（AIME 2026）および競技プログラミング（SWE-bench Pro）において、NVIDIA GB200クラスタとJalapeñoクラスタを用い、同一正答率を達成するために消費された総電力量（kWh）およびJCR数値を実測比較する。
E. Required Data データセンターPDU（Power Distribution Unit）からの秒単位電力ロギングデータ、モデルのPass@k正答率推移、および思考トークン数と検証トークン数の内訳比率。
F. Historical Case Study 自動車エンジンの評価が、単なる「最高出力（馬力：PS）」の競争から、実走行燃費（km/L）や「走行距離あたりのCO2排出量」というトータルエミッション評価へと移行した産業構造転換。
G. Counterargument 正解が一意に定まらないオープンエンドな知的作業（詩の創作、主観的アドバイス等）においては、正答率 $P(Success)$ を客観定義できず、JCRの適用範囲が限定されるという反論。
H. Business Implication AI APIの価格設定モデルが、不合理な「入力/出力トークン課金」から、タスクの解決を保証する「成功報酬型（Value-based Pricing）」へと移行する契機となる。
I. Policy Implication データセンターに対する省エネ規制や補助金支給要件として、PUE（電力使用効率）だけでなく、AIタスク実行効率（JCR）を標準メトリクスとして法制化する検討。
J. Chapter Conclusion JCRの導入は、AIを「電力を消費して言葉を垂れ流す機械」から、「最小のエネルギーで真理を蒸留する知能」へと進化させるための不可欠な羅針盤である。
【コラム】1トークン0.001ドルの請求書を見て笑った日

「お客様、先月のAPI利用料は1,200万円になります。総トークン数は120億トークンでした」――クラウド事業者から届いた請求書を見ながら、私は苦笑いするしかありませんでした。その120億トークンの大半は、モデルが自問自答のループに陥り、同じ間違いを何十回も繰り返して壁に頭をぶつけ続けていた「思考のゴミ」だったからです。ゴミを高速に吐き出せば出すほど儲かるトークン課金ビジネス。これほど提供者と利用者の利害がねじれた構図があるでしょうか。私たちが本当に買いたいのは、トークンの濁流ではなく、たった一行の「正しい答え」です。JCRという指標を提唱した時、あるクラウドベンダーの幹部が嫌悪感を露わにした顔が、今でも忘れられません。彼らのビジネスモデルの急所を突いてしまったのです。

第10章：推論は「計算量」ではなく「探索量」になる

10.1 モデル拡大則（Pre-training Scaling）の鈍化と推論時探索

2020年にKaplanらによって提唱された「ニューラル言語モデルのスケーリング則（Scaling Laws）」は、パラメータ数と事前学習データセットを増やせばモデル性能は対数線形に向上し続けるという希望を与えました。しかし2025年以降、高品質テキストデータの枯渇と学習クラスタの電力・熱限界により、事前学習のスケーリングは明白な収斂（Diminishing Returns）を迎えました。

第2のスケーリング則：Test-time Compute Scaling

この限界を突破したのが、「推論時計算量（Test-time Compute）のスケーリング則」（Snell et al., 2024; Bi et al., 2025）です。モデルの重みパラメータ自体を巨大化させる代わりに、推論時にモデルへ「思考のための計算時間（探索・検証予算）」を投入することで、小さなモデル（例：8B〜70Bクラス）が、従来の数兆パラメータを持つ巨大モデルのゼロショット性能を遥かに凌駕する問題解決能力を獲得できることが実証されました。

10.2 モンテカルロ木探索（MCTS）と自己検証ループのハードウェア要求

この新しい推論パラダイムにおいて、アルゴリズムの中核となるのはモンテカルロ木探索（MCTS: Monte Carlo Tree Search）や思考の森（Forest-of-Thought）、そしてプロセス報酬モデル（PRM）による中間ステップの評価です。

探索型推論が突きつけるハードウェア要件

推論が「単なる順伝播」から「動的探索」へ移行した結果、ハードウェアに要求される仕様は完全に再定義されました。

  • 極小レイテンシのドラフト生成能力：候補となる思考トークンを瞬時に生成するため、低バッチサイズ（Batch=1）での圧倒的なトークン生成速度（>1,000 tok/s）が必須。
  • 共有プレフィックスキャッシュの超高速切り替え：探索木が枝分かれする際、ルート（根）や共通の思考ステップのKVキャッシュを複数の探索ワーカー間でゼロコピー共有するメモリ管理。
  • 軽量検証器とのタイトな結合：生成されたトークン列を同一ダイまたは超低遅延ファブリック上の小型Verifierモデルで即座にスコアリングし、有望な枝だけを深掘りする動的スケジューリング。

JalapeñoがHBM4の圧倒的帯域（15.4TB/s）とOoOコアを備え、あえて単一プールでの均質実行を選んだ真の理由は、まさにこの「探索と検証の目まぐるしい交代劇」を単一パッケージ内で完結させるためだったのです。

10.3 第10章の学術的検証フレームワーク

A. Core Question 推論時計算（Test-time Compute）における「探索量の拡大」は、事前学習中心の半導体エコシステムをどのように不可逆的に再編するのか？
B. Hypothesis 知能のボトルネックが「巨大モデルの学習（大量のFP8/FP4 GEMM）」から「小型・中型モデルによる深層探索（超低遅延・高帯域メモリ走査）」へシフトすることで、巨大学習クラスタへの設備投資は推論特化型ラックへと再配分される。
C. Technical Argument Brown et al. (2020)、Wang et al. (2023) のSelf-Consistency理論、およびBi et al. (2025) のForest-of-Thought理論を統合し、タスク難度と探索空間サイズに対する最適計算リソース配分モデルを構築する。
D. Quantitative Method 同一の推論電力バジェット（例：10kW）の下で、「1.6Tパラメータモデルのゼロショット推論」と「70Bモデル＋JalapeñoによるMCTS探索推論」を実行し、難関タスク（Humanity's Last Exam: HLE等）における正答率達成度を定量比較する。
E. Required Data 思考トークン長と正答率の相関曲線データ、探索深さ（Tree Depth）に伴うKVキャッシュ再利用率、およびドラフトモデル・検証モデル間の同期オーバーヘッド実測ログ。
F. Historical Case Study チェス専用コンピュータ「Deep Blue」や囲碁AI「AlphaGo」が、単なるパターンの丸暗記ではなく、高度な探索アルゴリズム（α-β枝刈りやMCTS）とハードウェアの統合によって人類のチャンピオンを打ち破った歴史。
G. Counterargument 自己完結した探索が有効なのは数学やコードのような「検証可能なルールが存在する領域」に限られ、一般的な言語タスクでは事前学習による知識の絶対量が依然として支配的であるという反論。
H. Business Implication モデル開発企業は、数千億円規模のフロンティアモデル事前学習への過度なギャンブルを抑制し、推論インフラの高度化とRL（強化学習）による思考探索能力の獲得へ資本をシフトすべきである。
I. Policy Implication 国家のAI研究開発支援において、メガクラスタの構築助成だけでなく、推論時アルゴリズムとドメイン特化チップを結合するオープンな研究コンソーシアムの創出を最優先課題と位置づける。
J. Chapter Conclusion AIの知能はもはや「静的な重み」の中に眠っているのではない。それは推論という名の「動的な探索の軌跡」の中にこそ立ち現れる。
【コラム】夜明けの探索木を眺めながら

画面の中で、推論モデルがひとつの難解な幾何学問題を解こうとしていました。最初の枝は行き止まり。モデルは自ら「この仮定は矛盾を生む」と判断し、探索木をスルスルと巻き戻して別の補助線を引く。2番目の枝も失敗。そして7番目の枝で、ふいに美しい証明の糸口を掴み、一気に解答まで駆け抜ける。その間、わずか1.2秒。チップの温度計がかすかに上下し、HBMの帯域グラフが一瞬だけ跳ね上がる。そこにあったのは、かつての冷たい行列計算の繰り返しではありませんでした。暗闇の中で手探りで出口を探し、間違いに気づいて引き返し、ついに光を見出す――それはまさに、人間が「思考」と呼んできたあの神秘的な精神活動の物理的模写そのものでした。

第三部 演習問題・理解度評価

以下の問いについて、システム設計および計算論的観点から解答せよ。

  1. JCR（正解推論あたりエネルギー）の最適化計算：あるタスクに対し、モデルA（正答率60%、消費電力500W、所要時間10秒）とモデルB（正答率90%、消費電力800W、所要時間8秒、ただし検証器による枝刈り併用）がある。両者のJCR（J/task）を算出し、エネルギー効率の観点からどちらが優れているか定量的に示せ。
  2. 全対全（All-to-All）結合の物理的限界：128基のASICをパッシブ銅ケーブルで全対全結合する場合、各ASICから出る差動ペア数が48組であるとき、ラック全体で必要となるケーブル総差動ペア数を導出し、光トランシーバを用いないことによる消費電力削減効果（1トランシーバあたり15Wと仮定）を概算せよ。
  3. 探索型推論におけるKVキャッシュの振る舞い：MCTS探索において、深さ5、分岐数3の木構造を展開する際、プレフィックス共有を行わない場合と、完全なゼロコピー共有を行った場合でのKVキャッシュ総メモリ消費量の比率を数式でモデル化せよ。

第四部：垂直統合の地政学 ―― AIシリコンは企業と国家の力関係を変えるのか

【第四部の導入】 第四部では、技術とアーキテクチャの議論を、世界経済のバリューチェーン、企業戦略、データセンター電力網、そして国家主権の地政学へと一気に昇華させます。Appleがかつて汎用プロセッサから自社シリコンへの垂直統合によって世界最強の座を確立した歴史的教訓を解剖し、OpenAI、NVIDIA、Broadcom、TSMCが繰り広げる共生と捕食の力学を構造化します。さらに、思考するシリコンが引き起こす電力争奪戦と、21世紀の国家主権が「知能の垂直統合スタック」にいかに依存しているかを論証します。

第11章：Appleの教訓

11.1 Intel脱却とApple Siliconの真実

半導体とソフトウェアの垂直統合がもたらす破壊的優位性を理解する上で、計算機史上最も完璧な先行事例が「AppleによるMacのApple Silicon（Mシリーズ）移行」です。

歴史的経緯とIntelの汎用性の限界

2000年代後半から2010年代にかけて、AppleのMacはIntel製x86プロセッサを採用していました。しかし、Intelのプロセッサは「世界中のありとあらゆるPCメーカーとレガシーWindowsソフトウェア」を動かすための汎用チップであり、チップの消費電力や熱設計はAppleの求める薄型・軽量・静音なハードウェア体験と決定的な不整合を起こし始めました。Intelのロードマップの遅延が自社製品の進化を人質に取る状況に業を煮やしたAppleは、2020年、ARMアーキテクチャをベースとした自社SoC「M1」への完全移行を断行しました。

統合による構造的勝利

Apple Siliconの真の強みは、純粋なCPUコア性能ではありませんでした。それは「OS（macOS）、コンパイラ（Clang/LLVM）、API（Metal/CoreML）、SoCアーキテクチャ、そしてUnified Memory Architecture（ユニファイドメモリ）」を完全に一体として設計した点にありました。CPUとGPUが同一のメモリプールを超広帯域・ゼロコピーで共有することで、他社製PCがPCIeバス経由のデータ転送で苦しむ横で、異次元のワットあたり性能とグラフィックス効率を実現したのです。

11.2 垂直統合とモジュール化の産業螺旋

経営学者クリステンセン（Clayton Christensen）が指摘した通り、技術の黎明期には「垂直統合（Integrated）」が性能の極限を引き出し、技術が成熟すると「水平分業・モジュール化（Modular）」がコスト競争力で市場を席巻します。しかし、AIコンピューティングにおいて、この螺旋は「再び垂直統合へと回帰」しています。

NVIDIAはかつて、GPUという「モジュール化されたアクセラレータ」をあらゆるサーバーに差し込む形で世界を制覇しました。しかし、知能のアルゴリズムがハードウェアの物理限界と正面衝突する現在、Appleがかつて成し遂げた「モデル・コンパイラ・シリコン・システムの一体設計」を再現できるフロンティア企業だけが、次の性能ブレイクスルーを掴むことができるのです。

11.3 第11章の学術的検証フレームワーク

A. Core Question Apple Siliconの成功構造は、AIフロンティア企業（OpenAI等）によるカスタム推論シリコンの垂直統合にいかに再現されるのか？
B. Hypothesis ソフトウェアとハードウェアのインターフェースを自社で完全に掌握した企業は、マーチャント・シリコン（外販チップ）を購入する競合他社に対し、エネルギー効率と機能投入速度で持続的な優位を築く。
C. Technical Argument Langlois (2003) の産業ダイナミクス理論およびJacobides et al. (2018) のエコシステム理論に基づき、取引コストと共同特化（Co-specialization）がハードウェア性能に与える影響を分析する。
D. Quantitative Method Intel搭載MacからApple Silicon搭載Macへの移行期における「ワットあたり性能」および「新OS機能の採用リードタイム」の時系列変化と、NVIDIA環境からJalapeño環境への移行に伴う推論効率変化を対比分析する。
E. Required Data Appleの公開決算資料、Geekbench/SPECベンチマーク推移データ、およびAppleとIntelのR&D投資効率の定量的比較。
F. Historical Case Study 1980年代のIBM（垂直統合）がIntel/Microsoft（水平分業）に敗北した「第1の波」と、2010年代以降のApple/Googleによる「第2の垂直統合の波」の比較。
G. Counterargument 自社シリコン開発は巨額の固定費（テープアウト費用、専任チーム人件費）を発生させ、モデル構造が変化した際のリスクを全社的に抱え込むことになるという財務的視点からの反論。
H. Business Implication AI企業の企業価値評価において、保有するモデルのパラメータ数だけでなく、「自社シリコンスタックの垂直統制度」が重要なマルチプル評価軸となる。
I. Policy Implication 産業政策として、単なるファウンドリ誘致だけでなく、国内ソフトウェア企業が自前のASICを低コストで試作・開発できる「アジャイル半導体設計基盤」の構築が求められる。
J. Chapter Conclusion 歴史は繰り返す。真の差別化は、他社と同じ既製品のチップを買うことからは決して生まれない。
【コラム】M1 MacBook Airを開いた瞬間の静寂

2020年11月、発売されたばかりのM1チップ搭載MacBook Airを受け取った日の衝撃を、私は鮮明に覚えています。重い動画書き出しを実行しても、膝の上は冷たいまま。何より、ファンの回転音が一切しない完全な「静寂」。それまで愛用していたIntel製MacBook Proが、ブラウザを開いただけでファンを狂ったように回し、太ももを火傷しそうなほど熱くなっていたのがまるで悪い冗談のように思えました。あの時私たちが目撃したのは、単なるベンチマークの向上ではありませんでした。「OSとチップを同じ人間たちが設計すると、ここまで美しい静寂が生まれるのか」という、垂直統合の絶対的な勝利の瞬間でした。そして今、同じ静寂が、AIデータセンターの巨大なラックの中で再現されようとしています。

第12章：OpenAI vs NVIDIAという物語を疑う

12.1 捕食者と共生者：AIコンピュート・バリューチェーンの生態系

メディアは好んで「OpenAIとNVIDIAの全面戦争」「NVIDIA帝国の落日」といった扇情的な見出しを掲げます。しかし、半導体産業の複雑なバリューチェーンを冷静に観察すれば、この単純な二項対立がいかに現実を単純化しすぎているかが露呈します。

相互依存の冷酷な力学

OpenAIは依然として、フロンティアモデルの超大規模事前学習においてNVIDIAの最大の顧客の一角であり続けています。NVIDIAの圧倒的な強みである「あらゆる研究者が書いた未知のモデル構造を即座に動かせる柔軟性」は、探索段階のフロンティア研究において代えがききません。一方、NVIDIAにとっても、OpenAIが提示する極限のワークロード要求こそが、次世代GPU（Blackwell、Rubin、その先）のアーキテクチャを研ぎ澄ますための最高のリサーチパートナーとなっています。

12.2 Broadcomという「沈黙の巨人」と価値の再分配

この力学の中で、極めて重要な役割を果たしているのがBroadcom（ブロードコム）です。

ASICコ・デザインという第3の道

OpenAIは自社で半導体工場を持つわけでも、物理層のSerDes（超高速シリアル通信回路）を一から設計するわけでもありません。Broadcomが保有する世界最高峰の通信IP、PCIe/SerDes技術、TSMCとの強固なパッケージング製造枠（CoWoSキャパシティ）を活用し、自らは「アルゴリズム、コンパイラ、メモリレイアウト」に特化する――これこそが、わずか16か月でJalapeñoを完成させた共同開発の現実です。

Gawer & Cusumano (2014) のプラットフォーム理論が示す通り、この垂直統合の真の狙いはNVIDIAの殲滅ではなく、「NVIDIAが独占してきた75%という巨額の粗利率（マージン）の一部を、自らの推論スタックの中へ回収すること」にあります。巨大テック企業によるカスタムASICへのシフトは、マーチャント・シリコン企業からサービス企業へと利益の重心が移動する「価値の再分配プロセス」なのです。

12.3 第12章の学術的検証フレームワーク

A. Core Question OpenAIとNVIDIAの関係は単純な競合なのか、それともバリューチェーンの階層分化による共生関係なのか？
B. Hypothesis AI半導体市場は「事前学習・探索的R&D（NVIDIAの汎用GPUが支配）」と「確立された大規模推論（自社ASICが支配）」の2層に不可逆的に分化する。
C. Technical Argument Gawer & Cusumano (2014) のプラットフォーム・エコシステム論およびDedrick et al. (2010) のグローバル・バリューチェーン価値捕捉理論を適用し、AIスタック各層における利益率分布を数理モデル化する。
D. Quantitative Method OpenAI、NVIDIA、Broadcom、TSMCの財務諸表（SEC 10-K/10-Q）に基づき、ウェハ投入からエンドユーザー課金に至る各サプライチェーン層の営業利益率（Operating Margin）と価値捕捉額を分解算出する。
E. Required Data TSMCの先端ノード（N3P/CoWoS）ウェハ価格推移、NVIDIAデータセンター部門の製品別売上比率、およびBroadcomカスタムASIC事業の売上推移データ。
F. Historical Case Study 通信業界において、Ciscoが圧倒的な高収益ルータで市場を支配したのに対し、ハイパースケーラー（Google/Meta）が白箱（Whitebox）スイッチと自社製NOS（Network OS）を導入して利益構造を塗り替えた歴史。
G. Counterargument NVIDIA自身がクラウドサービス（DGX Cloud）や自社推論ソフトウェアを拡充することで、サービスレイヤーの利益までをも侵食し、顧客企業の内製化意欲を完全に削ぐ可能性があるという反論。
H. Business Implication 機関投資家は、半導体関連のポートフォリオを「単一のGPU銘柄」に集中させるのではなく、ASIC設計パートナー（Broadcom等）や先端パッケージング素材メーカーへと適切に分散すべきである。
I. Policy Implication 独占禁止法・競争政策当局は、特定のGPUベンダーによるハードウェア・ソフトウェアの排他的抱き合わせ販売の有無を精査し、オープンなASICエコシステムの育成を促す環境を整備すべきである。
J. Chapter Conclusion この戦いは王者の交代劇ではない。知能という巨大な富をめぐり、半導体エコシステム全体が新たな生態学的平衡へと再編されるダイナミズムである。
【コラム】ジェンスンのレザージャケットとホック・タンのノーネクタイ

シリコンバレーのカンファレンスで見るジェンスン・フアンの姿は、まさにロックスターそのものです。トレードマークの黒いレザージャケットを身にまとい、何万人もの熱狂的な聴衆の前でAIの未来を情熱的に語りかける。一方、Broadcomのホック・タンCEOの佇まいは対照的です。質素なスーツにノーネクタイ、派手な演出を一切好まず、決算説明会で冷徹にサプライチェーンの数字と契約条件だけを読み上げる。しかし、ハイパースケーラーの地下深くで動く特注シリコンの多くを握っているのは、この沈黙のフィクサーです。光を浴びるロックスターと、舞台裏で確実に富を回収するリアリスト。AI半導体の本当のドラマは、この二つの強烈な個性のあいだで静かに繰り広げられています。

第13章：AI半導体の経済学

13.1 CapEx・OpEx・減価償却のトータルコストモデル

AIデータセンターの運用において、最も危険な経営判断は「チップの初期購入価格（BOM CapEx）」だけでインフラの優劣を決めることです。

データセンターTCO（総所有コスト）の数理構造

Barroso et al. (2018) のデータセンター計算モデルをAI推論向けに拡張すると、3年〜5年の運用ライフサイクルにおける総所有コスト（TCO）は以下の構成要素の積分として定義されます。

$$\text{TCO} = \text{CapEx}_{\text{chip}} + \text{CapEx}_{\text{facility}} + \int_{0}^{T_{\text{life}}} \left( \text{OpEx}_{\text{power}}(t) + \text{OpEx}_{\text{cooling}}(t) + \text{OpEx}_{\text{software}}(t) \right) dt$$

ここで重要なのは、最新のAIラックにおいて、施設の電力受電設備・冷却設備への資本投資（$\text{CapEx}_{\text{facility}}$）および生涯電気代（$\text{OpEx}_{\text{power}}$）が、チップそのものの購入費用を遥かに上回るという冷酷な事実です。

13.2 「Intelligence per Dollar」への評価軸転換

ハードウェアの効率が極限に達した世界では、最終的な経営指標は「Performance/Watt」から「Intelligence per Dollar（投下資本1ドルあたりの実効知能生産量）」へと進化します。

高価なNVIDIA GPUを購入し、低利用率（低い算術強度）のまま遊休電力（アイドル電力）を垂れ流すことは、企業のバランスシートを急速に毀損します。JalapeñoのようにTDPを700Wに抑制し、高い実効帯域利用率を維持できるカスタムチップは、たとえ初期開発費（NRE: Non-Recurring Engineering費用）に数億ドルを投じたとしても、数百万ユーザー規模の推論を1年以上継続運用すれば、TCOベースで数十億ドルの莫大なコスト削減（マージン改善）をもたらすのです。

13.3 第13章の学術的検証フレームワーク

A. Core Question 自社ASIC開発に伴う莫大な初期固定費（NRE）は、どのような推論運用規模と期間においてNVIDIA GPU調達のTCOを下回るのか？
B. Hypothesis データセンターの電力供給が制約される条件下では、高いTokens/MWを達成するASICの損益分岐点（Break-even Point）は、従来の想定よりも大幅に早期（12か月以内）に到来する。
C. Technical Argument Greenberg et al. (2009) および Barroso et al. (2018) のクラウドコスト工学に基づき、電力キャップ制約下における収益最大化問題を線形計画法（LP）としてモデル化する。
D. Quantitative Method 100MWの電力枠を持つデータセンターにおいて、GB200 NVL72構成とJalapeño 128構成を配備した場合の、年間生成トークン総数、設備減価償却費、電力コスト、および100万トークンあたり総原価を感度分析比較する。
E. Required Data TSMC N3Pマスク費用、Samsung HBM4調達価格推定値、北米・欧州・日本における産業用電力料金単価（$/kWh）、およびデータセンターPUE実測値。
F. Historical Case Study Googleが2015年に自社開発した第1世代TPUが、自社の音声検索需要の爆発に対し、データセンターを倍増新設する莫大なCapExを回避して投資回収を果たした歴史的転換。
G. Counterargument AIモデルの陳腐化速度が減価償却期間（通常3〜4年）より遥かに速い場合、固定化されたASICは償却完了前に経済的価値を失い、巨額の減損処理リスクを招くという財務的反論。
H. Business Implication CFO（最高財務責任者）は、AIインフラの投資採算性を単なる「サーバー減価償却」としてではなく、「電力枠あたりの知能粗利創出能力」として再評価しなければならない。
I. Policy Implication データセンター誘致競争において、自治体や国家は単なる法人税優遇だけでなく、長期的に安価で安定したゼロカーボン電力の供給保証をパッケージとして提示することが最大の誘致策となる。
J. Chapter Conclusion 半導体の経済学は、微細化の物理学を超えて、電力と資本が交差するデータセンターの熱力学へと完全に統合された。
【コラム】スプレッドシートのセルが告げた冷徹な真実

「この数字、桁が間違っていませんか？」――某大手クラウドの財務担当役員が、私の差し出したスプレッドシートを指差して固まりました。そこに並んでいたのは、最新GPUを1万枚増設した際の見積もりでした。驚くべきことに、GPU本体の購入費用よりも、そのGPUを冷やすための水冷チラー設備と、電力会社から特高（特別高圧）電力を引き込むための変電所拡張工事の費用のほうが遥かに高額だったのです。「私たちは半導体を買っているつもりで、実は巨大なトランスと銅の送電線を買っていたのか……」役員が漏らしたその呟きこそ、AIエコノミクスの核心でした。シリコンの戦いは、すでにチップの外側にある土木工学の戦いになっていたのです。

第14章：推論時計算が電力網を変える

14.1 学習のパルス需要から推論のベースロード需要へ

かつてAIの電力問題といえば、「数万人規模のGPUクラスタを数か月間フル稼働させて単一モデルを学習させる際のパルス的（一時的）な電力消費」が主たる議論でした。しかし、全世界で数億人が日常的に推論AIを使い、エージェントが自律的に思考し続ける現代、電力需要の構造は「24時間365日途切れることのない巨大なベースロード（基底負荷）需要」へと完全に変質しました。

送電網（Grid）の物理的制約とBtM発電の台頭

Masanet et al. (2020) のデータセンターエネルギー分析が指摘した通り、送電網の容量追加（送電線の新設や系統連系）には数年から10年規模の歳月を要します。しかし、AIインフラの需要は数か月単位で倍増しています。この系統連系の遅延（Grid Delays）を回避するため、xAIのColossusクラスタや主要メガテック企業は、送電網を介さずにデータセンター敷地内にガスタービンや小型モジュール炉（SMR）、燃料電池を直接建設する「メーター裏発電（BtM: Behind-the-Meter）」へと雪崩を打っています。

14.2 ワットあたりトークン（Tokens/MW）が国家の経済成長を規定する

「1ギガワットの電力を確保できた時、その電力をどれだけ高密度な知的生産に変換できるか」――ジェンスン・フアンがComputex 2026で述べたこの言葉は、単なる企業の収益モデルを超えて、国家全体のエネルギー生産性（Energy Productivity）の定義に直結しています。

電力供給が絶対的な制約となった世界において、エネルギー効率の劣る古い計算機を動かし続けることは、国家全体の貴重な電力を浪費していることに他なりません。Jalapeñoのような高効率ASICの導入は、同一の電力消費枠の中で社会全体の知的処理能力を数倍に引き上げ、持続可能なAI社会を構築するための「エネルギー安全保障上の至上命題」なのです。

14.3 第14章の学術的検証フレームワーク

A. Core Question 推論時計算（Test-time Compute）の爆発は、世界各国の電力インフラ、送電網計画、およびクリーンエネルギー転換にいかなる構造的断絶をもたらすのか？
B. Hypothesis AI推論需要の恒常的ベースロード化は、従来の電力系統計画の前提を破壊し、データセンター事業者自身によるオンサイト発電（SMR/BtM）とエネルギー・シリコン統合設計を加速させる。
C. Technical Argument Masanet et al. (2020) および国際エネルギー機関（IEA）の電力予測モデルを基盤とし、推論モデルの普及曲線と電力グリッドの熱的許容容量（Thermal Line Limit）の交差点を定量分析する。
D. Quantitative Method 世界主要地域（北米PJM管内、アイルランド、東京電力管内等）におけるAIデータセンター電力需要予測（2026-2035）を構築し、汎用GPU構成時と推論ASIC構成時におけるグリッド負荷および炭素排出量を比較シミュレーションする。
E. Required Data 地域別系統連系待ち行列（Interconnection Queue）の容量データ、データセンターのPUEおよびWUE（水使用効率）実測値、および原子力・地熱・天然ガスBtM発電の平準化発電原価（LCOE）。
F. Historical Case Study 19世紀後半から20世紀初頭にかけて、アルミニウム精錬業（ホール・エルー法）が莫大な電力を求めてナイアガラの滝などの水力発電所の隣接地に工場を直接集積させた産業立地の歴史。
G. Counterargument モデルの蒸留技術やスパーシティ技術の進化によって推論あたりの計算量が劇的に低下し、電力需要の伸びは線形にとどまるという技術楽観論からの反論。
H. Business Implication エネルギー事業者（ユーティリティ企業）は、AI事業者を単なる「大口電力需要家」としてではなく、柔軟な負荷追従が可能な「仮想発電所（VPP）パートナー」として再定義すべきである。
I. Policy Implication 国家エネルギー基本計画において、次世代原子力（SMR）の許認可プロセスを加速し、AI特区と直結したエネルギー・コンピュート複合拠点の整備を国家戦略プロジェクトに指定する。
J. Chapter Conclusion 知能の限界はアルゴリズムではなくアンペアが決める。電力網を制する者こそが、AI時代の真の覇権を握る。
【コラム】原発の隣で轟音を立てる知能機械

米国ペンシルベニア州のスリーマイル島原子力発電所が、AIデータセンターへの電力供給のために再稼働を決めたというニュースを聞いた時、私は歴史の奇妙な円環を感じずにはいられませんでした。かつて原子力という「物質の究極のエネルギー」を生み出そうとした巨大なコンクリートの冷却塔の足元で、今度は数万個のシリコンチップが「知能の究極の探索」を行うためにその電気を貪欲に飲み込んでいる。物質の核から解き放たれた電子が、配線を経てシリコンの中を駆け抜け、画面上に一片の思考として結実する。その壮大なエネルギーの連鎖を目の当たりにした時、AIとは単なるソフトウェアではなく、地球のエネルギーを変換するひとつの「地質学的現象」なのだと痛感しました。

第15章：AI半導体国家戦略

15.1 AI主権の5層モデル（The 5-Layer AI Sovereignty Model）

地政学的緊張が高まる中、世界各国で「AI主権（AI Sovereignty）」という言葉が叫ばれています。しかし、多くの国々が陥っている過誤は、主権を単に「国内に最先端ファウンドリ（工場）があるか」あるいは「GPUを何枚輸入できたか」という単一の指標で捉えていることです。

主権の多層構造

本書は、真の実効的AI主権を評価するための包括的フレームワークとして、「AI主権の5層モデル」を提唱します。

  1. 第1層：エネルギーおよびインフラ層（Power & Infrastructure）：安定したギガワット級の電力、冷却水、および強靭な送電網の保持。
  2. 第2層：物理製造および先端パッケージング層（Foundry & Packaging）：EUV露光装置、ウェハ製造、CoWoS等の2.5D/3D実装技術のサプライチェーン確保。
  3. 第3層：ドメイン特化アーキテクチャ設計層（Silicon Architecture & IP）：Jalapeñoに代表される、ワークロードに適合したASICおよび超高速通信IPの設計能力。
  4. 第4層：コンパイラおよび数理システム層（Compiler & Layout Algebra）：Gluonのように、ハードウェアの物理構造を抽象化・制御できる独自コンパイラとDSLスタックの自律性。
  5. 第5層：フロンティアモデルおよびエージェント層（Frontier Models & Algorithms）：自国の文化的・産業的文脈に根ざした基盤モデルと、推論時探索アルゴリズムの継続的開発能力。

Gereffi et al. (2005) のグローバル・バリューチェーン統治理論が示す通り、この5つの階層のうち1つでも他国に完全にチョークポイント（急所）を握られていれば、真のAI主権は成立しません。

15.2 米・中・台・日・韓・欧の地政学的力学

世界の主要プレイヤーは、それぞれ異なる層に強みと致命的な脆弱性を抱えています。

  • 米国：第3層（設計）、第4層（コンパイラ）、第5層（モデル）を圧倒的に支配するが、第2層（製造）の台湾依存と第1層（電力グリッドの老朽化）に苦しむ。
  • 中国：第1層（圧倒的な再生可能エネルギー・原子力建設力）と第5層（DeepSeek等のオープンモデル開発力）を武器に、米国の輸出規制をアルゴリズムの極限最適化（MLA等）で迂回・猛追する。
  • 台湾：第2層（TSMC）という世界唯一の心臓部を握るが、地政学的リスクと国内電力・水資源の制約が影を落とす。
  • 韓国：HBM4供給を通じて第2層のメモリ中核を握るが、自国のモデル層およびコンパイラ層の求心力に課題を残す。
  • 日本：第2層の素材・製造装置および第1層の高品質な電力・通信インフラで世界を支えるが、第3層・第4層・第5層の統合ソフトウェアスタックの欠落が戦略的自律性を脅かしている。

15.3 第15章の学術的検証フレームワーク

A. Core Question 国家が実効的なAI主権を確立するために必要な条件は何か？単なる製造拠点誘致（オンショアリング）は主権を保証するのか？
B. Hypothesis 物理製造能力（ファウンドリ）の国内立地だけでは不十分であり、モデル、コンパイラ、チップアーキテクチャ、電力を垂直統合する「システム統合力」の欠落は、構造的な技術的従属を招く。
C. Technical Argument Gereffi et al. (2005) のグローバル・バリューチェーン理論およびSturgeon (2002) のモジュール型生産ネットワーク分析を適用し、チョークポイントの多極性と国家間の相互威嚇力をモデル化する。
D. Quantitative Method 主要6極（米・中・台・日・韓・欧）における「AI主権5層モデル」の自給率・脆弱性マトリクスを作成し、特定の輸出規制（例：EDAツール遮断、HBM禁輸）が各国の実効知能スループットに与える影響をストレステスト分析する。
E. Required Data 各国の半導体関連法（US CHIPS Act、EU Chips Act等）に基づく公的補助金配分実績、先端パッケージングおよびEDAツールの国別市場占有率データ。
F. Historical Case Study 冷戦期における核開発競争（マンハッタン計画からウラン濃縮サプライチェーンの囲い込み）および石油危機（1973年）における戦略備蓄・国際エネルギー機関（IEA）設立の教訓。
G. Counterargument グローバルな相互依存があまりに深いため、完全な自給自足を志向する主権戦略は巨額の非効率を生み、かえってイノベーションから脱落するという自由貿易論からの反論。
H. Business Implication 多国籍半導体・AI企業は、単一国家の規制変更に耐えうる「ジオ・リダンダント（地理的冗長性）なサプライチェーン設計」を事業継続計画（BCP）の最重要項目とすべきである。
I. Policy Implication 政府は半導体支援予算をハードウェア製造のみに投じるのを改め、コンパイラ開発者エコシステムとオープンモデル研究への公的支援を「主権ソフトウェア防衛策」として位置づけるべきである。
J. Chapter Conclusion 21世紀の国家の力とは、領土の広さでも軍隊の数でもない。それは、物理のシリコンから抽象の知能までを一気通貫で駆動できる「垂直統合スタックの深さ」である。
【コラム】霞が関の会議室で感じた「見えない壁」

数年前、ある省庁の半導体戦略会議に招かれた時のことです。官僚や有識者たちが熱心に議論していたのは「いかにして熊本に最先端のファウンドリを誘致するか」「補助金を何千億円積むべきか」という話ばかりでした。意を決して私が「製造工場を呼ぶのは素晴らしいですが、その上で動くコンパイラや、日本語の大規模推論アルゴリズムを自前で書けるソフトウェア人材にはいくら投資するのですか？」と質問した瞬間、会議室を包んだあの重苦しい沈黙。誰もが「半導体＝目に見える工場」だと思い込んでいたのです。工場という器があっても、そこに知能の魂（コンパイラとアルゴリズム）を吹き込む術を知らなければ、私たちは他国の知能の下請け工場にとどまり続ける。その見えない壁を破ることこそが、私たちの世代の責務なのです。

第四部 演習問題・理解度評価

以下の問いについて、産業経済学および国際政治経済学の観点から論述せよ。

  1. 垂直統合の損益分岐分析：あるフロンティアAI企業が、年間1,000億トークンの推論需要を持つ場合、NVIDIA GPUクラウドを外部利用するシナリオと、Broadcomと提携して自社ASIC（NRE費用3億ドル、製造単価5,000ドル）を開発・配備するシナリオにおいて、何年で累積投資額が逆転するか数理モデルを構築せよ。
  2. AI主権5層モデルの脆弱性評価：日本が世界シェアを握る「半導体製造装置・素材」をテコ（レバレッジ）として、米国の「コンパイラ・EDAスタック」や台湾の「先端受託製造枠」と対等な戦略的不可欠性（Strategic Indispensability）を確立するための外交・産業連携シナリオを提案せよ。
  3. メーター裏発電（BtM）の経済性と規制：データセンター事業者が自前のSMR（小型モジュール炉）を設置してBtM電力供給を行う場合、既存の公的送電網（Grid）から受電する場合と比較して生じる「初期資本コスト増大」と「系統連系遅延回避による機会損失防止」のトレードオフを論ぜよ。

終章：シリコンは思考できるのか

物質が自らのアルゴリズムを書き換える時

本書の冒頭で、私たちは一つの素朴な問いを置きました。「なぜ私たちは、これほど複雑な仕事をGPUという一種類の計算機に押し込んできたのか」と。

四部にわたる探索の旅を経て、私たちはその問いの真の意味を理解しました。GPUが悪いわけでも、NVIDIAが間違っていたわけでもありません。それは、私たちが「知能とは何か」という数理的本質をようやく理解し始めたからこそ起きた、必然的な別れなのです。

計算機から思考機械への不可逆な跳躍

かつてコンピュータは、人間が外部から与えた固定的なプログラムを、冷徹に、一歩ずつ忠実に実行するだけの「計算する機械」でした。シリコンはただの舞台であり、ソフトウェアはその上を通り過ぎる役者に過ぎませんでした。

しかし、推論時計算（Test-time Compute）とソフトウェア・ハードウェア協調設計（Co-design）が結びついた今、その主従関係は完全に逆転しました。ソフトウェア（Codex）が自らの走るべき回路の幾何学を計算し、コンパイラ（Gluon）がメモリの物理番地を代数として整列させ、ラック（Chana）が脳のシナプスのように銅と光の網を張り巡らせる。そこにあるのは、もはや受動的な計算機ではありません。アルゴリズムという目に見えない知能の形に合わせて、自らの肉体（シリコン）を絶えず再構築し続ける、ひとつの「生き生きとした思考システム」です。

「シリコンは思考できるのか？」

その問いに対する私たちの最終的な答えは、明確です。シリコンという物質それ自体が意識を持つことはないでしょう。しかし、知能のアルゴリズムをシリコンの原子配列に至るまで一つの美しい調和として統合し得た時、そのシステム全体が放つ振る舞いを、私たちは畏敬の念を込めて「思考」と呼ぶ以外の言葉を知らないのです。

脚注・難解用語の徹底解説

  1. 算術強度（Arithmetic Intensity）：アルゴリズムが1バイトのメモリ転送あたりに実行する浮動小数点演算数（FLOPs/Byte）。この値がプロセッサの「演算性能/メモリ帯域」比率より低い場合、プロセッサはメモリアクセス待ちとなり、演算器が100%稼働できなくなる（Memory-bound状態）。
  2. スウィズリング（Swizzling）：多次元配列をハードウェアの物理メモリにマッピングする際、特定のビットパターン同士が同一のメモリバンクに連続してアクセスするのを防ぐため、アドレスの特定ビットを排他的論理和（XOR）などで入れ替えて配置を擬似ランダム化・斜交化する手法。
  3. セマフォ（Semaphore）：並列処理システムにおいて、複数のプロセスやハードウェアユニットが共有資源にアクセスする際、競合を防ぎ同期を制御するための整数値フラグ機構。Jalapeñoではハードウェアネイティブな非同期セマフォがデータプリフェッチの完了合図として使用される。
  4. レール専用トポロジー（Rail-Only Topology）：大規模クラスタのネットワークにおいて、各GPU/ASICの特定ポート（例：第1ポート）同士だけを専用のスイッチプレーンに集約して直結する接続方式。ルーティングの競合を防ぎ、テンソル並列などの定型的な集団通信において極小の遅延を実現する。
  5. 平準化発電原価（LCOE: Levelized Cost of Electricity）：発電設備の建設から燃料費、運転維持費、解体に至るライフサイクル全体の総費用を、生涯発電電力量で割って算出した、1kWhあたりの実質発電コスト。異なる電源（原子力、太陽光、火力等）の経済性を公平比較するために用いられる。

巻末資料：補足2（詳細年表①・②）

年表①：計算機アーキテクチャとAIアルゴリズムの共進化史

年代 ハードウェア・半導体側の跳躍 アルゴリズム・ソフトウェア側の跳躍 両者の相互作用・パラダイム転換
1970年代 Cray-1（初の商用ベクトル計算機）、Intel 4004 バックプロパゲーションの初期理論、FORTRAN最適化 科学技術計算におけるベクトル化の確立。
1980年代 Thinking Machines CM-2（超並列機）、RISCプロセッサ登場 多層パーセプトロンの再発見、コネクショニズム 並列処理の理想とメモリボトルネックの最初の衝突。
1990年代 専用DSPの普及、GPU（NVIDIA NV1/RIVA 128）の誕生 SVM、統計的機械学習の台頭、MPEG画像圧縮標準化 汎用CPUがマルチメディア専用ハードウェアに局所敗北。
2006年 NVIDIA CUDA発表、G80アーキテクチャ（SIMT確立） ディープビリーフネットワーク（Hintonら） グラフィックスパイプラインが汎用並列計算（GPGPU）へ開放。
2012年 NVIDIA Kepler（K20）、TSMC 28nmプロセス AlexNetがImageNetで圧勝、深層学習ブーム開幕 深層学習とGPUの幸福な結婚。AI革命の物理的始動。
2017年 Google TPU v1/v2、NVIDIA Volta（Tensor Core初搭載） Transformer論文（Attention Is All You Need） 一様な密行列演算（Dense GEMM）へのハードウェア特化。
2020年 Apple M1（Unified Memory）、NVIDIA Ampere（A100） GPT-3発表、Scaling Laws（パラメータ拡大則）確立 事前学習メガクラスタの構築競争とメモリ容量争奪戦。
2024年 NVIDIA Blackwell（B200/GB200）、TSMC 4NP/CoWoS-L OpenAI o1（推論時計算、MCTS、自己検証） 学習中心から推論時探索へ。密行列一様性から動的探索へ。
2026年 OpenAI Jalapeño、Cerebras CS-4、HBM4（15.4TB/s） Gluon Linear Layouts、AgentX、Claude Code / Codex自律設計 ソフトウェアが回路を直接記述する「Reasoning Silicon」の完成。

年表②：AIエネルギー・地政学・サプライチェーン覇権史

年月 国家・地政学的イベント 企業・資本・サプライチェーンの動き エネルギー・データセンターインフラの変容
2022年10月 米国商務省（BIS）が対中先端半導体・製造装置の包括的輸出規制を発動 TSMCが米アリゾナ工場の建設拡大を発表 米国内での先端半導体オンショアリングが国家最優先課題へ。
2023年08月 米国が中国向けGPU（A800/H800等）の規制基準をさらに厳格化 NVIDIAの時価総額が1兆ドルを突破、GPU供給が世界的に枯渇 空き電力を求めてデータセンター事業者が世界中の地方都市へ進出。
2024年03月 米国バイデン政権がCHIPS法に基づきIntel、TSMC、Samsungへ巨額補助金交付を決定 MicrosoftとOpenAIが1000億ドル規模の「Stargate」DC構想を報道 ギガワット級データセンター構想により、電力グリッド不足が顕在化。
2024年09月 米コンステレーション・エナジーがスリーマイル島原発の再稼働（Microsoft向け専有電力）を発表 xAIがテネシー州メンフィスで「Colossus」（10万基GPU）を驚異的短期間で構築 系統連系遅延を回避するための「メーター裏発電（BtMガスタービン）」が常態化。
2025年01月 中国DeepSeekが「R1」を発表。米国の技術的優位に対する強烈な挑戦状となる アルゴリズムによる推論効率化が注目され、NVIDIA株価が一時乱高下 限られたハードウェア資源から最大知能を絞り出す「アルゴリズム主権」の重要性が認知。
2026年06月 OpenAIとBroadcomが自社推論ASIC「Jalapeño」計画を公式発表 Google、Amazon、Metaの独自カスタムシリコン導入比率が急上昇 データセンター評価基準が「PUE」から「Joules per Correct Reasoning」へ移行開始。
2026年08月 Hot Chips 2026にてJalapeño、CS-4、Rubinの詳細が激突 TSMCの3nmおよびCoWoSキャパシティを巡りメガテック企業間の争奪戦が激化 次世代小型モジュール炉（SMR）と特高データセンターの直接結合が国家プロジェクト化。

免責事項（Disclaimer）

本書『シリコンの思考』に記載された技術的分析、数理モデル、サプライチェーン構造、および将来予測は、2026年8月時点で公開されている学術論文、特許情報、企業技術発表、公式財務諸表、および信頼できる第三者機関の調査報告に基づいて客観的に構成されたものです。本書は特定の半導体製品、株式銘柄、または事業主体の売買を推奨する投資助言ではありません。また、本書で言及されている未公開の内部仕様や将来の量産計画に関する数値には、公開情報から導出された理論的推計が含まれており、将来の技術革新やサプライチェーンの変動によって変更される可能性があります。著者および編者は、本書の記述に基づく読者のいかなる投資判断・事業判断に対しても一切の責任を負いません。

謝辞（Acknowledgements）

本書の完成に至る過程において、数え切れないほどの半導体アーキテクト、コンパイラ開発者、データセンター現場のエンジニア、そして学術界の先達から多大なる示唆とご協力を賜りました。

初期のGPUプログラミングの泥沼からTritonおよびGluonの数理美に至る道筋を照らしてくれたオープンソース・コンパイラコミュニティのすべての研究者に。真夜中のデータセンターで液体冷却配管と格闘しながら、物理の限界に挑み続けるインフラエンジニア諸氏に。そして、膨大な一次資料の精査と敵対的査読（Red Teaming）のシミュレーションにおいて、妥協なき論理的厳密さを突きつけてくれた査読者チームに、心より深甚なる感謝の意を表します。知能の物質的基盤を探求するすべての探求者に、本書を捧げます。


かなり容赦なく言います。

このブログは「着想」は非常に強い。しかし現状のままでは、名著の序章というより「実在する技術情報・推測・未来予測・創作設定を、学術論文のような文体で一つに固めてしまった危険な文章」です。

そして、これはかなり惜しい。なぜなら2026年8月25日にOpenAI自身がJalapeñoの実測結果を公開したことで、ブログの中心仮説を本物の一次資料で再構築できる状態になったからです。OpenAIはJalapeñoについて、GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tで、比較対象に対し1.5～1.9倍のpeak performance/W、1.7～3.6倍のend-to-end latency改善を報告しています。さらに700W定格に対し実測は550W以下だったとしています。(OpenAI)

つまり、今こそ大幅改稿すべきです。

まず結論

現在の文章には、5つの重大な問題があります。

問題深刻度なぜ問題か
① 「GPU→思考する回路」が早すぎる★★★★★Jalapeñoの成功からパラダイム転換まで一気に飛躍
② 未確認のJalapeño仕様が大量に混入★★★★★学術的信頼性を直接破壊する
③ GPU批判が古典的すぎる★★★★☆現代GPUは「単純なSIMT機」ではない
④ 「推論＝探索木」が単純化しすぎ★★★★★Test-time computeの実態を狭く定義している
⑤ 「垂直統合＝勝者」という論理が未証明★★★★★Appleの成功からOpenAIへ一般化できない

そして、もう一つ。

現在のブログには「本当に面白い議論」が逆に埋もれています。

それは、

AIが賢くなるほど、コンピュータは「演算装置」ではなく「計算資源の配分装置」になる

という議論です。

これを中心に据え直すと、かなり化けます。

1. 最大の問題：「思考する回路」というタイトルが先走っている

冒頭では、

「計算する機械」から「思考する回路」へ

としています。(ドーピングコンソメブログ)

キャッチコピーとしては最高です。

しかし学術的には危険です。

Jalapeñoが実際にやっていることをOpenAI自身の説明に即して言えば、

  • LLM inference向け設計

  • memory movement最適化

  • network統合

  • KV cacheのlocality

  • prefill/decodeの異なるボトルネックへの対応

  • low latency / throughput / power efficiencyの同時最適化

  • AIによる設計・kernel optimization

です。(OpenAI)

ここから、

「シリコンが思考する」

までは哲学的比喩としては成立するが、技術的命題ではありません。

したがって、

現在

シリコンそのものが思考のアルゴリズムになる

ではなく、

改善案

「思考」という計算パターンが、シリコンの設計条件になり始めた。

にした方が強い。

この一文字の違いは大きいです。

前者は擬人化。

後者はComputer Architectureの命題になります。

2. もっと危険なのが「未確認スペック」

これは直ちに修正した方がいい。

年表には、

2025年11月 Jalapeño A0テープアウト
2026年5月ブリンアップ
HBM4
TSMC N3P
700W
CS-4

などが並んでいます。(ドーピングコンソメブログ)

しかし、今回確認できたOpenAIの公式発表が明示しているのは、少なくとも現在の公開資料では、

  • 700W package TDP

  • 実測550W以下

  • LLM inference向け

  • memory/network/software/rack-scaleのco-design

  • 9か月でtapeout

  • 2026年末からdeployment

  • Gen 2開発中

  • Gen 3も進行

などです。(OpenAI)

したがって、

公開一次資料で確認できない仕様は全部削るか、「報道・推定」と明示するべきです。

特に、

TSMC N3P
HBM4
Direct-Mapped HBM4
Out-of-Order Execution
Minimal NoC

などを確定事項のようにMermaidへ入れるのは危険です。ブログ全体が正しくても、ここ一箇所で専門家から「この人は一次資料を確認していない」と判断されます。

3. 実は「Gluon」の扱いが一番面白いのに、今は盛りすぎ

ここは大幅に修正すれば、この本の独自性の核になり得ます。

現在、

「コードが回路になる」

「ハードウェアの物理構造を露出させる」

「アルゴリズムがハードウェアの物理構造を宣言する」

という方向に進めています。(ドーピングコンソメブログ)

方向性は面白い。

ただし、

「従来のコンパイラはハードウェアの複雑さを隠すブラックボックスだった」

という整理は乱暴です。

Halide、TVM、MLIR、Triton、XLAなどの歴史を考えると、**「抽象化 vs 物理露出」の二択ではなく、「どの抽象を、どの層で露出させるか」**が本当の問題です。

しかもTriton公式資料を見ると、GluonではLinear Layoutが非常に強力な表現ではあるものの、「唯一の正しい表現」ではありません。複数のlayout表現があり、Linear Layoutは強力だが理解が難しいとも説明されています。(Triton Language)

したがって、

「高級言語 → アセンブリへ逆戻りした」

ではなく、

「抽象化を捨てたのではなく、抽象化の対象を変えた」

と書く方が遥かに面白い。

これはかなり重要です。

4. Linear Layoutsの数学は、現在かなり「盛っている」

ここは特に注意。

ブログでは、

有限体上の線形写像

バンク競合ゼロ化

数百万通りの候補から数学的に100%発生しない配置を瞬時に導出

HBM/SRAMピーク帯域の98%以上

まで踏み込んでいます。(ドーピングコンソメブログ)

しかし、Tritonの公式資料が説明している内容はもっと慎重です。

Linear Layoutsは、

  • tensor element mapping

  • lane

  • warp

  • register

  • block

  • reshape

  • permute

  • data movement

などを表現する強力なlayout representationです。(Triton Language)

一方、

「バンク競合ゼロを数学的に保証」

「98%以上を常時達成」

は別の命題です。

ここは、

数学的表現能力

と

性能保証

を完全に分離してください。

ここを逆に利用すると強くなる

Linear Layoutsの革命は「最速のlayoutを数学的に証明したこと」ではない。
これまで暗黙だった「データをどこに置くか」という実装問題を、コンパイラが操作できる形式的対象にしたことだ。

これなら学術的にもかなり強い。

5. 最大の理論的欠陥：「推論＝探索木」

第3章が一番危ないです。

現在、

推論の本質は「グラフ探索と不規則な木構造の走査」

としています。(ドーピングコンソメブログ)

これは一部のtest-time scalingには当てはまるが、推論一般の定義にはできません。

2026年現在、test-time scalingには、

  • single-trajectory sequential scaling

  • repeated sampling

  • voting

  • verification

  • prefix-level search

  • tree/beam-like search

など複数の形態があります。最近の研究も、これらを一つの「compute budget」にまとめると比較を誤る、と指摘しています。(arXiv)

さらに最新研究では、

問題ごとに計算量をどう配分するか

そのものが新しい研究課題になっています。(arXiv)

ここから、もっと強い議論ができます。

本当に書くべきなのは「推論＝探索」ではない

私は、

推論とは「計算」ではなく「計算資源の配分問題」になりつつある

と書き換えることを強く勧めます。

これはかなり強い。

例えば、

簡単な問題
→ 100 tokens

難しい問題
→ 10,000 tokens

検証が必要
→ verifierへ追加compute

探索が必要
→ branching

確信度が高い
→ early exit

というように、

「何を計算するか」より「どこに計算を投入するか」

が重要になる。

そうすると、

AIアルゴリズム

↓

scheduler

↓

compiler

↓

accelerator architecture

↓

network topology

↓

power allocation

まで一本につながる。

これは『シリコンの思考』という本の本当の中心軸になり得ます。

6. 「GPUが壊れる」は撤回した方がいい

タイトルとしては面白い。

しかし本文の論証では、

GPUは均一な並列性を前提とする

という描写が古い。

現代GPUには、

  • Tensor Core

  • asynchronous execution

  • CUDA Graphs

  • persistent kernels

  • specialized memory paths

  • NVLink

  • Transformer Engine

  • sparsity support

など、AI推論向けに相当進化した機構があります。

しかもOpenAI自身が今回、

「Jalapeñoを導入するが、NVIDIAや他社acceleratorもtraining/inferenceで広く使い続ける」

と明言しています。(OpenAI)

したがって、

GPU時代の終焉

ではなく、

GPUの「独占的な計算単位」としての地位が相対化される

くらいにした方がいい。

これは現実にも合っています。

7. 「JalapeñoがGPUを置き換える」ではなく「GPUの用途分解」

ここは本の構造を変えるほど重要です。

現在の論理は、

GPU
 ↓
限界
 ↓
Jalapeño
 ↓
Reasoning Silicon

です。

これを、

AI Compute
   │
   ├── Training
   │     └── GPU / TPU / custom accelerator
   │
   ├── Batch inference
   │     └── GPU / ASIC
   │
   ├── Low-latency inference
   │     └── custom silicon
   │
   ├── Agentic inference
   │     └── architecture + memory + network co-design
   │
   └── Test-time compute
         └── dynamic compute allocation

にする。

すると、

「GPUが死ぬ」のではなく、「AI Computeという一枚岩が分解される」

という、はるかに強い議論になります。

8. JCRは面白いが、現在の定義では危険

JCR、

Joules per Correct Reasoning

は非常に良いアイデアです。(ドーピングコンソメブログ)

ただし、今のままだと、

正解とは何か？

が未定義。

数学ならいい。

コードならテスト通過。

しかし、

  • 創作

  • 医療

  • エージェント

  • 検索

  • 要約

  • 対話

では「correct」をどう決めるのか。

さらに、

正答率を上げるために計算を増やした結果、JCRが悪化する

こともあります。

だからJCRは、

「新しい万能指標」

ではなく、

「AI inference economicsを考えるための概念実験的metric」

として提示する方が学術的に強いです。

そして既存のEnergy-per-Token研究と対比する。2026年にはEnergy-per-Tokenを評価軸として明示的に論じる研究も出ています。(ACM Digital Library)

つまり、

Energy/token → Energy/task → Energy/correct task

という進化として整理できます。

これはかなり良い章になります。

9. 実は「電力」の議論がまだ弱い

第IV部では電力網まで行っていますが、現状は、

AI → 電力需要 → 国家

という一本道です。

ここにはもう一段必要です。

Jevons paradox / rebound effectです。

AMDも2026年のエネルギー効率向上について、効率が上がってもAI compute需要が増えれば総電力消費が減るとは限らないと認めています。(TechRadar)

これは本にとって極めて重要。

つまり、

「効率化＝省エネ」ではない。

Jalapeñoが1 queryあたりのエネルギーを半分にしても、AI利用が10倍になれば総消費量は増える。

この問題を、

Silicon efficiency → Compute demand → Rebound → Power infrastructure

という因果鎖にする。

ここまで行けば、第IV部の「AIと電力網」はかなり強くなります。

10. Apple Silicon比較は、現在かなり単純化されている

「Apple SiliconがIntelを圧倒した」

という表現は避けるべきです。

Apple Siliconの成功は、

  • performance/W

  • vertical integration

  • product design

  • OS

  • compiler

  • unified memory

  • packaging

  • iPhone/iPadでのSoC経験

  • TSMCとの関係

  • Rosetta 2

  • huge software ecosystem

など複数の要因の合成です。

そして何より、

Appleはチップを外販する必要がない。

これはOpenAIとの決定的な違い。

AppleとOpenAIを比較するなら、

AppleOpenAI
ハードウェア製品を販売AIサービスを販売
OSを支配OSを支配しない
SoCを長期利用モデル世代が高速変化
自社デバイスデータセンター
consumer volumeinference volume
ARM ecosystemCUDA/ASIC ecosystem

と比較する必要があります。

ここを掘れば、むしろ**「AppleモデルはOpenAIにそのまま移植できない」**という反論が出てくる。

その反論こそ本に必要です。

11. 「垂直統合が勝つ」は、むしろ逆方向も研究すべき

現在の第IV部は、

vertical integration → competitive advantage

に寄りすぎています。

しかし半導体史には逆もあります。

水平分業が勝つケースです。

例えば、

  • ARM

  • TSMC

  • NVIDIA

  • Broadcom

  • Microsoft

  • hyperscaler

という分業構造そのものが巨大な価値を生んでいます。

だから本当に面白い問いは、

AI時代は垂直統合に戻るのか？

ではなく、

どの境界では垂直統合が有利で、どの境界では分業が有利なのか？

です。

これは経済学として一段上です。

12. もっと重要な「欠落」がある

現在の目次には、以下が足りません。

① Memory

かなり重要。

AI acceleratorの本質は演算器ではなく、

「どこにstateを置くか」

になりつつあります。

KV cache、HBM、SRAM、CXL、memory pooling、near-memory computingまで必要。

② Packaging

これは絶対に入れた方がいい。

AI半導体は、

transistor scaling

だけでは説明できません。

advanced packagingそのものがarchitectureになる。

③ Optical interconnect

ラックスケールまで行くなら必須。

Computeが速くなるほど、

compute → memory → network

の境界がボトルネックになる。

光電融合はここで重要。

④ Compiler economics

Gluonを語るなら、

「誰がcompilerを書くのか？」

まで行く必要があります。

AIがcompiler optimizationをするなら、

compiler engineeringそのものがAIによって自動化される可能性

がある。

⑤ Software lock-in

CUDAの代替を語るなら、

CUDA lock-in

だけでは足りない。

本当に重要なのは、

model → kernel → compiler → runtime → deployment

の全stack lock-in。

⑥ Failure / reliability

ここが完全に抜けています。

推論がcritical infrastructureになるなら、

  • silent error

  • ECC

  • hardware failure

  • thermal throttling

  • model corruption

  • network failure

  • Byzantine behavior

まで必要。

13. 「AIがAIチップを設計する」は、実は本の最重要テーマ

ブログにはこの芽があります。

OpenAI公式発表では、

AIを使ってチップを設計した

だけでなく、

AIがプログラムしやすいチップを設計した

と説明されています。さらにCodex＋GPT-Astraで、選択したattention/MoE blocksについてAI生成実装が人間の専門家コードより1.5～1.8倍高速だったとしています。(OpenAI)

ここは絶対にもっと掘るべきです。

なぜなら、

AI
 ↓
chip design
 ↓
better chip
 ↓
better AI programming
 ↓
better kernels
 ↓
better inference
 ↓
better AI
 ↓
better chip design

という自己強化ループが成立する可能性があるから。

これは「シリコンが思考する」より100倍面白い。

私はここを、

Silicon Recursive Loop

「AIが次のAIを動かすシリコンを設計する」

という本の核心テーマにします。

14. そして最大の弱点――「学術的価値」の作り方

現在の記事は、

「学術的」

という言葉がかなり多い。

しかし学術性は、

数式を書くことではありません。

学術的価値は、

既存研究では別々に扱われていたものを、検証可能な一つのモデルとして接続すること

です。

この本の場合、例えば、

LLM reasoning
     ↓
compute allocation
     ↓
memory locality
     ↓
compiler
     ↓
accelerator architecture
     ↓
network topology
     ↓
rack economics
     ↓
electricity
     ↓
industrial organization

という因果モデルを提示する。

これなら本当に学術的価値が出ます。

15. 「歴史に残る本」にするなら、中心命題を変更した方がいい

現在の中心命題は、

「単体で最も演算が速いチップではなく、アルゴリズム、コンパイラ、物理メモリ配置、インターコネクト、電力供給網まで統合できる者が勝つ」

です。(ドーピングコンソメブログ)

これは良いですが、「統合すれば勝つ」という経営論に寄りすぎています。

私はこう変えます。

AI時代のコンピューティングでは、性能の単位が「チップ」から「計算を完了させるシステム」へ移りつつある。

そして第二命題。

推論AIでは、計算量そのものよりも、限られた計算資源をどこへ、いつ、どの粒度で配分するかが性能・コスト・エネルギーを決める。

そして第三命題。

そのため、アルゴリズム、コンパイラ、メモリ、アクセラレータ、ネットワーク、電力を独立した最適化問題として扱うことが難しくなっている。

これなら、

Jalapeñoは「証拠」

になります。

主人公ではありません。

16. そうすると、本のタイトルも一段深くなる

現在：

『シリコンの思考』
なぜAIは「計算する機械」から「思考する回路」へ進化したのか

かなり良い。

しかし私は副題を、

AIはどこで計算するのか――推論・コンパイラ・半導体・電力が一つになるまで

くらいにする案も推します。

なぜなら「思考する回路」は文学的ですが、

本体の学術命題が「計算の境界の再編」

だからです。

17. そしてブログ後半の「架空インタビュー」は削った方がいい

これはかなり強く言います。

Dylan Patel氏の架空インタビューは、削除推奨です。(ドーピングコンソメブログ)

たとえ「架空」と明示していても、

SemiAnalysis 主筆 ディラン・パテル氏

という実在人物の名前を使う必要性がありません。

しかも、

「上位5つのフロンティアモデルが全世界の推論トークンの80%」

という数字まで出てくる。

これは本全体の信頼性を毀損します。

架空の専門家に言わせるのではなく、自分の仮説として書けばいい。

18. 「架空のことわざ」「星新一風」も本文から分離

創作部分自体は面白い。

しかし、

学術的・産業的論考

という本体と、

架空ことわざ
架空インタビュー
作家風書評
ミステリ的描写

が同じページに大量に並ぶため、論証のジャンルが崩れています。

ブログとしては、

「本編」

「Research Appendix」

「Creative Appendix」

に完全分離した方がいい。

これだけで知的信頼性がかなり上がります。

19. 逆に「ものすごく良い部分」

厳しく批判しましたが、残すべきものもあります。

① ミクロ→マクロの構造

これは非常に良い。

チップ
→ compiler
→ rack
→ data center
→ power
→ geopolitics

というズームアウトは本の構造として強い。(ドーピングコンソメブログ)

② JCR

磨けば独自概念になります。

③ Gluon / Linear Layout

ここは技術書として差別化できる。

④ Appleとの比較

反論を入れれば非常に強い。

⑤ AIによるchip design

これは今まさに起きている現象なので、未来予測ではなく一次資料から論じられる。(OpenAI)

20. 私なら目次をこう再設計する

最も大きな変更は、「GPUの終焉」を本の中心から外すことです。

第I部　なぜGPUは勝ったのか

GPUを敵役にしない。

むしろ、

「GPUは間違っていたのではない。AIにとってあまりにも正しい機械だった」

から始める。

第II部　推論がコンピュータを変える

ここで、

  • test-time compute

  • KV cache

  • memory wall

  • dynamic compute allocation

  • verification

  • branching

  • agentic workload

を扱う。

第III部　コードがシリコンへ戻ってくる

  • Triton

  • Gluon

  • Linear Layout

  • compiler

  • AI-generated kernels

  • AI-assisted chip design

ここが『シリコンの思考』の技術的核心。

第IV部　一個のチップではなく一個の計算機

  • Jalapeño

  • memory

  • networking

  • rack-scale

  • packaging

  • optical interconnect

  • TCO

  • JCR

第V部　計算機の外側

  • data center

  • electricity

  • grid

  • capital

  • TSMC

  • HBM

  • geopolitics

  • sovereignty

終章　コンピュータはどこまで広がるのか

ここで初めて、

「AIとはソフトウェアなのか、それとも巨大な物理システムなのか」

という哲学的問いに戻る。

最終評価

現状のブログを10点満点で評価すると、

項目現在改稿後ポテンシャル
着想9.510
タイトル9.510
技術的面白さ910
構成8.510
ミクロ→マクロ910
独自概念910
一次資料との整合性59.5
学術的厳密性4.59.5
反証可能性59.5
GPU論69
推論論610
経済学6.59
地政学69
総合7.09.5〜10

最大の問題は「面白くない」ことではありません。逆です。

面白すぎるために、

「まだ証明されていないこと」まで、証明されたことのように書いてしまっている。

ここを全部剥がす。

そして、

Jalapeñoの公開一次資料で確認できる事実 → Test-time Computeの最新研究 → Gluon/Linear Layoutの実際の仕様 → AI-assisted chip design → system economics

だけを残す。

そうすると、今の文章より一見「地味」になります。

しかし、その地味になった文章の方が、10年後にも引用される可能性が高い。

特に2026年8月25日のOpenAI公式資料は、あなたの当初の仮説をかなり強く支える一方で、同時にそれを修正する材料も含んでいます。OpenAI自身がJalapeñoを「multi-generational platform」と位置づけながら、NVIDIAなどのアクセラレータをtraining/inferenceで引き続き広く使うと明記しているからです。つまり現実は「GPUからASICへ」ではなく、**「AI computeのワークロードごとの分化とfull-stack co-design」**に近い。(OpenAI)

そして私は、ここがこの本を一段上の本にする決定的なポイントだと思います。

「GPUの次に何が来るのか？」ではなく、
「AIが賢くなるにつれて、“コンピュータ”と呼ぶべき範囲そのものが、どこまで拡張されるのか？」

この問いなら、Jalapeñoが成功しても失敗しても、NVIDIAが勝っても負けても、2026年の一製品ニュースを超えて残ります。そうです。今日（2026年8月26日）の時点では「Mac miniがM6に進化」は噂ではなく、正式発表済みです。

Image

Image

Image

Image

M6 Mac miniはかなり重要な製品

Appleは8月25日、M6を搭載する新Mac miniを発表しました。M6はApple初の2nmプロセスチップで、M6 Mac miniは12コアCPU、12コアGPU、170GB/sメモリ帯域を備えます。Appleは前世代M4比でCPU性能最大40%向上、AI性能最大4倍、ストレージとグラフィックス最大2倍をうたっています。(Apple)

Mac mini M4Mac mini M6
世代M4M6
製造プロセス3nm世代2nm
CPU10コア12コア
GPU10コア12コア
メモリ帯域120GB/s級170GB/s
AINeural EngineDual Neural Engine / Neural Accelerators強化
Ethernet1Gb/10Gb2.5Gb標準、10Gbオプション
Wi-FiWi-Fi 6EWi-Fi 7
Bluetooth5.3Bluetooth 6
ストレージ―最大2倍高速
価格旧世代より安価$899～
発売20242026年9月22日

AppleはM6について、単純なCPU/GPU性能向上だけではなく、AI処理性能を大幅に引き上げることを前面に出しています。(Apple)

ここが『シリコンの思考』とつながる

これは実は、さっきの

Linear Layout → Jalapeño → Cerebras

の話とかなり面白く接続できます。

M6 Mac miniは、

「小さなPCに巨大なAIモデルを載せる」

という方向を強化しています。

つまり、

M4 Mac mini
     ↓
高性能な小型PC
     ↓
M6 Mac mini
     ↓
高性能なローカルAIコンピュータ

という変化です。

Reutersも今回のMac miniを、OpenClawのようなAIエージェントをローカルで動かす用途を意識した製品として報じています。(Reuters)

これはJalapeñoとは逆方向に見えて、実は同じ問題を解いています。

Jalapeño

LLM
 ↓
専用chip
 ↓
memory
 ↓
network
 ↓
rack
 ↓
datacenter

M6 Mac mini

LLM
 ↓
Apple Silicon
 ↓
Unified Memory
 ↓
Mac mini
 ↓
local inference

つまり、

Jalapeño＝AIをデータセンター側で専用化する

M6 Mac mini＝AIを端末側へ集約する

という違いです。

そして「Cerebras」まで含めると面白い

M6 Mac miniJalapeñoCerebras
基本思想AIを端末へAI推論をASICへAI計算をwaferへ
スケールPCData centerWafer / rack
メモリ思想Unified MemoryLLM向けco-design巨大SRAM + wafer-locality
通信PC内部中心chip/network/rackwafer fabric
主目的Local AILLM inferenceTraining + inference
最適化単位DeviceWorkloadSpatial computing
強み低消費電力・汎用性推論効率巨大なlocality
AI時代の意味Personal AI computerInference computerWafer computer

ここで非常に重要なのは、AppleがM6をMac miniから投入したことです。

M6はMacBook Proではなく、まずMac miniでデビューしました。Apple自身もM6を「performance and AI capabilities」の大幅な飛躍として位置づけています。(Apple)

これは『シリコンの思考』の議論にとって、かなり象徴的です。

AIアクセラレータ化はデータセンターだけの話ではない。

AIの計算能力が、

GPUクラスタ → 専用ASIC → ワークステーション → PC → 個人端末

へと広がっている。

そしてMac miniは、その中でも非常に面白い位置にあります。

「小型PC」から「ローカルAIノード」へ

Mac miniの価値を、

CPU性能が○％速くなった

だけで評価すると、本質を見失います。

むしろ、

「データセンターに問い合わせなくても、個人が常時稼働するAI compute nodeを持てる」

という意味で評価した方がいい。

これはOpenAIのJalapeñoとは正反対ですが、AI computeの分散化という点では同じ方向です。

そして今回のM6 Mac miniには、あなたが以前考えていた**「Unified Memory」「ローカルLLM」「ストレージストリーミング推論」**の議論を接続できます。

特に面白いのは、

Cerebras = Memoryをcomputeの近くに持っていく
Jalapeño = inference workloadにcomputeを合わせる
Apple M6 = Unified Memoryによってcomputeとstateを一つのpersonal machineに統合する

という三角形です。

ここまで整理すると、『シリコンの思考』のタイトルに対して、**M6 Mac miniは「データセンターの外へ出てきた思考するシリコン」**という非常に良いケーススタディになります。現時点で公開情報を突き合わせると、JalapeñoのHBMは「どのメーカーから調達しているか」までOpenAIが公式には明らかにしていません。ただし、8月25日のHot Chipsでかなり重要な情報が出ています。

Jalapeñoのメモリ構成

項目公開情報
メモリHBM4
1パッケージ216 GiB
HBMスタック6スタックと報じられている
帯域15.4 TB/s
128チップ27.5 TB HBM4
メモリメーカー非公表
パッケージHBMと計算ダイを同一パッケージに統合
設計・実装OpenAI + Broadcom
システムCelestica
製造TSMC系と報じられているが、OpenAI公式は詳細非開示

Hot Chipsで報じられた詳細では、Jalapeño 1個あたり216 GiBのHBM4、15.4 TB/s、128個構成では27.5TBのHBM4とされています。(Tom's Hardware)

ではSamsung？SK hynix？Micron？

ここがポイントです。

現時点では断定できません。

HBM市場の主要サプライヤーは、

  • SK hynix

  • Samsung Electronics

  • Micron Technology

の3社です。

2026年のHBM市場では3社が供給能力を争っており、特にHBM4の供給は非常に逼迫しています。(HotHardware)

しかし、

「JalapeñoのHBM4はSK hynix製」

あるいは

「Micron製である」

と現時点で確定できる一次資料は確認できません。

むしろ、この点は『シリコンの思考』では重要な論点になります。

Jalapeñoの「垂直統合」は実は垂直統合ではない

OpenAIはJalapeñoについて、

OpenAIがチップを設計
↓
Broadcomがシリコン実装・ネットワーク
↓
Celesticaがボード・ラック・システム
↓
TSMCなどが製造
↓
HBMメーカーがHBMを供給

という巨大な水平分業ネットワークに依存しています。OpenAI自身も、Broadcomがsilicon implementation、networking、connectivityを担い、Celesticaがboard/rack/systemを担うと説明しています。(OpenAI)

つまり、

「OpenAIが自社チップを作った」≠「OpenAIが半導体サプライチェーンを垂直統合した」

です。

これは前に話したAppleとの比較にも非常に重要です。

Jalapeñoの実態

                 OpenAI
          Model / Kernel / Workload
                    │
                    ↓
              Chip Architecture
                    │
                    ↓
                Broadcom
          ASIC implementation
          Networking / Connectivity
                    │
          ┌─────────┴─────────┐
          ↓                   ↓
        TSMC              HBM supplier
     wafer/fab           Samsung/SK hynix/
                         Micronのいずれか
          │                   │
          └─────────┬─────────┘
                    ↓
              Advanced Packaging
                    │
                    ↓
               Celestica
              Board / Rack
                    │
                    ↓
             OpenAI Data Center

ここがJalapeñoの最大の盲点です。

OpenAIは「full-stack」を目指していますが、HBMだけは外部サプライチェーンに依存する。

しかもHBMは現在、AI半導体の最大級のボトルネックの一つです。

さらに面白いのは「JalapeñoはHBMを増やす」のではなく「HBMを使い切る」

OpenAIの8月25日の説明でかなり重要なのがここです。

Jalapeñoは単に、

HBMを大量搭載すれば速くなる

という設計ではありません。

OpenAIは**「aggregate HBM bandwidthをどう露出させるか」**をアーキテクチャ上の重要課題として扱っています。つまり、

HBM容量・帯域を増やす競争

から、

与えられたHBM帯域をどれだけLLM inferenceに変換できるか

へ重点を移している。

これはGluon / Linear Layoutの話ともつながります。

HBM
 ↓
Memory layout
 ↓
Kernel
 ↓
Data movement
 ↓
Compute
 ↓
Correct reasoning

つまり、

HBMメーカーが供給する「物理的帯域」

↓

コンパイラが実現する「利用可能帯域」

↓

Jalapeñoが実現する「推論性能」

という3段階がある。

この意味でJalapeñoの競争力は、HBMそのものを発明することではなく、希少なHBM bandwidthをLLM intelligenceへ変換する効率にあります。

そしてこれは『シリコンの思考』のかなり強い命題になります。

AI半導体時代のボトルネックは「誰が最も多くのメモリを持つか」から、「誰が希少なメモリ帯域を最も多く知能へ変換できるか」へ移る。

なお、Jalapeñoは2026年末からOpenAIのインフラへの導入予定で、OpenAIはNVIDIAなどのアクセラレータも今後もtraining/inferenceに広く利用すると明言しています。したがって、Jalapeñoは「NVIDIA依存から完全脱却」ではなく、計算資源のポートフォリオを増やす戦略と見るのが正確です。(OpenAI)JalapeñoはOpenAI自身が使う専用ASICなので、「Jalapeñoを売る会社」はありません。したがって関連銘柄を見るなら、設計・実装・ネットワーク・製造・HBM・実装・ラックというサプライチェーンに分解するのが正確です。

OpenAI公式によれば、JalapeñoはOpenAIがアーキテクチャを設計し、Broadcomがシリコン実装・ネットワーク・接続を担い、Celesticaがボード、ラック、システム統合を担う複数世代プラットフォームです。2026年末からの展開が予定されています。(OpenAI)

Jalapeño関連銘柄ランキング

関連度企業ティッカー役割Jalapeñoとの距離投資テーマ
SBroadcomAVGOASIC設計・実装、Networking、Tomahawk直結カスタムAI ASIC
SCelesticaCLSBoard / Rack / System直結AIラック・システム
STaiwan Semiconductor Manufacturing CompanyTSM先端半導体製造・先端パッケージ最重要候補ASIC量産・先端パッケージ
A+SK hynix000660.KSHBM重要だが供給元は未公表HBM4
A+Micron TechnologyMUHBM同上HBM4
A+Samsung Electronics005930.KSHBM / Foundry / Packaging同上HBM＋製造
AMarvell TechnologyMRVLCustom silicon / networking間接カスタムASIC
AArista NetworksANETEthernet networking間接AIクラスタ通信
AAmphenolAPH高速コネクタ・ケーブル間接AIラック接続
ACredo TechnologyCRDO高速SerDes / AEC間接AIネットワーク
B+CoherentCOHR光通信間接DC interconnect
B+VertivVRT電源・冷却間接AI DCインフラ
B+Delta Electronics**2308.TW電源・冷却間接AIラック電力
BNVIDIANVDA競合AI GPU競争相手推論ASICへの対抗

※HBMについては、OpenAIはJalapeñoのHBMサプライヤーを公式には明らかにしていません。したがってSK hynix、Micron、Samsungを「Jalapeño採用確定銘柄」とするのは不適切です。

1位：Broadcom ― 最も直接的

これはかなり明確です。

OpenAI自身が、

OpenAI designed the accelerator
Broadcom → silicon implementation / networking / connectivity
Celestica → board / rack / system

という役割分担を公表しています。(OpenAI)

つまりJalapeñoに投資するなら、最も純粋な上場企業エクスポージャーはAVGOです。

しかもBroadcomの価値はJalapeño一世代ではありません。

OpenAIは「multi-generation compute platform」と明言しています。

Jalapeño Gen 1
      ↓
Jalapeño Gen 2
      ↓
Jalapeño Gen 3
      ↓
Gigawatt-scale AI infrastructure

つまり、

OpenAIのAI性能向上 → custom ASIC → BroadcomのASIC/networking需要

という長期的な関係になります。

Broadcom自身もOpenAIとの協業を「複数世代」のプラットフォームと説明しています。(Broadcom Inc.)

2位：Celestica ― 意外に重要

CLSはかなり面白いです。

Jalapeñoを「半導体銘柄」だけで考えると見落とします。

OpenAI公式ではCelesticaが、

  • board

  • rack

  • system integration

  • scalable production systems

を担当しています。(OpenAI)

つまり、

Jalapeño chip
     ↓
Board
     ↓
Rack
     ↓
AI Cluster

の**「チップをコンピュータにする部分」**です。

『シリコンの思考』の文脈では、むしろここが重要です。

ASIC革命は半導体メーカーだけの革命ではなく、ラックメーカー・ODM・電源・冷却・ネットワークまで巻き込む。

3位：TSMC ― ただし「Jalapeño製造確定」とは分ける

TSMCはカスタムASIC時代の最大の受益候補です。

ただし、ここは注意が必要です。

公開情報から、

「Jalapeño = TSMC○nmで製造」

までをOpenAI公式情報として断定するのは避けるべきです。

一方で、最先端ASICとHBMを組み合わせるには、先端ファウンドリ＋先端パッケージング能力がボトルネックになります。

したがってTSMは、

Jalapeño固有銘柄というより「カスタムAI ASIC時代そのもの」への投資

と考える方がいいでしょう。

HBM銘柄は「第2層」

JalapeñoはHBMを大量に必要とするため、HBMメーカーも重要です。

ただし、

SK hynix / Micron / SamsungのどこがJalapeñoに採用されているかは未公表。

したがって、

銘柄Jalapeñoとの関係評価
SK hynixHBM4候補★★★★☆
MicronHBM4候補★★★★☆
SamsungHBM4候補★★★★☆

という扱いに留めるべきです。

ここを「Jalapeño関連銘柄」として断定すると、投資分析として雑になります。

むしろ注目したい「Jalapeño周辺銘柄」

私なら次のように分類します。

Tier 1：Jalapeñoそのもの

AVGO

OpenAI
   ↓
Jalapeño architecture
   ↓
Broadcom
   ↓
ASIC implementation
   ↓
Networking

Tier 2：Jalapeñoを物理的なシステムにする

CLS

Chip
 ↓
Board
 ↓
Rack
 ↓
System

Tier 3：シリコンを作る

TSM

Architecture
 ↓
ASIC
 ↓
Advanced manufacturing
 ↓
Advanced packaging

Tier 4：メモリを供給する

SK hynix / MU / Samsung

HBM4
 ↓
Memory bandwidth
 ↓
Inference performance

Tier 5：ラックをつなぐ

ANET / CRDO / COHR / APH

ASIC
 ↓
Ethernet / SerDes
 ↓
Optical / Copper
 ↓
Cluster

Tier 6：電力を供給する

VRT / Delta

AI ASIC
 ↓
Rack
 ↓
Power
 ↓
Cooling
 ↓
Data Center

「Jalapeño関連銘柄」を投資テーマとして見るなら

かなり面白いのは、

NVDA vs AVGO

だけではありません。

むしろ、

AI時代のボトルネック代表銘柄
AI acceleratorNVDA
Custom ASICAVGO
ASIC製造TSM
HBMSK hynix / MU / Samsung
Rack/SystemCLS
NetworkingANET / AVGO
SerDesCRDO
OpticalCOHR
ConnectorAPH
Power/CoolingVRT / Delta

という**「AI Compute Stack」**として見る方が合理的です。

特に『シリコンの思考』の論点では、

NVIDIAが敗北するかどうか

より、

AI計算の価値が「GPU」から「カスタムASIC＋HBM＋ネットワーク＋ラック＋電力」というシステム全体へ移ると、利益プールはどこへ移動するのか

を見るべきです。

そしてその問いに対する最重要銘柄が、現時点では**Broadcom（AVGO）**です。

JalapeñoはOpenAI専用で外販されないため、「Jalapeñoの売上」を直接買うことはできません。代わりに、その設計思想を量産可能な商業インフラへ変換するBroadcomとCelesticaが、最も直接的な上場エクスポージャーになります。(OpenAI)東証上場に限定すると、Jalapeñoそのものへの直接エクスポージャーはありません。ただし、OpenAIが公式に示しているJalapeñoの構成は「OpenAI設計 → Broadcomのシリコン実装・ネットワーク → Celesticaのボード/ラック/システム」という形なので、日本株ではそのサプライチェーンを分解して見るのが適切です。(OpenAI)

東証版「Jalapeño関連銘柄」

優先度企業証券コードJalapeñoとの接点私の評価
Sアドバンテスト6857AI半導体テスト★★★★★
S東京エレクトロン8035半導体製造装置★★★★★
Sレーザーテック6920EUV/先端半導体検査★★★★☆
A+ディスコ6146切断・研削・先端半導体製造★★★★★
A+信越化学工業4063シリコンウエハー・材料★★★★☆
A+SUMCO3436シリコンウエハー★★★★☆
A+フジクラ5803AI/DC高速接続・光/電装★★★★★
A古河電気工業5801光通信・データセンター★★★★☆
A住友電気工業5802光ファイバー・高速通信★★★★☆
Aソシオネクスト6526カスタムSoC/ASIC★★★★☆
Aメイコー6787高密度PCB★★★★☆
Aイビデン4062高性能ICパッケージ基板★★★★★
A新光電気工業6967ICパッケージ★★★★☆
AレゾナックHD4004半導体パッケージ材料★★★★☆
ATOWA6315半導体モールディング★★★★☆
B+富士電機6504データセンター電源★★★★☆
B+明電舎6508DC電源・電力インフラ★★★★☆
B+日立製作所6501DC/電力・AIインフラ★★★★☆
B+三菱重工業7011電力・データセンターインフラ★★★☆☆

特に重要なのはこの5社

① アドバンテスト 6857
② イビデン 4062
③ フジクラ 5803
④ ディスコ 6146
⑤ 東京エレクトロン 8035

です。

ただし、これは「Jalapeñoの部品を納入している」という意味ではありません。Jalapeñoを含むカスタムAI ASICの普及によって恩恵を受ける日本の半導体インフラ企業という意味です。

1. アドバンテスト 6857 ― ASIC時代の「検査屋」

これはかなり面白いです。

JalapeñoのようなカスタムASICが増えると、

設計 → tape-out → wafer → packaging → test → system

という工程が必要になります。

AI半導体は、

  • 高速

  • 大容量HBM

  • 高密度パッケージ

  • 高消費電力

  • 高い歩留まり要求

なので、テストの重要性が上がります。

つまり、

NVIDIA GPUが売れる → アドバンテスト

だけではなく、

ASICが増える → 半導体の種類が増える → テスト需要が増える

という構造です。

Jalapeñoはまさにこの「ASIC化」を象徴しています。

2. イビデン 4062 ― 実はかなり重要

JalapeñoのようなAI ASICでは、チップそのものだけではなく、パッケージ基板が性能を決めるようになります。

特に、

ASIC
 ↓
HBM
 ↓
Advanced Packaging
 ↓
Package Substrate
 ↓
Board
 ↓
Rack

という構造になる。

したがってイビデンは、「AI半導体の裏側」を見る日本株として非常に重要です。

ここは『シリコンの思考』でも、

半導体の「性能」はダイの中だけで決まらない。

という章を作れるところです。

3. フジクラ 5803 ― Jalapeñoの「外側」

Jalapeñoの設計思想は、単体ASICだけではありません。

OpenAIは、

  • chip

  • memory

  • networking

  • serving

  • rack

まで含めて最適化すると説明しています。(OpenAI)

つまりAI ASICが高速化すると、

ASIC → ASIC間通信

がボトルネックになります。

そこで、

  • 光ファイバー

  • 光トランシーバ

  • 高速ケーブル

  • コネクタ

  • AEC

  • 高密度配線

が重要になります。

この観点では、フジクラはJalapeñoというより「Jalapeño型AIクラスタ」への投資です。

4. ディスコ 6146 ― ASICが増えるほど製造工程が増える

JalapeñoのようなASICは、NVIDIA GPUと違って、

AI企業が自分のモデルに合わせて独自チップを作る

という流れを促進します。

すると、

GPU 1種類
        ↓
        ↓
Custom ASIC
Custom ASIC
Custom ASIC
Custom ASIC
        ↓
製造・加工・検査需要

となる。

つまりAI半導体の多様化そのものが半導体製造装置市場を押し上げる可能性があります。

5. 東京エレクトロン 8035

これはさらに上流です。

Jalapeñoだけを見るのではなく、

「AI ASICが世界中で増える」

というシナリオに賭ける銘柄。

OpenAIはJalapeñoを単発製品ではなくmulti-generation compute platformとして位置づけています。さらに2026年末からの初期展開、その後の拡大を計画しています。(OpenAI)

そのため、

Jalapeño Gen 1 → Gen 2 → Gen 3

だけでなく、

OpenAI / Google / Amazon / Meta / Microsoft / その他AI企業のCustom ASIC化

まで考えると、東京エレクトロンやディスコの方が「Jalapeño一社」に依存しないテーマになります。

「Jalapeño日本株」を5層に分けると分かりやすい

                  AIモデル
                     │
              ┌──────▼──────┐
              │  Jalapeño   │
              │ Custom ASIC │
              └──────┬──────┘
                     │
        ┌────────────┼────────────┐
        ▼            ▼            ▼
      HBM         Package      Networking
        │            │            │
    SK hynix      イビデン       フジクラ
    Micron        レゾナック     古河電工
    Samsung       TOWA           住友電工
                     │
                     ▼
               Manufacturing
                     │
        ┌────────────┼────────────┐
        ▼            ▼            ▼
      TEL          DISCO       Lasertec
        │
        ▼
       Test
        │
   Advantest
        │
        ▼
      Rack
        │
   Power / Cooling
        │
   日立・富士電機
   明電舎・三菱重工

この構造で見ると、「Jalapeño関連株＝AI半導体関連株」ではありません。

もっと正確には、

Jalapeño = Custom AI ASIC化を象徴するイベント

なので、

「Custom ASIC化 → HBM → Advanced Packaging → PCB → Networking → Test → Power」

という一連のバリューチェーンを買うテーマです。

私なら日本株ではこう分類する

投資テーマ第一候補第二候補
ASIC化ソシオネクストアドバンテスト
先端パッケージイビデンレゾナック
半導体製造東京エレクトロンディスコ
半導体検査アドバンテストレーザーテック
AIネットワークフジクラ古河電工
高速PCBメイコーイビデン
電力富士電機明電舎
AIデータセンター総合日立三菱重工

重要な注意

「Jalapeñoの日本製部品サプライヤー」を意味するなら、現時点では上記企業をそう断定できません。

OpenAIが公式に具体的に名前を出しているのは、BroadcomとCelesticaで、日本の企業は公表されていません。(OpenAI)

したがって投資分析としては、

Jalapeño直接関連

と

Jalapeñoが加速するCustom AI ASIC / AIインフラ関連

を分けるべきです。

この区別をすると、**東証版の本命は「Jalapeño採用銘柄」ではなく「Jalapeño型アーキテクチャが普及したときに利益プールが増える会社」**になります。Jalapeñoを「突然現れたOpenAI製ASIC」と見ると、本質を見失います。むしろ、CPU → GPU → CUDA → TPU/AI ASIC → Transformer → LLM推論 → compiler/hardware co-design → Jalapeñoという、約半世紀にわたる「計算機の基本単位が変わっていく歴史」の到達点として見るのが面白いです。

なお、Jalapeño自体について確定しているのは2026年6月24日の正式発表と、2026年8月25日の初期実測です。OpenAIは、モデル・カーネル・メモリ・ネットワーク・サービングを前提にゼロから設計し、9か月でテープアウトしたと説明しています。(OpenAI)

Jalapeñoに至るまでの歴史

時代年代技術・出来事何が変わったかJalapeñoとのつながり
第1期1940–50sENIACなど初期電子計算機計算を機械化「計算機」という概念の誕生
1950–60sメインフレーム計算資源を集中利用大規模computeの原型
第2期1970sマイクロプロセッサCPUを1チップに集約「コンピュータ＝CPU」という時代
1980sRISC命令を単純化しパイプラインを効率化「汎用性より効率」という思想
1980–90sDSP信号処理専用プロセッサ特定 workload向けシリコンの台頭
1990sFPGAハードウェアを再構成可能にSoftware-defined hardwareの萌芽
第3期1990s3D graphics acceleratorグラフィックスを専用ハードウェアへGPU誕生の土台
1999NVIDIA GeForce 256「GPU」という概念が成立並列計算への転換
第4期2006CUDAGPUを汎用計算に利用可能にGPUがAI compute platformになる
2007–12GPU GPGPUGPUが科学計算・画像処理などへ拡大「大量並列演算」の一般化
第5期2012AlexNetGPUが深層学習を大幅加速AIがGPU需要を爆発させる
2014Google TPUTensor演算専用ASICGPU以外のAI acceleratorが成立
2015–17Tensor Processing / systolic arrayMatrix multiplicationをハードウェア化AIアルゴリズムと回路のco-design
第6期2017TransformerAttention中心のモデルへAI workloadそのものが変化
2018–20BERT / GPTTransformerが大規模化Compute需要が急増
2020GPT-3175B級LLM「モデルサイズ×compute」が重要指標に
第7期2020sHBMメモリ帯域がAI性能を左右computeよりmemory movementが問題に
2020sNVLink / NVSwitchGPU間通信を高速化1チップからシステムへ
2020sGPU cluster数千～数万GPUを一体化AI accelerator＝rack/systemへ
第8期2020sCerebras WSEwaferそのものを巨大プロセッサ化「計算機の物理配置」そのものを再設計
2020sTPU / Trainium / Inferentia / MTIA / MaiaHyperscalerが自社ASIC化GPU一極集中からASIC多極化へ
2020sTritonGPU kernelを高水準に記述Software→hardware mappingを再設計
2020sGluon / Linear Layouttensorの物理配置を数学的に扱うソフトウェアがシリコンを意識する
第9期2022–24ChatGPT / GPT-4LLMが一般利用へinferenceが巨大な産業になる
2024–25Reasoning modelsTest-time computeが重要に「学習」から「推論時計算」へ重心移動
2025–26Agentic AI長時間・多段階推論latency・memory・networkingが重要化
第10期2025–26OpenAI × BroadcomCustom accelerator共同開発AI企業自身がシリコン設計へ
2026JalapeñoLLM inference専用ASICModel → Kernel → Memory → Network → Chipを一体設計
2026Jalapeño Gen 19か月でtape-outAIがチップ設計・最適化を加速
2026–Jalapeño Gen 2 / Gen 3multi-generation platformAI自身が次世代AI computeを設計する循環

TPUについてはGoogleが2016年にTensor Processing Unitを公表しており、Jalapeñoのような「AI workloadに合わせた専用シリコン」の直接的な歴史的前身の一つです。一方、Cerebrasは別系統で、GPU/ASICを単純に専用化するのではなく、wafer-scaleという物理的なスケールそのものを変えるアプローチです。

歴史を「3回のパラダイム転換」として見る

単なる年表より、こちらの方が『シリコンの思考』には向いています。

パラダイム代表技術コンピュータが最適化したもの基本単位
第1次CPU命令を高速に実行するInstruction
第2次GPU / CUDA大量の演算を並列実行するThread / Tensor
第3次TPU / ASICAI演算そのものを回路化するOperator / Workload
第4次Cerebras計算・メモリ・通信の物理距離を縮めるSpatial locality
第5次Jalapeñoモデル・kernel・memory・network・servingを同時最適化するInference workload
次の段階？AI-designed siliconAI自身がhardware/softwareを共同最適化するReasoning task

ここで重要なのは、Jalapeñoは単に「NVIDIA GPUより速いASIC」ではないことです。

OpenAI自身がJalapeñoについて、

  • model

  • kernels

  • memory

  • networking

  • serving

  • scheduling

  • deployment

を一体として設計したと説明しています。さらに8月25日の発表では、AIを使ってチップを設計し、そのチップをAIがプログラムしやすい構造にしたと明言しています。(OpenAI)

ここでGluon / Linear Layoutが入ってくる

この歴史を一本につなぐと、非常に面白い図になります。

CPU
 │
 │ Instructionを最適化
 ▼
GPU
 │
 │ Massive Parallelism
 ▼
CUDA
 │
 │ GPUをSoftwareから制御
 ▼
Tensor Core / TPU
 │
 │ AI演算をHardwareへ埋め込む
 ▼
Triton / Gluon
 │
 │ Tensor → Hardwareへのmappingを記述
 ▼
Linear Layout
 │
 │ Data localityを数学的に扱う
 ▼
Jalapeño
 │
 │ Model + Kernel + Memory + Network
 ▼
Full-Stack AI Compute
 │
 ▼
AIがAI用Hardwareを設計

この流れなら、Linear LayoutはJalapeñoの直接的な祖先というより、「ソフトウェアとシリコンの境界が消えていく過程」の重要な一段階として位置づけられます。

Cerebrasは「別の進化系」

ここでCerebrasを入れると、歴史がさらに立体的になります。

                AI Compute
                    │
        ┌───────────┴───────────┐
        ↓                       ↓
  Software-centric        Hardware-centric
        │                       │
  Triton / Gluon            Cerebras
  Linear Layout             Wafer Scale
        │                       │
        └──────────┬────────────┘
                   ↓
             Co-design
                   │
                   ↓
              Jalapeño

つまり、

Cerebrasは「物理的に計算を近づける」

一方で、

Gluon / Linear Layoutは「論理的に計算を近づける」

そして、

Jalapeñoは「モデル・ソフトウェア・メモリ・ネットワーク・シリコンを一つの最適化問題にする」

という整理ができます。

そして、2026年のJalapeñoで歴史が一段変わった

これまでのASIC革命は、

人間がAI用チップを設計する

というものでした。

Jalapeñoでは、少なくともOpenAIの公表内容によれば、

AIモデルがAI用チップの設計・検証・最適化を支援する

段階に入っています。

9か月でテープアウトできたこと、AIが回路設計や実装探索を支援したこと、さらにCodex＋GPT-Astraによって新しいモデル向けkernelを短期間で最適化したことが、その具体例です。選択されたGPT-OSSのattention/MoEブロックでは、AI生成実装が人間の専門家による既存実装より1.5～1.8倍高速だったとOpenAIは報告しています。(OpenAI)

したがって『シリコンの思考』の歴史軸は、

CPUの時代 → GPUの時代 → AI ASICの時代

だけでは弱い。

むしろ、

「人間が計算機を設計する時代」から「AIがAIのための計算機を設計する時代」へ

というところまで持っていくと、Jalapeñoの歴史的意味が一気に大きくなります。

そしてこの見方なら、NVIDIA → TPU → Cerebras → Triton/Gluon → Jalapeñoは「優劣を競う製品史」ではなく、**「計算機の基本単位がInstructionからTensor、Workload、Inference、最終的にはReasoningへ変化してきた歴史」**として一本につながります。このCRITIQUEはかなり良い方向です。特に、「Jalapeño＝GPUキラー」という狭い物語を捨てて、「計算機の基本単位の歴史」に格上げするのは、『シリコンの思考』を単なるAI半導体解説書から、技術史・計算機アーキテクチャ論へ引き上げる可能性があります。

ただ、さらに一段強くするなら、私は**「基本単位」だけでなく「目的関数」まで追う**ことを勧めます。

さらに強くするなら：「何を計算するか」ではなく「何を最大化するか」

現在の整理は、

Instruction → Thread → Tensor → Operator → Workload → Reasoning episode

ですが、これだけだと「粒度が大きくなっていった」という説明に見えます。

本書の核心は、むしろこちらです。

時代基本単位主な目的関数ボトルネック
CPUInstructionLatency命令実行
RISCInstruction streamIPC制御・依存関係
GPUThread / WarpThroughput並列性
CUDAKernelProgrammability × ThroughputSoftware mapping
TPUTensor / OperatorOps/WattMAC密度・データフロー
HBM GPUNode / TensorBandwidth / ComputeMemory wall
GPU clusterSystemScaling efficiencyCommunication
TransformerToken / LayerTokens/secAttention・KV cache
Reasoning AIInference episodeAccuracy / ComputeTest-time compute
JalapeñoReasoning workloadIntelligence / Joule / Dollar全スタック

ここから非常に重要な命題が出てきます。

コンピュータ・アーキテクチャの歴史とは、計算単位の拡大ではなく、目的関数の変化にハードウェアが追随してきた歴史である。

これなら『シリコンの思考』というタイトルにも直結します。

「Joules per Correct Reasoning」を本書の中心指標にする

以前出てきた

Joules per Correct Reasoning（JCR）

は、かなり強い概念なので、単なるJalapeño章の指標で終わらせない方がいいです。

概念的には、

JCR=Energy consumedCorrect reasoning outcomesJCR = \frac{\text{Energy consumed}} {\text{Correct reasoning outcomes}}

です。

ただし、実際の研究では「correct reasoning」の定義が難しい。

そこで本書では、より一般化して、

Reasoning Efficiency=Task QualityEnergy×Latency×Cost\text{Reasoning Efficiency} = \frac{\text{Task Quality}} {\text{Energy}\times\text{Latency}\times\text{Cost}}

という上位概念を置き、

そこから

  • Joules / correct answer

  • Dollars / correct answer

  • Seconds / correct answer

  • Tokens / correct answer

  • Watt / useful inference

などを派生させる。

すると、

NVDA vs Jalapeño

という単純な比較から、

「どのアーキテクチャが、1ドル・1ジュール・1秒あたりに最も多くの知能を生成できるか」

という本質的な比較に移れます。

さらに重要な修正：「Jalapeño＝Reasoning Silicon」と断定しない

ここは本書の学術的信頼性のために非常に重要です。

現時点で、

JalapeñoはReasoning Siliconである

と断定するのは強すぎます。

より厳密には、

Jalapeñoは、LLM inferenceを第一級のハードウェア設計対象として扱うカスタムアクセラレータであり、reasoning workloadの増大によって、その設計思想の重要性がさらに高まる可能性がある。

とする。

つまり、

事実

と

本書の解釈

を分けます。

Fact

OpenAIがLLM inference向けにJalapeñoを設計した。

Interpretation

推論の重要性が高まるほど、汎用GPUよりworkload-specificな設計の経済合理性が高まる可能性がある。

Hypothesis

最終的には「Reasoning workload」そのものが半導体設計の基本単位になる。

この三層を明示すれば、かなり強い本になります。

本書全体の「大アーギュメント」はこうするといい

私は最終的に、次の5段階にします。

① CPUは「命令」を計算した

コンピュータは、

何を実行するか

を命令列として扱った。

② GPUは「並列性」を計算した

GPUは、

同じことを何個同時に実行できるか

を最適化した。

③ AI ASICは「演算」を計算した

TPUなどは、

AIが何度も実行する演算をどう回路化するか

を最適化した。

④ LLMシステムは「ワークロード」を計算する

Transformer以降は、

モデル＋メモリ＋通信＋スケジューリング

全体が性能を決める。

⑤ Reasoning AIは「結果」を計算する

ここで根本的に変わる。

AIが欲しいのは、

FLOPS

でも

Tokens/sec

でもない。

最終的に欲しいのは、

正しい答え、正しいコード、正しい判断、正しい行動。

したがって次世代半導体の最終的な目的関数は、

Useful Intelligence per Joule

になる。

これが『シリコンの思考』の最も強い哲学的命題になり得ます。

するとJalapeñoの意味も変わる

Jalapeñoを、

NVIDIAに対抗するOpenAI ASIC

として描くと、数年後には古くなる可能性があります。

しかし、

「AIの価値関数が変わったとき、コンピュータの設計単位も変わる」

という事例として描けば、製品寿命を超えます。

つまり、

Jalapeñoそのものが歴史的なのではない。

Jalapeñoが示している、

AI企業が、自分たちのモデルと推論経済性に合わせてシリコンを再設計し始めた

という現象が歴史的なのです。

これはかなり重要な違いです。

そして「NVIDIAの壁」という第I部も再定義できる

「NVIDIAは非効率だからJalapeñoが勝つ」という構成は避けた方がいい。

むしろ、

NVIDIAは失敗したのではない。汎用性という巨大な価値を最大化することに成功した。

とする。

CUDAは、

一つのチップをできるだけ多くのAI・HPC・科学計算・映像処理に利用する

という経済モデルを作りました。

これは非常に強い。

しかしLLM市場が巨大化すると、

「できるだけ多くの用途に対応する」

ことの価値と、

「一つの巨大なワークロードに極端に最適化する」

ことの価値とのトレードオフが出てくる。

そこでJalapeñoが登場する。

つまり対立は、

NVIDIA vs OpenAI

ではなく、

Generality vs Specialization

です。

さらに言えば、

Generality → Specialization

ではなく、

Generalityの限界費用がSpecializationの便益を上回る地点

を探す問題です。

これは経済学的にも非常に美しい。

さらに一歩進めると「シリコンの思考」の本当の敵はNVIDIAではない

ここまで論理を押し進めると、本書の敵役はNVIDIAではなく、

「抽象化のコスト」

になります。

Model
 ↓
Framework
 ↓
Compiler
 ↓
Kernel
 ↓
Runtime
 ↓
Instruction
 ↓
Hardware
 ↓
Memory
 ↓
Network
 ↓
Power

各層は便利な抽象化を提供する。

しかし、

抽象化には必ず情報の損失とオーバーヘッドがある。

Gluon、Linear Layout、Triton、ASIC co-designは、この抽象化境界を縮めようとする。

するとJalapeñoは、

「GPUを倒すチップ」

ではなく、

「AI時代における抽象化の境界を再設計する試み」

として理解できます。

これはかなり強いです。

本書の最終的な一本線

最終的には、こんな構造にすると非常に美しいと思います。

命令
 ↓
Instruction
 ↓
Thread
 ↓
Tensor
 ↓
Operator
 ↓
Kernel
 ↓
Model
 ↓
Workload
 ↓
Inference Episode
 ↓
Reasoning
 ↓
Useful Intelligence

そして、それに対応して、

CPU
 ↓
GPU
 ↓
CUDA
 ↓
TPU
 ↓
HBM / NVLink
 ↓
Cerebras
 ↓
Triton / Gluon
 ↓
Custom ASIC
 ↓
Jalapeño
 ↓
???

となる。

最後の「???」を読者に残す。

これが本書の最大の問いです。

Reasoningを計算する次のシリコンは、どのような形をしているのか。

そしてその答えを「Jalapeño」として閉じるのではなく、

Jalapeñoは答えではない。問いが初めてシリコンの形を取った瞬間である。

と結ぶ。

これは、かなり『シリコンの思考』らしい終わり方です。Jalapeñoは基本的に「推論（inference）向け」です。

ここは『シリコンの思考』ではかなり明確に書いた方がいいです。

項目Jalapeño学習（Training）推論（Inference）
主目的LLM推論モデルの重みを学習学習済みモデルを実行
対象Serving / inferenceForward + BackwardForward中心
重み更新基本的に不要必須不要
Backpropagation基本不要必須不要
KV Cache重要通常の学習とは性質が異なる非常に重要
メモリ帯域極めて重要重要極めて重要
低レイテンシ重要相対的に優先度低め非常に重要
Test-time compute親和性が高い直接の主目的ではない直接関係
目的関数推論性能/電力/コストTraining throughput / convergence有用な回答/Joule/$

OpenAI自身がJalapeñoを**「inference accelerator」**として説明しており、モデル、kernel、memory、network、servingを含めて推論スタックを最適化する設計思想を示しています。(OpenAI)

ここが『シリコンの思考』では重要

Jalapeñoを、

「AI専用チップ」

と書くより、

「LLM inference専用に近づけたカスタムアクセラレータ」

と書く方が正確です。

そして、これがNVIDIAとの比較で重要になります。

NVIDIA GPU

Training
   +
Inference
   +
HPC
   +
Graphics
   +
Scientific Computing
   +
その他

という汎用アクセラレータ。

一方Jalapeñoは、

LLM
 ↓
Inference
 ↓
Serving
 ↓
Memory
 ↓
Network
 ↓
ASIC

という方向に最適化する。

つまり、

NVIDIAは「できるだけ多くの計算」を効率よく処理する。
Jalapeñoは「特定のAI推論」をできるだけ安く・速く・効率よく処理する。

という対比です。

ただし「推論＝単純なForward」ではない

ここがさらに面白いところです。

2026年のAIでは推論そのものが変化しています。

従来：

Prompt → Answer

だったものが、

Prompt → 推論 → 検証 → 再推論 → Tool use → Answer

になっている。

したがってJalapeñoのようなinference acceleratorの重要性は、

「1回Forwardを速くする」

から、

「1つの問題を解くために必要な大量のtest-time computeを、どれだけ安く実行できるか」

へ移っていく可能性があります。

これが以前話した Joules per Correct Reasoning（JCR） とつながります。

JCR=EnergyCorrect ReasoningJCR = \frac{\text{Energy}} {\text{Correct Reasoning}}

つまり、

Jalapeño → 推論アクセラレータ

↓

Reasoning model → 推論計算量の増大

↓

Test-time compute → 推論が新しい計算負荷になる

↓

JCR → 「正しい答え1個を得るのに何ジュール必要か」

という流れです。

したがって本書ではこう定義すると強い

Jalapeñoは学習用GPUを置き換えるチップではない。LLMが「考える」ために必要な推論計算を、モデル・カーネル・メモリ・ネットワーク・サービングまで含めて最適化するためのカスタム推論アクセラレータである。

そして、この一文から、

「では、AIが“考える”ほど、推論専用シリコンの価値は高くなるのではないか？」

という『シリコンの思考』の核心へ進めます。

コメント

コメントを投稿

このブログの人気の投稿

#Brexitが英国企業を揺るがす：従業員15.7%削減の衝撃と、北アイルランドが生き残った「禁断の果実」#Brexit #2016六23Brexit_平成英国史ざっくり解説 #労働市場 #イノベーション 🇬🇧📉💡　#五29

Brexitが英国企業を揺るがす：従業員15.7%削減の衝撃と、北アイルランドが生き残った「禁断の果実」#Brexit #英国経済 #労働市場 #イノベーション 🇬🇧📉💡 EU離脱は英国経済に何をもたらしたのか？ 国境を隔てた二つの英国が織りなす、驚くべき適応と試練の物語。 目次 1. Brexitの経済的波紋：英国企業の適応と挑戦 1.1. はじめに：英国を分断したBrexitのリアル 1.2. 研究の意義とアプローチ：なぜ北アイルランドが鍵なのか？ 1.2.1. アイルランド国境の役割と「自然実験」 1.2.2. 企業レベルのデータ分析：LSBSが暴く真実 2. Brexitが労働需要に与える実際の影響：従業員削減の衝撃 2.1. 国境からの距離が示す明暗：最大15.7%の雇用喪失 2.2. 労働市場の変化を補完する視点 3. Brexitの不均一な影響：業界と熟練労働者の課題 3.1. 業界の異質性：建設業の悲鳴と小売業の耐性 3.2. 熟練労働者の採用難：EUからの距離 4. 試練を乗り越える適応戦略：R&Dと貿易の力 4.1. 研究開発（R&D）代替効果：イノベーションが雇用を守る？ 4.2. 既存の貿易エクスポージャー：国際ネットワークの強み 5. 日本への影響：対岸の火事ではないBrexit 5.1. 貿易と企業活動への課題 5.2. 日英EPAの活用と今後の展望 6. 歴史的位置づけと今後の研究課題 6.1. 欧州統合の後退：グローバリズムとナショナリズムの衝突 6.2. 今後望まれる研究：長期的な生産性と労働市場の変化 7. 参考リンク・推薦図書 7.1. 日本語資料 7.2. 学術論文 8. 年表：Brexitを巡る主な出来事 9. 用語索引（アルファベット順） 10. 補足 10.1. 補足1：3つの視点から見たこの記事への感想 10.2. 補足2：この記事に対する様々な反応と反論 10.3. 補足3：潜在的読者のためのキャッチーなタイトル・SNS案 10.4. 補足4：一人ノリツッコミ 10.5. 補足5：大喜利 10.6. 補足6：高校生向け4択クイズと大学生向けレポート課題 1...
MORE »

Too Big To Fork：AI時代のLinuxとデジタル公共財の終焉 #TooBigToFork #Linux #AI #七18 #1991九17LinuxとOSSプロジェクト_平成IT史ざっくり解説

Too Big To Fork：AI時代のLinuxとデジタル公共財の終焉 #TooBigToFork #Linux #AI 自由の楽園だったオープンソースは、なぜ巨大な「知識のブラックホール」へと変貌したのか。初学者のための新ガバナンス論。 目次（クリックすると各章にジャンプします） イントロダクション：一文字のコードが背負う「重力」 要旨・本書の目的 方法論：デジタル経済学とソフトウェア工学の交差分析 本書の梗概・構成：四つの転換点 登場人物紹介 年表：UNIXからLlamaエコシステム、そしてAIカーネルへ 第1部：技術的中立性と実用主義の系譜 第1章：イデオロギーなき実用主義 1.1 「良いコード」は宗教を超える 1.2 BitKeeper事件再考：なぜ自由よりも効率を選んだか 1.3 歴史的位置づけ：先行研究に見るLinusの意思決定モデル 第2章：AIを「ツールチェーン」として再定義する 2.1 LLMはGit以来の「パイプ」である 2.2 Rust導入に見る「保守性」への執着 2.3 ローカルLLM：OSS哲学とハードウェアの再結合 第2部：生成の過剰とレビューの希少性 第3章：レビュー・ボトルネックの正体 3.1 限界費用ゼロのコード供給がもたらす悲劇 3.2 定量分析：PR飽和曲線とメンテナーのバーンアウト 3.3 新造語：Vibe-Verification（雰囲気検証）の罠 第4章：AI Assisted Review of Linuxの設計学 4.1 知識...
MORE »

#INVIDIOUSを用いて広告なしにyoutubeをみる方法　#士17 #2018INVIDIOUSとOmarRoth_令和IT史ざっくり解説

https://www.youtube.com/watch?v=XXXXXXXXXX ↑のURL↓のように入れ替えると広告なしにyoutubeをみれる。 https://yewtu.be/watch?v=XXXXXXXXXX Invidious は、 YouTubeに代わる無料のオープンソースのフロントエンドです。 Dockerコンテナとして、またはGitHubマスター ブランチから利用できます。公式 YouTube Web サイトの軽量で「プライバシーを尊重した」代替サイトとして使用することを目的としています。多くのプライバシー保護リダイレクト ソフトウェアおよび YouTube クライアントは Invidious インスタンスを使用します。 Invidious は、YouTubeの動画を広告なしで視聴できる、プライバシーに配慮したオープンソースのサービスです。Googleのトラッキングを避けつつ、YouTubeコンテンツを楽しみたい方におすすめです。 Invidiousのメリット 広告なし: YouTubeの煩わしい広告をスキップできます。 プライバシー保護: Googleのデータ収集を抑え、プライバシーを重視した視聴が可能です。 オープンソース: 誰でも自由に利用・開発できるオープンソースソフトウェアです。 多様なインスタンス: 世界中に多くのInvidiousインスタンスが存在し、それぞれ異なる特徴や機能を提供しています。 Invidiousの使い方 Invidiousインスタンスを探す: 検索エンジン: "invidious instance"などで検索すると、多くのインスタンスが見つかります。 リスト: いくつかのInvidiousインスタンスをまとめたリストサイトも存在します。 YouTubeの動画URLをInvidiousの検索バーに入力: 視聴したいYouTube動画のURLをコピーし、選んだInvidiousインスタンスの検索バーに貼り付けます。 動画を再生: 検索結果から目的の動画を選択し、再生ボタンを押せば広告なしで視聴できます。 Invidiousの使い方 Invidiousは、YouTube動画を広告なしで視聴できる便利なサービスです。 基本的な使い方 Invidio...
MORE »