監訳: 安部 聡
本稿はAIトークンのコストとその管理に関する全2本の論考の第1弾である。トークンコストを適切に管理し、低コストでケイパビリティ（組織能力）を構築することは、企業にとって戦略的優位の源泉となる。本稿では、AI支出を、AIが生み出す成果に照らして測定する必要性を考察する。続編では、この測定を実際に行う際の課題を検討する。
AIがパイロットから全社規模での本格稼働へと移行するのに伴い、「知性」にかかるコストを測る新たな指標もしくは基準が必要になっている。AI投資を最も抑えられた企業、もしくは最も投資する企業ではなく、最も高い「ROInt（知的資本利益率）」を生み出す企業が先行企業になるだろう。
AI支出の急激な拡大により、Cレベル役員間や取締役会で、トークン （AIモデルが使用し、プロバイダーが課金する際の基本データ単位）が新たな中心的論点となっている。定額課金制のSaaS（ソフトウェア・アズ・ア・サービス）の時代は終わりを迎えつつある。主要なソフトウェア・AIプラットフォームは従量課金制へと移行しており、AIプロバイダーは最初から従量課金モデルを採用している。そして今、特に最先端モデルに対しこれまで行ってきた導入初期の値引きを段階的に廃止している。
CEOには、自社が購入している「知性」について、ワークフロー（業務の一連の流れ）ごとにそのコストと生み出す価値を測定し、最適化する能力が求められている。この技術の能力とコストを踏まえると、いまやCEOの責務には、AIの生み出す成果の価値がトークン支出を上回る状態を保持する、という役割が新たに加わっているといってよい。しかし、実際にはそうなっていないケースは多い。このコストメーター式の従量課金制度が最初に適用された領域はソフトウェア開発だが、同様の経済性はカスタマーサービス・営業・マーケティング・財務・オペレーション、さらには企業が販売するプロダクトやサービスそのものにも広がりつつある。
CEOはAIのコストと、人間とAIが共に生み出すリターンの両方を的確に把握する必要がある。成功の鍵は「スマートな支出」、つまり、AIの性能が上がり、速く、安くなるにつれて一連のワークフローが自然に改善するようにすることだ。そのためには、コストと知的資本利益率をこれまでより踏み込んで測定・監視する新たなアプローチから始めるのが良いだろう。
トークンコストの追跡は難しい
トークンが高価であること自体がリスクなのではない。トークンの単価はAIプロバイダーとモデルによって異なり、より新しく高性能なモデルほど高価である。より大きなリスクは、従業員によるAI活用が広がり、AIエージェントが自律的に作業をこなすワークフローが増え、AIがさらに多くのプロダクトや顧客対応に組み込まれていくにつれ、トークン支出の総額が急速にふくらみ、企業が「何に」「いくら」費用を払っているのかを把握できなくなってしまうことにある（図表1）。
初期からAIを大規模に活用してきた企業（主にテクノロジー企業）は、実際に「トークンマキシング（tokenmaxxing）」、すなわちアプリケーション内でできるだけ多くのトークンを消費することを奨励していたが、この考え方は現在では広く問題視されている。AIプロバイダー各社は、コンテキスト（AIに読み込ませる背景情報）にかかるコストの削減にも取り組んでいる。AIが自律的に動作するエージェント型システムでは、推論を1ステップ進めるたびに、これまでの（どんどん増えていく）コンテキスト全体を毎回送信し直すため、コストは急速に膨張する。各段階でコンテキストを送り直すことで、セッション全体で課金されるトークンの累計数はセッションの長さのほぼ二乗に比例して増加する。そのため、体感では2倍程度に感じるセッションが、実際のコストは4倍になり得る。最新のモデルでは、キャッシュ（内容の使い回し）や一括処理などを用いてコンテキストにかかるコストを抑えている。
それでもなお、私たちの試算では、基本タスクを処理する「シンプルな」AIモデルと、より複雑な課題を扱うために設計された最先端のモデルとでは、トークン当たりのコストにおよそ5〜25倍の差がある。しかもコストは加速度的に膨らむ。IDCは、世界の上位1,000社が2027年までにAIインフラコストを最大30%過小評価することになると予測している。
さらに、もう一つ考慮すべき複雑な要素も加わる。トークン支出は、現在多くの企業がそうしているように、単純にIT部門の一般的な費用項目として計上することはできない。生み出す成果によって固定資産投資（Capex）、業務費（Opex）、そして売上原価（COGS）のいずれかのように捉えて、扱うべきものである。（図表2）CEOは、CFOとCIOに対し、こうした区分に沿ってコストを管理し始めるよう求めるべきだ。
組織能力の構築。AIエージェントの設計や、機能・部門をまたいだワークフローの再設計、さらには（自社でAI推論を運用する企業であれば）大規模な推論実行にトークンが使用される場合、AIインフラの開発は固定資産投資にあたる。AIは資産計上されるソフトウェアや、知的業務向けの「工場の自動化設備」のようなものだ。一度限りの投資によって、その後の運用コストを下げたり、処理能力を拡大させたりする効果を持つ。
社内業務に使用されるトークン。エンジニアがコードを書く、アナリストがモデルを組み立てる、マーケターがコンテンツを作成する、AIエージェントが顧客対応をする――こうした用途への支出は業務費にあたり、資本的支出としてではなく、通常の予算として管理すべきものだ。トークンへの支出を資産として貸借対照表に計上することはできないが、機能やワークフロー別に合理的な予算を設定し、マネジャーに成果への説明責任を持たせることはできる。
売上原価。顧客に提供するプロダクトの中で消費されるトークンは売上原価にあたり、利益率に大きな影響をもたらし得る。従来のSaaSの売上原価は顧客が増えても比較的ゆるやかにしか増加しなかったのに対し、AIの推論コストは顧客とのやり取りが発生するたびに増加し、粗利益率を直接圧迫する。BCGの分析によると、AIを組み込んだソフトウェア（既存プロダクトにAI機能を追加したもの）の粗利益率は65〜80%の水準へと再設定されている一方、AIネイティブ（AIを前提にゼロから設計された）プロダクトの粗利益率は50〜65%だ。推論コストをIT予算などの汎用的なホスティング費用に埋もれさせてしまうと、プロダクト別の粗利益率を追跡できなくなる。
トークンに共通の「分母」が必要
現在のトークンコストの評価に欠けているのは、CEOとCレベル役員が経済的リターンを評価するための共通の分母だ。重要なのは「成果当たりのコスト」という考え方で、活動量を示す指標だけでは不十分である。数千行のコードを生成するコーディングエージェントはそれ自体では価値がなく、そのコードが実際にリリースされ、必要な人間の作業負担を全体として削減して初めて価値を持つ。経営リーダーは、解決したチケット1件、採用されたキャンペーン素材1件、リード獲得1件、完了した分析1件、成功した顧客対応1件につき、それぞれのコストを知る必要がある。
固定資産投資、業務費、そして売上原価のすべてを統一する視点は、トークンへの支出が成果を生み出しているかを測る単一の指標だ。
ROInt（知的資本利益率）= 経済的リターン／（人間の知的労働コスト＋トークンコスト）
分母にあえて人的コストを含めているのは、ほぼすべての生産的なワークフローにおいて、業務を開始し、方向付け、承認するのは人間だからだ。AIトークンの市場は従量課金制で、加速度的にコストが増大し、値引きなどの影響で価格が歪められている。そのなかでこの計算を行うのは難題だ。しかし、経営陣がAIを、単なるIT部門の費用としてではなく企業全体の知的投資のポートフォリオとして管理したいのであれば、CEOおよびCFOレベルで答えを出さなければならない問いである。人員削減によって分母を小さくしようとすると、分子はそれ以上のスピードで縮んでしまう。重要なのは、分母か分子、いずれか一方の要因を単独で最適化するのではなく、その比率そのものを最適化する規律を持つことだ。
この考え方はまた、トークンコストに関して企業がすでに陥っている2つの誤りを回避する。ひとつは前述の「トークンマキシング」と、それによって膨らむ請求額だ。もう一つは、その正反対にある「最小化」である。これは、トークン消費を厳しく制限したり上限を設けたりすることだ。これは主に本来リターンの大きい業務への投資を絞り込んでしまい、組織を「測定しやすいが効果の小さい、単純な人的労働の代替」にとどまるユースケースばかりに向かわせることとなってしまう。
トークンを賢く管理する5つの方法
CEOがトークンへの支出とそのリターンを賢く管理するために、次の5つの方法が考えられる。
- 利用の停止または最小化。そもそもトークンを使わずにすめば、それが最も安価な解決策だ。すべてのワークフローをAIエージェントに変換しようとする反射的な発想自体が、コストと信頼性の両面において問題だ。構造化された検索、ルールベースのルーティング（振り分け）・計算などの答えが1つしかない問題は、エージェンティックAIの推論に任せるよりも、決まった手順で動く通常のコードとAPI（アプリケーション・プログラミング・インターフェース）に任せた方が、より安価で、高速かつ確実に解決できる。答えが一意に決まる問題をAIモデルに投げてはならない。こうした問題はソフトウェアで解く方がよい。
- ルーティングする。同様に、すべてのタスクを最強のモデルに投げることも予算を大きく圧迫する。タスクの難易度に見合った適切なレベルの「知性」を選んで割り当てるべきだ。最先端のモデルはその高度な推論力が実際の結果を左右する場合にのみ使用する。可能な場合はシステムが自動的にルーティングできるようにするとよい。
- キャッシュする。システムへの指示、社内ポリシー、ナレッジベース・各種基準などの繰り返し使える背景情報は、キャッシュ（一度読み込んだ内容を保存し、使い回す仕組み）しておけば、効率的に再利用できる。Anthropic（アンソロピック）、GoogleのGemini、オープンAIなどの主要プロバイダーもキャッシュされた入力について大きなコスト削減効果があると謳っている。経営陣は、どのような知識、ポリシー、業務パターンなら毎回コストを支払わずに使い回せるかを部下に評価させるとよい。
- ガバナンスを効かせる。Googleの「DORA（ソフトウェア開発・運用に関する調査・評価プログラム）」の調査では、AIはそれ自体では開発の生産性を高めるわけではなく、むしろ、既存の仕組みそのものを増幅させるに過ぎないということが分かっている。しかも、その効果は業務の性質次第だ。研究によれば、ゼロから構築する単純なタスクではAIが利益率を大きく押し上げる一方で、複雑な既存システムの改修ではその効果ははるかに小さい。だからこそ、ガバナンスが重要になる。すべての重要なワークフローに、責任者（オーナー）、目指す成果、成果1件当たりのコストの基準値、投資・費用区分としての捉え方、判断基準を割り当てる。各ワークフローについて、規模を拡大するか、最適化するか、対象範囲を見直すか、中止するかをその都度判断する。
- トレーニングする。適切にトレーニングされた従業員は、自らが達成しようとしていることを理解しているため、より高い知的資本利益率を生み出す。アウトプットそのものは成果ではない。効果はタスクの複雑さ次第で変わる。そして、支出を測定されたリターンに結びつけない限り、支出は推測や勘に基づいて増大する。組織全体のAIリテラシーを向上させることで、「トークンマキシング」から「適切な活用」へと移行させるべきだ。
AI予算の規模は重要ではない。勝ち残る企業は、その予算をポートフォリオのように扱う。AI知能が損益計算書における価値を複利的に生み出す領域では予算を増やし、単にコストを複利的に積み上げるだけの領域では予算を減らす。CEOへの問いは、「自社にAIを導入する余裕があるか」ではない。自社が購入する「知性」がそのコストに見合う以上の価値をもたらしていると示せるか」である。
原典: Return on AI: What CEOs Need to Know About the True Cost of Artificial Intelligence
The authors are grateful to these BCG colleagues for their ideas and input: Nicolas De Bellefonds, Abhinav Gupta, Steven Kok, Matthew Kropp, Vladimir Lukic, Clark O'Niell, Rohan Panjwani, and Vikram Srikumar.
