監訳: 安部 聡
本稿はAIトークンのコストとその管理に関する2本の論考の第2弾である。前編ではAIの真のコストについて検討した。本稿ではコスト測定にまつわる課題について概説する。
AIガバナンスの第一波は、「誰が、どのAIツールを、どのように使ってよいか」という利用ルールの整備が中心だった。次の波は、「どれだけのコストがかかり、見合う成果を生んでいるか」、つまりは経済性の問題になる。
AIが実際の業務で本格的に使われるようになるにつれ、CFO（最高財務責任者）、CIO（最高情報技術責任者）、CTO（最高技術責任者）はビジネス成果を生み出すために消費されるトークンという大きな新たなコストを管理する責務を担うことになる。これまで、トークン――AIモデルが使用するデータの基本単位――に関連するコストは、ほとんどの場合、IT予算の中にまとめて計上され、クラウドコスト管理の手法である
CEOはCFOやCIOなどのCレベル役員がこの課題に立ち向かうことを期待している。本稿では、AIのコストをコントロールし、技術を単なる活動ではなく成果の創出に集中させる方法を考察していきたい。
FinOpsは出発点であり、正解ではない
FinOpsの方法論は、インフラのコストを可視化し、責任の所在を明確にし、使用状況を最適化することに優れている。しかしAIの課金システムは従来のSaaSのそれとは異なり、コストを管理する基準となる単位を変えなくてはならない。AIトークンのコストはプロンプト（指示文）の長さ、読み込む必要のあるコンテキスト（背景情報）の量、出力量、モデルの選択、推論量、ツールの種類、キャッシュ（内容の使い回し）の状況、AIエージェントが停止するまでに繰り返す推論ループ（処理）の回数など、多数の要因に依存する。
トークンコストはどのように使っても指数関数的に増えていくわけではなく、プラットフォームやモデルによってコストは大きく異なる。追跡すべき指標は全体のコストのみではなく、「成果1件当たりのコスト」だ。私たちが「ROInt（知的資本利益率）」と呼ぶ以下の指標は、投入される知的資産の全コストを的確に把握するために有効だ。
ROInt（知的資本利益率）＝ 経済的リターン ／ （人間の知的労働コスト ＋ トークンコスト）
管理が行き届いていない、エージェントを活用したワークフロー（一連の業務フロー）では、有益な成果1件当たりに消費されるトークンが急速に、かつ気づかないうちに膨れ上がっていくことがある。これは、従来のソフトウェア・インフラ予測では見落とされがちな4つの要因が相互に作用するためだ。
第1の要因はAI活用の「広がりと深さ」だ。利用の段階が単純な質問のやりとりから複数の工程を要する調べもの、ソフトウェア開発におけるコードの自動生成、AIエージェントの導入からワークフロー全体での連携へと移行するにつれ、トークンコストは増大する。第2は「業務の重さ」だ。短い回答、文書のレビュー、長時間稼働するエージェントのセッションはいずれも同じ1件のリクエストに見えるが、実際にかかるコストは大きく異なる。
第3の要因は「コンテキストと繰り返しの処理」だ。エージェントは指示の内容・やりとりの履歴・取得した資料・ツールの実行結果といった大量の情報を引き継ぎながら動き、処理を繰り返すたびにそれらを丸ごと再送信することが多いため、大量のトークンを消費する。第4の要因は「モデルの構成」だ。深く検討せずに最新、最高性能のモデル、最大の推論量、最大の情報量を扱えるモデルをデフォルトにすると、コストに大きく跳ね上がる。ただし、答えにたどりつくまで何度もやり直しが必要な非力なモデルは、同じ答えに1回で到達できる強力なモデルより成果当たりのコストが高くつくこともある。
単位コストは消費したトークンの量に比例して増加するため、目指すべき最適化の目標は「必要な品質、応答速度（レイテンシー）、リスク、追加でかかる人手によるレビューの負荷まで含めた、成功した成果1件当たりのコスト」となる。課題は、この分母を可視化しコントロールできる形にすることだ。
コスト管理の新たなオペレーティングモデル
トークンコストはIT予算に属するものでも、損益計算書（P/L）上のいずれかの単一の項目にまとめて計上してよいものでもない。トークンコストには3つの種類があり、それぞれ異なる区分の支出として扱うことが求められる。まず、資産として再利用可能なケイパビリティ（組織能力）を構築するために消費されたトークンは固定資産投資（Capex）として扱うのが適切だ。AIエージェントを設計したり、複数の部門にまたがるワークフローを再設計したり、（自前でAI推論基盤を運用する企業であれば）それを大規模に実行したりする場合、そのAIインフラは固定資産投資と捉えられる。また、社内業務に使用されるトークンは業務費（Opex）と位置づけられる。CFOは部門やワークフローごとに合理的な予算を設定し、マネジャーにアウトプットへの説明責任を持たせることができる。プロダクトや顧客とのやりとりに消費されたトークンは売上原価（COGS）として扱い、粗利益率を左右する要素として明確に把握しておく必要がある。その影響は大きいため、完全に可視化することが求められる。
トークンコストの透明性はAIを組み込んだプロダクトにおいて特に重要だ。従来型のSaaSが規模の経済の恩恵を受けられたのは、一度ソフトウェアの提供が始まれば、新規顧客を追加する際のコストがほぼゼロで済んだからだ。ところがAI推論はこのコスト構造を変えてしまう。顧客とのやり取りが発生するごとにモデルを動かすための実費が発生する。経営陣は、価格・使用量・モデル構成・キャッシュ・ルーティング（振り分け）の仕組み、といった要素を踏まえたうえで、AIの推論処理を大規模に使い続けることで粗利益率がどう圧迫されるかを、可視化できる体制を整える必要がある。
コストを正確に把握し知的資本利益率を評価するには、経営陣が「実態を可視化する」「コストを最適化する」「価値を実証するか、活動を停止（もしくは最小化）する」という3つのことをワークフロー単位で実行できるオペレーティングモデルが必要だ。
可視化: 最適化の前にコストの紐づけの仕組みを構築する
一番の近道は、コストを予算の責任者（オーナー）と紐づけるところから始め、徐々に、「どのような成果が出ているか」まで発展させていくことだ。重要なワークフローのすべてにオーナー、部門、用途（社外向けプロダクトか社内利用か）、損益計算上の扱い、使用モデル、プロバイダー、めざす成果を割り当てる。そして、実態を追跡するダッシュボードを設計する。最初のバージョンはシンプルでよい。施策ごとにワークスペースまたはプロジェクトを分ける、API（アプリケーション・プログラミング・インターフェース）キーの管理を徹底する、社内向けか社外向けかのタグを明確に付ける、どのプロバイダーを使っているか分かるようにする、といった程度で十分だ。
ダッシュボードには経営陣がすぐに行動に移せるような問いを盛り込むべきだ。以下にその例を挙げる。
- どのワークフローが最も多くのトークンを消費し、どのような成果を生み出しているか
- 成功した成果1件当たりのコストはいくらか
- 支出のうちオーナーが割り当てられているのは何%か
- 社内向けの業務費（Opex）と、プロダクトの売上原価（COGS）の内訳はどうなっているか
- 入力トークンのうち、キャッシュされているのは何%か
- デフォルトで最先端モデルに割り振られている業務はどの程度あるか
責任者が紐づけられていない支出は、統制が効かない。めざす成果が定義されていない支出は、効果が実証できない。どの費用区分（固定資産投資・業務費・売上原価）にあたるかが整理されていない支出は、管理の乱れを招く。
最適化: 技術面・行動面の4つのレバー
組織はAIとそれに関連するコストの管理方法を学ぶ必要がある。これはおそらくCIOまたはCTOと、機能・事業部門リーダーの共同責任となるだろう。以下の4つの領域に焦点を当てるべきだ。
不要なモデル利用をやめる。初期のAIエージェントの多くは、「それがモデルにとって適切な仕事だから」ではなく、「手早く構築できたから」という理由で作られている。構造化されたデータ検索、ルールベースのルーティング、計算、あらかじめ決まった基準に沿った（決定論的な）ポリシーチェックといった作業は、AIではなく通常のソフトウェア・API・再利用可能な定型の仕組みで対処すべきタスクだ。こうした作業をAIではなく従来型ソフトウェアに任せること自体が効果的なコストレバーであり、多くの場合精度や安定性も向上する。
タスクの複雑さに応じてモデルを振り分ける。難易度の低い業務には、軽量なモデルや「オープンウェイトモデル」（無料で公開されており、自社のサーバーでも動かせるモデル）を割り当て、最先端モデルは本当に難しい推論が必要な場面にとっておく。初期設定のままだと、推論にかける計算量や、一度に読み込ませる情報量（コンテキストウィンドウ）が過剰になりがちなので、これらの設定状況もダッシュボードに含めておく。すべてを最も強力なモデルに送るのではなく、品質・確信度・応答速度・コストに応じて、システムが自動で適切な振り分けを行えるようにする。
よく使うプロンプトやコンポーネントを再利用できるようにする。毎回同じ内容のプロンプトをAIに送るのであれば、その部分をキャッシュしておく仕組み（プロンプトキャッシング）と、急がない処理をまとめて一括で送る仕組み（バッチ処理）をワークフローに組み込めば、コストを大きく減らせる。社内の標準的な指示、ブランドのルール、コンプライアンス要件、よく使う業務の進め方など、繰り返し使われるものは、変わらない「決まり文句」――つまりキャッシュが効きやすい、安定した指示文の冒頭部分――としてあらかじめ整備しておくとよい。指示文の冒頭を毎回変えずに送ることで、AI側もその部分を再計算せずに済み、安価かつ迅速に処理できる。こうした再利用可能なコンポーネントは、整理された社内のナレッジベース、承認済みのテンプレート、AIエージェントが使うスキルライブラリとしてまとめておき、誰でも簡単に使えるようにする。
AI活用の規律を浸透させる。利用者がAIの適切な利用方法と規律を身に着けていれば、トークンコストを抑制できる。利用者には最小限の有用な回答を求め、回答を短く抑えること、不要な文書をそのまま貼り付けないこと、まだ検討中の案件と、実際に成果を出す作業を区別することを学ぶよう促すべきだ。AIの利用画面（インターフェース）側でも、初期設定で簡潔な回答を返す、調べ過ぎない、はっきりとした終了ルールを設ける、といった工夫をしておくとよい。使った分だけ課金される仕組みの中では、「簡潔であること」自体が、コストを抑える有効な手段になる。
価値検証・停止・最小化: 活動ではなくリターンを管理する
経営陣はトークンを最も多く消費しているワークフローについて、常設のレビュー体制を確立すべきだ。各レビューでは、分子（ビジネス上の成果）を完全な分母――トークンコストに加えて、ワークフローを開始し、レビューし、修正し、承認し、運用するためにかかった人間の作業時間――と照らし合わせて評価する。そのうえで、拡大展開するか、最適化するか、対象範囲を見直すか、停止するかを判断する。
このタイプのレビューがなぜ重要かは、ソフトウェア開発の現場を見るとよく分かる。AIエージェントによるソフトウェアコーディングは、わずかなトークンコストで大量のアウトプットを生み出し得るが、コード行数は活動指標に過ぎない。分子はレビューを通過し、実際にリリースされたコードであるべきだ。そして、分母には仕様策定・レビュー・修正・テスト・承認の時間が含まれるべきだ。同じワークフローでも、実際に役立ち、受け入れられたアウトプットをどれだけ生み出したか、そしてそれにどれだけの人の労力を費やしたかに応じて、大きなプラスのリターンにも、マイナスのリターンにもなり得る。
同じ論理が、エンジニアリング以外の領域にも当てはまる。対応件数は増えても、それ以上にエスカレーション（対応困難による上位者への引き継ぎ）を増やしてしまうカスタマーサービス向けのエージェントは、「リターン」ではなく「活動」を生み出しているにすぎない。誰も使わない素材を大量に生成するマーケティングエージェントも同様だ。ガバナンス上の重要な問いは、AIが忙しく稼働しているかではない。かかった全コストを差し引いてもなお、成果が改善したかだ。
コスト節減効果はすぐに実現し、1年で積み上がる
私たちの推定では、企業は1年でAIのコスト効率を大幅に改善できる。トークンコストの削減と、1トークン当たりの成果向上の両面からだ。ただし節減幅は企業ごとに異なる（図表）。主要なコスト削減の機会は以下の通りだ。
- 回避できる支出の停止または最小化
- 適切な「働き手」となるモデルに作業をルーティングする
- 繰り返し作業を避けるため、コンテンツをキャッシュする
- 適切な管理・統制の仕組みを導入する
- AIリテラシー向上のためのスタッフトレーニング
これらの取り組みは、3段階で考えるとよい。すぐに実行できるクイックウィン（1〜3カ月）、次に着手するビッグロック（3〜6カ月）、そして効果が長く続くロングテール（6〜12カ月）である。クイックウィンで生まれた成果がビッグロックへの投資原資となり、ビッグロックの施策から創出されたインパクトはロングテールの節減効果によって複利で増大する。企業は知的資本利益率の分母をコントロール下に置くことができ、その財務インパクトは時間とともに積み上がる。
トークンコストは現実のものであり、急速に増大している。そしてそれがCEOや取締役会の注目を集めている。CFO、CIO、CTOは、問いを投げかけられたときに備え、答えを準備しておく必要がある。
原典: Return on AI: How CFOs and CIOs Can Manage the Token Meter
The authors are grateful to these BCG colleagues for their ideas and input: Nicolas De Bellefonds, Abhinav Gupta, Steven Kok, Matthew Kropp, Vladimir Lukic, Clark O'Niell, Rohan Panjwani, and Vikram Srikumar.
