Code Video Model 調査レポート

2026年10月14日

開発元: Code Video Model Team

カテゴリ: 🎬 AI動画生成

公式サイト GitHub Markdown

プロンプトを基に物理エンジンによるシミュレーション（Three.js）を生成し、それを事前学習済み動画モデルの条件付けに用いることで、物理的に正確な動画を生成するAI動画生成モデル。

総合評価

85点

基準点70点からの評価

オープンソース

OSS

無料プラン

あり

最低価格

無料

対象ユーザー

研究者開発者クリエイター

更新頻度

中

🆕 最新情報: Three.jsベースの物理エンジンを用いた動画生成手法（Tech Report）を公開

📋 評価の詳細

👍 加点項目

+10 物理シミュレーションと連携した高精度な動画生成が可能で革新的
+5 ソースコードがApache 2.0ライセンスでオープンソースとして公開されている

総評: 既存のブラックボックス型モデルとは一線を画す、物理ベースの動画生成アプローチが強力。

Code Video Model 調査レポート

1. 基本情報

ツール名: Code Video Model
ツールの読み方: コードビデオモデル
開発元: Code Video Model Team
公式サイト: https://code-video-model.github.io/
関連リンク:
- GitHub: https://github.com/code-video-model/CodeVideoModel
カテゴリ: AI動画生成
概要: Code Video Modelは、テキストプロンプトから直接最終的な動画を生成するのではなく、間に「コード（Three.js）」による物理シミュレーションを挟むことで、物理的に正確で制御可能な動画を生成する新しいアプローチのAI動画モデル。

2. 目的と主な利用シーン

解決する課題: 従来のビデオ拡散モデルが抱える、物理法則の破綻、オブジェクトの配置や動きの制御の難しさ、カメラ軌道の不安定さといった「ブラックボックス」な生成プロセスを解決する。
想定利用者: AI研究者、映像クリエイター、ゲーム開発者、ロボティクス研究者
利用シーン:
- アニメーション制作におけるプリビズ（Previs）作成
- 物理法則に基づいたゲーム内のアセット動画生成
- ロボットの軌道制御やシミュレーション動画の作成

3. 主要機能

プロンプトからのThree.jsコード生成: テキストプロンプトを受け取り、GPT-6などのLLMを用いてシーンを構成・アニメーション化するThree.jsのコードベースを生成する。
プロキシビデオとリファレンス画像の生成: 生成されたコードをレンダリングし、構造を定義するプロキシビデオと、外観を定義するリファレンス画像（フレーム）を出力する。
Early-step Conditioning: 動画拡散モデル（MiniMax-H3など）の生成初期段階のみにプロキシビデオの構造情報を条件付けとして与え、後半はドロップすることで、プロキシの平坦な見た目に引きずられずにリファレンス画像のリッチな外観を保った最終動画を生成する。
シーンの直接編集: コードを介して生成されるため、生成後にオブジェクトの配置やカメラワークのコードを直接書き換えることで、正確な動画の編集（リターゲティング）が可能。

4. 動作原理・システム構成

アーキテクチャ: LLM（GPT-6等）とビデオ拡散モデル（MiniMax-H3等）を組み合わせたパイプライン構成。
主要コンポーネントとデータフロー:
1. ユーザーがテキストプロンプトを入力。
2. LLMがThree.jsのコードを記述。
3. コードがレンダリングされ、物理シミュレーションが反映された「プロキシビデオ（Proxy Video）」が生成される。
4. プロキシビデオからリファレンス画像（Reference Image）が抽出、またはGPT-Image-2等の画像生成モデルで作成される。
5. ビデオ拡散モデルが、プロキシビデオとリファレンス画像を条件として最終的な高画質動画を生成する。
特筆すべき要素技術:
- Three.js: 物理法則（カメラ配置、オブジェクトの運動方程式など）をコードとして明示的に計算・レンダリングするためのエンジン。
- Early-step Conditioning: 拡散モデルのサンプリングステップにおいて、初期の構造形成フェーズでのみ動画の条件付けを適用するスケジューリング手法。

5. 開始手順・セットアップ

前提条件:
- Ubuntu 22.04
- CUDA 12.6対応のNVIDIAドライバ
- Anaconda / Miniconda

インストール/導入:

git clone https://github.com/code-video-model/CodeVideoModel.git
cd CodeVideoModel
conda create -n cvm python=3.10 -y
conda activate cvm
conda install -c conda-forge "ffmpeg[version='>=6',build='gpl_*']" -y
python -m pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu126
python -m pip install -r requirements.txt
python -m playwright install chromium

初期設定:
- LLM連携用のAPIキー（OPENROUTER_API_KEY等）を環境変数に設定。
クイックスタート:
- MiniMax-H3のチェックポイントをダウンロードし、同梱のサンプル（例: tank_boarding）を用いて動画生成スクリプトを実行する。

6. 特徴・強み (Pros)

映像の骨格（カメラワーク、オブジェクトの動き）がコード（Three.js）で定義されるため、従来の生成AIでは困難だった厳密な物理制御や直接的な編集が可能。
物理エンジンによって動的に計算されるため、接地感（Grounding）などの物理法則に矛盾がない。
プロキシビデオの生成自体は数秒〜1分未満と高速であり、イテレーションを回しやすい。

7. 弱み・注意点 (Cons)

最終的な動画品質は、バックエンドで使用されるビデオ拡散モデル（MiniMax-H3等）の性能に依存する。
高度なシーン生成には強力なLLM（GPT-6等）へのアクセスが必要となり、APIコストが発生する可能性がある。
ローカルで実行環境（CUDA対応GPU等）を構築するハードルがある。
公式ドキュメントやサポートは基本的に英語のみ。

8. 料金プラン

プラン名	料金	主な特徴
オープンソース	無料	ソースコードはApache 2.0、サンプルはCC BY 4.0で公開。利用にはローカル環境や外部API（LLM等）のコストが別途必要。

課金体系: オープンソース（無料）
無料トライアル: 該当なし

9. 導入実績・事例

導入企業: 研究プロジェクトとして公開されているため、特定の企業での商用導入事例は現時点では公表されていない。
導入事例: デモ動画において、アニメーション、バレットタイム、ゲームアセット、シーン編集、ロボティクス、建築ビジュアライゼーションなど多様なユースケースが示されている。
対象業界: AI研究、映像制作、3D/4D再構築

10. サポート体制

ドキュメント: GitHubリポジトリのREADMEおよびTech Report（PDF）が提供されている。
コミュニティ: GitHub Issuesでのディスカッションが可能。
公式サポート: オープンソースプロジェクトのため、商用の公式サポート窓口は提供されていない。

11. エコシステムと連携

11.1 API・外部サービス連携

API: 外部から呼び出すためのWeb APIは標準では提供されていない（CLIスクリプト経由で実行）。
外部サービス連携: OpenRouterを経由してGPT-6やQwenなどの強力なLLMに接続して利用する。

11.2 技術スタックとの相性

技術スタック	相性	メリット・推奨理由	懸念点・注意点
Python	◎	メインの開発言語であり、スクリプトもすべてPython製。	特になし
Three.js	◎	生成されるシーンのコアエンジンとして利用。	特になし
PyTorch	◎	推論パイプラインとして統合されている。	バージョン依存に注意

12. セキュリティとコンプライアンス

認証: ツール自体に認証機構はない（外部APIへのアクセスキー管理はユーザー依存）。
データ管理: 基本的にローカル環境で処理が完結するが、プロンプト等のテキストはLLMのAPIプロバイダに送信されるため、APIプロバイダのポリシーに依存する。
準拠規格: オープンソースプロジェクトであり、特定のセキュリティ認証の取得は明記されていない。

13. 操作性 (UI/UX) と学習コスト

UI/UX: 基本的にCLI（コマンドラインインターフェース）ベースの操作となる。生成されたシーンのプレビュー用に簡易的なブラウザベースのビューアが提供されている。
学習コスト: 環境構築（CUDA、PyTorch等）やコマンドラインツールの操作に慣れたエンジニア・研究者向けであり、非技術者にとっては学習コストが高い。

14. ベストプラクティス

効果的な活用法 (Modern Practices):
- 一度に最終動画を生成しようとせず、まずはLLMにThree.jsコードを生成させ、ブラウザプレビューでカメラワークやオブジェクトの動きを確認・微調整（直接編集）してから、ビデオ拡散モデルに渡すパイプラインを構築する。
陥りやすい罠 (Antipatterns):
- プロンプトだけで全てをコントロールしようとすること。Code Video Modelの強みは「コードによる直接編集」にあるため、プロキシ動画が意図と異なる場合はコードを修正する方が確実。

15. ユーザーの声（レビュー分析）

調査対象: GitHub、X (Twitter)、Reddit等の開発者コミュニティ。
総合評価: レビューサイトに登録がないためスコアは不明だが、技術的な新規性に対する評価は高い。
ポジティブな評価:
- 「ビデオ生成モデルのブラックボックス問題を、コードを介在させることで見事に解決している。」
- 「物理法則に基づいた映像生成アプローチは、将来のゲーム開発やシミュレーションに不可欠になりそう。」
ネガティブな評価 / 改善要望:
- 「環境構築がやや煩雑で、より手軽に試せるWebUIやGradioのデモが欲しい。」
特徴的なユースケース:
- 生成されたThree.jsのコードベースを起点として、独自のWebアプリケーションやゲームに直接組み込む使い方が想定されている。

16. 直近半年のアップデート情報

2026-10-14: Code Video Modelのプロジェクトページ、GitHubリポジトリ、Tech Report、および評価用データセット（CodeVideoBench）を公開。

(出典: Code Video Model 公式サイト)

17. 類似ツールとの比較

17.1 機能比較表 (星取表)

機能カテゴリ	機能項目	Code Video Model	Luma AI	Sora (OpenAI)	Runway Gen-3
生成手法	アプローチ	コード（物理シミュレーション）ベース	拡散モデル（ブラックボックス）	拡散モデル（ブラックボックス）	拡散モデル（ブラックボックス）
制御性	物理法則の正確さ	◎ Three.jsで明示的に計算	△ プロンプト依存	◯ 学習データによる推論	◯ 学習データによる推論
編集	直接的なシーン編集	◎ コードの書き換えで可能	× プロンプトの調整のみ	△ 一部編集機能あり	◯ ビデオツービデオ等
提供形態	オープンソース	◎ Apache 2.0	× SaaS	× 非公開	× SaaS

17.2 詳細比較

ツール名	特徴	強み	弱み	選択肢となるケース
Code Video Model	コードを介して物理的に正確な動画を生成するアプローチ	物理シミュレーションとの連携、直接的なシーン編集が可能、OSS	環境構築の手間、高度なLLMへの依存	物理法則に忠実な動画をプログラムで厳密に制御したい場合
Luma AI (Dream Machine)	高速で高品質な動画生成SaaS	利用の手軽さ、生成スピード	ブラックボックス型のため、細かい物理制御や編集が困難	手軽に高品質な動画を生成したいクリエイター用途
Runway Gen-3	映像制作向けの統合プラットフォーム	豊富な編集ツール（モーションブラシ等）との連携	オープンソースではない、厳密な物理制御には限界	実写映像の拡張やVFX用途

18. 総評

総合的な評価:
- Code Video Modelは、現在の主流である「ブラックボックス型」のビデオ拡散モデルに対して、「コードと物理エンジン」を間に挟むことで制御性と物理的な正確性をもたらす画期的なアプローチを提示している。研究段階のプロジェクトではあるが、映像制作やシミュレーション分野におけるパラダイムシフトとなる可能性を秘めている。
推奨されるチームやプロジェクト:
- AI動画生成の新しいアプローチを検証したい研究チームや、ゲームアセット・シミュレータ等の厳密な物理制御が求められる開発プロジェクトに強く推奨される。
選択時のポイント:
- 単に手軽に動画を出力したいだけであれば既存のSaaS型生成AI（RunwayやLuma）が適しているが、カメラの軌道、オブジェクトの動き、重力などの物理法則を「コードとして完全に制御」した上で高品質な映像を出力したい場合には、現時点でCode Video Modelが最有力の選択肢となる。