Real-time Generated Worldsリアルタイム生成ワールド
Genie 3 and Worldlabs don't require RTFM or mesh baking - they instantly generate explorable spaces without human intervention. From someone whose livelihood depends on creating backgrounds, world models can either threaten one's job or simply become another platform for new forms of expression. For my part, I think the latter is true. Originally developed as a tool for training AI, the technology has gradually taken on a form reminiscent of game engines. This article aims to trace that evolutionary path.
Genie 3 や Worldlabs の RTFM は、メッシュもベイクもいらない。アーティストの手を介さず、探索できる空間をその場で立ち上げてしまう。背景を作って生計を立ててきた身からすると、ワールドモデルは仕事を奪う存在にも、次の表現の場にも見える。私自身は後者だと考えている。もともとはAIを訓練するための道具として生まれた技術がいつのまにかゲームエンジンに近い顔つきになってきた。本稿ではその道筋をたどってみたい。
Origin: The World as a Training Ground for AI (2024) 起源：AIの訓練場としての世界（2024）
World models weren't originally developed as a technology for creating content. NVIDIA first trained agents in Minecraft-like voxel spaces because the simulated environments were significantly cheaper than real-world ones. The foundation for this came from fVDB, a deep learning framework for handling sparse volumetric data—a direct descendant of the classic NanoVDB system. At this stage, the world itself wasn't the primary goal; it was merely a disposable platform for nurturing intelligences.
ワールドモデルはもともとコンテンツを作るための技術として生まれたわけではない。NVIDIA が Minecraft のようなボクセル空間でエージェントを訓練したのは、学習に使える世界が現実世界よりずっと安上がりだからだ。その基盤になったのが fVDB で、スパースなボリュームデータを扱う深層学習フレームワークにあたる。Houdini の pyro で馴染みのある NanoVDB の直系だ。この段階では、世界そのものが目的だったわけではない。中で育てる知能のための使い捨ての足場にすぎなかった。
Transformation: The world itself becomes the product (2025) 転換：世界そのものが成果物になる（2025）
In 2025, this relationship reversed. Genie 3 demonstrated the ability to generate playable spaces interactively in frame-by-frame increments. The RTFM system of Worldlabs could stream real-time 3D scenes for exploration. Strictly speaking neither of these actually renders geometry in the conventional sense. What emerges is simply the result of sequential predictions about what the model "should" see next. The most profound implication for this is that artists no longer need predefined scene files. Neither lighting, depth perception nor spatial continuity comes from manually crafted data—rather, the structure arises directly from the models' learned behaviors. Even NVIDIA's research from the simulation side points in the same direction: structures emerge from trained rather than prescribed rules.
2025年、この関係が逆転する。Genie 3 はプロンプトで操作できるプレイアブルな空間をフレーム単位で生成してみせた。Worldlabs の RTFM は探索できる3Dシーンをリアルタイムにストリーミングした。どちらも従来の意味でジオメトリを描いているわけではない。「世界」は、モデルが「次に何が見えるはずか」を逐次予測した結果としてその都度立ち上がっているにすぎない。背景アーティストにとって衝撃なのはこの点だ。シーンファイルが存在しない。ライティングも視差も空間のつながりも、人が作り込んだデータではなく、モデルが学習した振る舞いとして出てくる。何もないところから構造を育てる NVIDIA の研究も、シミュレーションの側から同じ方向を指している。書かれたルールではなく、学習されたルールから構造が生まれてくる。
Descent: World Generation Comes Down to the Desktop (2026) 降下：ワールド生成がローカルへ降りてくる（2026）
In August 2026 this technology came down from cloud demos into a local graph. Mickmumpitz published "We Open Sourced World Generation," an end-to-end pipeline that builds an explorable 3D world from a single image or text prompt, running locally and for free. At its core is **Matrix-3D** from Skywork AI and HKUST (released August 2025, MIT licence), which uses a panoramic representation to cover a full 360 degrees and thereby removes the narrow field of view that limited earlier methods. Two reconstruction paths are provided: an optimization route that selects keyframes from the generated panoramic video, crops them into perspective images, and optimizes 3DGS; and a feed-forward route that reconstructs directly from the panoramic video's latent. Outputs are a panoramic .mp4 and a .ply in Gaussian splat format. Mickmumpitz rebuilt this for his own purposes, devised a procedure that flies a virtual 360-degree drone through the scene to produce a synthetic dataset, and integrated it as ComfyUI nodes. What has changed here is that a world model has gone from something you experience to a device that outputs material. Coming out as .ply also means it can be cut and reassembled downstream. Intermediate handling becomes realistic: not delivering the generated space as-is, but using it partway, as the basis for location scouting or in place of a blockout. Around the same time, Fei-Fei Li — founder of World Labs, the company behind RTFM — appeared in an interview placing spatial intelligence as what comes after language. The vision from above and the implementation from below are beginning to meet in the same year. Neither video has been watched; VRAM requirements and actual quality will be added later.
2026年8月、この技術がクラウドのデモから手元のグラフへ降りてきた。Mickmumpitz が「We Open Sourced World Generation」として、1枚の画像またはテキストのプロンプトから探索できる3Dワールドを作る一連の流れを、ローカルで無料で回せる形にまとめて公開している。核になっているのは Skywork AI と香港科技大の **Matrix-3D**（2025年8月公開・MITライセンス）で、パノラマ表現によって360度をカバーし、視野の狭さという既存手法の弱点を外している。復元には2系統あり、生成したパノラマ動画からキーフレームを選んで透視画像へ切り出し 3DGS を最適化する経路と、パノラマ動画の潜在表現から直接復元するフィードフォワードの経路が用意されている。出力はパノラマ動画の .mp4 と、Gaussian Splat 形式の .ply。Mickmumpitz はこれを自分の用途へ作り直し、仮想の360度ドローンをシーン内で飛ばして合成データセットを作る手順を組み、ComfyUI ノードとして統合した。ここで起きているのは、ワールドモデルが「体験するもの」から「素材を出す装置」へ変わったことだ。.ply で出てくるということは、後段で切り貼りできるということでもある。生成した空間をそのまま納品するのではなく、ロケハンの下地やブロックアウトの代わりとして途中まで使う、という中間的な扱いが現実的になった。同じ時期に、World Labs の創業者でありRTFMの背後にいるフェイフェイ・リーが、言語の次に来るものとして空間知能を掲げるインタビューに出ている。上からの構想と下からの実装が、同じ年に噛み合いはじめている。いずれも本編は未視聴のため、必要VRAMや実際の品質は追補する。
Where does this profession lead? この職能はどこへ向かうのか
The inherent weaknesses of current world models can be understood as the very essence of the background artist's work: "persistence" and "intention." The generated environment tends to drift away—if you explore thoroughly enough, the model will eventually forget what you originally placed behind it. Moreover, the model is completely unguided regarding where to direct your gaze. Both composition and the placement of landmarks remain fundamentally human-created elements. This is how I see it. World models first fill in the spaces between things—the terrain that serves as filler, and the endless midground gradually consumes everything. Meanwhile, humans increasingly focus on creating compelling focal points. The same division of labor seen in image-to-3D generation now occurs at scale. And tracking and documenting these changes is precisely why I'm continuing to write about this.
今のワールドモデルが抱える弱点は、裏を返せば背景アーティストの仕事そのものだ。「持続性」と「意図」である。生成された世界は漂流する。十分に歩き回ればモデルは自分が背後に作ったものを忘れてしまう。そして視線をどこへ導くべきかについて、モデルは何の考えも持たない。構図も、ランドマークの置き方も、読みやすさもいまだに人が作り込む部分だ。私はこう見ている。ワールドモデルはまず「あいだ」を埋める空間、つまり埋め草の地形や、延々と続く中景から呑み込んでいく。一方で人間はそこに留まって意味を持ち続けるべき見せ場に力を注ぐようになる。image-to-3D が小物まわりに強いたのと同じ分業が、今度はマップの規模で起きる。この変化を追いかけ、記録していくこと自体が、私がここに書き続けている理由でもある。
(Reservation slot - notes will appear here if you reply to the original email.)
（予約枠 — 元メールに返信すると、ここに注記が入ります。）
Further viewing その他の参照動画
- PVE — Growth Simulation & More 2026-07 ・内容未確認
- The Craziest Mapping Breakthrough Since Google Maps 2026-06 ・リンク要確認