Real-time Generated Worldsリアルタイム生成ワールド
Genie 3 and Worldlabs don't require RTFM or mesh baking - they instantly generate explorable spaces without human intervention. From someone whose livelihood depends on creating backgrounds, world models can either threaten one's job or simply become another platform for new forms of expression. For my part, I think the latter is true. Originally developed as a tool for training AI, the technology has gradually taken on a form reminiscent of game engines. This article aims to trace that evolutionary path.
Genie 3 や Worldlabs の RTFM は、メッシュもベイクもいらない。アーティストの手を介さず、探索できる空間をその場で立ち上げてしまう。背景を作って生計を立ててきた身からすると、ワールドモデルは仕事を奪う存在にも、次の表現の場にも見える。私自身は後者だと考えている。もともとはAIを訓練するための道具として生まれた技術がいつのまにかゲームエンジンに近い顔つきになってきた。本稿ではその道筋をたどってみたい。
Origin: The World as a Training Ground for AI (2024) 起源：AIの訓練場としての世界（2024）
World models weren't originally developed as a technology for creating content. NVIDIA first trained agents in Minecraft-like voxel spaces because the simulated environments were significantly cheaper than real-world ones. The foundation for this came from fVDB, a deep learning framework for handling sparse volumetric data—a direct descendant of the classic NanoVDB system. At this stage, the world itself wasn't the primary goal; it was merely a disposable platform for nurturing intelligences.
ワールドモデルはもともとコンテンツを作るための技術として生まれたわけではない。NVIDIA が Minecraft のようなボクセル空間でエージェントを訓練したのは、学習に使える世界が現実世界よりずっと安上がりだからだ。その基盤になったのが fVDB で、スパースなボリュームデータを扱う深層学習フレームワークにあたる。Houdini の pyro で馴染みのある NanoVDB の直系だ。この段階では、世界そのものが目的だったわけではない。中で育てる知能のための使い捨ての足場にすぎなかった。
Transformation: The world itself becomes the product (2025) 転換：世界そのものが成果物になる（2025）
In 2025, this relationship reversed. Genie 3 demonstrated the ability to generate playable spaces interactively in frame-by-frame increments. The RTFM system of Worldlabs could stream real-time 3D scenes for exploration. Strictly speaking neither of these actually renders geometry in the conventional sense. What emerges is simply the result of sequential predictions about what the model "should" see next. The most profound implication for this is that artists no longer need predefined scene files. Neither lighting, depth perception nor spatial continuity comes from manually crafted data—rather, the structure arises directly from the models' learned behaviors. Even NVIDIA's research from the simulation side points in the same direction: structures emerge from trained rather than prescribed rules.
2025年、この関係が逆転する。Genie 3 はプロンプトで操作できるプレイアブルな空間をフレーム単位で生成してみせた。Worldlabs の RTFM は探索できる3Dシーンをリアルタイムにストリーミングした。どちらも従来の意味でジオメトリを描いているわけではない。「世界」は、モデルが「次に何が見えるはずか」を逐次予測した結果としてその都度立ち上がっているにすぎない。背景アーティストにとって衝撃なのはこの点だ。シーンファイルが存在しない。ライティングも視差も空間のつながりも、人が作り込んだデータではなく、モデルが学習した振る舞いとして出てくる。何もないところから構造を育てる NVIDIA の研究も、シミュレーションの側から同じ方向を指している。書かれたルールではなく、学習されたルールから構造が生まれてくる。
Where does this profession lead? この職能はどこへ向かうのか
The inherent weaknesses of current world models can be understood as the very essence of the background artist's work: "persistence" and "intention." The generated environment tends to drift away—if you explore thoroughly enough, the model will eventually forget what you originally placed behind it. Moreover, the model is completely unguided regarding where to direct your gaze. Both composition and the placement of landmarks remain fundamentally human-created elements. This is how I see it. World models first fill in the spaces between things—the terrain that serves as filler, and the endless midground gradually consumes everything. Meanwhile, humans increasingly focus on creating compelling focal points. The same division of labor seen in image-to-3D generation now occurs at scale. And tracking and documenting these changes is precisely why I'm continuing to write about this.
今のワールドモデルが抱える弱点は、裏を返せば背景アーティストの仕事そのものだ。「持続性」と「意図」である。生成された世界は漂流する。十分に歩き回ればモデルは自分が背後に作ったものを忘れてしまう。そして視線をどこへ導くべきかについて、モデルは何の考えも持たない。構図も、ランドマークの置き方も、読みやすさもいまだに人が作り込む部分だ。私はこう見ている。ワールドモデルはまず「あいだ」を埋める空間、つまり埋め草の地形や、延々と続く中景から呑み込んでいく。一方で人間はそこに留まって意味を持ち続けるべき見せ場に力を注ぐようになる。image-to-3D が小物まわりに強いたのと同じ分業が、今度はマップの規模で起きる。この変化を追いかけ、記録していくこと自体が、私がここに書き続けている理由でもある。
(Reservation slot - notes will appear here if you reply to the original email.)
（予約枠 — 元メールに返信すると、ここに注記が入ります。）
Further viewing その他の参照動画
- PVE — Growth Simulation & More 2026-07 ・要視聴
- The Craziest Mapping Breakthrough Since Google Maps 2026-06 ・リンク要確認