2026/09/25
【画像・映像認識AI】走行中の車窓から「空」だけをAIで差し替える｜ソニーグループ株式会社様 MR Cruise 技術提供事例
株式会社vartiqueは、ソニーグループ株式会社様のMR（複合現実）体験サービス「MR Cruise」向けに、走行中の車窓映像から空の領域だけを画像・映像認識AIで判定し、別の空へリアルタイムに差し替える映像加工アプリを開発・納品しました。
あわせて、車窓に映す空の素材10種の企画・制作も担当しています。
本アプリは、タイムトリップタクシーを含む提供コンテンツへの導入に向け、実運用を想定した動作確認と導入方法の具体化が進められています。
プロジェクト概要
| クライアント | ソニーグループ株式会社 様 |
|---|---|
| 案件名 | リアルタイムMRコンテンツ再生ソフトウェアの開発 |
| 活用シーン | タイムトリップタクシーを含む提供コンテンツ（導入に向け、実運用を想定した動作確認・導入方法の具体化を推進中） |
| 担当範囲 | 要件・仕様の策定／AI映像解析エンジンの開発／映像合成処理の開発／既存MRアプリとの連携設計／空素材の企画・制作／Windowsアプリ化・インストーラ提供／マニュアル整備 |
やったこと｜車の映像をリアルタイムで認識し、空を加工する
車に取り付けたカメラの映像を1コマずつ受け取り、画像・映像認識AIが「どこが空で、どこが空でないか」をその場で判定します。
判定した空の領域だけを別の空に置き換え、書き出します。
あらかじめ編集した映像を流しているのではありません。
いまカメラに映っている景色を、その場で加工して映し出しています。
ビル、街路樹、電線、走っている車。
これらはすべて現実のまま残り、空だけが入れ替わります。
差し替える空は、あとで紹介する静止画3種・動画7種から選べるようになっています。
素材は固定ではなく、あとから追加したり入れ替えたりできる形にしています。
「MR Cruise／タイムトリップタクシー」とは
MR Cruise（MRクルーズ）は、ソニーグループ株式会社様が展開する、
移動時間そのものを体験コンテンツに変えるMR（複合現実）ソリューションです。
車の窓の位置に大型ディスプレイを設置し、車外のカメラが捉えた「いま実際に見えている景色」を映しながら、
その場所にゆかりのあるCGや音声を重ね合わせます。
乗っている人から見ると、窓の外の現実の街並みに、別の時代の風景や登場人物が自然に溶け込んで見えます。
その本格サービスとして提供されているのが「タイムトリップタクシー」です。
東京の下町エリアを走るタクシーの車窓に、江戸時代から受け継がれる職人文化をテーマにしたコンテンツが広がり、
現代と江戸を行き来しているような感覚を味わえる観光体験として運行されています。
今回vartiqueが担当したのは、MR Cruise向けに、既存のMR映像と連携可能な空の映像加工アプリを開発・納品することです。
現在は提供コンテンツへの導入に向け、実運用を想定した動作確認と導入方法の具体化が進められています。
実際に乗ってみて
弊社メンバーも実際に乗ってみましたが、自分たちの位置に応じてコンテンツが変化し、
速い速度で移動していてもGPSがしっかりと連動して、道に合わせてコンテンツが切り替わっていくのがとても印象的でした。
7年近くXR業界にいますが、こうした体験は初めてです。
訪日外国人の方はもちろん、日本の方にとっても、普段見慣れた景色が次々と変わっていく感覚は新鮮で、とても面白いと思います。
ぜひ体験していただきたいです！
この技術提供の6つのポイント
走行中でも、自然な映像合成を実現
走行中の映像をその場で解析し、空の部分だけを差し替えます。
目指したのは、なるべく自然に見えることです。
建物との境界の透け方や、空をどこまで置き換えるかを細かく調整し、合成した感じが出ないように仕上げました。
映像の流れが速い車内でも、なめらかに見えるようにしています。
車の動きに合わせ、空も360度旋回
車が右左折すると、見えている空もその動きに合わせて回ります。
車の向きと映像を360度旋回で連動させることで、窓の外に本当にその空が広がっているような一体感が生まれます。
より現実に近い体験を実現したいとの思いから、ご提案しました。
4Kの大画面でも、美しさをキープ
車窓ディスプレイは乗客の視界の大部分を占めるため、粗さがそのまま見えてしまいます。
差し替える空の素材は、車の周囲をぐるりと1周覆う超ワイドな形式で制作。
大きく映しても輪郭やグラデーションが破綻せず、世界観を損なわない画質を確保しました。
ネット接続なしでも、安定して動作
インターネット接続に頼らず、すべての映像処理を車内のパソコンだけで完結させています。
通信環境が不安定になりやすい走行中でも、回線状況に左右されずに動きます。
映像を外部に送信しないため、機密性の高い映像を扱う現場でも導入しやすい構成です。
既存アプリを変えずに、そのまま連携
今回開発したものは、ソニーグループ様のアプリとは別のアプリとして動きます。
既存のアプリが作った映像を受け取り、そこに空の加工を加える形です。
既存のアプリに組み込む必要がないため、いま動いている仕組みに手を入れずに、あとから機能だけを足せます。
走行中の演出も、外部から操作できる
走行中にパソコンを直接操作しなくても、外部からコマンドを送って制御できます。
空の加工のオン／オフ、空の種類の切り替え、境目のなじませ方の調整まで外部から指示できます。
運行スタッフの操作負担を抑えつつ、区間に合わせて演出を切り替えられます。
加工部分を自然に見せるための工夫
目指したのは、本物のように見えることです。
見ている景色が、なるべく本当の世界のように感じられる状態をつくりたいと考えました。
そのために調整したのは、主に次の2点です。
1｜建物と空の境目を、どうなじませるか
ビルの輪郭や街路樹の枝と、差し替えた空が接する部分。
ここをくっきり切ると切り抜いた紙を貼ったように見え、ぼかしすぎると輪郭がにじんで甘くなります。
境目の透け方をどのくらいにするか、空と判定した領域をどこまで置き換えるかを、
実際の走行映像を見ながら細かく詰めていきました。
2｜速い映像でも、カクつかせない
車から撮る映像は、景色の流れがとても速くなります。
ここで加工の処理が映像に追いつかないと、空だけが一拍遅れて動き、カクついて見えてしまいます。
背景の街並みは滑らかに流れているのに空だけが飛ぶ、という状態はすぐに違和感として伝わります。
そこで、処理の組み立てを見直し、映像の表示が判定に引きずられないようにしました。
結果として、走行中でも空が引っかからず、街並みと同じ速さでなめらかに流れていきます。
車が曲がると、空も回る（360度旋回）
スマートフォンなら、内蔵センサーで「いまどちらを向いているか」が分かります。
しかし今回の構成はパソコンと固定カメラ。向きを知るためのセンサーがありません。
そこで私たちは、カメラに映っている景色の流れ方から、車がどれだけ曲がったかを推測する方法をとりました。
センサーを追加せず、いま撮れている映像だけで向きを割り出す仕組みです。
結果として、直進中は空が止まって見え、曲がれば空の景色も一緒に流れていくという自然な動きを実現しました。
「窓の外に本当にその空が広がっている」という感覚につながる部分です。
直進中のわずかな揺れで空がふらつかないよう、細かい動きは無視して滑らかにする調整も入れています。
制作した空の素材（画像3種・動画7種）
システム開発と並行して、実際に車窓に映す空の素材も企画から制作まで担当しました。
静止画3種・動画7種の計10種を納品。
いずれも車の周囲360度をぐるりと覆う形式で、
車がどちらを向いてもつなぎ目が見えないように作られています。
| 青空 | 静止画 | 基本となる、澄んだ昼の空 |
|---|---|---|
| 夕焼け | 静止画 | 茜色に染まる、時間の移ろいを感じさせる空 |
| 星空 | 静止画 | いまの東京では見られない、満天の星が広がる夜空 |
| オーロラ | 動画 | ゆっくりと揺らめくオーロラが空一面に広がる |
| 夜空 | 動画 | 大きな月が浮かび、星が瞬く夜 |
| 夜空（リアル版） | 動画 | 実写に近い質感で、流れ星がよぎる夜空 |
| 妖怪 | 動画 | 空を舞台に妖怪たちが姿を現す、和のファンタジー |
| 百鬼夜行 | 動画 | 空を行列が渡っていく、江戸の怪異譚の世界 |
| 凧 | 動画 | 晴天の空に、江戸の意匠をまとった凧が浮かぶ |
| 雲海 | 動画 | 一面の雲海の上を、鯉が悠々と泳いでいく |
納品後はお客様側だけでコンテンツ追加ができます
素材は完成品を渡して終わりではなく、「作画テンプレート」と「制作マニュアル」をセットで納品しています。
同じ仕様で新しい空を作れるようになっているため、
季節やイベント、キャンペーンに合わせた入れ替えを開発会社を介さずに進められます。
この画像・映像認識AI技術が活きる領域
今回の土台にあるのは、画像・映像を見て、そこに何がどこに写っているかをAIが判別する技術です。
判別する対象は空にかぎりません。
人の体の動き、商品やグッズ、設備、図面。
何を認識させるかを変えれば、演出から業務まで幅広い用途に応用できます。
画像・映像認識AIを使ったエンタメ・演出の領域
| 動作の採点・指導 | 姿勢をお手本と見比べ、腕・足・腰など体のパーツごとに採点。ダンスの練習や、動作を伴う教育・研修に（おどりナビAR） |
|---|---|
| グッズ・印刷物からのAR | アクスタやパッケージ、チラシの絵柄を認識して、そこからキャラクターや映像を出す。紙や商品そのものを体験の入口にできる（魔法のアクスタ） |
| 顔・手・体の認識による変身 | 顔にメイクやキャラクターを重ねる、手のひらに登場させる、体に合わせて衣装を着せる。着物や制服のAR試着、SNS施策に |
| 店頭での商品認識 | 棚の商品にスマホをかざすと、その商品の説明や映像が表示される。手に取った商品ごとに違う内容を出し分けられるため、店頭販促やポップアップに |
| 来場者の動きに反応する空間 | 来場者の位置や動きを検出し、床・壁・サイネージの映像を切り替える。スマホやゴーグルを配らずに体験をつくれる |
| 多言語の案内表示 | 看板やメニューの文字を読み取り、訳や補足情報を画面に重ねて表示。掲示物を作り直さずに多言語対応を進められる |
画像・映像認識AIを使った業務・検査の領域
| 図面・書類の差分チェック | 改訂前後の図面や仕様書を突き合わせ、どこがどう変わったのかを自動で抽出。目視の照合や見落としを減らし、確認時間を大きく短縮できる |
|---|---|
| インフラ点検 | 橋梁・トンネル・送電設備の映像から、ひび割れ・腐食・異物を自動で抽出。ドローンや車載カメラで撮りながら判定し、目視の負荷を下げる |
| 道路・交通管理 | 走行映像から路面の損傷・標識の劣化・落下物を検出。交通量や車種の自動集計、危険挙動の検知など |
| 製造・品質検査 | ラインを流れる製品の外観をカメラで判定し、キズ・欠け・異物混入をその場で抽出。目視検査の標準化と省人化 |
| 建設現場の安全管理 | 立入禁止エリアへの侵入、保護具の未着用、重機との接近を映像から検知して即時に警告 |
| プライバシー保護・映像加工 | 映り込んだ顔・ナンバープレート・看板を自動で判別してぼかす。ドライブレコーダー映像や広報映像の公開前処理に |
| 施設・店舗の分析 | 人流や滞留の可視化、混雑度のリアルタイム把握、レイアウト改善の効果測定 |
| 農業・環境モニタリング | 作物の生育状況や病害、水位・積雪・植生の変化を、定点カメラやドローン映像から判定 |
「カメラの映像から、これを自動で見分けたい」「その場で判定して、すぐ結果を返したい」——
そうした構想段階のご相談から、実現可能性の検証（PoC）、実装、現場での運用設計までを一貫してご支援できます。
今回のように、センサーを追加できない・既存システムを改修できない・通信環境が使えないといった制約がある環境でも、
現実的な落としどころを一緒に探します。
今後について
移動時間を体験に変えるという発想は、観光にとどまらず、まだ多くの広がりを持っています。
私たちは引き続き、新しい体験を生み出していきたいと考えています。