最近の研究で、Mixed‑Reality（MR）ヘッドセットと物理デバイスの連携を、使用時にAIが自動生成するコードで実現する「ControlAnything」システムが報告された。この仕組みでは、Meta Quest 3のヘッドセットに映したデバイスのアウトラインを指で選択し、音声で操作指示をすると、MetaのMuse Sparkモデルをベースとしたエージェントが使用者のノートパソコン上で小さなNode.jsプログラムを書き起こす。プログラムはMIDI、Bluetooth、キーボード入力など手書きのトランスポートを通じて実デバイスと接続テストを行い、接続確認後にARコントロール画面またはフレームごとに実行される手のプログラムを返す。

実験は1人の作者が1回のセッションで5台のデバイス（OP‑1シンセサイザー、ジンバル、Webページ等）に対し10件のリクエストを行った。リクエストのうち9件が「Ready」状態に到達し、1件は停止した。準備完了までの中央値は32.5 秒（範囲24.9–57.8 秒）で、モデル呼び出しが時間の約90 ％を占め、入力トークンの約92 ％がプロンプトキャッシュから供給された。

評価では、MIDI、Bluetooth、キーボードという3種類のトランスポートをすべて実演した。各トランスポート経由でデバイスの操作指令が送受信され、ヘッドセット上の手の動きが適切にデバイスのアクションに結び付けられた。

ただし、本研究は1人の使用者、1台のノートパソコン、1セッションに限定されており、試行は相互に独立していなかった。安全性、拡張性、ユーザーエクスペリエンスに関する検証は行われていないほか、トランスポートを持たないデバイスへの対応も不明である。今後は複数使用者や多種多様なデバイスでの検証が必要である。