新時代の到来か！生成AI×ARグラス実践記 ～徹底レビュー編～

生成AIとARグラスが融合する時代が来た

だいぶご無沙汰しております。約1年前の記事で「次回はローカルSLM連載の第3弾をお届けします！」と意気込んで予告していたのですが……その後、社内業務が怒涛の忙しさとなり、すっかり筆が止まっておりました。続きを楽しみにしてくださっていた方、本当に申し訳ありません！

ただ、テクノロジーの世界における「1年」は単なる待ち時間ではありませんでした。実はその間に、私の興味を強烈に惹きつける、とんでもない新しい波がやってきたのです。

それが今回のテーマ、「生成AI × ARグラス」です！

実は今回のこのテーマ、前回まで取り組んでいた「ローカル環境でのAI構築」の究極のアウトプット先でもあります。グラス、カメラ、生成AIが完全統合され、相手の言葉が視界にリアルタイム翻訳で浮かび上がるなど、もはやSF映画の魔法のような体験が、すでに実現できるところまで来ました。そこで今回からのシリーズとして、この「生成AI×ARグラス」の魅力や開発の裏側をお届けしていこうと思います。

初回となる第1弾は、最新デバイスの体験レビューです。
それでは、一緒に少し先の未来を覗きに行きましょう！

今回の主役！最新ARグラスのご紹介

今回、この「生成AI×ARグラス」という新しい波を検証するために、2つの最新デバイスをピックアップしました。実はこの2つ、それぞれ全く異なる「設計思想」を持っており、エンジニア視点で見るとそのアプローチの違いが非常に面白いのです。

圧倒的な没入空間「XREAL One Pro」

まず１つ目は、空間コンピューティングの極致とも言える「XREAL One Pro」です。デスクの上の物理モニターを持ち運び可能なモニターに変える、ARグラス界のゲームチェンジャー的なデバイスで、その最大の特徴は、「空間モニター」としての圧倒的な映像体験です。

最新のソニー製0.55インチMicro-OLEDを搭載し、最大57度の視野角により、目の前に171インチ相当の巨大な仮想スクリーンが広がります。技術的に熱いのが、独自開発の空間コンピューティングチップ「X1」を搭載している点です。
これにより、頭の動きに合わせて画面を空間に固定する処理（3DoF）をグラス単体で完結させることができ、レイテンシ問題を根本から解決しています。ケーブル接続の必要はあるものの、「どこにでもマルチモニター環境を持ち運べる」という圧倒的な没入感を提供してくれます。

常時着用できる超軽量「Rokid AIスマートグラス」

そして、２つ目がこの記事でメインで深掘りしていく「Rokid AIスマートグラス」です。XREALが「没入感」を追求したのに対し、Rokidは「日常生活に完全に溶け込むAIアシスタント」という対極のアプローチをとっています。驚くべきはその軽さです。重量はわずか49gで、見た目も普段使いのメガネとほとんど見分けがつきません。

この圧倒的な軽量化と完全ワイヤレスを実現するために、Rokidはフルカラー映像を捨て、モノクローム・グリーン（単色）のMicro-LEDを採用するという、大胆かつ工学的な「割り切り（トレードオフ）」を行っています。そして、その恩恵として、最大1500ニトという超高輝度を獲得し、明るい屋外でもテキスト情報をくっきりと視認できる実用性を手に入れました。
さらに、プロセッサにはQualcommのSnapdragon AR1 Gen 1チップを内蔵し、12メガピクセルのカメラを搭載。Wi-FiやBluetoothで視界の情報をそのままGPTやGeminiなどのAIモデルと連携させることができます。
つまり、「自分が見ている景色をAIと共有しながら、必要なテキスト情報だけがスッと視界に差し込まれる」という体験を、普通のメガネの感覚で一日中持ち歩けるわけです。

自分が見ているものをAIが理解する「視界の共有」

皆さんは、生成AIに細かい指示を入力したり、エラーコードをコピペしたりするのを「面倒だな」と感じたことはありませんか？このグラスを使えば、内蔵カメラを通じて「今自分が見ている景色（コンテキスト）」をAIと直接共有できます。
プロンプト入力の煩わしさから解放され、エラーログの出ているモニターを見ながらつぶやくだけでAIが解析を始めるなど、コピペもタイピングも不要なハンズフリーの作業支援を実現します。

AIエージェントとの連携が生む「究極のパーソナルアシスタント」

本連載の後半で構築していく予定ですが、自分のPCやクラウド上で動くAIエージェントとARグラスを連携させることで、グラス自体を「究極のパーソナルアシスタント」に進化させることも可能です。

これまでは「ユーザーからAIにテキストで質問する」のが当たり前でしたが、これからはサーバーのアラートや技術ニュースを能動的に視界へ通知し、単なる「質問への回答」を超え、AIがユーザーの状況を理解して先回りサポートしてくれる。そんな時代が、すぐそこまで迫ってきています。

それでは、こうした未来を実感できるAIスマートグラスを、まずは実際に体験していきましょう！

実際に体験！AIスマートグラスのここがすごい

ユースケースでワクワクしてきたところで、ここからは私が実際に「AIスマートグラス」を日常的に使ってみた、超リアルな体験レビューをお届けします。

まずは、グラスと連携するスマートフォン側の専用アプリ（Hi Rokidアプリ）の画面をご覧ください。現時点（記事執筆時）で、このアプリには以下のような機能が標準搭載されています。

• ノート　　　　　：思いついたアイデアの記録やリマインダー
• 翻訳　　　　　　：リアルタイム音声翻訳（オンライン・ローカル対応）
• テレプロンプター：原稿内容をグラスにインポートして表示
• ナビゲーション　：マップアプリと連携したARナビゲーション
• 会議メモ　　　　：音声録音とAIによる文字起こし
• ライブ　　　　　：自分の目線の映像をリアルタイムに配信・共有
• 字幕　　　　　　：相手の会話を自分の視界に字幕表示
  　　　　　　　　　　（会話のログや聞き取りのサポート）

わずか49gの軽いメガネの中にこれだけの機能が詰まっているだけでも驚きですが、ここからは私が実際にITイベントなどで使ってみて「これはエンジニアの必須アイテムになる！」と感動した3つのアプリ機能と、このデバイスの根幹となる強力な基本機能を深掘りして紹介します。

（注意：グラス越し視点の動画がありますが、サイズの都合で画質が悪く文字が見えづらくなってしまったので、ご了承ください。）

ミーティングや勉強会で真価を発揮するのが、「会議メモ（音声録音＋AI文字起こし）」機能です。
今回は検証の題材として、青空文庫から寺田寅彦氏の『科学者とあたま』をピックアップし、AI音声で朗読させ、それをARグラスで録音させた後に、ARグラスの機能で文字起こしをしてみたので、その精度を確認してみてください。

句読点の挿入位置や間（ま）の取り方、誤変換（例：「鈍い」→「呪い」）といった問題はありますが、精度としては実用レベルだと思いませんか？
今回はAIの朗読音声を使った検証でしたが、実際のミーティングや勉強会でもアプローチは同じです。相手の話を聴きながら、ARメガネの視界でリアルタイムにテキストを確認しつつ、裏側ではアプリのAIがしっかりと全体の音声を録音・文字起こしをしてくれます。PCを開いてタイピングしたり、スマホでメモを取ったりする手間は一切不要。「メガネをかけて話し相手に集中するだけ」で、これほどの精度で議事録を残せる機動力は、一度体験すると元には戻れません。

👍②英語のセッションでも問題なし「翻訳」機能

最近のITイベントやカンファレンスでは、海外からの登壇者による英語セッションも増えましたよね。そんな場合に「リアルタイム翻訳」を使えば、同時通訳機材や手元のスマホの翻訳アプリに頼る煩わしさから解放されます。
以下の動画は、イベントでの英語セッションではないですが、英語のスピーチを聞き取りながら、リアルタイム翻訳を体験できる短い動画を用意しました。

上記のように翻訳字幕がリアルタイムに表示され、視界に直接日本語が次々と表示されます。また、この翻訳機能は最大89言語も対応しており、そのメリットはなんといっても「常に前を向いて、登壇者の表情やスライドに100%集中できること」に尽きます！
もちろん、海外旅行でのコミュニケーションや国内でのインバウンド対応でも大活躍するのはもちろん、技術カンファレンスでのこの「ハンズフリーな情報収集体験」は、エンジニアにとってもたまらない実用性があります。

👍③LT登壇の最強の武器！「テレプロンプター」機能

カンファレンスや勉強会でLT（ライトニングトーク）をする機会が多い方には、これはまさに「チート級」の機能です。事前にアプリから発表内容のテキストをグラスにインポートしておくと、レンズの視界にだけ原稿がスクロール表示されます。
こちらも、部署内のLT会でこの機能を使った動画を用意してみましたのでご覧ください。

視界にはこのように原稿が浮かび上がります。傍から見れば、ただメガネをかけている人にしか見えません。グラスが音声を認識するまでに少し時間がかかりますが、自分が話した内容を音声認識し、話すペースに合わせて自動でテキストがスクロールしてくれる点は、実際に使ってみると病みつきになります！

これがあれば、事前に原稿を暗記したり、発表ノートをチラチラ見たりすることなく、堂々と聴衆に目線を向けたままスムーズなプレゼンが可能になること、間違いなしです。

👍④目の前の景色をAIが解説する「物体検知」

そして最後は、特定のアプリ機能という枠を超えたスマートグラスの最も基本となる強力なAI機能です。それが、レンズ越しの映像をベースにした「物体検知」です。
百聞は一見に如かず、まずはこの動画をご覧ください。

グラスに内蔵されたカメラが捉えた視界の情報をそのままAIに渡し、目の前にあるモノが何なのか、あるいは今どういう状態なのかをAIが解析して視界にテキストで説明してくれます。
わざわざ言葉で状況を入力する必要がなくなるこの機能は、まさに「AIに目を持たせる」という体験であり、この機能こそが、生成AI×ARグラスの最大の特徴でもあり、今後構築していく「自律型AIエージェントとの連携」の重要な鍵を握っているわけです。

🤏もうちょいなところ（今後の期待）

もちろん、アーリーアダプター向けの最新デバイスゆえに、まだ荒削りな部分もあります。
例えば、テレプロンプターでは「間」だったり「えー」や「そのー」の後に、文章の認識が悪くなったり、翻訳では専門的な用語が出た場合の精度の問題であったり、物体検知でプロンプトを変えてもAI側で解釈が改善されなかったりするケースもありました。

しかし、それらのバグを補って余りあるほど、「視界とAIが直結する便利さ」は圧倒的です。もちろんより完璧に近い方が受けは良いのでしょうが、まだ癖のある部分をどう使いこなすか工夫するのが、使い手の腕の見せ所ではないでしょうか。今後のアップデートにも期待しています！

おわりに＆今後の予告

いかがだったでしょうか？約1年ぶりの更新となった本ブログですが、再開のテーマとして選んだ「生成AI×ARグラス」の圧倒的なポテンシャルと未来感が少しでも伝わっていれば嬉しいです。

ARグラスはもはや単なる「持ち運べるディスプレイ」ではなく、AIが現実世界の状況（コンテキスト）を理解するための「目と耳」へと進化しました。このデバイスを手に入れたことで、私たちが以前検証していたローカルAIモデルたちが、ついに物理空間へ飛び出してくる準備が整ったと言えます。

今後は、このスマートグラスを使ったアプリ実装やエージェント連携などをお伝えしていこうと思います。次回は、そのために必要な開発環境構築をお伝えできればと、現在準備中なので、またすぐにお会いしましょう！