Mac版Geminiに「computer use」登場——アプリやウェブの面倒な作業をAIが画面の裏で代行。使える人・条件・安全のしくみをやさしく解説

Gemini for Macのアイキャッチ(暗いチャコール背景に白い立体文字と、ブルー〜バイオレットに光るカーソル風の立体マーク) コラム

GoogleのAIアシスタント「Gemini(ジェミニ)」のMac版アプリに、AIがパソコンを操作して作業を代わりに進める新機能「computer use(コンピューター操作)」が加わりました。Googleが米国時間11月19日に発表したもので、Mac上のファイル、アプリ、ウェブサイトをまたぐ何段階もの作業を、文章で頼むだけでGeminiが進めてくれます。

いちばんの特徴は、Geminiが画面の裏側にある別のウィンドウで作業するため、そのあいだも自分の画面とマウスカーソルをふだんどおり使えることです。ただし、提供は現時点で米国・英語のみで、日本での提供時期は発表されていません。

本稿は、日本時間11月20日朝時点のGoogle公式ブログ、Geminiアプリの公式リリースノート、デスクトップ版Geminiの公式ページとヘルプ、Geminiの公式X・公式YouTubeに基づいてまとめています。公式に書かれていないことは「未発表」として扱います。

公式Xでの発表

Geminiの公式X(@GeminiApp)は日本時間11月20日5時26分、「Mac版Geminiアプリのcomputer useで、フォルダ、アプリ、ウェブをまたぐ作業を任せられるようになった。しかも画面とカーソルはあなたのまま」と発表しました。続く投稿で、米国で英語の「Google AI Plus」「Google AI Pro」「Google AI Ultra」の加入者向けに順次提供を始めたと案内しています。

computer useとは? “画面の裏で働くデジタル部下”

computer useは、AIが人間と同じようにクリック、文字入力、メニューの操作、フォームへの記入をして、パソコン上の作業を進める機能です。Googleは、ふだんなら何十回もクリックが必要なくり返し作業の時間を減らせると説明しています。

たとえるなら、自分の机の隣に“もう1台の仕事机”を置き、そこでデジタル部下が作業している様子を横目で見ながら、自分は自分の仕事を続けられるイメージです。Geminiは独立した背景のウィンドウで作業し、その様子はチャット画面の中にライブで映し出されます。自分の画面とカーソルは占領されないので、文章を書いたり、デザインをしたり、通話をしたりしながら任せておけます。

どんなことを任せられる?

Googleの公式ブログでは、まず試せる使い方として次の4つが紹介されています。

  • クリエイティブ作業の時短:使い慣れたデザインソフトで写真の色調補正をまとめて行う、複雑な3Dの場面を組み立てる
  • フォームへの手入力を省く:手元のPDFから重さ、寸法、住所を読み取り、項目の多い配送見積もりのフォームに記入する
  • 最新データから発表資料をつくる:複数の地域のダッシュボードから数値や画面の画像を集め、Googleスライドで資料にまとめる
  • 出品作業をまとめて進める:フォルダ内の服の写真を分析し、相場を調べ、商品情報を記録して、フリマなどの出品サイトに出品の下準備をする

出品の例は「出品の下準備(stage listings)」とされており、最終的に出品するかどうかは人が判断する形です。

公式の紹介動画

Geminiの公式YouTubeチャンネルでは、さっと描いたスケッチをもとに、Geminiが3D制作ソフト「Blender」を背景のウィンドウで操作し、動かせる骨組み(リグ)付きの3Dモデルに仕上げる様子を紹介する約1分の動画が公開されています(英語)。公式Xの投稿にも同じ内容の紹介が添えられています。

安全のしくみ

自分のパソコンをAIに操作させるとなると、気になるのは安全面です。公式ブログとリリースノートでは、次のしくみが説明されています。

  • 使わせるアプリを自分で選ぶ:Geminiがどのアプリを使えるかは利用者が決める
  • 作業はライブで見える:独立したウィンドウでの作業がチャット画面にライブで表示され、すべての手順を確認できる
  • いつでも止められる:ワンクリックで停止したり、途中で一時停止したりできる
  • ログインと支払いでは止まる:ログインや支払いの場面ではGeminiがいったん止まり、重要な操作の前には確認を求めることがある

なお、Mac版Geminiで以前から使える「タスク」機能のヘルプでは、Geminiが間違えることもあるため、大切な情報を扱う作業は様子を見ながら任せること、ログイン情報や支払い情報を直接チャットに書き込まないことなどが呼びかけられています。computer useでも、お金や個人情報がからむ作業は、最後に人が確認するのが安心です。

使える人と条件

項目公式の情報
対象プランGoogle AI Plus、Google AI Pro、Google AI Ultraの加入者
アカウント18歳以上の個人のGoogleアカウント
提供地域・言語米国・英語から順次提供
必要なMacApple シリコン搭載のMac、macOS Sequoia 15.0以降
入手方法Mac版Geminiアプリ(gemini.google/mac)をダウンロード
無料プラン対象外(対象は上記の有料プランと案内)
仕事用(Google Workspace)アカウント公式には「個人のGoogleアカウント」が対象と記載。仕事用アカウントでの提供は未発表
Windows版computer useの提供予定は未発表
使われているAIモデル未発表

日本で使える?

Mac版のGeminiアプリそのものは、Geminiアプリが使える国と言語であれば利用でき、日本でもダウンロードできます。一方で、computer useは米国・英語のみでの提供開始と案内されており、日本や日本語での提供時期は未発表です。

Mac版Geminiアプリでは、これまでにもFnキーでの音声入力や手元のファイルの要約、フォルダを整理する「タスク」などが追加されてきました。これらは「Mac版GeminiがFnキー音声入力に対応」や「Geminiの「タスク」が日本でも無料に」で紹介しています。日本ではまずこうした機能を使い慣れておくと、computer useが日本に来たときにもスムーズに活用できそうです。

中小企業・個人事業主にとっての意味

computer useが日本で使えるようになれば、専用の連携機能がない古い業務ソフトや、ウェブの管理画面への入力など、「人が手でコピーして貼り付けていた作業」をAIに任せられる可能性があります。

  • 取引先から届いたPDFの請求書や見積書を読み取り、受発注サイトや会計ソフトに転記する
  • 複数のサイトの管理画面から売上や広告の数字を集め、週次報告のスライドにまとめる
  • 商品写真のフォルダをもとに、ネットショップやフリマサイトへの出品の下書きを作る

ただし、AIの操作は間違えることがあります。最初は失敗しても困らない作業から試し、送信や支払い、削除のような取り消しにくい操作の前には、必ず人が内容を確認しましょう。

まとめ

Mac版Geminiアプリのcomputer useは、Geminiが画面の裏にある別のウィンドウでアプリやウェブを操作し、何段階もの作業を代わりに進める機能です。自分の画面とカーソルは自由に使え、使わせるアプリの選択、ライブでの確認、ワンクリックでの停止、ログインや支払い前の一時停止といった安全のしくみも用意されています。対象はGoogle AI Plus、Pro、Ultraの加入者で、Apple シリコン搭載のMacとmacOS Sequoia 15.0以降が必要です。現時点では米国・英語のみで、日本での提供時期は未発表です。

参考リンク

この記事を書いた人
この記事を書いた人

毎日20時間以上AIの実践・研究に没頭するITエンジニア。20年以上にわたり、オンラインゲームや生活関連など幅広いジャンルのオウンドメディアで執筆・編集長を歴任。現在は上場企業グループの代表取締役を務め、複数の事業者団体で理事を兼務する経営者でもある。テクノロジーの最前線に身を置きつつ、地域の商店街や神社の運営にも深く携わるなど、地域活性化にも尽力。圧倒的な現場経験とITの専門知識、経営者の視点から、信頼性の高い有益な情報を発信している。
Olive株式会社 代表取締役

tanakaをフォローする
コラム
シェアする
tanakaをフォローする

コメント

タイトルとURLをコピーしました