GitHub Copilot アプリを使用したデスクトップ アプリケーションの操作

コンピューターを使用する場合、 Copilot が GitHub Copilot appからローカル デスクトップ アプリケーションと対話できるようにします。

この機能を使用できるユーザーについて

GitHub Copilot app は、すべての Copilot プランで使用できます。
Download GitHub Copilot app

この記事で

メモ

コンピューターの使用はパブリック プレビュー中であり、変更される可能性があります。

コンピューターの使用について

Copilot は、アクセス可能なアプリケーション コンテンツとビジュアル コンテキストの読み取り、コントロールのクリック、テキストの入力と編集、キーの押下、スクロール、ドラッグ、およびアプリケーション間のワークフローの移動によって、ユーザーに代わってデスクトップ アプリケーションと対話できます。

この機能は、API、コマンド ライン インターフェイス、または MCP 統合を提供しないレガシおよび GUI のみのソフトウェアのワークフローに役立ちます。 macOS および Windows のローカル セッションで使用できます。

その機能、コントロール、および制限事項については、 GitHub Copilotでのコンピューターの使用について を参照してください。

コンピューターの使用を有効化

  1. GitHub Copilot appの設定を開きます。
  2. サイドバーで、コンピューターの使用 を選択します。
  3. [ コンピューターの使用を有効にする] で、[ コンピューターの使用を有効にする] をオンにします。
  4. macOS の [ 前提条件] で、両方の必要なアクセス許可を付与します。
    • ユーザー補助アクセス許可を付与して、コンピューターでアプリケーション コントロールを操作できるようにします。
    • ビジュアル コンテキストが必要な場合にコンピューターがアプリケーション ウィンドウを検査できるように 、画面記録 のアクセス許可を付与します。
  5. macOS では、アクセス許可の変更が検出されない場合は、 もう一度 [確認] をクリックします。

セッションで /computer on コマンドを使用することもできます。 現在のプラグインと MCP の状態を確認するには、 /computer showを使用します。

コンピューターの使い方

コンピューターの使用は、目的の結果、関連するアプリケーション、および重要な制約を記述する場合に最適です。

例えば次が挙げられます。

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

APP_NAMEを、コンピューターにインストールされているアプリケーションの名前に置き換えます。

コンピューターの使用は、アプリの [ツールのアクセス許可] 設定に従います。 この設定は、アプリケーションを制御する前 Copilot 承認を要求するかどうかを決定します。 設定を確認または変更するには、アプリの設定を開き、[セッション] を選択 します。 承認が必要な場合は、要求されたアプリケーションとアクションがプロンプトと一致することを確認します。 次に、現在のコンピューター使用セッションでのアクセスを許可するには 許可 を、今後のセッションでも許可するには 常に許可 を選択するか、リクエストを拒否またはキャンセルします。

実行中の操作を中断するには、停止 をクリックするか、Esc キーを押してください。

常に許可されたアプリの確認

[常にGitHub Copilot appで許可] または [GitHub Copilot CLI] を選択すると、承認が保存され、同じコンピューター上の両方のサーフェスに適用されます。

  1. GitHub Copilot appの設定を開きます。
  2. サイドバーで、[コンピューターの 使用] を選択します。
  3. 常に許可されているアプリ で、該当するアプリの横にある削除アイコンをクリックします。

アプリケーションを削除すると、アプリと CLI の両方で、そのアプリケーションに対して今後のセッション用に保存されている承認が削除されます。 実行中のセッションで既に付与されているアクセス権は取り消されません。 停止をクリックするか、Escキーを押して現在の操作を停止するには。 セッションを終了して、そのセッションに付与されたアプリケーション アクセスを取り消します。

コンピューターの使用を無効化する

GitHub Copilot appの設定を開きます。 サイドバーでコンピューター使用を選択し、コンピューター使用を有効にするをオフにします。

セッションで /computer off を使用することもできます。

コンピューターの使用に関するトラブルシューティング

  • [コンピューターの使用] 設定ページが利用できない場合は、お使いのアカウントとオペレーティングシステムでこの機能が利用可能かどうかを確認してください。
  • macOS で、コンピューターの使用機能がアプリケーションを操作できない場合は、前提条件で アクセシビリティ と 画面収録 の両方に 許可済み と表示されていることを確認してください。