GitHub Copilot CLI zum Interagieren mit Desktopanwendungen verwenden

Erlauben Sie Copilot, mit lokalen Desktopanwendungen von GitHub Copilot CLI aus zu interagieren.

Wer kann dieses Feature verwenden?

GitHub Copilot CLI ist mit allen Copilot Tarifen verfügbar. Wenn Sie Copilot von einer Organisation erhalten, muss die Copilot CLI-Richtlinie in den Einstellungen der Organisation aktiviert sein.

In diesem Artikel

Hinweis

Die Computernutzung ist in Öffentliche Vorschau und kann geändert werden.

Über die Computernutzung

Copilot kann in Ihrem Auftrag mit Desktopanwendungen interagieren, indem sie barrierefreie Anwendungsinhalte und visuellen Kontext lesen, auf Steuerelemente klicken, Text eingeben und bearbeiten, Tasten drücken, Scrollen, Ziehen und Navigieren in Workflows über mehrere Anwendungen hinweg ausführen.

Diese Funktion ist nützlich für Workflows in legacy- und GUI-only-Software, die keine API-, Befehlszeilenschnittstellen- oder MCP-Integration bereitstellen. Sie ist für lokale Sitzungen unter macOS und Windows verfügbar.

Informationen zu ihren Funktionen, Steuerelementen und Einschränkungen finden Sie unter Informationen zur Computerverwendung in GitHub Copilot.

Überprüfen des Status der Computerverwendung

Geben Sie in einer interaktiven Copilot CLI Sitzung Folgendes ein:

Text
/computer show

Copilot CLI meldet, ob das Computer-Use-Plugin, der MCP-Server und die zugehörigen Skills aktiviert sind.

Computernutzung aktivieren

Geben Sie in einer interaktiven Sitzung Folgendes ein:

Text
/computer on

Copilot CLI speichert Ihre Einstellung und ermöglicht das mitgelieferte Plug-in für die Computernutzung. Wenn Ihre Organisation die Nutzung des Computers deaktiviert hat, meldet die CLI, dass sie durch verwaltete Einstellungen blockiert wird. Ihre lokale Einstellung kann die Richtlinie nicht außer Kraft setzen.

Auf macOS führt Sie Computergebrauch durch das Erteilen der Berechtigungen für Bedienungshilfen und Bildschirmaufnahme.

Computer verwenden

Die Computerverwendung funktioniert am besten, wenn Sie das gewünschte Ergebnis, die beteiligten Anwendungen und alle wichtigen Einschränkungen beschreiben.

Beispiel:

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Ersetzen Sie APP_NAME durch den Namen einer Anwendung, die auf Ihrem Computer installiert ist.

Die Computerverwendung folgt dem aktiven Copilot CLI Berechtigungsmodus. Dieser Modus bestimmt, ob Copilot vor dem Steuern einer Anwendung um Genehmigung bittet. Geben Sie /permissions show ein, um den aktiven Modus zu überprüfen. Wenn eine Genehmigung erforderlich ist, wählen Sie Zulassen, um den Zugriff für die aktuelle Computerverwendungssitzung zu gewähren, Immer zulassen, um die Genehmigung für zukünftige Sitzungen zu speichern, oder lehnen Sie die Anforderung ab bzw. brechen Sie sie ab.

Wenn Sie für eine Anwendung Immer zulassen auswählen, gilt die gespeicherte Genehmigung auch, wenn Sie die Computernutzung in GitHub Copilot app auf demselben Computer verwenden. Wenn eine Aufforderung angezeigt wird, vergewissern Sie sich, dass die Anwendung und die Aktion Ihrer Anforderung entsprechen. Konfigurierte Ablehnungsregeln haben weiterhin Vorrang.

Um einen aktiven Vorgang zu unterbrechen, drücken Sie zweimal Esc.

Informationen zum Konfigurieren von Toolberechtigungen finden Sie unter Zulassen und Verweigern der Verwendung von Tools.

Computernutzung deaktivieren

Geben Sie in einer interaktiven Sitzung Folgendes ein:

Text
/computer off

Um zu bestätigen, dass das Plug-In und der MCP-Server deaktiviert sind, verwenden Sie /computer show.

Problembehandlung bei der Computernutzung

  • Wenn /computer show meldet, dass die Computerverwendung nicht verfügbar ist, vergewissern Sie sich, dass das Feature für Ihr Konto verfügbar ist und dass Sie eine lokale Sitzung auf einem unterstützten Betriebssystem verwenden.
  • Wenn die Computerverwendung aktiviert ist, aber nicht funktioniert, verwenden Sie /plugin, um zu überprüfen, ob das gebündelte computer-use Plug-In aktiviert ist, und /mcp list, um zu überprüfen, ob sein MCP-Server verbunden ist.
  • Vergewissern Sie sich unter macOS, dass das Hilfsprogramm für die Computernutzung über Berechtigungen für Barrierefreiheit und Bildschirmaufzeichnung verfügt.