> ## Documentation Index
> Fetch the complete documentation index at: https://docs.qoder.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Computer Use
> QoderWorkにコンピュータ上のアプリケーションを直接操作させる
会話内でのファイルやデータの処理に加え、QoderWorkはコンピュータの画面を直接「見て」「操作する」こともできます。ボタンのクリック、フォームの入力、アプリケーションの切り替えなど、さまざまな操作が可能です。この機能はComputer Use（コンピュータ操作）と呼ばれ、グラフィカルインターフェース上での操作が必要なタスクを完了できるようにします。
## 主な機能
対象アプリのウィンドウに表示されているコンテンツを読み取り、レイアウト、ボタンのテキスト、フォームの状態などの視覚情報を理解します。操作中は継続的にスクリーンショットを撮影し、前のステップが成功したかを確認してから次のアクションを決定します。
クリック、ダブルクリック、ドラッグ、テキスト入力、キーボードショートカットなど、完全な人間の入力方式に対応しています。ピクセルレベルの操作精度で、小さなUI要素も正確にクリックできます。
バックグラウンドでマウス、キーボード、スクリーンショットを駆動し、フォアグラウンドのフォーカスを奪いません。あなたは他の作業を続けることができ、AIがバックグラウンドで静かにタスクを完了します。
複数のデスクトップアプリケーション間を切り替え、複数のステップを連結して完全なワークフローを構築します。リアルタイムのフィードバックに基づいて次のステップを動的に調整し、固定スクリプトをそのまま実行するのではありません。
## 使用シーン
* **APIのないデスクトップアプリの操作** — 対象アプリにコマンドラインやプラグインがない場合、AIがグラフィカルインターフェースを直接操作します。例えば、デザインツールでパラメータを調整したり、管理画面で設定を一括変更したりできます。
* **アプリ横断ワークフロー** — タスクが複数のアプリにまたがる場合、AIが自動的にウィンドウを切り替え、データをコピーし、フォームに入力して、エンドツーエンドで完了します。
* **GUIの検証とテスト** — インターフェースの変更が期待通りに動作するか確認したり、GUIでのみ発生する問題を再現したり、特定の操作シーケンスに対するアプリの応答をチェックしたりできます。
* **情報の収集と統合** — エクスポート機能のないアプリからデータを抽出したり、複数のアプリに散在する情報を集約したりできます。
Webタスクには[ブラウザ自動化](/ja/qoderwork/browser-automation)を優先的に使用してください。Computer Useよりも高速で正確です。
## システム要件
* macOS 14 以降
* アクセシビリティ権限と画面収録権限の付与が必要
## 使い方
会話の中でグラフィカルインターフェースでの操作が必要なタスクを直接説明すると、QoderWorkが自動的に判断しComputer Useを起動します：
```plaintext theme={null}
システム環境設定を開いて、現在のネットワーク設定のスクリーンショットを撮ってください
```
```plaintext theme={null}
Finderを開いて、書類フォルダ内で最近変更されたExcelファイルを見つけてください
```
```plaintext theme={null}
Numbersで「予算表.xlsx」を開いて、B列の数値フォーマットを通貨に変更してください
```
## コンピュータ操作の有効化
コンピュータ操作を使用する前に、コネクターで「コンピュータ制御」を有効にする必要があります：
**拡張 → コネクター** に移動し、「コンピュータ制御」カードを見つけてクリックして有効にします。
ポップアップにコネクターの機能説明が表示されます：
* **AI 強化ツール** — デスクトップ自動化機能を提供：クリック、入力、スクロール、スクリーンショットなどのデスクトップ操作ツール
* **常に権限を遵守** — Computer Use は動作中に必要に応じてシステム権限を処理します
* **すべてあなたの管理下** — このポップアップからいつでもコネクターを無効にできます
## システム権限の付与
コネクターを有効にした後、初回使用時に QoderWork が 2 つのシステム権限の付与をガイドします：
QoderWorkがアプリのUIエレメントツリーを読み取り、クリックや入力などの操作を実行できるようにします。システムから表示されるプロンプトで許可してください。
QoderWorkがアプリウィンドウのスクリーンショットを撮影し、AIが現在のインターフェースの状態を「見る」ことができるようにします。システム設定の「プライバシーとセキュリティ」→「画面収録」でQoderWorkを追加してください。
認証完了後、AIがアプリを操作しようとする際にQoderWorkが確認を求めます。設定で実行ポリシーを選択できます：
| ポリシー | 説明 |
| :-------------- | :------------------------- |
| **毎回確認**（デフォルト） | AIがデスクトップ操作を行うたびに事前確認を求めます |
| **自動実行** | AIがデスクトップ操作を確認なしで直接実行します |
| **無効** | Computer Use機能を完全に無効にします |
## 操作プロセス
QoderWorkがComputer Useを実行する際、会話内で完全に透明な操作フローが表示されます：
1. **スクリーンショット** — AIが現在の画面をキャプチャしてインターフェースの状態を把握します
2. **操作の説明** — 各ステップの実行前にこれから何をするかを説明します
3. **操作の実行** — クリック、入力、スクロールなどのアクションを実行します
4. **結果の確認** — 操作後に再度スクリーンショットを撮り、結果が期待通りかを確認します
Computer Use中は、AIが操作しているアプリケーションやウィンドウに手動で触れないでください。あなたの操作がAIのアクションと競合する可能性があります。AIが現在のステップを完了するまで待ってから介入してください。
## 典型的なシナリオ
### アプリケーションからのデータ抽出
```plaintext theme={null}
Macのアクティビティモニタを開いて、CPUとメモリの使用量が多い上位5つのプロセスを確認し、
結果を表にまとめてください
```
### システム設定の調整
```plaintext theme={null}
システムで自動アップデートが有効になっているか確認してください。
無効ならオンにしてください
```
### アプリ横断の情報統合
```plaintext theme={null}
今日のカレンダーにあるすべての会議を確認し、
メモアプリに「本日の会議準備」というノートを作成して、
各会議の時間と準備すべきことをリストアップしてください
```
## 使い方のヒント
**対象アプリとパスを明確に伝える**
QoderWorkにどのアプリを操作するか、どこに行くかを伝えましょう。「何か設定して」よりも具体的に指示する方がはるかに効果的です。
**複雑な指示は段階的に**
操作ステップが多い場合は、何回かに分けてAIに指示を出しましょう。最初のステップを完了させ、問題ないことを確認してから次に進みます。
**Skillと組み合わせて自動化**
頻繁に繰り返すインターフェース操作は[Skill](/ja/qoderwork/skills)として保存すれば、一言で全プロセスをトリガーできます。
## セキュリティに関する注意事項
アクセス権限を付与することは操作権限を付与することを意味します。有効にすると、AIはあなたの代わりにコンピュータ上の他のアプリを操作でき、あなた本人が操作するのと同等の効果があります。不要な場合は設定で無効にしてください。
* **一部の操作は取り消し不可** — AIがデスクトップアプリで実行した操作（メッセージの送信、ファイルの削除など）は元に戻せない場合があります。リスクの高い場面では「毎回確認」ポリシーの使用をおすすめします。
* **画面コンテンツがキャプチャされる** — AIはスクリーンショットを通じてインターフェースを認識するため、画面に表示されているすべてのコンテンツ（機密情報を含む）がキャプチャされる可能性があります。自動化を実行する前に、パスワードやプライベートデータを含むウィンドウを閉じてください。
* **ネットワーク操作には注意** — AIがあなたのログイン状態を含むアプリを操作した場合、メールの送信やフォームの提出などをあなたの代わりに行える可能性があります。このような操作には警戒を保ってください。
## 制限事項
* **認証コードと二段階認証** — AIはCAPTCHA、SMS認証コード、顔認証などの操作を完了できず、手動での対応が必要です。
* **速度** — Computer Useはスクリーンショットの撮影と画面分析が必要なため、テキストのみの操作より遅くなります。
* **精度** — インターフェースが複雑だったり要素が密集している場合、AIのクリック精度が十分でないことがあります。操作が失敗した場合は、より具体的に説明してみてください。
## 次のステップ
ブラウザ・カレンダー・Microsoft 365・DingTalk などを接続
最前面のアプリを会話コンテキストに