QoderWorkにコンピュータ上のアプリケーションを直接操作させる
会話内でのファイルやデータの処理に加え、QoderWorkはコンピュータの画面を直接「見て」「操作する」こともできます。ボタンのクリック、フォームの入力、アプリケーションの切り替えなど、さまざまな操作が可能です。この機能はComputer Use（コンピュータ操作）と呼ばれ、グラフィカルインターフェース上での操作が必要なタスクを完了できるようにします。
会話の中でグラフィカルインターフェースでの操作が必要なタスクを直接説明すると、QoderWorkが自動的に判断しComputer Useを起動します：
コンピュータ操作を使用する前に、コネクターで「コンピュータ制御」を有効にする必要があります：
コネクターを有効にした後、初回使用時に QoderWork が 2 つのシステム権限の付与をガイドします：
認証完了後、AIがアプリを操作しようとする際にQoderWorkが確認を求めます。設定で実行ポリシーを選択できます：
QoderWorkがComputer Useを実行する際、会話内で完全に透明な操作フローが表示されます：
対象アプリとパスを明確に伝える
QoderWorkにどのアプリを操作するか、どこに行くかを伝えましょう。「何か設定して」よりも具体的に指示する方がはるかに効果的です。
複雑な指示は段階的に
操作ステップが多い場合は、何回かに分けてAIに指示を出しましょう。最初のステップを完了させ、問題ないことを確認してから次に進みます。
Skillと組み合わせて自動化
頻繁に繰り返すインターフェース操作はSkillとして保存すれば、一言で全プロセスをトリガーできます。
主な機能
画面認識
対象アプリのウィンドウに表示されているコンテンツを読み取り、レイアウト、ボタンのテキスト、フォームの状態などの視覚情報を理解します。操作中は継続的にスクリーンショットを撮影し、前のステップが成功したかを確認してから次のアクションを決定します。
マウスとキーボードの制御
クリック、ダブルクリック、ドラッグ、テキスト入力、キーボードショートカットなど、完全な人間の入力方式に対応しています。ピクセルレベルの操作精度で、小さなUI要素も正確にクリックできます。
バックグラウンドでの自動実行
バックグラウンドでマウス、キーボード、スクリーンショットを駆動し、フォアグラウンドのフォーカスを奪いません。あなたは他の作業を続けることができ、AIがバックグラウンドで静かにタスクを完了します。
アプリ横断ワークフロー
複数のデスクトップアプリケーション間を切り替え、複数のステップを連結して完全なワークフローを構築します。リアルタイムのフィードバックに基づいて次のステップを動的に調整し、固定スクリプトをそのまま実行するのではありません。
使用シーン
- APIのないデスクトップアプリの操作 — 対象アプリにコマンドラインやプラグインがない場合、AIがグラフィカルインターフェースを直接操作します。例えば、デザインツールでパラメータを調整したり、管理画面で設定を一括変更したりできます。
- アプリ横断ワークフロー — タスクが複数のアプリにまたがる場合、AIが自動的にウィンドウを切り替え、データをコピーし、フォームに入力して、エンドツーエンドで完了します。
- GUIの検証とテスト — インターフェースの変更が期待通りに動作するか確認したり、GUIでのみ発生する問題を再現したり、特定の操作シーケンスに対するアプリの応答をチェックしたりできます。
- 情報の収集と統合 — エクスポート機能のないアプリからデータを抽出したり、複数のアプリに散在する情報を集約したりできます。
システム要件
- macOS 14 以降
- アクセシビリティ権限と画面収録権限の付与が必要
使い方
会話の中でグラフィカルインターフェースでの操作が必要なタスクを直接説明すると、QoderWorkが自動的に判断しComputer Useを起動します：
コンピュータ操作の有効化
コンピュータ操作を使用する前に、コネクターで「コンピュータ制御」を有効にする必要があります：
1
コネクターを開く
拡張 → コネクター に移動し、「コンピュータ制御」カードを見つけてクリックして有効にします。
2
権限の説明を確認
ポップアップにコネクターの機能説明が表示されます：
- AI 強化ツール — デスクトップ自動化機能を提供：クリック、入力、スクロール、スクリーンショットなどのデスクトップ操作ツール
- 常に権限を遵守 — Computer Use は動作中に必要に応じてシステム権限を処理します
- すべてあなたの管理下 — このポップアップからいつでもコネクターを無効にできます
システム権限の付与
コネクターを有効にした後、初回使用時に QoderWork が 2 つのシステム権限の付与をガイドします：
1
アクセシビリティ権限
QoderWorkがアプリのUIエレメントツリーを読み取り、クリックや入力などの操作を実行できるようにします。システムから表示されるプロンプトで許可してください。
2
画面収録権限
QoderWorkがアプリウィンドウのスクリーンショットを撮影し、AIが現在のインターフェースの状態を「見る」ことができるようにします。システム設定の「プライバシーとセキュリティ」→「画面収録」でQoderWorkを追加してください。
| ポリシー | 説明 |
|---|---|
| 毎回確認（デフォルト） | AIがデスクトップ操作を行うたびに事前確認を求めます |
| 自動実行 | AIがデスクトップ操作を確認なしで直接実行します |
| 無効 | Computer Use機能を完全に無効にします |
操作プロセス
QoderWorkがComputer Useを実行する際、会話内で完全に透明な操作フローが表示されます：
- スクリーンショット — AIが現在の画面をキャプチャしてインターフェースの状態を把握します
- 操作の説明 — 各ステップの実行前にこれから何をするかを説明します
- 操作の実行 — クリック、入力、スクロールなどのアクションを実行します
- 結果の確認 — 操作後に再度スクリーンショットを撮り、結果が期待通りかを確認します
典型的なシナリオ
アプリケーションからのデータ抽出
システム設定の調整
アプリ横断の情報統合
使い方のヒント
対象アプリとパスを明確に伝える
QoderWorkにどのアプリを操作するか、どこに行くかを伝えましょう。「何か設定して」よりも具体的に指示する方がはるかに効果的です。
複雑な指示は段階的に
操作ステップが多い場合は、何回かに分けてAIに指示を出しましょう。最初のステップを完了させ、問題ないことを確認してから次に進みます。
Skillと組み合わせて自動化
頻繁に繰り返すインターフェース操作はSkillとして保存すれば、一言で全プロセスをトリガーできます。
セキュリティに関する注意事項
- 一部の操作は取り消し不可 — AIがデスクトップアプリで実行した操作（メッセージの送信、ファイルの削除など）は元に戻せない場合があります。リスクの高い場面では「毎回確認」ポリシーの使用をおすすめします。
- 画面コンテンツがキャプチャされる — AIはスクリーンショットを通じてインターフェースを認識するため、画面に表示されているすべてのコンテンツ（機密情報を含む）がキャプチャされる可能性があります。自動化を実行する前に、パスワードやプライベートデータを含むウィンドウを閉じてください。
- ネットワーク操作には注意 — AIがあなたのログイン状態を含むアプリを操作した場合、メールの送信やフォームの提出などをあなたの代わりに行える可能性があります。このような操作には警戒を保ってください。
制限事項
- 認証コードと二段階認証 — AIはCAPTCHA、SMS認証コード、顔認証などの操作を完了できず、手動での対応が必要です。
- 速度 — Computer Useはスクリーンショットの撮影と画面分析が必要なため、テキストのみの操作より遅くなります。
- 精度 — インターフェースが複雑だったり要素が密集している場合、AIのクリック精度が十分でないことがあります。操作が失敗した場合は、より具体的に説明してみてください。