Skip to main content
ツールと操作

コンピューター操作

AppShot、ブラウザー接続、デスクトップ操作、記録と再生を設定します。

Qoder はコードリポジトリや terminal 以外の操作にも対応します。Settings → Computer control で AppShot、ブラウザー接続、デスクトップ操作、ワークフロー記録を管理します。機能を有効にするときは、表示された OS 権限を付与します。

機能を選択する

機能用途対応環境
AppShot前面ウィンドウのスクリーンショットとアクセシビリティテキストを会話に追加。macOS 14+、Windows 10+
Browserログイン状態、Cookie、フォームを保持したまま既存の Chromium ブラウザーに接続。Qoder デスクトップアプリ
Computer UseAgent がデスクトップアプリを確認して操作。macOS 14+、Windows 10+
Record & Replay実演した操作を再利用可能な Skill に変換。macOS 14+
各機能は Settings → Computer control で設定します。アプリを操作させる場合は Enable Computer Use、操作手順を記録する場合は Enable Record & Replay を先に有効にします。

AppShot

AppShot → Global shortcut でショートカットを選びます。別のアプリを前面にして、選択した修飾キーの左右を同時に押します。
プラットフォーム選択可能なショートカット
macOS⌘ + ⌘⌥ + ⌥⇧ + ⇧
WindowsCtrl + CtrlAlt + AltShift + Shift
無効にする場合は Disabled を選択します。詳細はアプリスナップショットを参照してください。

ブラウザー接続

ブラウザー接続では、既存の Chromium ブラウザーに接続し、tab の一覧表示と切り替え、ページ移動、click、フォーム入力、screenshot、script 実行、network request や console message の確認を行えます。別の隔離ブラウザーを起動する機能ではありません。
  1. Browser → Google Chrome を有効にします。
  2. ページのリンクから Qoder browser extension をインストールし、browser 側で接続します。
  3. 複数の browser が接続されている場合は、接続詳細で現在の session に使う instance を選択します。
外部ブラウザー接続は Qoder desktop app でのみ利用できます。同じ extension を Chrome、Edge、Quark などの Chromium browser で使用できます。

デスクトップアプリの操作

会話で対象 app、操作可能な範囲、完了条件を指定します。Qoder が Computer Use を開始したら、必要に応じて Accessibility または Screen Recording 権限を付与します。Agent は app の状態を確認し、click や入力を行い、操作後の結果を確認できます。 API、CLI、専用 Connector がある場合はそれらを優先し、GUI 操作が必要な場合に Computer Use を使用します。
Agent が操作中の app を同時に click したり入力したりしないでください。高リスクの操作は元に戻せない場合があります。開始前に対象、範囲、Access permissions を確認してください。

記録と再生

  1. 記録する workflow、開始地点、期待する結果を Qoder に伝えます。
  2. 記録要求を承認し、必要な OS 権限を付与します。
  3. floating control を使って通常どおり操作を実演します。
  4. 保存または破棄します。保存すると会話が続行され、workflow が Skill に変換されます。
Record & Replay には macOS 14 以降が必要です。

プライバシーと安全性

  • タスクに必要な機能だけを有効にし、使用後は無効にします。
  • ページ、ウィンドウ、screenshot の内容は Agent の context に入ります。password、verification code、key、金融情報、個人情報を含むウィンドウは閉じてください。
  • workflow の記録では、実際の資格情報ではなく placeholder を使用します。
  • Accessibility と Screen Recording の権限は OS settings から取り消すこともできます。
コンピューター操作 - Qoder