2つのペイン
- 手順ペイン — エージェントがこれまでにキャプチャした操作(
navigate、fill、click、select、extractなど)をライブで追記していくリストと、エージェントの進行中のコメントが表示されます。キャプチャされた手順はすべて編集できます。名前を変更したり、余計なクリックを削除したり、公開前に並べ替えたりできます。 - ブラウザーペイン — エージェントの実際の Chromium セッションがライブでストリーミングされます。シミュレーションではなく、エージェントが操作しているのと同じブラウザーを見ているため、エージェントが停止して助けを求めたときは、ページ上で直接操作できます。
ヘッダーの状態ドットは、オーサリングセッションがブラウザーを能動的に操作している間は 記録中 と表示されます。このラベルが製品内で使われるのはここだけです。オートメーションが公開されると、その状態は ライブ、失敗中、または実行中の呼び出しを表す 実行中 になり、記録中 にはなりません。
失敗中 の意味については、失敗しているオートメーションのトラブルシューティング を参照してください。フローを順に見る
タスクを記述する
名前、対象サイト、平易な言葉で書いたタスク(たとえば「注文の配送状況を取得する」)を指定して、新しいオートメーションを作成します。ここで型付きパラメータを任意で宣言することもできます(下記参照)。手順を生成 をクリックします。
エージェントの記録を見守る
エージェントはゴールに向けてライブ Chromium セッションを操作し、ライブブラウザー表示を支える同じ接続上で、考えていることとキャプチャした各手順(
navigate、fill、click、extract など)をストリーミングします。ここでは何も事前にスクリプト化されていません。エージェントがリアルタイムで作業する様子を見ています。この間ずっと、Build Studio の状態ドットは 記録中 と表示されます。必要なときに人へ引き継ぐ (HITL)
エージェントが記録中の間、単独ではできない2つのことについて、一時停止して
awaiting フラグを設定できます。これは記録中(Recording)のサブ状態であり、独立した状態ではありません。- login — エージェントが認証の壁にぶつかると一時停止し、サインインのためにライブブラウザーをあなたへ渡します。完了すると、認証情報フィールドに入力した内容は、記録内の平文ではなく、暗号化された シークレットスロット として保存され、エージェントが再開します。
- input — エージェントがタスクをデモするためにサンプル値(注文IDや検索語など)を必要としています。あなたが値を指定すると、それは今後の呼び出し元が入力する型付きの 入力スロット(
{{orderId}})になります。
awaiting フラグと、それによって表示されるプロンプトオーバーレイだけです。必要なら早めに停止する
エージェントが能動的に記録している間(ログインや入力の引き継ぎで止まっている間も含む)は、公開の隣に 停止 ボタンが表示されます。停止は最終的な操作です。セッションは canceled という終端状態に落ち着きますが、これはエラーではなく、再開もできません。もう一度試すには、手順を生成 をクリックして新しい記録を開始します。
レビューして編集する
エージェントが完了すると、キャプチャされた手順がレビューできる状態で表示されます。分かりやすいように手順名を変更したり、エージェントが誤って行った余分なクリックを削除したり、値を修正したりできます。いずれも、何かが公開される前に行います。ここでは、手順のリテラル値を型付きパラメータにバインドすることもできます(下記参照)。
Recording の状態
Build Studio のクライアント状態は、小さく閉じた集合です。6つの状態に加えて、記録中にだけ適用されるサブフラグが1つあります。独立したneeds_login / needs_input / compiled 状態はありません。これらはそれぞれ recording(awaiting 経由)と公開遷移に折り込まれます。
| 状態 | 意味 | そこに到達する方法 |
|---|---|---|
idle | 新しい studio で、まだ何も記録されていない | オートメーションを作成した直後、またはリセット後 |
recording | エージェントループが Chromium を能動的に操作し、SSE 経由で考えていることと手順をストリーミングしている。これには、ログイン/入力の引き継ぎで停止している状態も含まれる(下記の awaiting 参照) | 手順を生成 をクリックする |
captured | エージェントが完了した(または公開済み Flow が再オープンされた)。手順が目の前にあり、編集可能 | 記録が正常に完了する、または公開済みオートメーションで 編集 を押すと captured として再オープンされる |
published | エンドポイントがピン留めされた digest でライブになっている | 公開 が成功する |
canceled | ユーザーが実行途中で記録を停止した。終端状態だが、明示的にエラーではないため、失敗バナーは表示されない | recording 中に 停止 をクリックする |
error | 終端の失敗メッセージが表示されている | エージェントループでエラーが起きる、または公開が拒否される(たとえば平文の認証情報が漏れている、コンパイルに失敗するなど) |
state が recording の間、awaiting フラグは一時停止中の人への引き継ぎを追跡します。値は null(エージェントが通常どおり操作中)、"login"、または "input" です。このフラグはプロンプト文を持ち、ログイン停止の場合は事前入力するシークレットスロットも持ちます。awaiting が設定されている間も、これまでにキャプチャされた手順は変更されません。プロンプトを解決するとフラグがクリアされ、エージェントが記録を再開します。上の状態表に独立した「needs login」や「needs input」の行がないのは、このためです。それらは状態ではなく、recording のプロパティです。型付きパラメータ
needs_input の一時停止中にエージェントがその場で作る入力スロットに加えて、事前に 型付きパラメータ を宣言できます。指定するのは、名前、型(string / number / boolean)、必須かどうか、任意の代表的なサンプル値です。
作成時
「新しいオートメーション」ダイアログには、任意のパラメータセクションがあります。ここで宣言したパラメータは最初の記録にシードされます。サンプル値を指定している場合、エージェントは一致するフィールドにそのサンプルを入力するため、最初から実データで Flow を動かせます。
後から設定で
オートメーションの設定ページには、ライブ記録とは独立して、後からパラメータを宣言または編集するための専用のパラメータセクションがあります。
手順のレビュー中
リテラル値を持つ手順では、値のすぐ下に2つのバインド方法が表示されます。+新しいパラメータを作成 は、そのリテラルから新しい名前付きパラメータを作ります。既存のパラメータを使用 は、少なくとも1つのパラメータが分かっている場合に表示され、同じ記録内で既に宣言または使用されているパラメータへ手順を向けます。これにより、2つの手順がそれぞれ独自のスロットを作るのではなく、同じ 実行時の値(たとえば検索と確認の両方で使う注文ID)を読み取るようになります。
「公開」が実際に行うこと
公開は、オーサリングから素の Browserflow エンジンへ引き渡す瞬間です。 オートメーションの状態は 公開済み に切り替わり、ライブ digest がピン留めされます。ここから先、すべての呼び出しは、オープンソースエンジンを支えるものと同じ決定論的な Rider を通ります。製品とエンジンの関係については、Jinba Trail とは何か を参照してください。次のステップ
PlaygroundとAPIキー
公開したオートメーションを呼び出し、その認証に使うキーを管理します。
Docsページを読む
各エンドポイント向けに自動生成されるリクエスト/レスポンスリファレンスです。