Build Studio は Jinba Trail の中心です。タスクを平易な言葉で記述し、AIエージェントが実際のブラウザーを操作して一度だけデモする様子を見守り、キャプチャされた内容をレビューして修正し、呼び出し可能なエンドポイントとして公開するための、2ペインのコックピットです。

2つのペイン

Get order statusportal.northwind-supply.exampleRecording
STEPS (editable)
1 navigate /login
2 fill order id
3 extract status → status
💬 “clicking the search field…”
Publish →
LIVE BROWSER
portal.northwind-supply.example/login
real Chromium, streamed live
highlight + ghost-cursor overlay
⚠ Sign-in needed here
Sign in & continue →
INSPECTOR
idle● recordingcapturedpublishedcancelederror
awaiting
null
  • 手順ペイン — エージェントがこれまでにキャプチャした操作(navigatefillclickselectextract など)をライブで追記していくリストと、エージェントの進行中のコメントが表示されます。キャプチャされた手順はすべて編集できます。名前を変更したり、余計なクリックを削除したり、公開前に並べ替えたりできます。
  • ブラウザーペイン — エージェントの実際の Chromium セッションがライブでストリーミングされます。シミュレーションではなく、エージェントが操作しているのと同じブラウザーを見ているため、エージェントが停止して助けを求めたときは、ページ上で直接操作できます。
ヘッダーの状態ドットは、オーサリングセッションがブラウザーを能動的に操作している間は 記録中 と表示されます。このラベルが製品内で使われるのはここだけです。オートメーションが公開されると、その状態は ライブ失敗中、または実行中の呼び出しを表す 実行中 になり、記録中 にはなりません。失敗中 の意味については、失敗しているオートメーションのトラブルシューティング を参照してください。

フローを順に見る

1

タスクを記述する

名前、対象サイト、平易な言葉で書いたタスク(たとえば「注文の配送状況を取得する」)を指定して、新しいオートメーションを作成します。ここで型付きパラメータを任意で宣言することもできます(下記参照)。手順を生成 をクリックします。
2

エージェントの記録を見守る

エージェントはゴールに向けてライブ Chromium セッションを操作し、ライブブラウザー表示を支える同じ接続上で、考えていることとキャプチャした各手順(navigatefillclickextract など)をストリーミングします。ここでは何も事前にスクリプト化されていません。エージェントがリアルタイムで作業する様子を見ています。この間ずっと、Build Studio の状態ドットは 記録中 と表示されます。
3

必要なときに人へ引き継ぐ (HITL)

エージェントが記録中の間、単独ではできない2つのことについて、一時停止して awaiting フラグを設定できます。これは記録中(Recording)のサブ状態であり、独立した状態ではありません。
  • login — エージェントが認証の壁にぶつかると一時停止し、サインインのためにライブブラウザーをあなたへ渡します。完了すると、認証情報フィールドに入力した内容は、記録内の平文ではなく、暗号化された シークレットスロット として保存され、エージェントが再開します。
  • input — エージェントがタスクをデモするためにサンプル値(注文IDや検索語など)を必要としています。あなたが値を指定すると、それは今後の呼び出し元が入力する型付きの 入力スロット{{orderId}})になります。
どちらの一時停止も同じライブペインに表示されます。信頼は、何が起きているかを正確に見られ、いつでも介入できることから生まれます。ヘッダーはその間も 記録中 のままです。変わるのは awaiting フラグと、それによって表示されるプロンプトオーバーレイだけです。
4

必要なら早めに停止する

エージェントが能動的に記録している間(ログインや入力の引き継ぎで止まっている間も含む)は、公開の隣に 停止 ボタンが表示されます。停止は最終的な操作です。セッションは canceled という終端状態に落ち着きますが、これはエラーではなく、再開もできません。もう一度試すには、手順を生成 をクリックして新しい記録を開始します。
5

レビューして編集する

エージェントが完了すると、キャプチャされた手順がレビューできる状態で表示されます。分かりやすいように手順名を変更したり、エージェントが誤って行った余分なクリックを削除したり、値を修正したりできます。いずれも、何かが公開される前に行います。ここでは、手順のリテラル値を型付きパラメータにバインドすることもできます(下記参照)。
6

公開する

公開では、レビュー済みの手順が Recording にコンパイルされ、それが決定論的なブラウザー Tool にコンパイルされ、さらにその Tool が FlowSpec にコンパイルされ、その content-addressed digest がライブデプロイとしてピン留めされます。この時点から、オートメーションの呼び出しがモデルに触れることはありません。記録が正確にリプレイされます。

Recording の状態

Build Studio のクライアント状態は、小さく閉じた集合です。6つの状態に加えて、記録中にだけ適用されるサブフラグが1つあります。独立した needs_login / needs_input / compiled 状態はありません。これらはそれぞれ recordingawaiting 経由)と公開遷移に折り込まれます。
状態意味そこに到達する方法
idle新しい studio で、まだ何も記録されていないオートメーションを作成した直後、またはリセット後
recordingエージェントループが Chromium を能動的に操作し、SSE 経由で考えていることと手順をストリーミングしている。これには、ログイン/入力の引き継ぎで停止している状態も含まれる(下記の awaiting 参照)手順を生成 をクリックする
capturedエージェントが完了した(または公開済み Flow が再オープンされた)。手順が目の前にあり、編集可能記録が正常に完了する、または公開済みオートメーションで 編集 を押すと captured として再オープンされる
publishedエンドポイントがピン留めされた digest でライブになっている公開 が成功する
canceledユーザーが実行途中で記録を停止した。終端状態だが、明示的にエラーではないため、失敗バナーは表示されないrecording 中に 停止 をクリックする
error終端の失敗メッセージが表示されているエージェントループでエラーが起きる、または公開が拒否される(たとえば平文の認証情報が漏れている、コンパイルに失敗するなど)
staterecording の間、awaiting フラグは一時停止中の人への引き継ぎを追跡します。値は null(エージェントが通常どおり操作中)、"login"、または "input" です。このフラグはプロンプト文を持ち、ログイン停止の場合は事前入力するシークレットスロットも持ちます。awaiting が設定されている間も、これまでにキャプチャされた手順は変更されません。プロンプトを解決するとフラグがクリアされ、エージェントが記録を再開します。上の状態表に独立した「needs login」や「needs input」の行がないのは、このためです。それらは状態ではなく、recording のプロパティです。

型付きパラメータ

needs_input の一時停止中にエージェントがその場で作る入力スロットに加えて、事前に 型付きパラメータ を宣言できます。指定するのは、名前、型(string / number / boolean)、必須かどうか、任意の代表的なサンプル値です。

作成時

「新しいオートメーション」ダイアログには、任意のパラメータセクションがあります。ここで宣言したパラメータは最初の記録にシードされます。サンプル値を指定している場合、エージェントは一致するフィールドにそのサンプルを入力するため、最初から実データで Flow を動かせます。

後から設定で

オートメーションの設定ページには、ライブ記録とは独立して、後からパラメータを宣言または編集するための専用のパラメータセクションがあります。

手順のレビュー中

リテラル値を持つ手順では、値のすぐ下に2つのバインド方法が表示されます。+新しいパラメータを作成 は、そのリテラルから新しい名前付きパラメータを作ります。既存のパラメータを使用 は、少なくとも1つのパラメータが分かっている場合に表示され、同じ記録内で既に宣言または使用されているパラメータへ手順を向けます。これにより、2つの手順がそれぞれ独自のスロットを作るのではなく、同じ 実行時の値(たとえば検索と確認の両方で使う注文ID)を読み取るようになります。
この方法でバインドされたパラメータは、エージェントが作った入力スロットと同じように振る舞います。つまり、オートメーションのリクエストスキーマ内の名前付きフィールドになり、呼び出し元は各呼び出しでそれを指定します。バインドは元に戻せます。「リテラルに戻す」は、バインドされた手順を固定値に戻します。

「公開」が実際に行うこと

公開は、オーサリングから素の Browserflow エンジンへ引き渡す瞬間です。 オートメーションの状態は 公開済み に切り替わり、ライブ digest がピン留めされます。ここから先、すべての呼び出しは、オープンソースエンジンを支えるものと同じ決定論的な Rider を通ります。製品とエンジンの関係については、Jinba Trail とは何か を参照してください。

次のステップ

PlaygroundとAPIキー

公開したオートメーションを呼び出し、その認証に使うキーを管理します。

Docsページを読む

各エンドポイント向けに自動生成されるリクエスト/レスポンスリファレンスです。