これは何のサイト?
Testsy は AI コーディング向けの自動品質検証サービスです。何を操作し、最後に画面上で何が成立しているべきかを自然言語で伝えると、実ブラウザ、または指定バージョンの iPhone / iPad / Android 上で実行し、再生可能な証拠を返します。ソースコードは読まず、ユーザーが見える画面の値だけで判定するため、自分の成果を自分で認めるコーディング Agent への外部検証向きであり、従来のスクリプト基盤を丸ごと置き換える用途ではありません。
主な機能
- 自然言語でフローとアサーションを書き、読める手順とチェック項目を確認してから実行
- Chrome、または選定した OS バージョンのデバイス環境で Web / iOS / Android を実行
- 各実行は passed / failed / blocked / inconclusive を返し、期待値と実測値を添付
- リプレイ、動画、スクリーンショット、コンソール、ネットワーク結果を修正プロンプトとしてコピー可能
- MCP、CLI、REST API、CI 連携で計画・保存・再実行
- 登録系フロー用の専用メールボックス、有料プランでは SMS と通話番号も利用可
よくある利用シーン
- Lovable、Bolt、Replit、v0 で作ったプレビュー URL を貼り、登録や決済など重要導線を画面結果で確認する(Agent の「直った」発言だけに頼らない)
- Cursor / Claude Code / Codex を MCP 接続後、変更直後に保存済みテストを再実行し、局所修正がクーポンやログインを壊していないか見る
- 小規模チームがログイン、メール確認、SMS コードを繰り返し可能な項目にし、デプロイ後に CI から起動して JUnit / JSON を出す
- 特定の iOS / Android バージョンで画面を見る必要があるとき、ビルドを上げ、自然言語で操作を書いて文言や数値を照合する
向いているユーザー
- AI でサイトやアプリを速く出すが、専任 QA がいない個人開発者や小規模チーム
- PR 前にコーディング Agent が重要導線を外部証拠で自己確認してほしいエンジニア
- Web とモバイルの両方、さらにメール / SMS の受信確認が必要なプロダクト担当
- あまり向かない:成熟したセレクタ脚本体系がある、API / 負荷試験が主目的、従量課金や実行時間上限を受け入れられないチーム
類似ツールとの比較は?
従来のスクリプト基盤と「どちらがより完全か」で比べるより、次の観点で合うかを見る方が実務的です。
- 入力方式:自然言語と Agent / MCP 駆動か、手書きセレクタとテストコードか
- 判定証拠:期待値 / 実測値、リプレイ位置、captcha やログイン壁で止まったときの blocked 区別が要るか
- カバー範囲:Web に加え選定 OS の iOS / Android、専用メール / SMS 経路が要るか
- 課金形態:テスト1回×プラットフォーム1つで課金し、1回あたりの実行時間上限あり。使い切りの試用枠のあとは有料プラン
ユーザーの声
- AI アプリ制作者は、Agent が登録完了と言っても挨拶が空になる場面が多く、リプレイの期待値と実測値を突き合わせると Agent へ欠陥を戻しやすいと感じる
- 小規模チームのエンジニアは保存済みテストをデプロイ後に回し、料金ページの局所変更でチェックアウト割引の誤りをマージ前に見つける
- モバイル検証担当は、自前の端末マトリクスなしで指定 OS 上の SMS とメール確認を見られる点を重視する
- Playwright / Appium の自前ライブラリが中心、または従量プランを大きく超える量なら、自然言語 QA は重要導線の補完向きで、既存体系の全面置換には向きにくい
よくある質問
Q: Testsy と自作の自動テスト脚本はどう違う?
A: 自然言語の記述と画面値の証拠を中心に、コーディング Agent への外部検証向け。従来脚本は長期・細粒度・高度にカスタムした回帰ライブラリ向きです。
Q: 1 回の run はどう数える?
A: 公式説明では、1 つのテストを 1 つのプラットフォームで実行すると 1 回。同じテストを Web と Android で走らせると 2 回。サイト側に止められて blocked になった実行は課金されません。
Q: 無料トライアルの内容は?
A: 一度きりの 10 回実行、プロジェクト 1 つ、同時実行は Web または App で 1 本。Web / iOS / Android が使え、通常カード登録は不要です。
Q: ログインが必要なページは試せる?
A: プロジェクトにログインアカウントを一度保存し、テストから参照できます。パスワードはテスト本文にも結果にも出ません。



















