PoCが失敗する最大の原因は、技術力でもデータ量でもありません。合格基準を決めずに始めることです。この記事では、AIのPoC着手前に文書化すべき7項目と、不動産・建設業の実務でそのまま使える合格基準テンプレートを示します。
なぜPoCは「やってみたが、その後が続かない」で終わるのか？
PoC倒れの正体は、技術的失敗ではなく判定不能です。終了報告会で「精度は悪くないですね」「ただ本番で使うにはまだ不安が…」という会話になり、追加検証が決まり、担当者の熱量だけが下がっていく。これが典型です。
現場で繰り返し見る原因は次の6つです。
| よくある失敗 | 具体的に何が起きるか |
|---|---|
| 目的が「AIが使えるか」になっている | 技術検証と業務検証が混ざり、何をもって成功か誰も答えられない |
| 検証データを整えてから渡す | 手書き・FAX・傾いたスキャンが除外され、本番投入初日に破綻する |
| 精度を1つの数字で語る | 「精度92%」の中身が問われず、契約金額の誤りと備考欄の誤りが同列に扱われる |
| 判定者が現場にいない | 情シスと役員だけで判定し、実際に使う担当者が「これでは使えない」と後から言う |
| 出口が未定 | 合格しても、本番開発の予算枠・担当・時期が空白で止まる |
| 期限と打ち切り条件がない | 改善余地は常に残るため、いつまでも終われない |
いずれも、開始前に紙1枚を書いていれば防げるものです。
PoCの合格基準とは何か？
PoCの合格基準とは、PoC終了時に「本番開発へ進む／進まない」を実施者の主観に依らず判定するために、開始前に文書化した測定可能な条件の集合である。
ポイントは3つです。
- 開始前に書く（終了後に基準を作ると、結果に合わせて基準が動く）
- 測定可能である（「使いやすいこと」は基準にならない）
- 不合格の定義も書く（合格条件だけでは打ち切れない）
PoCの前に決めるべき7項目とは？
以下の7項目を、A4用紙1枚に収めて関係者全員が署名できる状態にします。
| # | 項目 | 決め方の基準 |
|---|---|---|
| 1 | 対象業務の範囲（IN／OUT） | 業務名ではなく「画面Aの◯◯欄から画面Bの◯◯欄へ」など、入力と出力を物理的に特定する |
| 2 | 検証データ | 現場担当者が選ぶ。例外パターンを最低1件ずつ含める |
| 3 | 正解データ | 誰が、どの基準で正解を作るかを先に決める。正解を作れない業務はPoC対象外 |
| 4 | 誤りの種類別の閾値 | サイレント誤り／フラグ付き誤り／棄却の3分類で別々に設定 |
| 5 | 判定者 | その業務を毎日やっている担当者を必ず含める |
| 6 | 打ち切り条件 | 期限・検証回数・費用の3つで区切る |
| 7 | 合格後の約束 | 合格した場合に、いつ・誰が・どの予算枠で本番開発に進むか |
項目7が空欄のままのPoCは、合格しても止まります。PoCは投資判断の材料であって、投資判断そのものではないからです。
精度の合格ラインはどう決めればよいのか？
「精度95%以上」という書き方は、実務では機能しません。決めるべきは誤りの種類ごとの扱いです。
出力を次の3つに分類してください。
- A：サイレント誤り — AIが自信ありとして、誤った値をそのまま出す
- B：フラグ付き誤り — 誤っているが、AIが「確認してください」と印を付けている
- C：棄却 — AIが処理せず、人に回す
業務が壊れるのはAだけです。BとCは人の確認工程で吸収できます。したがって合格基準は「Aを極小に、Cは許容」という非対称な設計にします。
さらに、項目ごとに重みを変えます。
| 項目の例 | 誤ったときの影響 | 基準の置き方 |
|---|---|---|
| 契約金額、賃料、面積、住所、境界に関わる情報 | 取り返しがつかない | Aはゼロ件を要求。少しでも不確かなら棄却させる |
| 物件名、担当者名、日付 | 発見されやすく修正も容易 | Aに一定の許容幅を置く |
| 備考、フリーコメント | 業務影響が小さい | 合格判定の対象から外す選択もある |
工事写真の自動分類のように、国土交通省「デジタル写真管理情報基準（令和5年3月）」の「写真区分→工種→種別→細別」の階層に沿って出力する場合は、階層ごとに基準を分けるのが現実的です。写真区分の誤りは提出物全体に波及しますが、細別の誤りは局所的だからです。なお基準への適合可否の最終判断は発注者・監督員が行うため、PoCの合格＝提出可能の保証ではありません。
PoCはどの順番で進めるのか？
エクサテックが不動産・建設の案件で取る手順は次の通りです。特別なことはしませんが、順番を飛ばさないことを重視しています。
-
現場に同行し、実際の操作を観察する
マニュアルではなく画面操作を見ます。どの画面をどの順で開き、どこで手が止まり、何を紙にメモしているか。株式会社イーリアルティ様の転記エージェントでも、契約の前段階から何度も現場に足を運び、困りごとを理解するところから始めました。結果として、業務マニュアルが未整備という状態に対し、マニュアルを整備するのではなく、転記自体を自動化してマニュアル作成の必要を減らす方向に設計しています。 -
範囲を1業務に絞る
「書類作成全般」ではなく「マイソクからレインズ入力項目への転記」のように絞ります。範囲が広いPoCは、どの部分が失敗要因か切り分けできません。 -
検証データを現場担当者に選ばせる
「これができたら本物だと思うやつを出してください」と依頼します。整ったサンプルを渡してくる場合は、直近数か月の実ファイルから無作為に抜くよう切り替えます。 -
正解データを人手で作る
ここで正解が割れる業務は、AI以前に業務ルールが未定義です。PoCを止めて業務定義から着手します。 -
ブラインドで判定する
AI出力と人手出力を混ぜ、どちらか伏せて現場担当者に評価してもらいます。「AIが作った」と分かると採点が甘くなるためです。 -
判定会議の日程を、開始前に確定させる
終わってから日程調整をすると、結論が出るまでに熱量が失われます。
PoCでは判断できないことは何か？
PoCで測れるのは、主に出力の精度です。以下はPoCでは分かりません。ここを合格基準に含めないまま本番に進むと、動くけれど使われないシステムができます。
- 運用負荷 — 棄却された案件を誰がいつ処理するか。当番制が回るかは、数か月運用しないと分かりません。
- 時間経過による劣化 — 帳票フォーマットの変更、取引先のシステム更新、法改正への追随コストはPoC期間には現れません。
- 定着 — 担当者が既存のやり方に戻らないか。PoCは「見られている状態」で行われるため、実態より良い数字が出ます。
- 費用対効果の確定値 — PoCの結果から本番の削減時間を正確に外挿することはできません。
- 法的な責任の所在 — たとえば重要事項説明書は、宅地建物取引業法第35条にもとづき宅地建物取引士が説明し、書面には宅地建物取引士の記名が必要です（2022年5月18日の改正で押印は不要となり記名のみ）。AIができるのは下書きの生成までであり、説明義務や記名の主体を代替するものではありません。個別案件の解釈は専門家にご確認ください。
また、建設業では2024年4月1日から時間外労働の上限規制が全面適用されています（原則、月45時間・年360時間。特別条項でも年720時間以内等の上限あり／厚生労働省）。PoCの目的が労働時間の削減である場合、削減対象の業務が実際に時間外に発生しているかを先に確認してください。日中の空き時間に行っている作業を自動化しても、上限規制への効果は限定的です。36協定の運用は社労士等にご確認ください。
そのまま使える合格基準テンプレート
以下をコピーし、空欄を埋めてから着手してください。7項目すべてが埋まらない場合、PoCはまだ始めるべきではありません。
■ PoC合格基準シート（着手前に記入・関係者全員で確認）
1. 対象業務
入力：（ 例：先方から届くPDFのマイソク ）
出力：（ 例：基幹システムの物件登録画面 12項目 ）
対象外：（ 例：手書きFAX、画像のみのチラシ ）
2. 検証データ
件数：（ ）件 ／ 選定者：（現場担当者名 ）
必ず含める例外：□手書き □FAX受信 □傾き・かすれ
□旧フォーマット □記載漏れ □（ ）
3. 正解データ
作成者：（ ）／ 正解が割れた場合の裁定者：（ ）
4. 合格ライン（誤りの種類別）
A サイレント誤り（誤りに気づけない出力）
重要項目（金額・面積・住所・日付）：（ ）件以下
その他項目：（ ）件以下
B フラグ付き誤り：許容する ／ しない
C 棄却（人へ回す）：全体の（ ）%まで許容
※ Cが多くてもAが少なければ合格、という設計を推奨
5. 判定者
（現場担当者： ）（業務責任者： ）（情シス： ）
※ 現場担当者の合意なしに合格としない
6. 打ち切り条件
期限：（ 年 月 日）／ 検証は（ ）巡まで
上記を超えて閾値未達の場合、本番開発に進まない
7. 合格後の約束
本番開発の着手時期：（ ）
予算枠：（ ）／ 意思決定者：（ ）
運用時の例外処理担当：（ ）
まとめ
- PoCの失敗は技術的失敗ではなく、判定不能として現れる。原因は着手前に合格基準を書いていないこと
- 合格基準とは、開始前に文書化した、測定可能な判定条件の集合である
- 精度は単一の数字で語らず、サイレント誤り／フラグ付き誤り／棄却の3分類で、項目ごとに閾値を変える
- 検証データは発注側で整えず、現場担当者に難物を選ばせる
- 打ち切り条件と合格後の約束（着手時期・予算枠・運用担当）を書いていないPoCは、合格しても止まる
- PoCでは運用負荷・時間経過による劣化・定着・法的責任の所在は測れない
よくある質問
Q. PoCが失敗する最大の原因は何ですか？
A. 合格基準を開始前に決めていないことです。基準がないと、終了時の判断が「精度は悪くないが本番はまだ怖い」という主観論になり、追加検証を繰り返して費用と時間だけが消えます。対象範囲・誤り種類別の閾値・判定者・打ち切り条件を着手前に文書化してください。
Q. AIの精度は何％あれば合格ですか？
A. 一律の合格ラインはありません。決めるべきは「誤りの種類別の閾値」です。AIが自信なしとして人に回す棄却は許容し、黙って誤った値を出すサイレント誤りだけを厳しく縛る、という設計にします。契約金額や境界情報など、間違うと取り返しがつかない項目は個別に閾値を分けます。
Q. PoCの検証データはどう選べばよいですか？
A. 情シスや発注側が整えたきれいなデータではなく、現場担当者に「これができたら本物だ」と思う難物を必ず選んでもらいます。手書き、FAX受信、傾いたスキャン、旧フォーマット、記載漏れなど、日常的に発生する例外を最低1件ずつ含めた構成にしてください。
Q. PoCが合格しても本番で失敗することはありますか？
A. あります。PoCで測れるのは主に出力の精度で、例外処理の当番、フォーマット変更や法改正への追随、担当者の定着といった運用側の負荷は測れません。合格基準には「合格後に誰が運用を担うか」まで含めて記載しておくのが安全です。
Q. PoCの打ち切り条件はどう決めますか？
A. 期限・回数・費用の3つで区切ります。たとえば「検証は2巡まで、期限内に閾値未達なら本番開発に進まない」と先に決めます。打ち切り条件がないPoCは、改善余地が常に残るため終われず、判断の先送りが続きます。
ご相談について
エクサテックは、不動産・建設業の現場に入り込み、仕組みの設計からWebアプリの構築までを同一チームで担当しています。「PoCの合格基準をどう置けばよいか分からない」「前回のPoCが判断できないまま終わった」といった段階からのご相談も承っています。上記テンプレートの空欄を埋める打ち合わせからでも構いませんので、お気軽にお声がけください。
