判斷轉折 · 12 · AI 治理
AI 拿得到 OTP,不代表它什麼都可以做
場景|用 AI Agent 做一次 User Testing。
原本看 AI Agent,先看它做不做得到。
後來先問誰授權、代表誰、可以做到哪一步、能不能隨時停下。
01我原本怎麼想
原本只是想用 AI Agent 做一次 User Testing。
02發現什麼問題
它一路完成註冊登入、取得 Email OTP、填寫資料、選方案、完成預約、再取消預約,最後還整理了缺陷與測試紀錄。
我的第一個感受不是「AI 好厲害」,而是:當 AI 已經可以代表一個人操作系統,我們準備好讓它做到哪裡了?
03為什麼改變判斷
同一時間,Amazon 擋下了代替使用者購物的 Agent,理由是沒有取得平台授權、也沒有清楚表明身分。問題已經不是 AI 做不做得到,而是誰授權它做、平台允不允許、它到底代表誰。
04後來怎麼做
把 Agent 的問題從 Login 往下拆成 Delegation:Identity → Permission → Action → Audit → Human Control。
這次操作的是本人還是 AI?被授權看到哪些資料?哪些動作需要本人再次確認?出問題能不能完整追溯、立即停止?
「Agent 時代真正要重新設計的,不只是 Login,而是 Delegation。」
— 原文