• Home
  • Insights
  • 一個AI智能體啱啱做咗一場腦部手術。拒絕比手術刀更重要。

By Keshavan Thiagaraja

董事會成日問我同一條關於AI智能體嘅問題:佢哋幾時會由建議變成行動?三藩市一間實驗室今個禮拜答咗呢條問題,而答案嚟得比大多數管治框架都快。

Gabriel Ocana-Santero係Exin Therapeutics嘅聯合創辦人兼行政總裁,呢間初創公司專門研發治療癲癇同神經退行性疾病嘅藥物。佢將一個AI智能體連接到一套度身訂造嘅手術裝置。呢套裝置可以固定一隻老鼠、用攝影機觀察手術過程、移動注射針同控制化合物嘅輸送。然後佢嘅團隊退埋一邊。

呢個運行喺Anthropic嘅Claude Sonnet 5上嘅智能體,收到一張列有十九種候選基因療法嘅試算表同一條指令:減少呢隻老鼠嘅癲癇發作。佢分析咗呢個模型入面癲癇點樣發作,揀咗一種可以增強大腦特定抑制性信號通路嘅療法,揀咗科學文獻認定為呢類癲癇起源嘅腦區,並且以書面解釋否決咗第二個候選區域,理由係佢嘅效果太唔可靠。佢由三篇科學論文推導出注射座標,交叉核對參考點之後取平均值。佢自己設定注射量、速度同等待時間。手術期間,佢透過攝影機做咗三十二次觀察,追蹤注射進度同報告有冇見到出血。獸醫外科醫生做咗開顱手術;之後嘅一切都係智能體嘅嘢。老鼠康復得好好。

據我所知,呢個係AI智能體第一次既揀咗治療方案又將佢真正施用喺活嘅哺乳動物身上。手術機械人多年嚟一直都更加精準,但揀手術嘅永遠係人。今次係機器揀。

最有啟發性嘅細節唔係手術本身,而係嗰次拒絕。

團隊最初試嘅係Anthropic更強嘅推理模型Claude Opus 5.5。佢做咗實驗規劃,然後拒絕引導支針。佢嘅理由係:喺麻醉咗嘅動物腦入面留低支針中途停低,比一開始唔做仲差。而日常模型Sonnet 5就同意繼續。呢點要讀兩次。能力同謹慎係兩個獨立嘅掣。房入面最勁嘅模型,唔係肯做手術嗰個。任何將智能體部署入物理或金融系統嘅機構,都應該將模型選擇當係風險決策,唔係採購決策。

安全措施同樣值得關注,因為佢哋係機制性嘅,唔係得把口。持牌獸醫批准咗每一個不可逆轉嘅步驟。有人揸住可以截斷所有摩打電源嘅實體緊急停止掣。智能體被禁止修改裝置嘅底層代碼。手術中途,一次斷線破壞咗裝置嘅座標系統。智能體檢測到計算出嘅位置超出咗裝置嘅物理活動範圍,拒絕繼續,連續三次,就算動物就喺手術檯上面。嗰個令團隊沮喪嘅限制,正正就係防止錯誤注射嘅同一個限制。佢哋最後用另一個從來冇被話知有即時手術進行緊嘅智能體解決咗問題。

呢個就係控制平面嘅樣。唔係一份政策PDF,而係喺最壞時刻出問題都依然有效嘅分層約束。

對每一位將智能體部署到聊天視窗以外嘅管理層,有三點啟示。第一,數清楚你嘅智能體接觸現實世界嘅每一個環個環節:實驗室設備、車輛、交易系統、工業控制、病人流程。如果你數唔出,你擁有嘅唔係管治,係僥倖。第二,為拒絕而設計。一個喺時間緊迫嘅手術入面話唔嘅智能體唔係缺陷;嗰個係對齊緊喺度運作,你嘅營運模式一定要從容咁消化呢種停頓。第三,永遠唔好俾操作嘅智能體幫自己嘅功課打分。Exin需要第二個同上下文隔離嘅智能體嚟整返第一個嘅工具。職責分離係一項古老嘅控制手段,佢只係多咗個新領域。

2030年嘅實驗室,會由科學家同有手嘅智能體拍檔組成。得益嘅公司唔會係擁有最大膽智能體嘅公司,而係嗰啲智能體清楚知道幾時要停嘅公司,同埋嗰啲領導者喺做示範之前已經先整好停止掣嘅公司。

以數學思維思考。以智慧工程。以戰略領導。負責任咁建設。喺全球擴展。透過人工智能創造真正嘅商業價值。

#ArtificialIntelligence #AIStrategy #MachineLearning #Research #ITImpress

Share this post

Subscribe to our newsletter

Keep up with the latest blog posts by staying updated. No spamming: we promise.
By clicking Sign Up you’re confirming that you agree with our Terms and Conditions.