最近在翻 Anthropic 為了準備上市交給美國 SEC 的 S-1/A 修正版招股書,裡面有一段風險揭露看得我印象超深。
一般科技公司寫招股書的「風險因子(Risk Factors)」,通常是在交代市場競爭激烈、供應鏈集中,或是雲端成本太高這類財務與營運問題。結果 Anthropic 在長達將近九十頁的風險章節裡,寫了一條以前大概只會在科幻小說或 AI 安全論壇看到的警告,說根據他們的內部預估,未來的模型可能很快(imminently)就會達到他們在《負責任擴展政策》(RSP)裡定義的「由 AI 帶來的大幅研發加速」,也就是大家常聽到的遞迴自我改進(Recursive Self-Improvement, RSI)。
先把招股書裡的原話跟界線講清楚,免得變成標題黨。Anthropic 在文件裡特別說明,目前已經發布的模型都還沒跨過這條門檻,這個預估針對的是接下來的未來模型。但他們同時在風險因子裡坦承了一個很真實的工程盲點,因為現在內部越來越依賴 Claude 來寫軟體跟處理研發任務,模型能力推進的速度,有時候已經超過人類團隊能完整看懂跟做安全檢查的步調,甚至過去就曾經發生過研發速度突然大幅跳升,團隊卻是「事後」才意識到的情況 😅
「事後才發現跑太快」這件事,我自己前陣子用 AI Agent 大改 Cairn 的時候才剛體驗過。以前開發新功能,時間都花在自己一行行把程式敲出來,腦袋的理解速度跟程式碼長出來的速度是同步的;現在靠 Agent 幫忙開分支、發 PR,幾分鐘就改完一個模組,結果整個瓶頸瞬間移到後面的測試跟驗收,逼得我把十二年前組來打電動的舊電腦都搬出來幫忙跑 CI。當你讓 Agent 去改下一個版本的系統,產出速度快到你沒辦法逐行看完的時候,心裡總會毛毛的,因為東西看起來跑得動,但你開始不確定底層哪個假設已經被偷偷改掉了。只是在 Anthropic 裡面,被放大的對象變成了下一代模型本身。
而且這段話是寫在 SEC 招股書裡,不是發在研究部落格上,讀起來又多了一層很微妙的荒謬感。在美國證券法底下,招股書的風險因子是公司的防彈衣,把最壞的情況寫得越聳動、越完整,以後萬一模型真的失控、或者因為安全問題被迫暫停商用導致股價大跌,公司就能拿這頁出來說「我上市前早就警告過各位股東了」。但放在 AI 產業裡,這段原本用來勸退與免責的法律條文,聽在華爾街投資人耳裡反而變成了最強的技術肌肉展示。用具有法律效力的文件告訴市場「我們的模型快要能自己幫自己加速研發了」,這句安全警告在資本市場上催出 FOMO 的效果,老實說比任何公關稿都還要猛。
更現實的衝突在後面那幾頁財務數字。Anthropic 採的是公益公司(PBC)架構,他們在風險章節裡很誠實地提醒投資人,一旦未來模型觸發了高風險的安全門檻,公司有義務暫停訓練或推遲商業部署,哪怕這會直接傷害短期的營收跟股價。但只要往後翻到同一份文件的財務章節,就會看到為了支撐接下來的算力需求,他們簽下的長期採購與租賃承諾總額高達約 8,954 億美元,一路綁到 2030 跟 2040 年代,其中光是在未來十二個月內到期的承諾支出就有將近 698 億美元,給 Google Cloud 跟 TPU 的最低保底承諾也超過 1,213 億美元 🫠
以前在私人實驗室階段,投資人是少數幾家創投跟科技巨頭,喊暫停已經很不容易;現在一旦掛牌上市,每天面對公開市場的股價波動、每一季要交出財報,背後還背著將近九千億美元不能毀約的算力帳單。當「模型自我加速」讓研發越跑越快,而每一天的算力折舊都在燒掉真金白銀的時候,一家上市公司真的有辦法只因為內部觸發了安全指標,就自己伸手按下暫停鍵嗎?
這讓我想到以前金融海嘯前華爾街的風險管理部門。當年每家投行也都有非常嚴謹的風控模型跟停損線,也全部寫進了公開財報裡,但在牛市狂奔、競爭對手都在加槓桿的時候,沒有任何一個風控長敢真的把交易室的電源拔掉,最後往往是把風險指標的計算方式調寬一點,讓機器繼續跑下去。
我一直滿佩服 Anthropic 在安全研究上的投入,連我們自己在做 Cairn 的 Agent 權限跟記憶治理,很多早期觀念也是從他們的研究長出來的。只是當這台機器大到需要靠公開市場跟九千億美金的算力合約來餵養時,到時候還捨不捨得踩煞車,考驗的早就超過實驗室裡的安全規範了。不曉得大家在工作上導入 Agent 之後,有沒有哪個瞬間也覺得「現在跑太快了,我好像已經沒把握自己看過每一行改動」?歡迎在下面聊聊你們的經驗 🤔