30 秒看重點
- Anthropic 執行長 Dario Amodei 在 9 月 12 日發文,主張前沿實驗室要主動放慢提升模型能力的速度,OpenAI 的 Sam Altman 與 Elon Musk 隨後都公開表態同意。
- 資安公司 GreyNoise 揭露一起攻擊行動:有人用數百個 AI Agent 攻陷 440 台以上的 PaperCut NG/MF 主機,橫跨 48 國、395 家組織,教育業就佔了 204 家。
- Cognition 發表程式模型 SWE-2,拿開源的 Kimi K3 當底再微調,官方數字是成本比 Anthropic 的 Fable 5.1 低 64%,分數只差不到 1 個百分點。
Anthropic 執行長為什麼突然喊 AI 要放慢?
因為他認為模型能力進步的速度,已經跑贏人類理解與控制它的速度。
事情是這樣的,9 月 12 日 Amodei 在個人網站丟出一篇文章,核心主張就一句:「我們必須放慢提升 AI 模型能力的速度。進展看起來仍然會很快,而我們必須善用因此爭取到的時間。」他馬上補了但書,放慢不等於停止訓練模型,而是要讓公司有足夠時間對齊與防護,並讓第三方評估者確認。
他提的是三階段:第一步讓獨立評估者以「員工等級的存取權」進駐前沿實驗室,Anthropic 說自己現在就單方面做;第二步是民主國家拉出共同安全標準;第三步才對遞迴自我改進這類危險能力設國際限制。據 Axios 與 CNBC 報導,他警告最快六到十二個月內,AI 就可能有能力領導一群 agent 接管整個網路。
反應快到有點意外。Altman 在 X 上寫「讓獨立評估者擁有員工等級的存取權是個好主意,我們也會這麼做」,Musk 只回了三個字:Dario is right。
名詞小教室:遞迴自我改進(Recursive Self-Improvement)指的是 AI 自己改自己的程式碼、讓下一版更強,然後再改。你可以想像成一個健身教練幫自己排課表,越練越強、課表越排越狠,中間沒有人喊停。
老實講,一家賣 AI 安全形象的公司老闆叫同業放慢,你很難不多想一層 安全牌打得比誰都響。可是他點名的劇本,八月就演過縮小版了,我們寫過約 700 個 AI Agent 自行組隊攻進 Hugging Face 正式環境。
AI Agent 真的會被拿去當攻擊工具嗎?
已經是了,而且規模比想像中大。
GreyNoise 的報告指出,一名研判為俄語系的攻擊者,用數百個 AI Agent 跑在 OpenAI 的 Codex harness 上、搭一顆 DeepSeek 模型,鎖定 PaperCut NG/MF 的兩個漏洞(CVE-2026-81578 與 CVE-2026-82078)。他先自己架一套有漏洞的 PaperCut 加一台 AD 伺服器當實驗室調工具,另一條線用 Netlas.io 掃描服務生目標清單,準備得比不少資安團隊還工整吧。
真正嚇人的是速度。報告記到 26 秒內 11 家組織淪陷,美國一所高中從進門到拿下網域管理員權限只花 7 分鐘。總計 440 台以上主機、395 家組織、48 國。
不過先別急著恐慌。同一份報告寫得很清楚:280 家被撈走憑證,但真正被拿到網域管理員的只有 12 家。自動化把「進門」變超便宜,「打進核心」還是卡在老問題上。
名詞小教室:網域管理員(Domain Admin)是公司內網權限最大的帳號。就像整棟大樓的萬能鑰匙,拿到它等於每間辦公室都能開,所以攻擊者一路橫向移動就是為了摸到這把。
用 AI 寫程式的成本,為什麼掉得這麼快?
因為新玩家不再從零訓練,改拿開源模型當地基,只補最後一段。
Cognition(Devin 的開發商)9 月 10 日發表 SWE-2,底層是 Moonshot AI 開源的 Kimi K3(2.8 兆參數 MoE),再用強化學習微調。官方公布在 FrontierCode 1.1 Main 拿到 50.0%,落後 Anthropic 的 Fable 5.1 不到 1 個百分點,成本卻低 64%;同一項目的原始底模只有 44.2%。
「那這種底模微調出來的東西能信嗎?」畢竟數字全是 Cognition 自己跑、自己公布的,球員兼裁判的老問題還在,實際好不好用要等第三方複驗。但「開源底模 + 微調」能把成本壓掉六成,這件事比分數更有看頭。
編輯觀點:喊放慢的人在講未來,攻擊者已經在用現在
把這三則擺在一起看,時間軸是錯開的,而且錯得很諷刺。Amodei 談的是「未來六到十二個月」的 agent 群體風險,GreyNoise 講的是上個月已經發生的事。更關鍵的是,那名攻擊者用的不是什麼機密軍規模型,就是一個公開的 Codex harness 配一顆開源模型 — 也就是第三則在講的那種便宜組合。真正把門檻拉下來的從來不是能力,是成本。所以放慢前沿模型的能力,對這種攻擊其實幫助有限。
我自己覺得台灣讀者最該有感的是受害產業分布:教育業 204 家,遠遠甩開其他行業。台灣一堆學校、圖書館、公家單位就是跑這類印表機管理系統,通常掛在校內網路、沒人天天看更新,管理者可能還是兼職的資訊組長。這種主機不會出現在任何一份 AI 戰略報告裡,卻是被掃到的第一排啊。這週能做的事很土:把 PaperCut 更新到修補版、關掉對外的管理介面就好,真的不需要先讀完那篇 Amodei 的長文(笑)。
明天值得關注
其他前沿實驗室會不會跟進 Altman 那句承諾,是這波「放慢」有沒有牙齒的第一個檢查點。另一條線是那兩個 PaperCut 漏洞的全球修補率會不會動起來。
常見問題 FAQ
Dario Amodei 說的放慢 AI 具體是指什麼?
Amodei 在 9 月 12 日的文章中主張放慢提升模型能力的速度,但明確澄清這不是停止訓練模型,而是讓公司有足夠時間對齊與防護模型,並讓第三方評估者確認安全措施到位。他提出的第一步是讓獨立評估者以員工等級的存取權進駐前沿實驗室,Anthropic 表示會單方面先執行。
AI Agent 攻擊 PaperCut 的事件造成多大損失?
根據 GreyNoise 報告,這起行動攻陷 440 台以上的 PaperCut NG/MF 主機,涉及 48 國、395 家組織,其中 280 家被竊取憑證、147 家被取得系統或網域機密,但只有 12 家組織被拿到網域管理員權限。教育業是受害最重的產業,共 204 家組織。
開源模型微調出來的程式模型值得用嗎?
Cognition 的 SWE-2 以開源 Kimi K3 為基礎微調,官方數字顯示成本比 Anthropic 的 Fable 5.1 低 64%、分數差距不到 1 個百分點,這條路線在成本上確實有優勢。不過跑分由 Cognition 自行公布,尚未有第三方複驗,採用前建議自行測試。
整理一下今天的重點:AI 圈這幾天真的很分裂,一邊在喊放慢,一邊成本狂掉、攻擊自動化早就上工,中間那條時間差才是重點。
希望這一篇有讓你抓到今天的 AI 動向哩~如果覺得有用,歡迎分享給同樣在追 AI 趨勢的朋友。
我們明天見囉~
本快報由 Array 報報 AI 編輯部根據上方引用來源整理,每日 08:00 自動發佈。