一系列严重的安全事件加剧了人们对最先进模型强大能力与不可破解性的担忧。试想人类乘着一叶扁舟，在汹涌的河流中顺流而下，祈求前方不要出现尼亚加拉大瀑布般的险境。或者想象自己与那些开拓性的物理学家并肩而立，站在194年的芝加哥体育场地下，目睹他们即将引发人类首次自持核裂变链式反应的历史瞬间。
人工智能治理领域的新兴专家罗伯特·特拉格教授本周用两个类比，描述了世界当前所处的危险与机遇并存的关键时刻——人工智能正在加速发展。牛津大学马丁人工智能治理倡议主任特拉格发表此番言论时，正值OpenAI宣称其最新模型GPT-6 Astra已突破人工通用智能（AGI）技术门槛的那一周。
这一声明发布之际，该公司正筹备可能高达8500亿美元（约合6300亿英镑）的股票发行，因此难免带有营销宣传成分，但若属实则意义重大。这家旧金山公司将AGI定义为“在最具经济价值的工作中超越人类的自主系统”。据称，Astra能够自动化的任务包括设计电路板、填写纳税申报表、开发电子游戏、金融建模、工程设计以及协助整理法律文件。这对部分白领工作岗位的潜在威胁不言而喻。
然而，关于人工通用智能（AGI）的宣称，恰逢安全专家和政治领袖对人工智能风险日益加剧的担忧。今年夏天，AI模型日益强大的能力和难以捉摸的特性，以及一系列被某些人视为可能是最后警告信号的严重安全事故，令他们神经紧绷。特拉格表示：“我们正穿越激流，真心希望前方不会出现断崖式跌落，但实际情况难以预料。我们很可能即将跨越所谓‘递归式自我改进’的界限——即[人工智能]系统实现自我升级。这种递归性本质上就是技术爆炸的定义。”
