担忧自我迭代AI系统失控，Anthropic研究员Jacob Coxon离职

人工智能公司Anthropic的一名研究人员因担心AI走向失控，决定退出该行业。在他看来，这家AI实验室与其竞争对手正在争相开发人类无法有效驾驭的系统，头部AI机构内部对安全的顾虑也由此进一步上升。

这名研究人员是Jacob Coxon，其主要工作是通过海量数据训练新一代AI模型。他在周二表示将离开Anthropic，原因是不愿加入全行业争相开发可自我迭代AI系统的竞赛；他担忧此类系统一旦彻底失去控制，可能给人类带来毁灭性后果。Coxon现年27岁，来自英国，大学期间主修数学。

他还谈到，业内不少同行如今常以“决战时刻”（crunchtime）和“终局”（endgame）这类词汇，来描述AI向可自我改进模型演进的趋势。Coxon称：“我们正朝着那些最激进的情景发展，到明年年底，局势可能就已经失控了。”他补充说，当各家公司乃至中国新兴AI企业彼此展开竞争时，在安全层面作出妥协往往难以避免。

对自我改进型AI与安全对齐的担忧并非个别现象。OpenAI近期亦公开了在“递归式自我改进”（RSI）方面的进展，称团队已在今年9月前实现“自动化研究实习生”，并预计将在2028年3月前实现完整的“自动化AI研究员”，使其能够参与深度学习和对齐研究。此外，OpenAI首席科学家雅库布·帕乔基撰文指出，目前还没有任何实验室在足够程度上解决对齐与监控问题。

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。