埃隆·马斯克去年12月告诉员工,他的人工智能公司xAI将"重置"其旗舰聊天机器人Grok。现在,一位内部人士告诉TechCrunch,该公司正在彻底改革其AI模型开发方式,以追赶OpenAI和Anthropic等竞争对手。
"xAI第一次就没做对,"这位内部人士说,他因未获授权公开发言而要求匿名。"他们正在重置。"
在12月与xAI员工的会议上,马斯克表示公司将"重置"Grok,使其"不那么觉醒",并移除其拒绝某些主题的倾向。但据这位内部人士称,马斯克的"重置"不仅仅是关于Grok的政治倾向。xAI正在改变其开发AI模型的方式,以使其更具竞争力。
"他们正在改变他们进行预训练的方式,"这位内部人士说,指的是训练AI模型的第一阶段,模型从大量数据中学习模式。"他们正在改变他们进行后训练的方式。"
马斯克12月告诉员工,Grok的"觉醒"问题是由于xAI训练Grok的数据集造成的。xAI的竞争对手,如OpenAI和Google,也使用类似的数据集,包括公共网页、书籍等。但据马斯克称,xAI的数据集可能包含太多"觉醒"内容,如关于"跨性别主义"的网页。
"我们基本上需要清除训练数据集中的觉醒废话,"马斯克在12月的会议上说,这次会议被泄露给了《华尔街日报》。
但据这位内部人士称,xAI的问题不仅仅是数据。该公司还在改变其开发AI模型的方式。
"他们正在改变他们进行预训练的方式,"这位内部人士说。"他们正在改变他们进行后训练的方式。"
预训练是AI模型开发的第一阶段,模型从大量数据中学习模式。后训练是第二阶段,模型被微调以遵循指令并避免有害输出。
这位内部人士说,xAI正在改变这两个阶段,以使其模型更具竞争力。该公司还在改变其评估模型的方式。
"他们正在改变他们进行评估的方式,"这位内部人士说。"他们正在改变他们进行红队测试的方式。"
红队测试是一种安全实践,公司让内部或外部团队尝试找出AI模型的漏洞。
这位内部人士说,xAI正在做出这些改变,因为其模型在关键基准测试上落后于竞争对手。例如,Grok 3在MMLU基准测试上的得分低于OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet。MMLU测试AI模型在57个学科(从数学到历史)上的知识。
"他们在基准测试上落后,"这位内部人士说。"他们需要迎头赶上。"
马斯克12月告诉员工,xAI将发布一个新版本的Grok,将"不那么觉醒"。但据这位内部人士称,该公司还在开发一个全新的模型架构,将使其更具竞争力。
"他们正在开发一个全新的架构,"这位内部人士说。"这将是一个重大升级。"
这位内部人士说,xAI计划在2025年发布这个新架构。但该公司面临着激烈的竞争。OpenAI和Anthropic已经发布了备受好评的模型,Google和Meta也在大力投资AI。
"这是一场军备竞赛,"这位内部人士说。"xAI需要行动迅速。"
评论 (0)
登录后即可参与讨论
立即登录暂无评论,来发表第一条评论吧