Akamai要把AI推理放到用户侧

梆梆
·5 分钟阅读
阅读 4 点赞 0 评论 0

Akamai 想把 AI 推理放到离用户最近的那一层。它手里有 41 个核心数据中心,铺在 36 个国家,外面再挂约 4400 个更小的分布式站点。访谈是在阿姆斯特丹的 KubeCon 2026 上做的,文章在 4 月 1 号发布,受访的是开发者与 AI 工程高级总监 Lena Hall 和高级开发者布道师 Thorsten Hans。

思路不复杂:该集中的集中,该分散的分散。需要长时间深度思考、吃算力的负载交给集中式数据中心;要求低延迟、快反馈的负载放到边缘。Hall 的说法是,把两套栈接起来,才能在该快的地方拿到快反馈。

快反馈在哪些场景值钱,答案很具体:机器人、反欺诈、对话式代理。这类负载里多等几百毫秒,用户可能就走了。分布式站点的意义就在这里,物理距离短,往返时间就短,推理结果回到屏幕的速度就不一样。

这套打法有个现成的反问:节点越多,集成点和依赖越多,栈是不是更容易碎。Hall 的回答是,这层基础设施服务本来就该由平台托管,大企业要的是简化过的交付方式,用户不必自己管服务器,接着往上写服务就行。她说这正是 Akamai 在托管交付上做了很多年的活。

工具链是三段。托管 Kubernetes 服务负责跑容器;Akamai Functions 这类无服务器函数负责小块逻辑;中间是分布式 AI 推理平台。另有一个跑在 Linode Kubernetes Engine 上的应用平台项目,把常用开源件打包好,用户在界面里点开就能用,不用逐个装。

无服务器那块押的是 WebAssembly。Spin 是跟云原生计算基金会(CNCF)一起做的沙箱项目,用来构建和部署 Wasm 形态的无服务器应用。按 Hans 的说法,从空白光标到全球分发的生产应用,走完大约 2 分钟,底层摞的都是开源件。

这条线来自去年 12 月对 Fermyon 的收购。Fermyon 这个名字本身就是目标:把冷启动压到 1 毫秒以内。团队更早还做出了 SpinKube,把 Wasm 的调度接进 Kubernetes。Hans 在内部负责的就是把 Wasm 的采用率抬起来,让开发者能在边缘跑轻量代码。

限制得说明白。这篇访谈由 Akamai 赞助,两位受访者都是公司的人,2 分钟部署、1 毫秒冷启动这类数字来自自家演示环境,没有第三方压测背书。真实的企业栈里,网络策略、合规审查和存量系统会把这些时间成倍拉长。

按我的判断,边缘推理的胜负手不在节点数量,而在托管层的完成度。4400 个站点是覆盖优势,可开发者要是还得自己拼网络、拼鉴权、拼发布流水线,覆盖就换不来速度,只换来一张更长的排障清单。

另一个方向是抬高抽象层级。多数客户不需要碰服务器,只要把业务逻辑写进应用,剩下的交给平台。少数团队仍然要自己管底层,这部分需求不会消失,只是从主流变成了少数派。

集中式与分布式的争论,放到推理这件事上其实没那么对立。大模型要喂给它一整个机柜的算力,边缘一台小机器做不了;可一个要即时返回的语音代理,把请求绕到另一个大洲的机房就是浪费。两边的分工按负载定,不按技术偏好定。

相关阅读