大模型在开始回答之前,会有一段的等待时间。
这是因为当本地大模型运行的时候,加载和处理输入会影响用户看到结果的时间。尤其是当电脑还要保存个人资料、记住使用偏好时,存储便需要参与更多工作。这些都关系到本地AI能否顺畅使用。
目前机械革命正在推进的自研AI SSD,正是围绕这些问题展开。创始人潘春节在网易专访中介绍了它在模型承载、上下文复用和长期记忆支持方面的探索。
一、本地存储要处理的三件事
潘春节首先谈到的是内存、显存容量的限制。按照他的介绍,机械革命正在推进的自研AI SSD,要从存储环节寻找解法,让现有硬件支持更大规模的本地模型,使原本受容量限制、难以运行的模型能够在本地运行。
模型文件保存在硬盘里,运行时还需要相应的计算与内存资源。一台电脑即使有足够的硬盘空间,也可能因为内存、显存不足,无法顺利运行用户需要的模型。机械革命这技术就是要解决模型在运行阶段如何使用存储资源,以及扩大现有设备能够承载的模型范围的问题。
其次,就是模型开始回答之前的等待。输入交给模型后,需要经过处理,才能进入生成回答的阶段。潘春节在采访中将缩短这段等待的技术称为Prefill加速。对于本地AI来说,模型能够运行与使用时响应是否及时,是需要分别解决的问题。
按照他的介绍,AI SSD可以保存并复用已经处理过的上下文,方便后续使用,减少相同内容被反复处理的开销。与此同时,更合理的模型加载方式也能减少加载过程中的等待。机械革命试图通过这两方面的配合,让模型更快进入回答阶段。
长期记忆是潘春节谈到的第三个方向。按照他的介绍,AI SSD可以保存用户偏好与关键信息,方便后续对话和任务调用。
这与机械革命对本地AI的设想相连:设备能够积累与用户有关的信息,模型和应用在处理新任务时,可以使用这些资料。机械革命对AI SSD的布局,正是着眼于为这些协作提供底层支持。
二、本地AI的要求,也面临终端选择
在潘春节的设想中,工作文档、个人习惯和常用资料都应当能够沉淀在个人设备中。这些信息涉及隐私,也可能成为AI处理后续任务时需要使用的内容。
如果每次使用都要重新交代背景,用户就需要反复提供资料。长期保存与后续调用的价值,在于让已有信息继续发挥作用。但哪些内容留在本地、由什么应用使用,也关系到用户是否愿意交付更多任务。
“安全,是用户放心大胆使用AI PC的底线,而不是卖点。”潘春节说。他把隐私安全、低延迟、本地数据与本地学习列为越来越明确的需求,并判断私域AI将逐渐成为新的主流。
AI SSD是机械革命独立推进的自研产品探索。容量、上下文复用与个人信息保存,是他在采访中介绍的主要方向;这项技术的目的,就是要减少本地模型运行和持续使用中的障碍。
承载本地计算的终端,也要作出相应取舍。若主要任务是在固定位置持续运行模型,设备便不必同时承担随身携带与电池续航的要求,可以围绕计算配置、供电和散热安排设计。
在终端布局上,机械革命优先选择桌面形态,而不是先把这类计算需求放进笔记本。潘春节给出的依据是当前的实际应用价值:先确定用户要完成什么,再提供适合的硬件。他在专访中强调:“我们不做跟风企业,只做对用户负责任、对用户钱包有价值的事情。”
从用户角度看,模型能否在本地运行、回答之前要等多久、个人资料能否留在自己手里,都是使用中的具体问题。机械革命自研AI SSD围绕这些问题寻找存储解法,也为“让AI,触手可及”补上本地运行所需的技术支撑。