Intel 跑步进入 AI PC 时代,13 代酷睿支持 160 亿参数大模型
据快科技 8 月 20 日报道,Intel 正在大力推动 PC AIGC 应用的落地,从硬件到软件提供全方位支持。目前在 PC 平台上,Intel 已发布的 12/13 代酷睿、Arc A 系列显卡,以及即将发布的下一代酷睿,都能满足 AIGC 对于高算力的需求。
Intel 13 代酷睿通过 XPU 加速、low-bit 量化,以及其它软件层面的优化,可以让最高达 160 亿参数的大语言模型,通过 BigDL-LLM 框架运行在 16 GB 及以上内存容量的个人电脑上。已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等,并通过 Transformers、LangChain API 接口支持 Windows、Linux 的操作系统。
本文链接:https://www.8btc.com/article/6830244
转载请注明文章出处
原创文章,作者:惊蛰财经,如若转载,请注明出处:http://www.xmlm.net/bhq/26099.html