日前,以“大模型优化与落地实践”为主题的技术沙龙成功举办,来自衔远科技、网易、OPPO、VIVO、浪潮信息等知名企业的技术专家,围绕大模型应用落地的机遇与挑战,从技术、应用、产业等多角度进行深度研讨交流。

目前,AI大模型的突破性发展为通用人工智能带来曙光。但大模型的产业落地仍面临较高的技术门槛、复杂的开发环节与高昂的试错成本等挑战。产业伙伴迫切需要高效、易用、端到端的大模型应用开发平台,以加速企业大模型应用创新与落地。浪潮信息互联网行业部AI产品负责人张金昊指出,面对目前大模型应用落地难、落地慢等难题,浪潮信息围绕大模型应用落地所需的工具、数据等,推出企业大模型开发平台“元脑企智”EPAI(Enterprise Platform of AI),该平台面向企业大模型应用开发,提供了全链路、高可用的系列能力工具,能够帮助企业有效降低大模型应用门槛,帮助伙伴提升模型开发效能,打造智能生产力。

随着AIGC的快速应用落地,LLM算法参数规模越来越大,AI推理算力资源严重缺乏。浪潮信息AI应用架构师Owen Zhu博士介绍,LLM推理应用快速落地,其面临的挑战也不断增多,模型参数量显存占用大、解码效率低等问题频现。他提出LLM推理量化是解决大模型应用落地算力资源不足的重要技术,利用低比特量化方法GPTQ、AWQ等W4A16算法,基于低比特INT4/INT8存储模型权重,使用FP16计算激活值来保证精度,可以大幅减少显存占用,降低大模型落地门槛。

会上,衔远科技多模态技术负责人谢树雷也分享了衔远在大模型的模型架构及产业智能大模型方面的创新,通过强泛化性基础上的高度专业性,打造模用一体、通专融合的基础模型,目前衔远科技的产品ProductGTP已应用在家电、3C、消费品等领域,服务众多企业垂直营销业务,使营销方案更具创意性、互动性和可执行性。

在生成式AI快速发展的浪潮下,大模型落地应用仍面临重重挑战,需要在平台支撑、算法研发、应用落地等层面进行广泛的生态合作,从而打造更为卓越的大模型,并推动模型的场景化落地。浪潮信息将继续携手元脑伙伴,发挥全栈智算之力,充分利用行业场景知识,基于自身实践经验,让大模型产业能够更加高效的创新,加速大模型产业化落地。