近日，第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾，超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化，赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机”AI+X应用落地及边缘计算将成为关键 自ChatGPT发布以来，大模型引爆“第四次工业革...
在边缘侧大模型推理场景,基于「鲁班」工具链的软硬件协同优化能力,超星未来最新芯片产品在验证平台上实测ChatGLM-6B可以达到超过15tokens/s的生成速度,10W量级的芯片即可支持高性能大模型的边缘落地;「高峡」NPU平台Stable Diffusion 1.5版本可以在3.5s内完成图片生成。基于以上能力,超星未来已与行业头部的机器人客户、...
集成大模型优化新方法,软件协同实现40倍性能提升 在高效硬件架构的基础上,超星未来面向神经网络应用打造深度优化的「鲁班」工具链,可使边缘侧推理速度提高40倍以上,具体包括: (1)业内领先的混合精度量化工具,支持PTQ/QAT/AWQ功能,支持INT4/INT8/FP8/BF16精度,量化损失小于1%; (2)高效模型优化工具,支持敏感度分析...
但在当下来看最为现实的实现手段,就是针对大模型应用来做软硬件协同优化,软件上通过新的混合量化方法以及稀疏化处理,硬件上则针对大模型中常见的算法结构进行加速设计,从而整体上实现2-3个数量级的能效提升。 针对大模型任务新需求深度优化 超星未来实现边缘侧AGI计算行业领先 超星未来主要面向各类边缘智能场景,提供以AI...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
提出了一种基于FPGA的CNN遥感图像处理算法,即软硬件协同优化部署方法。在模型优化方面,提出了一系列以硬件为中心的模型优化技术,包括操作融合和深度优先映射技术,以最小化CNN模型的资源开销。在硬件加速方面,提出了一种基于FPGA的CNN加速器架构,包括高度并行和可配置的网络处理单元,以及一个多层次的存储结构,提高数据访...
软硬件协同优化,释放AI PC稳定高效算力 相比其他品牌,在AI应用方面多年的积累也让戴尔科技对于AI PC有了更全面的思考。温晓辉指出,在决定生产力的算力层面,戴尔科技与英特尔、高通、微软等合作伙伴携手,提供更高效、稳定的算力,且全产品线从价格、场景、定位等多个维度给市场提供更多选择。
软硬件协同优化,释放 AI PC 稳定高效算力 相比其他品牌,在 AI 应用方面多年的积累也让戴尔科技对于 AI PC 有了更全面的思考。温晓辉指出,在决定生产力的算力层面,戴尔科技与英特尔、高通、微软等合作伙伴携手,提供更高效、稳定的算力,且全产品线从价格、场景、定位等多个维度给市场提供更多选择。