近日，第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾，超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化，赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机”AI+X应用落地及边缘计算将成为关键 自ChatGPT发布以来，大模型引爆“第四次工业革...
在边缘侧大模型推理场景,基于「鲁班」工具链的软硬件协同优化能力,超星未来最新芯片产品在验证平台上实测ChatGLM-6B可以达到超过15tokens/s的生成速度,10W量级的芯片即可支持高性能大模型的边缘落地;「高峡」NPU平台Stable Diffusion 1.5版本可以在3.5s内完成图片生成。基于以上能力,超星未来已与行业头部的机器人客户、...
集成大模型优化新方法,软件协同实现40倍性能提升 在高效硬件架构的基础上,超星未来面向神经网络应用打造深度优化的「鲁班」工具链,可使边缘侧推理速度提高40倍以上,具体包括: (1)业内领先的混合精度量化工具,支持PTQ/QAT/AWQ功能,支持INT4/INT8/FP8/BF16精度,量化损失小于1%; (2)高效模型优化工具,支持敏感度分析...
但在当下来看最为现实的实现手段,就是针对大模型应用来做软硬件协同优化,软件上通过新的混合量化方法以及稀疏化处理,硬件上则针对大模型中常见的算法结构进行加速设计,从而整体上实现2-3个数量级的能效提升。 针对大模型任务新需求深度优化 超星未来实现边缘侧AGI计算行业领先 超星未来主要面向各类边缘智能场景,提供以AI...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
提出了一种基于FPGA的CNN遥感图像处理算法,即软硬件协同优化部署方法。在模型优化方面,提出了一系列以硬件为中心的模型优化技术,包括操作融合和深度优先映射技术,以最小化CNN模型的资源开销。在硬件加速方面,提出了一种基于FPGA的CNN加速器架构,包括高度并行和可配置的网络处理单元,以及一个多层次的存储结构,提高数据访...
近日,第三届清华大学汽车芯片设计及产业应用研讨会暨校友论坛在芜湖成功举行。作为本次活动的特邀嘉宾,超星未来联合创始人、CEO梁爽博士出席并发表主题演讲《软硬件协同优化,赋能AI 2.0新时代》。 大模型是AI 2.0时代的“蒸汽机” AI+X应用落地及边缘计算将成为关键 ...
硬件和软件的测试与验证是协同设计的关键环节。硬件设计师需要验证硬件是否满足软件的需求,而软件开发团队则需要测试软件在硬件上的运行情况。通过测试和验证,可以及时发现并解决硬件和软件的问题。 二、计算机硬件与软件的协同优化 优化计算机硬件与软件的协同设计,可以有效提高计算机系统的性能和效率。 2.1硬件与软件的性...