地平线AI工具链环境部署:模型转换还要整一大堆环境配置的东西?

地平线AI工具链环境部署:模型转换还要整一大堆环境配置的东西?_58汽车

地平线旭日X3派AI工具链环境部署,涉及模型转换、工具校验、编译后文件生成以及部署等步骤。AI芯片工具链解决深度神经网络模型训练、转换和部署问题,通过量化技术实现计算加速。地平线量化工具链包括量化训练和浮点转定点工具链,提高计算效率。配置环境需下载OE包文件且执行Docker容器运行。除Docker外,还可手动安装环境进行部署,需准备系统镜像开发板及相关文件。整个过程需要严格遵循三大步骤,确保顺利部署AI工具链环境。

在开发板配置好之后,想要进行模型的开发验证,首先要进行模型转换,转换之后还要用工具进行校验才能编译。

开发板配置->pytorch模型转换(.onnx)->模型校验->编译后文件(.bin)->下载部署

AI芯片工具链,又称AIToolchain,它重点是解决如何在地平线芯片上完成深度神经网络模型的训练、转换以及模型部署问题。地平线AI芯片工具链核心采用了模型量化技术来实现深度神经网络模型的计算加速。

深度神经网络模型量化属于一种深度神经网络的性能优化技术,它通过降低权重和激活值的精度来减小存储&计算量,进而实现芯片级别的计算加速。非量化场景下,模型权重和激活值都为Float32bit,通过量化为16bit,8bit,4bit,可以成倍的减小计算量。

常见有16bit,8bit,4bit等量化方案,目前地平线XJ2/XJ3采用8bit量化方案。

所有的AI工具链开发手册合集:附录:开发手册

地平线量化工具链主要包括两套:量化训练工具链和浮点转定点工具链,分别对应社区的QAT(QuantificationAwareTraining)量化感知训练和PTQ(Post-TrainingQuantization)后量化转换,如下所示:

浮点转定点工具链即后量化转换方案,通过工具方式将原始浮点模型,利用少量校准数据集对模型做量化校准,并编译生成为可以在地平线芯片上运行的指令级模型。

就是说,这个模型转换不仅仅是模型转换,还包括所有的解析编译这些过程,就可以直接部署到开发板上了。。。。。。一句话,难度比较大,所以做的稀烂。。

幸好有一个不是很稀烂的鼠标和键盘,夸夸罗技,用了四五年了,电脑都快不行了,鼠标还是如此坚挺,毕竟贵一些,质量还是不错。—看到了点一下这个链接啊T-T!!

不过有一次接收头插在笔记本上有一次被撞坏了。。。。买一个接收头价格差点堪比鼠标了。

要进行模型转换还要整一大堆环境配置的东西。。。。恶心

电脑配置低了还不行,还得linux系统,听说windows也内嵌linux了,叫WSL

这里有一篇文章是专门讲这个的:simpleapples:面向开发者的WSL2安装指南

第一步:

自己首先装好docker,就很好说了,地平线把安装啥的搞到docker上了,直接使用doecker命令安装就好了

没有安装docker的可以参考官网的安装步骤:

我用过windows的wsl2安装了docker,比较吃内存,然后默认是docker镜像存在C盘,当场C盘只剩几MB。

针对windows的dockers爆C盘问题可以进行数据盘迁移:

第二步:

下载OE包文件:您实际获取到的OpenExplorer发布包(简称OE包)版本和发布日期。如:openexplorer/horizon_xj3_open_explorer_v1.7.0_20211101/—长这个样子

下载地址:地平线开发者社区资源下载集合

有两种下载方式:

第三步:

执行以下命令运行Docker容器。

这些命令可以在自己windows的powershell命令行里面运行,也可以在自己安装好的Ubuntu里面运行

我看官网里面说要先下载镜像,但是后来我发现,下载了这个OE包之后,会自己下载对应的镜像

(当时我装好了gpu的镜像,这个oe包里面的脚本还自动下载cpu镜像,直接撑爆我的C盘)

2.自己手动安装环境

手动安装还有环境要求,有三大步:

开发板部署:需要您先准备好一块烧写好系统镜像的开发板,再将相关补充文件拷贝到开发板中即可

对于环境部署的命令总结:

爱喝水的大灰狼:AI芯片及加速验证平台调研分析

爱喝水的大灰狼:地平线AI-旭日X3派开发文档

爱喝水的大灰狼:地平线旭日X3派-上路-“国产树莓派”配置

爱喝水的大灰狼:地平线旭日X3派入门-上路第一步-开机

爱喝水的大灰狼:地平线旭日X3派入门-上路第二步-登录与文件传输

爱喝水的大灰狼:地平线旭日X3派-上路第三步-AI工具链环境部署

爱喝水的大灰狼:地平线旭日X3派-上路第四步-AI工具链之模型转换

爱喝水的大灰狼:地平线旭日X3派-上路第2.1步:以太网连接PC和linux—-但是这年头谁用网线?–电脑开个热点吧!

以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题,欢迎在下方表单填写您的信息,我们将第一时间与您联系,为您提供快捷、实用、全面的解决方案。

原创文章,作者:58汽车,如若转载,请注明出处:https://car.58.com/7457202/