NVIDIA 第五届 Sky Hackathon 邀请信

wnger · 2021 年10 月 21 日 10:22

Sky Hackathon由NVIDIA发起并主办，项目旨在帮助在校学生、深度学习开发者在NVIDIA Jetson边缘高性能计算产品上部署和优化人工智能应用。在经验丰富的GPU导师指导下，通过黑客松竞赛的方式学习业界所需的深度学习相关应用开发及其并行计算技能，激发学生们的学习兴趣与创新力。

NVIDIA工程师将亲自为参赛队伍带来他们对最新的深度学习与边缘计算方面的理解、行业的趋势与最新的技术应用及最新开发工具实战技能知识，在训练营中对参赛队伍进行指导。

Sky Hackathon为参加者提供了一个难得的学习并实操的机会，学习嵌入式深度学习开发所需的动手技能，通过使用NVIDIA最新的编程模型、库和工具以加速和优化他们的AI应用程序。

整个活动包含了训练营和黑客松比赛，全程采用在线的方式。本次比赛前三名队伍将获得Jetson NANO！

为了确保赛事资源有效使用，每个参赛队伍需要缴纳100元人民币参赛费用（以团队为单位），请先填写报名表，组委会会联系各队队长，缴纳报名费后（可开具发票），报名才算成功，且中途退赛不退还报名费。

50个参赛席位等待您，名额报满即关闭报名通道。

往届活动回顾
第一届活动可以访问：https://mp.weixin.qq.com/s/NmKVftUs5diTrDRl2Rblmg

第二届活动可以访问：https://mp.weixin.qq.com/s/1M50CStTGzQTY2ADuUpeYQ

第二届活动导师评价：https://mp.weixin.qq.com/s/Sue6OV0eZyYlD2vvSLvwEg

第三届活动可以访问：https://mp.weixin.qq.com/s/r-nd9zDbaYdrQ0nZzKl5vg

本次活动主题
参赛题目：Nano识图学说话-多模态AI会话式目标识别

比赛内容说明
比赛过程：

  每组参赛队伍自行分工，收集数据集并标注用于模型训练（语音数据需录制、图像数据需标注）。

  每组参赛队伍利用收集好的数据集，利用NVIDIA TAO和NVIDIA NeMo进行模型的训练，优化及导出。

  每组参赛队伍利用TensorRT及NeMo将训练好的模型部署在组委会提供的Jetson Nano上，并进行测试和优化。

  每组参赛队伍将优化好的模型提交到组委会提供的Jetson Nano上。

在此过程中，学生将会实际体验到：

  基于目标识别的深度学习模型的训练过程

  利用NVIDIA TAO对模型进行剪枝等优化过程

  利用NVIDIA TensorRT对训练好的模型进行部署

  利用NVIDIA NeMo进行自动语音识别模型的训练

  利用NVIDIA NeMo进行语音合成模型的训练

  利用NVIDIA NeMo将自动语音识别模型以及语音合成模型部署在Jetson NANO上

  利用Jetson Nano进行实际场景实验

  深度学习数据集的收集，筛选，清理和标注以及语音数据集的录制构建等过程。

重点说明：

  本次Hackathon活动以基于语音识别的结果对图像中的目标进行识别并且将识别的结果通过语音合成进行朗读为主题。

  本次活动参赛学生需要自行收集训练数据并标注（语音数据集可以自行录制但无需标注）。

  语音部分参赛学生需要录制语音指令的音频文件、规范数据集格式、结合语音识别、语音合成工具库，训练并移植部署模型，通过自动语音识别模型来识别语音指令=>根据语音指令通过图像识别模型完成图像中的目标识别=>通过语音合成模型将图像识别结果所对应的文字内容合成出语音并进行朗读。

  本次活动参赛学生需要根据组委会提供的环境，在自己的服务器上训练针对于图像部分的目标识别模型和针对于语音部分的自动语音识别模型与语音合成模型。

  本次活动参赛学生最终将训练好的模型部署到组委会提供的Jetson Nano集群上，进行最终测试。

  本次活动不限定参赛者选用的模型，以及使用的训练数据集。

  正式比赛时候，组委会会提供最终测试数据和评分规则。每个参赛队伍需要利用评分规则和最终的测试数据对程序进行评分。

  注意：除了在NANO平台上提交模型进行比赛外，各参赛团队还要提交一份不少于800字的项目报告（项目报告模板见附件）。

```
  最终测试数据集
```

活动日程安排
活动形式：线上

活动安排：
[table=415]
[tr][td=78]
10月28日

11月7日
[/td][td=2,1,337]

线上报名（https://jinshuju.net/f/bvwwU0），每个参赛队员都需要报名。报名后，组委会联系队长缴纳报名费后才算报名成功。且中途退赛不退还报名费。报名时间内，如果所有席位报满，组委会将有权提前关闭报名通道。

[/td][/tr]
[tr][td=78]

11月13日

[/td][td=248]

第一次AI 训练营

[/td][td=89]
[/td][/tr]
[tr][td=78]

9:30-9:40

[/td][td=248]

欢迎致辞

[/td][td=89]

英伟达全球副总裁刘念宁

[/td][/tr]
[tr][td=78]

9:40-9:50

[/td][td=248]

宣布黑客松的比赛规则

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[tr][td=78]

9:50-11:00

[/td][td=248]

自动语音识别快速入门+利用NeMo工具库在服务器端训练ASR自动语音识别模型

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[tr][td=78]
[/td][td=248]

中午休息

[/td][td=89]
[/td][/tr]
[tr][td=78]

14:00-15:00

[/td][td=248]

如何在服务器端利用NVIDIA TAO工具来训练模型（视觉）

[/td][td=89]

英伟达社区开发者经理何琨

[/td][/tr]
[tr][td=78]

15:00-16:00

[/td][td=248]

语音合成快速入门+利用NeMo工具库在服务器端训练TTS语音合成模型，

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[tr][td=78]

11月20日

[/td][td=248]

第二次AI 训练营

[/td][td=89]
[/td][/tr]
[tr][td=78]

9:30-9:40

[/td][td=248]

前情回顾

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[tr][td=78]

9:40-10:30

[/td][td=248]

介绍如何在Jetson NANO上部署NeMo训练的自动语音模型以及语音合成模型

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[tr][td=78]

10:30-11:00

[/td][td=248]

介绍如何在Jetson NANO上利用TensorRT部署TAO训练的目标检测模型

[/td][td=89]

英伟达社区开发者经理何琨

[/td][/tr]
[tr][td=78]
[/td][td=248]

中午休息

[/td][td=89]
[/td][/tr]
[tr][td=78]

14:00-14:20

[/td][td=248]

Jetson 平台介绍

[/td][td=89]

吉浦迅科技总经理陈泳翰

[/td][/tr]
[tr][td=78]

14:20-18:00

[/td][td=248]

参赛团队远程上机操作，答疑

[/td][td=89]
[/td][/tr]
[tr][td=78]

11月26日

[/td][td=248]

线上测试

[/td][td=89]
[/td][/tr]
[tr][td=78]

18：00-24：00

[/td][td=248]

开放Jetson NANO云平台给参赛队伍做测试

[/td][td=89]
[/td][/tr]
[tr][td=78]

11月27日

[/td][td=248]

线上测试

[/td][td=89]
[/td][/tr]
[tr][td=78]

8：00-24：00

[/td][td=248]

开放Jetson NANO云平台给参赛队伍做测试

[/td][td=89]
[/td][/tr]
[tr][td=78]

11月28日

[/td][td=248]

比赛

[/td][td=89]
[/td][/tr]
[tr][td=78]

8：00-14:00

[/td][td=248]

开放Jetson NANO云平台给参赛队伍做测试

[/td][td=89]
[/td][/tr]
[tr][td=78]

14:00-18:00

[/td][td=248]

各队开始远程提交最终模型，组委会进行模型性能评测，

系统停止接受模型提交时间为 18：00

同时各参赛团队需要在18点之前提交一份不少于800字的项目报告。

如果有评分一样的，需要有加时赛直到确定比分顺序

[/td][td=89]
[/td][/tr]
[tr][td=78]

11月29日

[/td][td=248]

公布比赛结果及大赛总结

[/td][td=89]
[/td][/tr]
[tr][td=78]

10:00-10:15

[/td][td=248]

公布比赛结果

[/td][td=89]

英伟达全球副总裁刘念宁

[/td][/tr]
[tr][td=78]

10:15-11:00

[/td][td=248]

本次大赛选手发挥及经验总结

[/td][td=89]

英伟达社区开发者经理李奕澎

[/td][/tr]
[/table]

参赛推理平台
硬件平台：NVIDIA Jetson Nano（128CUDA核、4核CPU、4G内存）

操作系统：Ubuntu 18.04 L4T 64位元桌面版

开发环境：CUDA 10.2、CUDNN8.0、TensorRT7.1、OpenCV4.1.1

教学环境：Jupyter Lab 2.1.2

同时为参赛队伍提供真实的NANO编程环境

评分标准
本次比赛最终成绩由以下五部分组成：

1.语音识别部分推理精度（accASR）：将最终提交的模型在NANO节点上进行推理，根据组委会提供的测试语音进行推理并计算字错率(cer_score)的分数，进而得到准确率的分数即（accASR = 1 -cer_score）
2.计算机视觉部分推理精度：将最终提交的模型在NANO节点上进行推理，根据组委会提供的测试数据集进行推理并计算mAP精度部分的最终成绩为: accCV= 60-(accRank-1)
3.语音合成pesq客观语音质量评估分数：计算两个音频的pesq，PESQ就是用经过处理后的语音文件（语音压缩、合成、重构等）与原始目标语音进行比较。PESQ得分范围在-0.5–4.5之间。得分越高表示语音质量越好。
4.语音合成MOS音频主观可懂性分数：采取5个级别对被测语音的质量进行评价。待测语音的质量是在所有试听人员的评分上求平均得到的。这种方式被称作主观平均意见得分（Mean Opinion Score, MOS）
[table=482]
[tr][td=32]
评分
[/td][td=89]

语音质量

[/td][td=56]

失真程度

[/td][td=305]

听觉感受

[/td][/tr]
[tr][td=32]

5

[/td][td=89]

非常好(Excellent)

[/td][td=56]

不可察觉

[/td][td=305]

音质清晰，无噪音无失真，合成的语音内容清晰可懂。

[/td][/tr]
[tr][td=32]

4

[/td][td=89]

好(Good)

[/td][td=56]

略可察觉

[/td][td=305]

音质尚可，略有噪音及失真，合成的语音内容易于理解

[/td][/tr]
[tr][td=32]

3

[/td][td=89]

一般(Fair)

[/td][td=56]

可察觉

[/td][td=305]

音质尚可，有噪音及失真，合成的语音不影响内容理解。

[/td][/tr]
[tr][td=32]

2

[/td][td=89]

差(Poor)

[/td][td=56]

不可接受

[/td][td=305]

音质较差，有明显噪音及失真，仅可以隐约听到语音部分内容。

[/td][/tr]
[tr][td=32]

1

[/td][td=89]

很差(Bad)

[/td][td=56]

难以接受

[/td][td=305]

音质很差，均为噪音及失真，完全无法听到语音内容。

[/td][/tr]
[/table]

*5 网络模型重构（5%）：本教程语音识别部分提供的是Quartznet的预训练模型，如果能够自制语音数据集并利用迁移学习的方法进行模型训练并完成推理，则最终成绩isOthermodel加5分，视觉部分（修改resnet18加3分，修改ssd加5分，如：利用ssd-mobilenet则加3分，利用yolo-resnet18加5分）

最终成绩为五部分分数之和：Final = accASR + accCV + pesqTTS + mosTTS + isOthermodel

分数最高者为胜出团队。

另外本次比赛另设考勤分数，即参赛团队必须完成两次在线AI训练营打卡，即可获得考勤分。并且考勤情况我们也会通知团队导师。

赛事交流和答疑
本次Hackathon活动会提供专属赛事交流微信群，所有符合参赛条件的团队成员将被组委会人员邀请加入微信群。

NVIDIA在开发者社区论坛会提供专属赛事栏目：

https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179

有关赛事的技术问题请在论坛上提问。组委会技术团队会负责技术答疑。

第一届赛事技术问题回顾可以访问：

https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179

NVDC-TLT安装文档：

项目报告模板：

https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11674&extra=page%3D1

TLT相关资料下载地址：

https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11675&extra=page%3D1

关于参赛团队导师
此次活动采用导师制。所以每个参赛队伍都需要有一名指导老师。

导师需要能够敦促参赛团队完成两次在线AI训练营的学习，以及最后的比赛。能给予团队成员一定的技术指导。

所有导师带队的团队能完成最后的比赛，且成绩有效，导师将获得由NVIDIA颁发的“优秀导师奖”，并获得Jetson NANO一套作为奖励。

Q&A
我能参加么？

Sky Hackathons目前针对高校学生，当然有兴趣参与的高中学生也欢迎。一般不需要有GPU编程经验，但是最好有一定Python和编程基础；对深度学习、神经网络有一定理论基础；

需要自己准备数据训练用的GPU服务器/工作站或者GPU云；

本次活动暂时不接受非学生者参加。

如何报名？

黑客精神就是团队合作，每队需要选出一名队长，并为团队起个名字。

此次活动采用导师制。所以每个参赛队伍都会有一名指导老师。

所有团队成员应单独报名，并填写团队名称以及导师名字

原则上，参赛队伍必须是同一所学校。不同学校也可以组队。

每队限3-5人（不含导师）。如果报名团队多余5人或者少于3人，我们将视为团队无效。

团队报名链接：https://jinshuju.net/f/bvwwU0

一个导师可以组织多支参赛队伍么？

可以，我们鼓励导师组织多支参赛队伍。

但是一个队伍只能有一位导师，不接受一个队伍两个导师。

有奖励么？

一般来说，NANO Hackathon是合作而不是竞争。最好的奖品是代码的新性能级别、与专家的相处时间、在Jetson平台上运行的能力以及难忘的体验，这些都可能使您更接近一篇新的论文或演讲。但是，我们确实会颁发一些象征性的奖品和参赛证书。

奖品：

优胜奖：三个，每队获得Jetson NANO开发套件一个

纪念奖：每位参赛选手，并获得参赛证书和参赛纪念品。

如何缴纳报名费？

团队在线报名后，请队长在24小时内缴纳报名费用，每个团队费用为100元人民币（跟参赛人数无关）

组委会合作伙伴会开具“技术服务费”增值税普通电子发票。

支付宝转账：

支付宝账号：18915751925 顾海燕请备注团队名称

24小时内没有缴纳报名费用，则席位取消。

报名时间内，如果所有席位报满，组委会将有权提前关闭报名通道。