【安防展览网 市场分析】 6月10日，腾讯优图团队开源了全新升级的轻量级深度学习前端推理框架TNN，通过底层技术优化实现在多个不同平台的轻量部署落地，性能优异、简单易用。
开源助力底层技术发展
作为腾讯旗下顶级AI实验室，腾讯优图长期致力于AI基础设施的研发和推进。
此前，腾讯优图已开发了 Rapidnet 前向计算框架、RapidAIoT 边缘计算框架，实现了业界专注移动端的推断框架 ncnn 的开源，并在业界受到广泛推崇。
从2017年开源至今，ncnn在GitHub上的star(8.9k)数和fork(2.3k)数均于其它推理框架。
据悉，TNN已于3月中旬在腾讯内部开源，为腾讯QQ、QQ空间、腾讯微视、腾讯云、天天P图等多款产品和服务持续提供技术能力，释放出更多效能。
TNN框架结构图
TNN框架特性总结：
TNN采用统一的ONNX模型作为中转，兼容各大框架，这也反映出业界对于ONNX模型的中转方式的认可和推动；
TNN支持FP16和int8的量化；
TNN支持计算图的优化，至于具体采用了何种优化模式进行优化，还需要进一步深入代码了解；
TNN通过抽象化的kernel接口使得算子可以跑在不同的硬件平台之上，支持ARM，GPU，NPU等计算。
另外，根据TNN的描述，它还具有优点：
通过ONNX支持TensorFlow，PyTorch，MXNet，Caffe等多种训练框架，充分利用和融入不断完善的ONNX开源生态。当前支持ONNX算子55个，近期会完善到约80个，覆盖主流CNN网络；
支持主流安卓、iOS、Embedded Linux 操作系统，支持ARM CPU，GPU硬件平台(近期还会加入达芬奇 NPU 支持)；
模块化设计，将模型解析、计算图构建、优化、底层硬件适配、高性能kernel实现各部分抽象隔离，通过Factory Mode注册、构建设备，方便接入更多的底层硬件、加速方案；
Runtime无任何第三方库依赖，CPU动态库尺寸仅约400KB，并提供基础图像变换操作，调用简单便捷。跨平台模型统一、调用接口统一，通过单个配置参数快速切换。
轻量级部署，TNN助力深度学习提速增效
深度学习对算力的巨大需求一直制约着其更广泛的落地，尤其是在移动端，由于手机处理器性能弱、算力无法多机拓展、运算耗时长等因素常常导致发热和高功耗，直接影响到app等应用的用户体验。
针对这些问题，优图团队对TNN框架做出了三类主要优化：
? 计算优化
针对不同架构在硬件指令发射、吞吐、延迟、缓存带宽、缓存延迟、寄存器数量等特点，深度优化底层算子，*利用硬件算力；
主流硬件平台(CPU: ARMv7，ARMv8，GPU: Mali，Adreno， Apple) 深度调优；
CNN核心卷积运算通过Winograd，Tile-GEMM，Direct Conv等多种算法实现，保证不同参数、计算尺度下高效计算；
Op融合：离线分析网络计算图，多个小Op(计算量小、功能较简单)融合运算，减少反复内存读取、kernel 启动等开销。
?低精度优化
支持INT8，FP16低精度计算，减少模型大小、内存消耗，同时利用硬件低精度计算指令加速计算；
支持INT8 Winograd算法，(输入6bit)，在精度满足要求的情况下，进一步降低模型计算复杂度；
支持单模型多种精度混合计算，加速计算同时保证模型精度。
? 内存优化
高效”内存池”实现：通过 DAG 网络计算图分析，实现无计算依赖的节点间复用内存，降低 90% 内存资源消耗；
跨模型内存复用：支持外部实时*用于网络内存，实现“多个模型，单份内存”。
腾讯优图基于自身在深度学习方面的技术积累，并借鉴业内主流框架优点，推出了针对手机端的高性能、轻量级移动端推理框架TNN。
TNN在设计之初便将移动端高性能融入核心理念，对2017年开源的ncnn框架进行了重构升级。通过GPU深度调优、ARMSIMD深入汇编指令调优、低精度计算等技术手段，在性能上取得了进一步提升。
目前TNN框架在腾讯QQ、腾讯微视、天天P图等应用中的落地，也获得了广泛的好评。优图团队的框架开源，显示出腾讯在推动底层技术革新和拥抱开源文化的态度。
近期，继旷视天元Brain++，华为MindSpore框架后，腾讯也开源了其深度学习推理框架。
目前人工智能技术的火热发展，离不开作为基础设施的深度学习组件、框架的积累。
在开源文化兴起的大环境下，头部企业对于底层框架的开源，将带动整个行业对底层技术的关注和投入，从而更好地推动人工智能技术地发展与升级。
移动版
智慧城市网APP
智慧城市网小程序
微信公众号
