您好、欢迎来到现金彩票网!
当前位置:刘伯温四肖中特料 > 推理模型 >

Nvidia开源高效能推理平台TensorRT的函数库元件

发布时间:2019-07-10 03:19 来源:未知 编辑:admin

  Nvidia宣布开源用于其GPU与深度学习加速器上的高效能推理函数库TensorRT,这个函数库以C++撰写,建构于平行可程式化模型CUDA之上,提供精度INT8和FP16的最佳化之外,也支持多种平台,包括嵌入式、自动驾驶以及GPU计算平台,同时也让用户可以将神经网络部署到资料中心,以容器化微服务技术同时执行多个模型。

  TensorRT是一个高效能的深度学习推理平台,使用者可以将训练好的神经网络输入TensorRT中,产出经最佳化后的推理引擎。TensorRT主要包含两部分,有用来进行调校的深度学习推理最佳化工具,以及能执行深度学习推理应用程式的Runtime,Nvidia提到,使用TensorRT的应用程式,比起CPU平台的执行速度还要快40倍。

  TensorRT建构在CUDA之上,因此开发者可以使用CUDA-X AI中的函数库以及开发工具,开发无人机、高效能运算以及图学等应用。TensorRT提供了精度INT8和FP16最佳化,可用于加速图像串流、语音辨识、推荐以及自然语言处理等深度学习推理应用,Nvidia表示,低精度推理能够大幅地减少应用程式延迟,符合更多即时服务、自动化与嵌入式应用程式的需求。

  TensorRT支持热门框架训练出来的神经网络模型,无论TensorFlow和MATLAB,或是ONNX模型格式都可进行最佳化,并将模型导入TensorRT进行推理。TensorRT在去年就整合了TensorFlow,版本是TensorFlow 1.7分支,这项整合为开发者提供了简单使用的API,提供FP16与INT8最佳化,官方表示,这项整合可为TensorFlow在ResNet-50基准测试,提高8倍的执行速度。

  热门的多范式数学计算环境和语言Matlab,透过CUDA代码产生器GPU Coder整合了TensorRT,因此使用Matlab的开发人员,也可以将代码转成嵌入式平台Jetson、自动驾驶平台DRIVE与Tesla GPU平台的高效能推理引擎。

  而对于开放的神经网络格式ONNX,TensorRT提供开发者ONNX解析器,让开发者将ONNX模型从Caffe 2、Chainer、微软认知开发工具、MxNet和PyTorch等框架中输入到TensorRT中。由于TensorRT也与ONNX Runtime整合,因此为ONNX格式的机器学习模型,带来简单就能实现高效能推理的方法。

  TensorRT除了让开发者可以将神经网络最佳化,在Jetson、DRIVE与Tesla平台上执行外,也最大程度的支持大规模资料中心。为支持在资料中心执行的人工智慧模型,TensorRT使用称为推理服务器的容器化微服务技术,利用Docker以及Kubernetes,不只可以最大化GPU使用率,也能无缝整合DevOps部署,让使用者可在多节点同时执行来自不同框架的多个模型。返回搜狐,查看更多

http://mojdzwonek.com/tuilimoxing/359.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有