英特尔推出OpenVINO全新版本 赋能BERT系列和Hugging Face转换器

2022-02-28 14:34:10
来源: 微阅读网

  【摘要】   2022年巴塞罗那世界移动通信大会前夕,英特尔推出了英特尔发行版Openvino工具套件的新版本。新功能主要是根据开发者过去三年半的反馈开

  2022年巴塞罗那世界移动通信大会前夕,英特尔推出了英特尔发行版Openvino工具套件的新版本。新功能主要是根据开发者过去三年半的反馈开发的,包括更深入的学习模型选择、更多的设备移植选择、更高的推理性能和更少的代码变化。

  英特尔网络与边缘事业部Openvino开发者工具副总裁Adamburns表示:最新版Openvino2022.1是根据近三年几十万开发者的反馈开发的,旨在简化和自动化优化工作。最新版本增加了硬件自动发现和自动优化功能,让软件开发者在任何平台上实现最佳性能。该软件与英特尔芯片的结合,可以实现人工智能投资回报的显著优势,并可以轻松部署到基于英特尔技术的用户网络解决方案中。

  关于Openvino:基于OneAPI开发的Openvino工具套件,用于高性能深度学习,帮助用户在从边缘到云的各种英特尔平台上更快地将更准确的真实世界结果部署到生产系统中。Openvino可以通过简化的开发过程,使开发者能够在现实世界中部署高性能的应用程序和算法。

  重要意义:边缘人工智能正在改变各行各业,使各种新的、增强的用例,包括制造、健康和生命科学应用,以及零售和安全。根据Omdia的研究,由于企业对边缘人工智能推理的需求越来越高,到2025年,全球边缘人工智能芯片组的收入将达到519亿$。边缘推理减少了延迟,减少了带宽需求,提高了性能,以满足新兴物联网设备和应用对及时处理的要求。

  与此同时,开发人员的工作负荷也在增加和变化。因此,他们需要更简单、更自动化的过程和工具,这些工具需要全面的智能功能来优化从构建到部署的性能。

  Openvino2022.1功能:借助这些新功能,开发者可以更容易地在更广泛的深度学习模型中使用、维护、优化和部署代码。亮点包括:

  更新API更容易。

  从框架转换中减少代码变化:现在通过保留精确的格式来减少转换,模型不再需要布局转换。

  加速人工智能的更简单方法:模型优化器的API参数减少,可以最大限度地降低复杂性。

  培训充分考虑推理:Openvino培训扩展和神经网络压缩框架(NNCF)提供可选模型培训模板,可进一步提高性能,保持动作识别、图像分类、语音识别、问答和翻译的准确性。

  更广泛的模型支持。

  支持更广泛的自然语言可编程模型、文本转换语音和语音识别用例:动态形状支持可以更好地赋能BERT系列和HugingFace转换器。

  优化和支持高级计算机视觉:Maskr-CNN系列现在已经进一步优化,并引入了对双精度(FP64)模型的支持。

  直接支持PaddlePaddle模型:模型优化器现在可以直接导入PaddlePaddle模型,无需先转换到另一个框架。

  可移植性和性能。

  更智能的设备使用,无需修改代码:AUTO设备模式可以根据模型要求找到可用的系统推理能力,因此应用程序不需要提前了解其计算环境。

  工具套件内置专家优化:通过自动批处理功能提高设备性能,自动调整和定制开发人员的系统配置,以及深度学习模型的吞吐量设置。因此,开发人员实现了可扩展的并行处理和优化内存的使用体验。

  为第12代英特尔酷睿设计:支持混合结构,为使用CPU和集成GPU进行高性能推理提供增强功能。

  关于边缘使用:通过一次性编写可以到处部署的方法,开发人员只需一次性编写应用程序或算法,然后部署广泛的英特尔架构,包括CPU、iGPU、MovidiusVPU和GNA。随着数据的爆炸性增长,英特尔开发了软件,使开发人员能够更智能地处理数据,以解决挑战,改变商业模式。因此,越来越多的人在边缘使用新的、独特的人工智能推理技术,并扩展到企业和客户端。

  作为Zeblok的AI平台,AI-Microcloud是一个从云到边缘的MLDevops平台,允许客户大规模混合AI独立软件开发商和供应商,交付边缘AI应用,支持完整的生命周期部署。将英特尔Openvino软件集成到AI-Microcloud后,使用英特尔处理器将大大提高AI推理性能,并将每次洞察的成本降到最低。Zeblok的AI-Microcloud平台目前正在进行评估,以支持世界各地城市的具体网络拓扑。

  Zeblok创始人兼首席执行官Moulinayanan说:我们的使命是考虑每一次洞察的成本。通过使用英特尔处理器,我们实现了经济、高能效的人工智能推理,并产生了很高的投资回报。这个新版本的Openvino将为我们的生态系统创造更高的价值。

  Americantower已经建立了六个边缘数据中心,未来将建设更多。该公司最近收购了coresite,以加快5g边缘部署。他们正在与英特尔和Zeblok合作,为客户提供完整的交钥匙解决方案。

  Americantower创新副总裁Ericwatko说:凭借Americantower的边缘基础设施,英特尔的Openvino深度学习功能和Zeblok的AI平台即服务,我们可以为市场提供完整的智能解决方案。