【摘要】 据外媒报道,最近,特斯拉一项名为让神经网络模型适应硬件平台的系统和方法System and Method for Adapting a Neural Network
据外媒报道,最近,特斯拉一项名为“让神经网络模型适应硬件平台的系统和方法”System and Method for Adapting a Neural Network Model On a Hardware Platform的专利被公布。
图片来源:
一般而言,神经网络是一组用于收集数据并从中识别模式的算法。所收集的具体数据取决于所涉及的平台以及平台可以向网络发送的信息类型,如摄像头/图像数据等。平台之间的差异意味着神经网络算法之间的差异,而进行调整对于开发人员而言非常耗时。就像应用程序必须经过编程才能够在手机或平板电脑的操作系统或硬件上工作一样,神经网络也是如此。不过,特斯拉对于神经网络的适应性问题,采取的是自动化方法。
在让神经网络适应特定硬件的过程中,软件开发人员必须根据所用硬件中内置的可用选项来做出决策。通常,需要依次对此类选项进行研究、对硬件文档进行审查以及对影响进行分析,选择好每一组选项,最终添加到神经网络,成为一种配置。特斯拉将此类选项称为“决策点”,也是该项发明发挥作用的关键部分。
根据专利申请文件,在插入神经网络模型以及特定硬件平台信息,以让神经网络适应硬件平台后,软件代码就会遍布整个神经网络,以了解决策点的位置,然后针对此类决策点运营硬件参数,实现可用的配置。更具体地说,该软件方法着眼于硬件限制如处理资源和性能指标的限制,并为神经网络生成满足让其正确运行的设置。
该文件写道:“为了让抽象的神经网络得到具体执行,可能要做出有关一个或多个系统部件、数值精度、算法选择、数据填充、加速器使用、步幅等的执行决策,可能需要在神经网络的每一层或每一个张量基础上做出此类决策,因此一个特定的神经网络可能需要做出上百个,甚至更多的决策。本发明在执行神经网络之前考虑了许多因素,因为底层软件或硬件平台不支持很多配置,而此类配置可能会导致神经网络无法执行。”
特斯拉的发明还具备在图形界面上显示神经网络配置信息,从而以更加用户友好的方式做出评估和选择的能力。例如,不同的配置可能需要不同的评估时间、功耗或内存消耗。如根据跟踪模式Track Mode和距离模式Range Mode之间的差异来选择配置,而不是根据人们希望AI如何与硬件一起工作来选择配置。
据报道,该项专利申请似乎是特斯拉收购了DeepScale之后研究出的产品之一。DeepScale是一家专注于全自动驾驶和为小型设备设计神经网络的AI初创公司。该项专利的发明者是Michael Driscoll博士,他曾是DeepScale公司的高级工程师,后来成为特斯拉的高级软件工程师。在今年进行独立研究之前,DeepScale前首席执行官Forrest Iandola博士也曾在特斯拉担任高级机器学习科学家一职。