<kbd id="mg2rvlem"></kbd><address id="kp8g3hgz"><style id="vhk2h2s2"></style></address><button id="xza4r7mj"></button>

          onq博客

          开放采购AI.模型效率工具包

          来自500万彩票AI.研究的贡献最先进的压缩和量化技术

          5月4日,2020年

          这篇文章中提到的500万彩票产品由Qualcomm Technologies,Inc提供。和/或其子公司。

          Quic很兴奋,开源GitHub.上的AI模型效率工具包与其他领先的AI研究人员合作,并为AI.开发人员提供简单的库插件,以利用最先进的模型效率性能。

          在Qualcomm Technologies,我们一直在积极研究1,2,3 和发展中 AI. 解决方案的目标是在设备,机器,车辆和事物上无处不在地进行人工智能。我们在过去十年中的重点是电力效率导致了每瓦的AI.性能的显着改善,该瓦特能够从设备上实现各种增强体验 虚拟助手翻译智能安全摄像头焦点驾驶.

          每次瓦特性能的推动背后的驱动力一直是我们艾西效率的主要研究。通过模型效率,我们的意思是缩小模型,减少计算,降低内存流量,降低延迟和有效使用硬件的技术。我们传统上 促进了我们的突破性AI.研究 通过其余社区通过 论文和研讨会 在众所周期外的学术会议或通过产品的商业化,如Qualcomm神经处理SDK。

          现在我们正在进一步迈出一步。500万彩票公司创新中心(Quic)很兴奋,以开源AI.模型效率工具包(亚铁人员) GitHub. 与其他领先的AI研究人员合作,为AI.开发人员提供简单的库插件,以利用最先进的模型效率性能。这个开源项目的目标是帮助将生态系统迁移到整数推论,因为我们认为这是增加每瓦特性能的有效方法。

          澳大利亚稳定效率ai

          艾塞特是一个支持高级的图书馆 量化压缩 培训的神经网络模型的技术。量化技术尝试系统地降低用于重量参数和激活计算的比特数而不牺牲模型精度,例如从32位浮点值移动到8位固定点值。压缩技术试图系统地删除节点之间的激活节点和连接,而不会牺牲模型精度。艾塞特支持各种先进的量化技术,例如 无数据量化, 和压缩技术,例如空间奇异值分解(SVD)和信道修剪。

          压缩或量化降低了深神经网络的模型大小。

          手动优化神经网络不规模,因为它在工程资源方面是耗时和昂贵的。在设计艾塞特方面,重点是开发技术,可以通过简单的API调用来提供模型效率的显着改进。 Aimet自动提高深度学习神经网络模型的运行时间性能,延迟,功率效率和内存要求,同时避免耗时且难以重复的手动调整。该库直接插入Tensorflow和Py至rch训练框架,以便于使用,允许开发人员直接从现有管道调用API。

          AIMET包括量化和压缩技术,可允许在比例下简单地部署AI.模型。

          确保威斯特能够利用普通硬件加速技术也很重要。 Aimet旨在使神经网络能够更有效地在固定点AI.硬件加速器上运行,例如高Qualcomm Snapdragon.平台上的那些。

          那么你为什么要对威斯特感兴趣?这是结果。该工具包是基于一些500万彩票AI.研究论文发布的一些工作,包括 无数据量化 (DFQ)。通过一系列简单的API呼叫,Aimet可以将现有的32位浮点模型量化为8位定点模型,而不会牺牲大量准确性,而无需模型微调。作为维护精度的示例,DFQ方法应用于多个流行网络,例如MobileNET-V2和Reset-50,导致精度损耗小于0.9%,一直到8位量化 - 以自动化方式为单位任何培训数据。此外,我们在Qualcomm Hexagon DSP上运行的量化模型而不是500万彩票kryo CPU,它导致了5x到15倍的加速。此外,8位模型还具有相对于32位模型的4x较小的内存占用空间。 

          无数据量化使INT8推断能够与FP32型号的精度非常最小的损耗。

          同样,威斯特也可以显着压缩模型。对于reset-50和Reset-18等流行型号,具有空间SVD Plus频道修剪的压缩实现了50%Mac(乘法累积)减少,同时保持了原始未压缩模型的1%内的精度。

          AI.NET压缩技术(空间SVD和信道修剪)将MAC减少50%,同时保持精度在原始模型的约1%内。

          简单地集成了普通AI.开发工作流程

          Qualcomm技术一直在为开发人员创建工具,以便多年更有效地利用硬件 - 从图形加速到计算相机应用程序。我们知道工具适应典型开发工作流程的重要性,抽象复杂,提供了令人信服的好处,易于使用。例如, Qualcomm神经处理SDK 被设计为帮助开发人员节省时间和精力,以优化具有Snapdragon.在设备上的培训的神经网络的性能。事实上,我们的量化技术已经通过2019年夏天以来的Qualcomm神经处理SDK运送。  

          对于Quic Aimet项目,开发人员将能够抓住最新和最伟大的图书馆,该图书馆应该与现有的培训工作流程无缝地整合。 Aimet输入Tensorflow或Py至rch培训的模型,然后可以压缩,量化和微调。量化模型可以在具有固定点硬件加速的硬件上运行良好。作为示例,优化的模型在ONNX或TensorFlow中输出,然后可以通过500万彩票智能处理SDK在Snapdragon.上运行。

          我们还兴奋地报告说,这些技术已经在野外的真实开发人员在真正的商业应用程序中进行了测试,具有与我们理论基准结果相匹配的改进。例如,它们已被用于优化用于生物识别,语音识别和汽车的商业模型。

          通过协作推进AI.模型效率研究

          AI模型效率是一个关键的研究区域,它在AI社区中共享了重要性,以实现AI生态系统,并在规模上加速设备上的ON-Device AI开发。 Quic创建了这个项目,与其他AI研究人员合作,提升了我们最先进的模型效率研究,并为开源界做出了贡献。 Quic致力于定期为该项目贡献尖端研究。请加入我们共同努力推进AI.模型效率。

          500万彩票AI.研究,我们认为研究并不意味着留在实验室。我们迅速将我们的研究突破和行业进行了商业化和规模 - 减少了实验室研究的时间,并提供了丰富生命的进步。澳门特的开放采购进一步加快了这一创新周期。

           

          参考文献:1。Markus Nagel,Mart Van Baalen,Tijmen Blankevoort,Max Welling。 “通过重量均衡和偏置校正无数据量化。” IEEE计算机愿景国际会议(ICCV),首尔,2019年10月(口头陈述)。 2. Markus Nagel,Rana Ali Amjad,Mart Van Baalen,Chris至s Louizos,Tijmen Blankevoort,“上或下?训练后量化的自适应舍入。“ 3.安德烈库尔姆,马库斯纳格尔,萨拉德比尔,桑德·皮德里,蒂森布朗基口岸,最大威光。 “卷积神经网络结构压缩的分类与评价。”
          Qualcomm Snapdragon.,Qualcomm Hexagon,Qualcomm Kryo,AI模型效率工具包和500万彩票是Qualcomm Technologies,Inc的产品。和/或其子公司。 500万彩票AI.研究是Qualcomm Technologies,Inc的主动。 Qualcomm Innovation Center,Inc。是Qualcomm Technologies,Inc的全资子公司。
           

           

          在这里发布的意见是原作者的个人意见,不一定反映了合并或其子公司(“500万彩票公司”)的500万彩票信。这篇文章中提到的500万彩票产品由Qualcomm Technologies,Inc提供。和/或其子公司。内容仅提供信息目的,并不意味着Qualcomm或任何其他方的认可或代表。本网站还可以提供对非500万彩票网站和资源的链接或引用。 Qualcomm没有任何可能引用,可访问或链接到本网站的任何非500万彩票网站或第三方资源的陈述,保证或其他承诺。

          Murali Akula.

          司司长,500万彩票科技董事

          Abhijit Khobare.

          司司长,500万彩票科技董事

          相关新闻

          ©2020 Qualcomm Technologies,Inc。和/或其附属公司。

          对“500万彩票公司”的提及可能意味着500万彩票公司公司组织或者在500万彩票公司结构中的子公司或商业单位,如适用。

          Qualcomm Incorporated包括Qualcomm的许可业务,QTL和绝大多数专利组合。 Qualcomm Technologies,Inc。是500万彩票公司的全资子公司,纳入,经营,以及其子公司,大量所有500万彩票公司的工程,研发功能,以及其产品和服务业务的大量产品。此页面上引用的500万彩票产品是Qualcomm Technologies,INC的产品。和/或其子公司。

          与特定日期的材料,包括但不限于新闻稿,介绍,博客文稿和网络广播,可能被后续事件或披露取代。

          这些材料中的任何内容都没有任何优惠以销售本文所引用的任何组件或设备。

              <kbd id="jqh35x8u"></kbd><address id="e1huvs0i"><style id="h6whs7yy"></style></address><button id="x8fqaddb"></button>