今日要闻
雷锋网消息,Cadence是一家AI行业参与者,他们的Tensilica IP产品仍然非常引人注目,并且出现在流行的SoC中,如HiSilicon的Kirin阵容或MediaTek的芯片组。随着业界试图将基于云的AI推理转移到边缘端设备本身,设备内神经网络推理的市场正在爆炸式增长,以实现更低的功率和更低的延迟。
雷锋网了解到,Cadence于本周展示了从物联网、移动、AR/VR到智能监控和汽车应用等各个领域的广泛性能需求,并公布了更多有望加速边缘端神经网络推理的产品,并宣布推出一种新的专用“AI”IP,专注于满足各种各样需求的性能和扩展,扩展比以前更高,性能有望达到100 TMACs(万亿矩阵积累操作)。
Cadence表示,在汽车动力等应用中将拥有大量感测器,包括摄像头,激光雷达和超声波等,对于推理性能的需求非常急迫。 标准DSP将处理信号处理的主要任务,但实际上对数据有意义的任务将被移交给神经网络加速器,例如处理感知和决策制定任务的DNA 100。
Cadence宣称与具有类似尺寸的MAC引擎的竞争解决方案相比,DNA 100具有高达4.7倍的性能优势。Cadence通过它的稀疏计算架构实现了这一点,这意味着它只计算非零激活和权重,并实现了比竞争对手更高的硬件MAC利用率。
“神经网络的特点是固有的权重和激活的稀疏性,这会导致其他处理器中的MAC通过载入和乘零而不必要地消耗性能。DNA 100处理器的专用硬件计算引擎消除了这两个问题,允许利用这种稀疏性来提高效率和减少计算量。神经网络的再训练有助于增加网络的稀疏性,并通过DNA 100处理器的稀疏计算引擎实现最大性能。”
在架构方面, DNA 100与其他推理加速器看起来很相似,其最重要的处理能力在于Cadence称之为“可扩展稀疏计算引擎”的MAC引擎,它们处理卷积阶段以及完全连接的分类层的任务。
MACs是本地的8位整数,能够在全吞吐量的量化模型上操作,但它也提供了半速率的16位整数和四分之一吞吐量的16位浮点操作。单个MAC引擎/稀疏计算引擎在256/512/1024 MAC中都是可伸缩的,之后IP可以通过添加更多引擎进行扩展,最多可达4个。这意味着最大配置的单个DNA 100硬件块最多包含4096个MAC。
Cadence仍然非常清楚,有些应用场景或神经网络模型可能无法由固定函数IP处理,并且仍然提供了将DNA 100与现有DSP IP耦合的可能性。这两种产品紧密耦合,DSP可以有效地处理更多特殊的的NN层,将内核传递回DNA 100,从而使解决方案具有未来的可扩展性,并可扩展到客户希望的定制层。
带宽是神经网络推理硬件中的一个关键瓶颈,因此为了获得最佳性能并且不受平台限制,压缩是必不可少的。DNA 100除了通过压缩权重和激活来提供带宽减少功能,在原始带宽方面,IP还提供1到4个AXI 128或256位界面的非常宽的界面选项,这意味着在最宽的配置中最高可达1024位总线宽度。
要将IP扩展到4096MACs以上,只需将多个硬件块并排放置到SoC上,就可以大大提高理论计算能力。软件在这里扮演了一个关键角色,因为它能够在不同的块之间正确地分配工作负载。Cadence解释说,这种方式也可以用来加速单个内核/推理,此外他们还设想通过芯片到芯片通信实现可能的多芯片扩展。
就DNA 100的性能而言,Cadence再次强调其架构的实际性能明显高于具有相同数量MAC的等效竞争架构。这里的“有效TMACs”是一个奇怪的指标,以雷锋网获取的信息来看,根据权重和激活数据是否经过编译器和培训的修剪,有效性能也在2倍到3倍之间浮动。
Cadence展示了ResNet50的性能,其DNA 100配置为最大4K MAC配置,具有4TMAC的原始硬件性能。根据官方数据,DNA 100的性能比竞争解决方案高出4.7倍,它的性能达到了2550fps,而竞争对手的性能为538fps。在能耗比方面,DNA 100相比竞争解决方案也具有2.3倍的优势。当然,测试中的网络经过了修剪,以在DNA 100上达到最好结果。
在软件方面,Cadence提供了一个完整的软件栈和神经网络编译器来充分利用硬件,包括网络分析器和优化器以及所需的设备驱动程序。Cadence最近还宣布,它将支持Facebook的Glow编译器(一个跨硬件平台的机器学习编译器)。
DNA 100的硬件IP将在2019年初获得许可,产品最早将在2020年底左右面世。
您可能敢兴趣
声明: 凡注明为其他媒体来源的信息,均为转载自其他媒体,转载并不代表本网赞同其观点,也不代表本网对其真实性负责。如系原创文章,转载请注明出处; 您若对该稿件内容有任何疑问或质疑,请即联系,本网将迅速给您回应并做处理。邮箱:mail@laishu.com
为您推荐
校园贷再曝乱象这到底是什么情况,了解最新消息?
2018-04-15 21:34
8月分手魔咒:不平衡的爱情注定走不远
2018-08-21 11:37
饮食提醒切记红薯的“死对头”
2018-02-21 03:39
红唇族加烟酒 罹癌增123倍 医师告诉你危害不只这些...
2019-11-06 17:37
秋葵,生菜
2020-01-27 07:42:15
滑坡毁百年铁轨 怎么回事
2019-02-02 05:46
解读改善你的饮食的3款创新菜肴
2018-02-25 03:39
李湘为女儿庆生 一家人真是太有爱了
2019-01-25 19:26
生完二胎后首露脸!福原爱瘦14公斤身材纤细
2019-07-27 12:32
2018CBME孕婴童展益生碱奏响全球备孕最强音
2018-08-01 13:46
月经不调饮食来调
2018-04-01 10:37
粗盐热敷4个部位治好4大顽疾可惜很少有人会用
2019-03-05 22:46
讨厌金牛座的人 是因为不懂金牛座 他们其实和你想像中的不同
2019-07-02 16:13
他才出生四天,四肢黑到要截肢、一碰就可能死亡!这一切只因爸妈一个无知的决定…
2018-02-17 12:45
石家庄现天价板面 为何如此天价 哪些人来吃
2019-02-02 04:47
统一西武双狮联名活动 日职传奇球星东尾修开球
2019-07-15 21:31
街头最红三大台式水果茶!!斗分量斗特色斗选择
2018-05-13 22:37
9个月婴儿如何进行认知能力训练
2018-02-15 01:00
最会伤人、伤人至深的十二星座排行榜 人必有一死 死于天蝎或死于水瓶
2018-05-03 06:34
对现任够深情 对前任够狠心的星座 第一名:金牛座
2019-07-08 16:18
滴滴顺风车回归 具体何时能归 消费者:等你回归
2019-04-15 20:39
从“出汗多”看体质?谨记养生方法,值得收藏!-今日头条(www.toutiao.com)
2018-01-11 23:45
备孕 你知道备什么吗?
2018-09-05 09:51
宝宝颅内出血、脑死亡竟是因为掉床 孩子坠床后万不可做错这3件事…
2018-10-16 12:57
日职/令和的怪物石垣岛初上陆 专属商品卖翻天
2020-09-17 12:51:25
新光三越彩虹市集改装结集60家餐厅品牌这5家人气超旺
2018-05-11 12:39
蝉联七年癌症死因第一名!预防大肠癌吃两物:越浓稠越抗癌,日本人爱吃、不想得癌更要吃|每日健康 Health
2019-03-21 21:53
每日排尿1500CC. 与尿路结石说再见
2019-10-25 18:35
原来这个八卦卦序的原理是这样的 其背后隐藏高深的宇宙奥秘
2018-05-10 04:36
只不过用硬币刮“这里”,不到3天!!五脏六腑的毒素竟然全排光了!便秘没了、气色也好了!效果太惊人。。。
2018-01-27 16:45
今日要闻
Dr. Martens联名X-GIRL释出霸气厚底系列!音乐人、潮流人都该来一双
真的来了!GD亲晒PEACEMINUSONE x Nike AF 1,白色“Para-Noise 2.0”超欠买!
adidas推出城市Online Run!王阳明、雷理莎脚踩Supernova、Boston 9限定鞋畅跑信义区
德国鞋履品牌Trippen秋冬新入荷!经典&创新任你选!
阿部千登势再推神作!sacai x Nike Vaporwaffle联名释出,四款新色攻陷你的荷包!
还有机会入手!Off-White x Air Jordan 5“色违”版本联名鞋即将开卖
Joel Embiid首代签名篮球鞋“UA Embiid One”台湾正式发售
Dr. Martens经典再进化!Heritage Distortion系列“双黄线”震撼登陆