藏着的计算摄影秘密 OPPO首个自研芯片NPU
今天的第三届OPPO未来科技大会（OPPO INNO DAY 2021）上，OPPO芯片产品高级总监姜波揭秘了其历时近两年研发的首个自研芯片马里亚纳 MariSilicon X。
OPPO芯片产品高级总监姜波在发布会上展示马里亚纳 MariSilicon X芯片
马里亚纳 MariSilicon X是一个影像专用NPU（神经网络处理器），采用台积电6nm工艺，AI算力高达18TOPS，比苹果最新的A15 15.8TOPS的AI性能还高，同时，MariSilicon X能效比达到了11.6TOPS/W。
作为一家手机终端公司，OPPO竟然在首个自研芯片上就挑战业内顶尖的6nm工艺，并且NPU的性能和能效比也达到了业界领先水平，这不禁让人好奇，OPPO自研芯片的决心从何而来？
从最直观的产品的层面看，马里亚纳 MariSilicon X将搭载在OPPO明年第一季度发布的Find系列旗舰手机上，会为消费者带来突破性的视频拍摄功能。
从技术层面细细解读，将会发现马里亚纳 MariSilicon X背后，藏着OPPO的计算摄影秘密，以及这家志在探索未来的企业对新十年技术发展趋势的判断。
当市场的竞争更加激烈，智能手机的创新越来越难之时，全球手机出货量前五的手机厂商们都希望通过自研芯片，用更好的软硬协同，实现差异化的功能和体验，获得消费者的青睐。
差异化竞争的焦点，是消费者最容易感知的影像功能。自2018年开始，手机行业对于AI影像功能的关注只增不减。2020腾讯手机行业洞察白皮书指出，消费者对摄像头、电池的关注度显著提升，其中摄像头的关注度增长率仅次于操作系统。
手机影像系统是一个很长的链条，包括前端传感器、镜头、马达，承载图像处理的ISP芯片，以及后端标定和调优等过程。手机巨头们在整个影像系统上都争相布局，比如，OPPO过去十年，在定制图像传感器、摄像头模组、镜头方面有大量积累，还基于通用SoC平台积累了许多AI算法。
“手机业界已经发现在AI算力的支持下，AI算法已经超越传统ISP算法的效果。因此，目前主流的趋势是用AI算法替代传统算法。”拥有十多年图像处理领域丰富经验的爱芯元智ISP负责人、系统架构师张兴对说， “手机厂商已经在拍照中享受到了AI算法带来的好处，包括超级夜景、AI美颜等功能，从趋势来看未来几年，AI拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的芯片，将AI算法和传统ISP进行更好结合。”
将算力、AI与拍照和摄影融合，都代表着手机行业一个重要的趋势——计算摄影。所谓的计算摄影，是利用数字计算而非传统的光学处理的图像。比如超级夜景功能，利用高算力以及AI降噪算法等，将拍摄的多张照片合成为同一张，输出一张明亮清晰的照片。
从谷歌、苹果，到OPPO，整个手机业界的领导者都在通过计算摄影不断突破手机摄影能力的上限。
不过，通用SoC并不能完全满足计算摄影的需求。 OPPO芯片产品高级总监姜波指出，“我们的AI降噪算法在Find X3 Pro的芯片平台上，在功耗接近1.7瓦的时候，最多可以处理2帧图像，这意味着AI降噪只能应用到暗光拍照，没办法在最低要求是30fps的视频中应用。”
安谋科技高级产品经理柴卫华也说，“随着短视频的需求发展，手机也越来越重视视频拍摄的性能。要实时处理4K甚至8K视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战。”
通用SoC限制AI算法性能的同时，也限制了定制传感器和镜头性能的发挥。
原因主要有两方面，一方面，定制传感器的周期较短，但通用SoC的更新以年为周期，两者在时间上难以匹配。另一方面，采用定制传感器，整个图像处理链路需要进行优化增强，但定制传感器和通用SoC很难实现紧密耦合，也就难以发挥最大效益。
已经拥有定制传感器和AI算法积累的OPPO，想要进一步提升影像性能，在计算摄影将占主导地位的竞争中，自然需要一颗影像专用NPU帮助其实现影像链路的垂直整合，进一步实现突破。
“垂直整合最难的就是最开始对用户需求的判断，如果判断失误，会影响后续芯片设计以及所有的配合设计工作。”姜波说：“得益于OPPO在移动智能设备多年的经验，我们清楚知道消费者的真实需求。”
马里亚纳 MariSilicon X补足了OPPO在影像计算单元上的最后短板——缺乏可控的影像专用处理器。
之所以定位于影像专用，没有加入包括显示在内的更多功能，姜波说：“这是我们的首款自研芯片，要集中在价值最大的功能点上。”
计算摄影如何突破手机摄影极限？
芯片的定位明确之后，具体参数定义也极为关键。这其中有两大关键挑战，一个自研芯片能够带来的性能和体验提升，一定要优于通用SoC；另一个是手机整机的功耗控制。
要解决这两大挑战，就不得不自研这个NPU上的几大核心IP。 姜波透露，“刚开始，我们也评估了一些可以购买的第三方IP，但最终发现没有一个NPU可以与OPPO的场景算法结合，达到最优能耗功率，因此选择了从头开始自研NPU。”
张兴也持同样的观点，“要充分发挥NPU算力与ISP结合的价值，需要在设计的最初就将两个IP结合起来设计。如果是买来的IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费。”
因此，马里亚纳 MariSilicon X中的两大关键IP，MariNeuro AI计算单元和MariLumi影像处理单元均是OPPO自研，分别负责提供高AI算力和更好的影像处理性能，也是计算摄影的关键。
AI算力部分，马里亚纳 MariSilicon X的int8性能高达18 TOPS。之所以要定义一款在终端如此高性能的NPU，原因就是前面提到的马里亚纳 MariSilicon X要有足够的性能带来比通用SoC更好的性能和体验，特别是将AI融入视频拍摄中。
“在视频应用领域，效果稍微好的AI降噪算法，实时处理1080p@30fps视频就需要10TOPS以上的算力，目前这种应用方案还比较少。”亿智电子创始人兼CEO陈峰指出。
如果没有能耗约束，实现高AI性能并不难，但手机处理器的设计，难点在于能耗比。
要实现高能耗比，芯片制程的选择、架构的设计、性能与功耗的取舍等都非常重要。这也是马里亚纳 MariSilicon X虽然是OPPO的首个自研芯片，但是选择了台积电先进的6nm工艺的关键原因。要知道，设计的芯片工艺越先进，对设计团队的要求越高。如果第一次就想成功，也需要一些运气，而OPPO的马里亚纳 MariSilicon X首次流片就成功。
另外，NPU提升能效比还有一个瓶颈——内存墙。在AI芯片发展几年之后，业界都意识到，NPU数据搬运消耗的能耗远高于数据处理。为此，马里亚纳 MariSilicon X集成奢侈的双层存储，包括万亿比特/秒（Tb/s）级读写速度的内存子系统，以及8.5GB/s的独立DDR带宽的方式，为AI的高效运算提供充分的内存读写支持，在有效减少数据搬运的同时提升能效比。
最终，马里亚纳 MariSilicon X在实现18TOPS高算力的同时，拥有11.6TOPS/W的极致能效比表现，运行OPPO AI降噪模型的速度是达到Find X3 Pro（骁龙888）的20倍，能效达到40倍，在业界属于领先水平。
芯片行业有这样一句话，“算力代表一切。”
实现了高算力和极致能效比的兼顾，马里亚纳 X发挥自研MariNeuro和MariLumi联合设计的独特优势，最高支持人眼级别的20bit Ultra HDR，能覆盖100万：1的最大亮度范围，是目前行业主流HDR能力的4倍，比最新发布的旗舰通用SoC支持的18bit HDR更加极致。
传统来讲，HDR是在YUV里合成的，经过RGB和YUV的转换，会损失大量的图像信息。
马里亚纳 MariSilicon X帮助OPPO首次完成影像链路的垂直整合，就可以重塑转换链路，将处理节点前置在信息量100%的RAW域直接做实时计算，20bit RAW实时计算，能够带来画质的显著提升。
马里亚纳 MariSilicon X支持20bit HDR，高于最新旗舰SoC的18bit。通用SoC落后于马里亚纳 MariSilicon X的规格，是否会成为限制这款OPPO首个自研芯片发挥性能的瓶颈？姜波对解释，“由于马里亚纳 MariSilicon X是在手机SoC之前处理，我们的NPU处理完HDR、AI降噪等之后就不需要再进行相应处理，不会限制MariSiliconX性能的发挥。”
有了自研芯片，也能让OPPO充分发挥定制传感器的性能。马里亚纳 MariSilicon X充分发挥了RGBW的更强能力，通过双链路的设计和2x RAW计算，实现8.6 dB信噪比和1.7倍解析力提升。
“通过自研芯片和定制化传感器相互的化学反应和相互耦合，我们可以做到最大化发挥定制传感器的能力。”姜波指出。
对于计算摄影这个涵盖计算机图形学、计算机视觉和应用光学等多个学科领域的技术，OPPO的首款自研芯片能够基于算力，借助垂直整合，用计算摄影突破手机影像的极限。
自研芯片给OPPO手机带来的可能性
马里亚纳 MariSilicon X能够突破的极限，是让手机能够在弱光环境，用计算摄影实现4K+20bit RAW+AI+Ultra HDR夜景视频的新极限。
姜波解释，“之所以把视频拍摄限在4K30帧，也是出于功耗的考量。视频的实时处理特性，难度远大于照片的先拍后算。视频基础的要求是30帧/秒，意味着每一帧的处理要有大概33毫秒，要实现视频AI功能，必须在33毫秒内处理完成，性能和功耗的约束是关键。”
同时，手机系统层级，功耗的控制也非常重要。
“我们现在把整个影像链路中，最耗功耗的HDR、AI降噪等算法都在马里亚纳MariSilicon X上处理，SoC不需要再进行处理，所以是节省功耗的。”姜波解释，“OPPO有一个功耗及格线，不能增加整体功耗，这是基本原则思路。”
OPPO展示了一段暗光视频拍摄的视频，可以明显看到，搭载马里亚纳 MariSilicon X的测试平台在暗光环境中视频的细节更多，画面解析力更高。
未来，OPPO的自研芯片还能实现更多视频拍摄的AI功能。 这是因为，马里亚纳MariSilicon X设计之初就将AI和图像处理进行了很好融合，相比传统的ISP有更高灵活性，还有更高性能，用计算摄影突破手机影像功能的极限，而无损计算也是计算影像的必然趋势。
另外，从OPPO自研芯片的命名马里亚纳来看，OPPO还会在自研芯片的道路上不断探索，马里亚纳 MariSilicon X只是OPPO自研芯片的开始，未来OPPO还可能推出更多自研芯片，给终端用户带来更多惊喜。
OPPO自研芯片并不让人意外，让人有些意外的是，OPPO首款自研芯片就采用了台积电6nm工艺，首次流片就成功，定位影像专用的马里亚纳 X NPU在性能上兼顾了高性能和高能效。
当然，这是OPPO作为手机终端公司，在充分理解消费者需求，以及基于已有技术积累，对行业趋势判断，自研芯片的优势。
对于OPPO而言，虽然自研芯片一定会带来成本的增加，但OPPO更关注的是提升消费者体验，以及用计算摄影不断突破极限。对于消费者来说，在马里亚纳 MariSilicon X加持下，能够实现暗光视频拍摄突破的OPPO Find新旗舰，将会是一个非常值得关注产品。对于手机业界来说，OPPO硬实力的增加或许也会给行业的竞争带来更多压力，跟上无损计算摄影的趋势，也变得更加重要。
原创文章，未经授权禁止转载。详情见 转载须知 。
爱奇艺体育是中国知名的体育赛事平台，提供西甲,网球,高尔夫等赛事直播,视频，新闻等，超多精彩内容，尽在爱奇艺体育网
网站安全检测为站长免费提供了网站漏洞检测、网站挂马实时监控、网站篡改实时监控等服务
漫谷瓷砖十大品牌,佛山漫谷瓷砖品牌,高端漫谷瓷砖为您提供多样化的瓷砖贴图装修设计案例,海量瓷砖装修效果图.免费家装设计,免费预约上门量房,体验一站式的家装设计服务!
歌词塔是专业提供歌词下载服务网站,网站提供歌词找歌名,歌词搜索歌曲服务,同时提供歌曲LRC歌词下载服务,歌词塔是您搜索下载歌词的首选网站。
今晚月色朦胧，耳边有徐徐清风。
月汇好是一家专注各类机箱机柜、设备外壳钣金加工厂家。拥有五金钣金制造、自动喷涂、装配和仓储等先进配套生产设备和设施，从钣金下料到成品产出均厂内完成；月汇好机箱机柜生产厂家拥有20年行业经验，服务企业1000，是您值得信赖的佛山钣金厂。
金兰手游资讯网,为你提供游戏下载,手游的各种资讯资料欢迎访问我们我们致力打造一个良好的手机游戏资讯氛围浓厚的网站
港美圈专注分享港股打新，美股开户，股票打新，可转债申购等股票效果的知识和股票技巧，给各大股民提供一个交流股票的一个圈子。
成都惠迪商贸有限公司成立于2009年，是一家经营冷冻、冷藏（休闲食品、水产食品、肉制品、调味品等）的多元化贸易公司。公司成立以来，始终坚持以人为本，以创新为发展动力，秉承“信誉第一，质量至上”的经营理念，争创市场一流品牌，在消费者心中享有较高的地位，赢得了广大客户的一致好评。成都惠迪商贸有限公司|成都惠迪|惠迪商贸|成都惠迪商贸|
可行家电网为大家提供专业可行的家电,电器,空调维修,电视,冰箱,洗衣机,空气能,壁挂炉,热水器,厨卫防水知识。
河南粮院专业研发生产玉米加工设备,玉米加工机械,玉米深加工设备,玉米深加工机械。购粮院玉米面加工设备享受**农机补贴,咨询电话:400-966-9225
本公司是一家专业生产罗门牌高中档模具压板，重型G字夹，各种锻打机械产品，罗门牌精密导柱导套及精密塑胶（POM）、铝、铜保持架（钢珠套）等各种模具配件的工贸企业。
如果要自研手机主芯片，要投入多少钱，花多长时间，2013年的一天，一位手机公司的创始人亲自到访Arm中国CEO位于上海的办公室，想搞清楚这些问题，这位创始人得到的答案是，至少投入10亿人民币，烧5，10年，2013年，风靡全球的iPhone已经用上了第三代自研芯片，眼看大量消费者排队抢购售价高昂的苹果手机，让很多其他手机公司的一把...。
继旗舰系列FindX5，X5Pro之后，OPPO高端系列的最新产品Reno8Pro也升级为双芯，马里亚纳MariSiliconX从旗舰下沉至高端系列，让Reno8Pro，Pro，能够实现4K30帧的视频录制规格同时支持AI视频增强的能力，让夜景拍照更加清晰，人像拍照更加自然、真实、通透的效果，高端Reno手机的出货量将会是旗舰Find...。
今天的第三届OPPO未来科技大会，OPPOINNODAY2021，上，OPPO芯片产品高级总监姜波揭秘了其历时近两年研发的首个自研芯片马里亚纳MariSiliconX，OPPO芯片产品高级总监姜波在发布会上展示马里亚纳MariSiliconX芯片马里亚纳MariSiliconX是一个影像专用NPU，神经网络处理器，，采用台积电6nm工...。
2022年春节假期刚结束，小米12Pro搭载的自研电源芯片澎湃P1就因自研真实性被质疑登上热搜，从澎湃S1到澎湃C1再到澎湃P1，小米每次发布自研芯片都会遭遇大量质疑，在互联网、手机、汽车、家电巨头纷纷宣布进军芯片行业的热潮中，关于什么是自研芯片的讨论越来越多，即便是被美国打压前在国内芯片行业一支独秀的海思半导体，多年前也被质疑使用A...。
最近一段时间，市场中传出了OPPOFindX5骁龙版的消息，一时间也引起了不小的热度。很多小伙伴对OPPOFindX5系列还是很有期待的，有数码博主爆料OPPOFindX5Pro将会搭载OPPO自研芯片MariSiliconX,OPPOFindX5上市时间OPPOFindX5系列最新消息
要闻提示1.抖音等字节系多款App被指控抄袭源代码，美摄科技被曝，天价索赔，，最新回应2.滴灌通公布内部裁员信，涉及100多人，提供上至N，3的补偿3.京东金融回应内测活动出bug损失数百万，用户的已获红包不会被收回，可正常使用4.阿里巴巴原副总裁贾扬清谈大模型，价格战，降价拍脑袋就可以做5.部分办公软件被曝多头收费，，来来回回交了...。
经济学里面的倒奶事件就是在2015年元旦刚过，河北部分地区爆发了因企业拒收鲜奶而导致奶农出现杀牛和倒奶的事件，在此之前，青海、山东等地区也发生奶农倒奶、杀牛事件，倒奶事件背后的原因就是产生资本主义经济危机是生产过剩的危机，其一般特征是，大量商品卖不出去，企业纷纷倒闭，生产大幅度下降，失业工人急剧增多，信用关系遭到严重破坏，物价下降，现...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为百度推广营销联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在百度推广营销联盟网站首页底部或友...。
在，十字路口，的中国消费产业2024消费产业独角兽峰会12.7揭幕播报文章三言科技关注作者获得积分关注2024，12，0512，00来自北京作者，陈李编辑，卢旭成消费者分化和减少支付更高价格的意愿是2024年两大显著的消费挑战，从国家、地方到各行各业，大家都在为，促消费，这件事而努力，但是，消费市场，似乎没有像很多人期待的那么，热辣滚...。
智能城市已进入资本快速入局、巨头圈地暗战的阶段，尤其是随着全国两会的热议、，粤港澳大湾区规划纲要，等文件的发布，传达出政府对城市智能化的巨大需求以及民众对城市生态的呼唤，城市问题日益严峻、日益增多的政府订单使得智能城市拥有一片巨大的蓝海，据统计，国内争先上马智能城市项目的城市多达500，无独有偶，学术界对于智能城市也格外关注，今年年...。
