图片 1

图片 2

网络视频一直都很火。虽然在页面上嵌入 Instagram 和 Youtube
视频非常简单,但是有越来越多的需求 —— 比如许多电子商务的场景 ——
要求定制的视频传输方法。在设置视频处理和传输管道时,首先要考虑的是要服务的视频格式。
用户体验、支持、压缩效率或编码速度等方面可能与此项选择相关。

据最新消息,苹果已加入开放媒体联盟,并且是联盟创始会员。

为唤醒5G时代的超高清应用发展,近日由金山云视频云实现商用落地的AV1编解码服务,引起了业内人士的极大关注。

容器和编解码器

开放媒体联盟(Alliance for Open
Media,简称 AOMedia)是一个发展开放视频编码的非营利组织,目标是在 BSD 2
授权条款下开发一个新的无专利的视频编码格式,作为 VP9
视频编码的继任者,取代需要专利的 HEVC 视频编码。

近年来,随着短视频、直播的不断兴起,在线视频用户数量和使用时长出现大幅增长,5G时代的到来更是助长了这种趋势的发展。8K直播足球赛、4K远程指导手术、4K沉浸式游戏等一批创新应用正不断涌现,超高清视频推动产业转型升级。

与通常的图像格式相比,意识到容器和编码标准之间的区别是非常重要的。文件扩展名只能告诉我们它属于哪个容器,而不是使用哪个编解码器。所遵循的编码标准决定了浏览器或系统是否支持它。

联盟的主要目标是为商业和非商业内容(包括用户生成的内容)创建和提供下一代最先进的视频压缩格式和针对互联网流媒体优化的编解码器,目前正在开发一系列名为
AOMedia Video(AV) 的新视频格式。芯片行业的联盟成员(AMD, ARM, Intel 和
NVIDIA)旨在确保硬件友好的设计。

近日,广电总局科技司与工信部电子信息司就贯彻落实《超高清视频产业发展行动计划》,推进超高清视频发展进行座谈。市场分析同样认为,超高清视频将带动视频采集、制作、传输、呈现、应用等产业链各环节发生深刻变革。采集、制作、传输、表现作为超高清视频的核心环节均会受益,芯片及显示面板等核心零部件将迎来市场扩容机遇。

例如,虽然 Web 视频格式一般都用了 mp4 容器和 H264
标准进行编码,但并非每个 mp4
文件都能受到普遍支持,因为它可能采用了不同的标准编码,如 H265。

AV1
是一种高质量的开源视频编码标准,能极大的提高视频内容生产厂商的竞争力。

在此情形下,面对用户对视频画质要求的不断提高,如何提高视频内容服务质量的同时降低网络的宽带占用成本,成为视频产业上下游企业赖以生存的资本和不断奋斗的目标,视频编解码服务也因此倍受市场关注。

它甚至在自适应比特率方面变得更加复杂,这为响应用户的网络和设备功能带来了最佳方式。

AOMedia 计划在 2017
年底之前完成其格式(AV1)的第一版。假设要快速采用,主要竞争是互联网工程任务组(IETF)标准化的
NetVC 和动态图像专家组(MPEG)的 HEVC H.265 标准。

开放、免税、性能优异AV1倍受市场青睐

让我们看一下容器,编码和交付标准的主要组合,以及它们在支持、压缩效率、编码速度和用户体验方面的差异。

AV1 的主要特征是其免版税许可条款和最先进的性能。AV1
专为实时应用而设计,并且具有比当前一代 H.264 视频格式的典型使用场景更高的分辨率。

随着技术不断迭代升级,目前业界推出的各种编解码标准如H.265/HEVC、VP9、AV1、VVC等因各具特色而受到了广泛的关注。HEVC/H.265已成为国际标准且应用广泛,但除了复杂度高、实现困难外,高昂的专利费用和复杂的授权政策成为阻碍其推广的最重要因素。

渐进式视频H264/AVC

开放媒体联盟的其他创始成员包括亚马逊、ARM、AMD、思科、Facebook、谷歌、IBM、英特尔、微软、Mozilla、Netflix
和 NVIDIA 等科技巨头。

VP9最初仅定位于服务于谷歌YouTube自身的编码VPx系列算法,在升级为VP9后由于技术指标优异,加之完全免费开源、主打浏览器即播放、解码复杂度低等相对优势,很快跻身与HEVC/H.265相提并论的地位。但考虑垄断的因素,行业里很少看到基于VP9的产品面世。

视频格式之王采用带有 H264/AVC 编码的mp4容器。有时你也会在 m4v
容器中看到它,这是 Apple 为具有 DRM 保护的 H264 视频开发的 mp4
衍生产品。

相信苹果将会和其他联盟成员一起推动 AV1
标准的应用,逐步抛弃其他的视频编码标准。

AOMedia Video
1是一种开放的、免版税的视频编码格式,专为通过互联网进行视频传输而设计。它由开放媒体联盟开发,旨在成为VP9的继承者,而不依赖任何MPEG专利。

每个浏览器和系统 —— 以及iOS和Android中的本机应用程序 ——
都支持这种格式。这是避免兼容性问题的安全选择。

附开放媒体联盟成员:

AOM开放媒体联盟,成立于2015年,董事会成员已经涵盖了Adobe,Amazon,AMD,Broadcom、Cisco、Facebook、Google、IBM、Intel、Microsoft、NVIDIA、Netflix等30余家以上的技术巨头。前不久Apple也宣布加入该联盟,致使AV1在业内的声势不断壮大。

此外,几乎所有台式机和移动设备都支持 H264 的硬件加速。编解码速度很快。、

图片 3

除了开放、版税问题的优势之外,AV1在编码性能上也独具优势。AV1的代码主要来自于谷歌的VP10,其专注点:

总而言之,对这种格式编码和使用都非常简单。与图像一样,你只需用 HTML5
插入视频链接,就可以在任何浏览器下使用。

(文/开源中国)    

◆一是,超高清视频的编码压缩上,包括支持更高比特率、更宽的色彩空间、更高的帧率,试图以此去实现直接在浏览器中播放4K@60帧的视频;

大约 2000 kbps
和超过几秒的延迟时间可能会影响视觉质量。当通过移动网络或网络高峰时段观看时,可能会出现停顿和重新缓冲。如果使用降低图像质量的方案将会产生模糊、飞蚊或块状之类的伪影。

◆二是,为WebRTC协议提供一套高可用的编码算法。

H265/HEVC

AV1成立的具体目标是,与VP9或HEVC相比码率大幅度降低至30%以上,解码复杂度控制在VP9的两倍以内,同时AV1也做了很多对屏幕图象内容的优化,比如调色板功能。在开发的时候,各个公司会提出不同的新的算法,且必须跟其他算法能够协同、兼容。

这是一种使用相同的容器并用 H265 HEVC
编码的强大的视频格式,可以产生更高的压缩效率,除了模糊之外的其他问题要小得多。这种格式的主要问题在于支持仅限于
Apple 设备,其中包括其价格中的高额版税。几乎只有 Safari 和 iOS
应用才能使用它。如果你有许多 iPhone 或 Mac 用户,可以把它作为 H264
的后备版。他们的体验会更好。

金山云集智高清+AV1压缩率高达80.57%行业领先

即使用了硬件加速这种格式更高的复杂性意味着会使编码速度明显变慢
,因此生成交付文件需要更多的运算和时间。

作为AOM的成员之一,金山云在AV1算法优化上投入了巨大精力。目前,金山云推出的AV1编解码服务在国内实现商用落地且在压缩率上实现大幅领先。

VP9

下图是目前金山AV1的转码效果。在原始3.3M码率的游戏视频下,编码器压缩至0.67M时,H.265已经产生块效应,但AV1能保证更好的主观效果。

这是 Google 提供的免费开源的视频格式。它使用 webm 容器代替 mp4,基本上是
mkv 容器,但将编码标准设置为 VP8 或 VP9。用 H265
也能带来类似的好处,也许是效率低一点但与 H264
相比仍然要多得多。同样,它允许减少大小,除了模糊之外的伪影要小得多。编码速度类似于
H265,这很慢。

针对600+段测试视频,在人眼保证主观画质几乎无损的情况下,金山云将AI与AV1相结合,推出的集智高清+AV1视频压缩可以达到平均80.57%的压缩率。

注意,虽然以前的版本也有相同的支持,但我们根本不推荐,因为它不会给已经普遍支持的
H264 带来任何好处。只有通过 VP9 编码才能使用 webm。

目前金山云的AV1是以云转码服务为主,未来还是会提供私有化部署。此外,基于AV1的云转码服务对于三类用户将更有吸引力:

当然,对 webm 的支持仅限于 Google 的世界。这意味着只有 Chrome 和 Android
才会支持。

第一类是对专利费敏感型的用户,AV1相较于H.265来说具备更好的专利生态,H.265有三个专利池进行收费且不设上限,而AV1则完全专利免费;

AV1

第二类是Web端有大量播放需求的用户,目前Chrome、Firefox等浏览器内核均不支持H.265解码;

该标准的第一个稳定版本于 2018 年 3 月发布,其中包含 MP4 和 MKV
容器的映射。与 H265
相比,它可以提供相似或稍高的压缩效率增益,同时许可免费。与 H265
相比,最后的实现也提高了解码速度,AV1 是 web
视频传输的一个引人注目的替代品

第三类是适合内容涵盖4K及以上分辨率视频的用户,AV1在大分辨率视频压缩率的优势更加明显,同时对于UGC低清视频,金山云也提供了集智高清+AV1的低清视频解决方案。

参与创建该格式的开放媒体联盟承诺不久的将来为其提供广泛的支持。

此外,在视频云服务方面,金山云除了在视频编解码服务走在行业前列外,同时也提供云边协同的计算服务能力,致力于为5G时代的高清视频应用保驾护航。

但是,目前可用的实现应该仍然是实验性的,其瓶颈仍然是编码速度。缺乏硬件加速显然是一个问题,预计今年年底将有第一个解决方案。

VVC

负责 H264 AVC 和 H265 HEVC 的委员会正在快速追踪新标准,预计将于 2020
年发布。目前所考虑的方法的初步测试与 H265 和 AV1
相比性能已显着增加。我把它作为一个未来主义的可能性包含在这里,只是为了表明视频编码的竞争似乎远未结束。

自适应比特率

这是渐进格式的一个非常有趣的替代方案。它建立在基于 HTTP
的媒体流通信协议之上。这种方法把视频作为主播放列表提供。播放列表可提供具有不同的分辨率和比特率的选项,可满足不同的视口大小、网络带宽和设备。

此外,视频被分成片段或,以便客户端可以从一个质量级别跳转到另一个质量级别。它能够适应用户当前的条件,即网络速度,也适应视口大小
—— 如切换到全屏。

ABR
为优化移动设备的用户体验带来了巨大的优势,避免了在移动网络下的停顿或重新缓冲。如果你正在寻找真正的响应式的行为,这显然是应该采取的方法。它有两个主要标准:HLS
和 MPEG-DASH。

尽管人们普遍认为 ABR
只对很长的视频有意义,但根据我的经验,很多情况下相当短的剪辑也可以从这种方法中受益。

HLS

由 Apple 开发,这种 ABR 协议依赖于以 mp4 格式分割的不同再现。最初使用
H264,现在也支持 H265。但是作为折衷方案,我建议坚持对 HLS 使用 H264
编码,因为它可以在各种客户端案例中实现更好的兼容性。

这个标准的一个重点是最近的 Apple 设备的支持。对于 Safari 或本机 iOS
应用以外的客户端,你需要一个
viewer。但这不是个大问题,因为有很好的开源选择,比如
videojs。或者你需要付出一些努力,来定制它并将其用于自己的前端程序。另外还提供很棒的转码和传送服务,为你完成所有这些工作提供方便。

由于每个播放应该以恒定的比特率编码,所以我建议将 HLS与 per-title
encoding 结合使用。 也就是说,基于视频的内容选择播放的比特率。

MPEG-DASH

这是针对 ABR 的编解码器无关的协议,因此除了 H264 和 H265
之外,它还可以用 VP9 编码,甚至可以使用 AV1
等新的替代方案。缺点是它的相对年轻,这意味着与 HLS
相比支持较少。这就是为什么我们不建议大多数 Web 企业使用它的原因。

总结

多年来 H264 AVC 压缩的优势很明显,新的方法正在 web
视频增添动力。在显示尺寸和分辨率方面的竞争促进了新格式的发展,能够在相同带宽下提供更多的内容。

webm 中的 VP9 对压缩效率有着显着的提升,没有版权问题,而且受到 Google
解决方案的支持。更进一步来说,与 H264 相比,H265/HEVC
只用了一半的比特率就达到了相当的主观质量。由于它们都没有被普遍支持,因此仍然需要
H264,至少作为后备方案。

自适应比特率是一种引人注目的替代方案,可提供无与伦比的用户体验。在这方面,HLS
在开源 viewers
的帮助下得到了广泛的支持。它可能是中型网络的最佳选择。由于 videojs
等开源计划,以及能够提供极具竞争力价格的第三方服务,显着减轻了 viewer
的需求所带来的复杂性。如果你采用最后一条技术路线,请务必要求 per-title
encoding。