湘潭县建设投资有限公司网站,wordpress 显示icp,网站建设一条龙包括哪些服务,电商网站开发图书在阿里#xff0c;音视频会议已经成为跨地区沟通、开会以及招聘的首选方式。据悉#xff0c;目前阿里巴巴的办公网络与音视频会议已经覆盖全球33个国家和地区#xff0c;其中#xff0c;音视频会议在过去3个月平均每天召开超过2000余场。在使用如此频繁、覆盖面如此之广的音…在阿里音视频会议已经成为跨地区沟通、开会以及招聘的首选方式。据悉目前阿里巴巴的办公网络与音视频会议已经覆盖全球33个国家和地区其中音视频会议在过去3个月平均每天召开超过2000余场。在使用如此频繁、覆盖面如此之广的音视频场景中如何满足全球各地使用者的不同需求保障交流的顺畅下面我们一起来探讨、研究。
音视频行业的发展
音视频行业发展迅速经历了1970年代的黑白时代、1980年代的数字化时代、1990年代的数字标清时代、2006-2015年代的高清时代2016年逐步开始以融合通信为主的行业趋势高质量4K高清高帧率HDR、多场景点播直播实时通讯、云化硬件软件化平台云化和行业化已经成为当下音视频行业的发展趋势。
音视频行业未来的发展趋势在我看来就是云端服务。
云平台云化从PaaS到SaaS从私有公有云一切都是基于云的服务。
端兼容各种终端PSTN和VOIP会议室设备手机PCWebAndroid终端等。
服务包括短信语音IM音视频呼叫中心云客服和附加AI服务等多种服务。
目前音视频已广泛应用于包括B2B企业与企业间、企业内部间、C2C用户与用户间以及B2C企业和用户间。 根据著名Cisco的VNIVirtual Network Index预测到2021年地球上将有46亿互联网用户271亿联网设备82%互联网的流量是视频。每一秒钟将会有一百万分钟的视频内容被创建其中4K高清的内容会增加30%相当于每个月生成71亿部DVD影片直播的需求也会大幅增长15倍。
从视频本身发展的趋势看也是一路狂奔向高清、CIP、4CIP、720P、1080P、UHD4K和8K加上高帧率FPS 120-160FPS、HDRHigh Dynamic Range、宽色域Wide Color Gamut一切发展变化都是为了给人一种身临其境的Immersive体验。当然还有VR、AR、360视频这所有的一切都意味着更多的视频数据流将被生成和消费。
网络环境让我们需不断完善音视频服务
如果网络带宽是无限且畅通无阻的那世界将是多么美好。但网络并不是一马平川的。有时像十一长假堵车有时像乡间泥泞小道而且还有可能布满大坑。
根据Silver-Peak跨美国和欧洲的网络健康报告发现网络传输的延时、抖动和丢包是普遍存在现象。有时网络状况就像天气一样令人难以捉摸。虽然网络的平均丢包率只有0.34%但个别情况下可以达到2.2%而且丢包从来都不是均匀的是突发性的Burst网络延迟可能会超过平均值300多倍。这些极端的网络情况对音视频的传输和用户体验来说都是极大挑战。
网络和音视频流量的供求矛盾网络传输的不确定和不完善的残酷现实倒逼着我们不断完善和监控音视频服务。
音视频内容从生产到消费的过程会经历不同环节且链路较长其中涉及的技术也较多下面将主要对其中的视频编码网络构架进行解析。
视频编码
视频编码标准的选择
视频编码标准作为视频技术的核心在过去几个世纪出现过很多不同标准但最终被市场采纳主要为以下两套体系一套是标准化体系的H264、H265 和正在制定中的VVC另一套是开源无版税的VP8、VP9和AOM(Alliance for Open Meida)的AV1。
阿里巴巴是AOM的成员也同时积极参与VVC的制定对于视频编码的核心不能被掐住发展的咽喉。 针对不同场景的不同编码需求
视频不同的应用场景如点播、直播、实时通讯决定了在每一个应用场景底下对编码的不同需求。
对点播而言最重要的是编码效率如何有效节约带宽。直播对延时有要求但是是在秒级的对编码的速度和稳定性的需求也比点播高。实时通讯对“点对点”的延时要求最高同时它对稳定性和容错性的要求也很高这需要通过平衡编码效率来实现。
如何配对编码率与分辨率
视频编码以前简单地采用固定压缩参数固定码率和固定分辨率对于HLS和MPEG-DASH的ABR(Adaptive Bitrate)也用固定编码率和分辨率来配对。这就无法满足不同视频对码率的不同需求。1M的720P动画片看起来可能已经不错了但是1M的720P动作片看起来就会很糊。 但对于ABR编码率和分辨率也是一个动态平衡的过程。在低码率的情况下用低分辨率以减少块状效果blocking effects当码率的提高到一定程度时提升分辨率包围不同分辨率RD曲线的就是凸包Convex Hall。曲线中的交叉点就是理性的编码率和分辨率配对。
如何确定视频质量的衡量指标
但怎么确定曲线中的交叉点呢这需要有衡量视频质量的指标。
通常的视频指标包括主观的MOS分和客观指标比如PSNRSSIM和VMAF。阿里巴巴的视频质量指标不但结合了通用的客观指标也同时考虑了影响播放质量的的卡顿和网络状况。
如何进行自适应编码
自适应编码Content Adaptive Encoding是视频编码的一大趋势。从One-size-fit-all的单一编码参数、码率和分辨率配对到根据视频内容的复杂度进行定制化的编码参数适配。自适应编码可以针对单个视频、场景、GOP甚至是Frame用不同的压缩参数进行动态调整这样最大限度优化视频质量、节约带宽。这种自适应优化最重要的就是视频质量的衡量指标。一旦定义好可用的指标就可以围绕它进行不同层次的优化。 对于自适应编码机器学习可以大有用处。比如利用机器学习针对不同的视频特征找到对应优化的编码参数。
人脑占人身体的比例不大但是消耗人体大约1/3的能量人的基因特性决定了大脑只会关注画面中重要区域忽略不重要的区域。利用这种ROIRegion of Interest进行编码就可以在保持视频主观质量的情况下减少编码率。比如人脸和文字是经验意义下的ROI的例子。
音视频服务器网络架构
实时音视频服务器的网络架构除了MESH外还有MCUMulti-point Control Unit和SFU(Selectiveforward Unit)两种。
MCU是集中的媒体处理服务优势在于可以对媒体和信令进行控制和转换如对媒体进行转码、转流、混屏、分流对信令进行转换对媒体包进行路由优化等等。MCU可以减低Client端的CPU和对网络带宽的需求但是MCU的缺点也较明显那就是服务器CPU的开销以及带来的延迟。
相对MCU来说目前更流行的架构是SFU它主要的好处是简单、低时延、高吞吐缺点是对client端的带宽要求比较高client上传一路或者多路流同时下载多路流。SFU的客户端可以发单流、多流Simulcast和SVC。根据运用场景的不同客户端发流策略也不同。
在阿里巴巴的音视频会议系统中采用的是一种SFUMCU的混合模式以保证最大的兼容性。这种SFU和MCU级联的策略保证对各类客户端的最大灵活性。此外媒体服务器在不同区域可以进行级联客户端就近入会、就近补包减低第一公里和最后一公里对音视频质量的影响。
网络带宽评估
网络带宽评估是实时通话的关键技术。阿里巴巴在这方面进行了很多针对会议室场景的优化。并且通过评估算法可以在服务器端快速发布不用等待更新客户端软件。
在弱网不可避免的情况下通过合理的带宽分配确保音频优先传输同时及时把弱网信息传达给用户同样可以得到用户理解提升用户体验。
后记
音视频提供的是服务不是单点的QoS用户的最终体验不是简单的抗丢包率、卡顿率的指标而是端到端的体验。所以不仅需要我们在事先创造一个良好的音视频环境更需要我们对整体链路进行质量监控。除了能及时发现问题快速响应外还能帮助我们不断发现与创造更多新业务场景。通过把业务数据化再根据数据来指导业务这样才能让音视频的服务体验达到极致。 原文链接 本文为云栖社区原创内容未经允许不得转载。
