Skip to main content
 首页 > 视频

《英雄联盟》除了国服手游以外,虎牙又为什么要花这么大去做?

2021-10-17 10:07:44 浏览:

近日,《英雄联盟》除了推出国服手游,还迎来了一年一度的世界总决赛。上周,葡萄先生在虎牙看比赛的时候,发现今年的比赛直播居然多了一些黑科技。

比如《英雄联盟》本身并没有HDR配置,但虎牙可以将直播调整为色彩更丰富、对比度更高的HDR画面。

每个平台上有多个房间,比如单向、双向、主播评论等,同时直播赛事的情况并不少见。有意思的是,虎牙这次有一个直播间叫AI字幕。进入后会看到解说的人声内容实时转换为字幕,准确率相当高。不仅英雄和技能名称翻译正确,外籍球员的昵称和一些球场梗也可以匹配。

当然,人工智能还不够聪明,无法完全理解外国人。在采访外国玩家时,AI字幕的“可爱表现”往往能成为另一个有趣的梗。

同样,通过AI实现的,还有弹幕防堵和点播功能。在像S游戏这样的火爆事件中,如果你打开所有弹幕,屏幕会瞬间被弹幕淹没。从实际效果来看,弹幕可以识别英雄、皮肤、技能。就像检测到真人一样,弹幕会主动避开。当像EZ大招这样的全图技能擦身而过时,也会一扫弹幕,开路。

或许在某种程度上,这也是一种增强沉浸感的方式(?)

注意进度条,还会看到团战、龙资源争夺等关键时刻。直接点击返回对应的比赛时间。更方便我们回顾玩家们的精彩操作,也不必全程盯着屏幕,生怕错过一些精彩瞬间。

那么,这些黑科技是如何实现的呢?虎牙为什么要花这么大的精力去做呢?

《尝试定义游戏直播HDR的效果》

从统计数据来看,目前在支持HDR功能的虎牙直播APP版本中,约有15%的S11观众在观看HDR直播,而这一比例在4K HDR频道中更高。

虎牙音视频算法负责人拓健告诉我,HDR是音视频直播技术迭代的必然趋势。目前,市场上的一些抓拍设备和高端手机已经支持HDR视频拍摄,而且这种类型的显示器也越来越多。在虎牙对直播的延迟和清晰度进行了大幅优化后,视频的色彩自然成为提升画质的重点。

HDR屏幕

普通画面

Grapeman 是个技术外行。当他第一次看到支持HDR的直播时,一时间不解。毕竟《英雄联盟》本身并没有HDR配置,那么直播视频的HDR效果怎么做呢?

拓健认为这也是他们遇到的困难之一。大家一般将普通视频称为SDR视频,以区别HDR。这里涉及到色深、峰值亮度、色域映射等一系列参数。比如SDR图像的理论色深是8bit,而虎牙使用的HDR10是10bit。从感知认知来看,SDR可以显示约1658万个颜色单元,而在HDR10标准下,可以显示超过10亿个颜色单元。

“虽然有很多视频平台会把SDR视频转成HDRlol最新比赛视频,但其实有些转换后的视频只是进行了色域映射,也就是使用tonemapping技术来贴合HDR效果,其实就是普通的SDR视频。 ”

事实上,目前大多数游戏都没有 HDR 效果。拓建团队将利用AI图像生成模型、视频编解码、玩家渲染等方式,将游戏画面转换成色彩更丰富的HDR视频画面。在这里,从虎牙流媒体各种系统的支持,到图片的内存拷贝,都需要按需进行功能优化。

“就像音视频直播领域面临的所有问题一样,我们仍然有最入门但也是最苛刻的要求:实时性。尤其是S11直播,以4K+60FPS+HDR为例,我们需要在 1 秒内对 60 张 1080P 图像进行超分辨率到 4K,并对 4K 图像进行 SDR2HDR 的 AI 模型推理,最后通过编码器将它们编码成 4K HDR 视频流。”

在研发过程中,为了获得最好的HDR效果,拓建团队做了一系列的精细化处理。比如视频场景实时分类,区分游戏场景和舞台场景的HDR效果;为了准确控制HDR的亮度分布和显色效果,实时进行ROI分割,使用对应的SDR2HDR模型进行颜色转换等。

在实现SDR2HDR AI模型时,拓健团队里有一位年轻的算法研究员曹晓。在做微调时,他需要长时间盯着屏幕来校对效果。因为HDR峰值亮度和对比度更高,眼药水就成了小曹的常备品。该团队甚至开玩笑地用滴眼液的数量来测试每个模型的优缺点。