我已经迫不及待地想给各位安利一项游戏音频新技术了

文/ 依光流 2021-07-09 11:34:52

上周,在葡萄君的音游好友群里,一名制作人朋友给大家安利了一项新技术「SonicSYNC」,他的评价只有两个字:牛X。

原因在于,他正在制作一款音乐游戏,核心音游受众偏小是一个固有问题,而且在国内还有一个限制用户群体增长的硬伤:国产安卓机在音游里普遍的断触、吃音、掉帧、爆音、卡屏等问题。而这项技术可以从软件测极大程度缓解这类问题,也就有机会带来更多的音游玩家。

image (1).png

葡萄君是技术门外汉,无法直接判断好坏,所以上手试了试实装了这项技术的产品,结果大幅度超出我的设想。鉴于国内完全没人报道SonicSYNC,索性今天就给各位读者安利一下。

「音游杀手」背后的顽疾 

如果提及用什么手机玩音游,基本所有老音游人的回答,都是不推荐安卓,百度搜索「音游 手机」你能得到一大堆类似的回答。

image (2).png

因为很多机型玩起音游来,真的能让人抓狂,就像下面这个视频里,用小米11体验《PJSK》的时候,会莫名其妙出现卡顿、掉帧,甚至卡屏的现象。游戏体验已经没了,而且这不是只有小米才会发生的问题。

https://www.bilibili.com/video/BV1tN411o7JM

音游的玩法本质,是对准节奏和音符按准音键,当然,这个准度不是指绝对的分毫不差。

所有音游都有各自的判定区间,以纯Perfect判定而言,难一些的音游能聚焦到±25ms的区间,而简单一些的音游则可能会放宽到±80ms,甚至±100ms的区间。

然而,尽管游戏机制在追求两位数毫秒级的精度,设备却很难跟上。在以往,不论是安卓机还是苹果,基本所有机型的音频延迟中位数(点击虚拟按键触发按键音,直到玩家听到按键音的延迟时间),只能控制在100ms左右,好一点的安卓机最低延迟大多在30ms左右,差一点的直接能飙到150ms以上。

image (3).png2018年JUCE的部分测试数据(https://juce.com/maq),时间比较久远仅做参考

对于一般的游戏而言,100ms的延迟在听感上基本可以忽略,但在音乐游戏、FPS游戏、重视打击感的动作游戏当中,这个级别的延迟会非常影响手感。尤其是音乐游戏,100ms的延迟在±25ms的判定机制面前,根本不够看。

所以在过去,玩家要么主动人肉匹配游戏体感,要么调节游戏的判定偏移率,来摸清楚设备与自己的匹配度。另外对于用安卓机的老手,基本每次游戏都需要根据自身的状态、设备的状态,来调节偏移率。 

image (4).png葡萄君关注的一个神仙级拇指Arc玩家

而随着近几年日系音游的走红,国内逐渐出现了诸多这类游戏的受众,尤其以使用安卓机居多的学生群体为主。后来很多玩家都发现,除了固有的音频延迟,日系音游在国产安卓机上集体水土不服,出现了更多硬伤级别的问题。

如同前面小米11玩《PJSK》的卡顿一样,小米系、华为系为代表的机型,多多少少都会有些影响音游手感的问题,而且问题出现的概率参差不齐。也因此,很多国产安卓机都被冠上了「音游杀手」的名号。

image (5).png

这类问题的原因,一方面可能在于硬件设备的优化覆盖不到音游这么小的品类,比如小米11的问题,被指出是因为MIUI优化问题导致的。

另一方面,可能在于音频引擎没有针对国内复杂的安卓硬件进行针对性优化。我查询后发现,日本市场上基本所有音乐类头部手游,用的都是CRIWARE的音频引擎,而这款引擎为日产引擎,日本市场上国产安卓机到去年为止还是全军覆没的状态,显然不会得到针对性的优化。

collage.png

这个问题原本挺无解的,国内安卓厂商不可能在乎一小部分玩家玩音游到底爽不爽,一家日本企业理论上也顾不过来国内这么复杂的安卓生态。但是CRIWARE专门给日本音游市场搞攻坚的技术,很有可能刚好把这个国内玩家头大的问题给解决了,而且是一劳永逸的那种。

100ms→53ms

目前日本市场上只有《迪士尼音乐游行(ディズニー ミュージックパレード)》使用了CRIWARE提供的新技术SonicSYNC,就以这款游戏做个简单对照测试。在游戏更新版本之前(即没有实装SonicSYNC的版本),用小米11体验这款音游,毫不意外地出现了严重的卡屏问题。

https://v.qq.com/x/page/t3258f4kiqy.html

在更新版本之后,体验了很长时间都没有出现类似的问题,实际上手后的滞后感虽然仍然存在,但是已经不影响正常全连,打出Perfect的准确率也不低。换到经常被大家吐槽的华为P20以后,也和小米11一样,虽然有小幅度的延迟感,但不影响操作,也没有卡顿了,此外P10的体感比P20的情况更好一些。

以上三个机型在使用新版本的《迪士尼音乐游行》之后,打出来的都是基本全Perfect,这里就只放一个P20的视频做参考了。

https://v.qq.com/x/page/x3258wmmbg2.html

实测以后,超出我设想的地方在于两点:一是原本硬件和软件相互作用的优化问题,为什么软件侧的技术改进以后变化会这么明显,二是体感上的反馈是几乎没有滞后感,那么实际上的延迟数据到底变化有多大。

在翻看日媒近几天对SonicSYNC的相关报道以后,我大致了解到一些具体情况。

官方提及的几个卖点是:其一,这项技术实现了与硬件同步生成实时声音信号的效果,在软件处理层面达到了0延迟。其二,实际音频延迟只剩下硬件侧的原因,所以整体音频延迟为50ms左右(参照物:三角钢琴按键之后发出声音的延迟是40~60ms)。其三,用蓝牙耳机也能达到正常玩音游的水平。

image (6).png 

机制层面,过往的游戏音频处理逻辑,是针对要用到的音频,先做缓存处理,再进行实际调用,由于音频文件一般都会压缩处理,所以缓存的量越多,处理起来的步骤会越多,造成的软件处理延迟就越高。SonicSYNC的处理逻辑,是在极短的时间内,对系统处理音频的工序进行彻底拆分,然后只针对「要用什么音频」的结果,以最小的动作来调用音频,从而实现软件侧的0延迟处理。

image (7).png

image (8).png

所以理论上讲,软件如果做到0延迟调用和输出,那么对系统环境的要求就会被降到极低,即便不做专门优化,也有改进的空间。某种意义上,这就像是一套通用解决方案,硬件只要正常一些,之前很多因为优化不匹配导致的问题,大部分也就能缓解了。

而至于53ms的音频延迟中位数,这绝对是音游玩家可以喜大普奔的数字了。

现在市面上主流的移动音游里,偏硬核一类的如《Arcaea》最高判定区间为±25ms,大多数则是在±40~±60ms的区间,比如《Bang Dream》±40ms、《PJSK》±40ms、《Deemo》±50ms、《CGSS》和《Lanota》是±60ms等等。而且±40ms~±60ms也是大众向音游的主要采用区间。

image (9).png

在上手一款最高判定区间在±50ms左右的音游时,如果用了前面这个技术,那么玩家基本就不用再担心设备会不会不适合玩音游,不用频繁调整判定偏移率直接体感适配即可,而且实际玩起来,也不会感受明显的滞后感。

换句话说,上手门槛降低,可能会让玩家觉得音游突然变简单了,设备要求降低,则有可能带来更多的玩家。后者是我最希望看到的事,毕竟音乐无国界,音乐游戏背后承载的趣味性,也值得被更多玩家感受到。

image (10).png


技术始终是行业基石

回想当年,葡萄君入坑手游就是因为音游,第一台音游设备,就是国产安卓机,当时也饱受断触的折磨,被逼无奈攒了几个月工资忍痛换了苹果,后来就再也没敢碰安卓机,顶多测试用一用。

如今不得不感叹,有痛点的地方,就有解决方案,尤其是在我们的游戏行业里,大家天天都跟用户体验打交道,更容易出现针对特定痛点的技术钻研和解决手段。虽然音频技术只是一个很细分的领域,但能解决问题的技术,始终都会成为行业进步的基石。

Alex Matveev
2022-06-06 16:27:13
不合规
审核中
@苏某某: 她在音乐方面的喜好,以及对天文的兴趣,也源于这部动画的影响。一直很喜欢爵士乐的她突然开始想
乐方面的喜好,以及对天文的兴趣,也源于这部动画的影响。一直很喜欢爵士乐的她突然开始想,没有系统了解过此类音乐的她怎么会喜欢上 呢?后来听完《美少女战士》原声带后才发现,“原来我在那么小的时候
评论全部加载完了~