干货周记:DSP,数字音频的主战场 (消费电子5)
数字音频,正在慢慢吞噬着模拟音频。
我们之前的文章中(干货周记:HiFi,玄之又玄的模拟音频(消费电子3)),谈到过模拟音频(意犹未尽),这次,咱们再看看,鼎鼎大名的DSP,在数字音频中,又扮演着怎样的角色。
如果说,模拟音频,是个玄妙的魔法师,那数字音频,一定是个缜密的军事家。而DSP,则一直都是这位军事家的秘密武器。
AI作图
时代的发展,终究是飞快的。当年如日中天的DSP,时至今日,依旧是那个方兴未艾的进击者,还是逐渐成为了日暮西山的退隐者呢?
下面,我们以音频DSP为例,探个究竟。
啥是DSP?
DSP(D igital S ignal P rocessing),顾名思义,即数字信号处理 。它在广义上,可以指技术、芯片、甚至是学科。电子、通信、计算机的同学们,你们对“数字信号处理”这门课,应该不陌生吧?
AI作图
可还记得,奥本海姆的《数字信号处理》?实验室里常见到的C2000?
现在还能用双线性变化法,手算数字滤波器的同学,请举个手...
数字信号处理的应用,可以说是无处不在:数字通信、电源变频、医疗影像、马达控制、功率变换、多媒体音视频,等等等等。
但咱今天要聊的主角是:音频DSP芯片,也常被叫做ADSP(A udio DSP ),注意,咱这儿指的ADSP芯片,是专门处理音频信号的芯片,有自己的架构体系。(通用处理器,也能做信号处理,但不在咱们的"ADSP"范畴之中。)
枯燥地讲 :ADSP会涉及到一些列数字音频信号的计算、转换、压缩、滤波、增强、解码等操作。理性地讲 ,ADSP芯片,能高效地做数学运算,通过对音频信号做数学处理,能实现不同的音频效果,比如,杜比全景声、主动降噪、空间音频。可以说,ADSP从某种程度上,打通了数学世界和物理世界。
有人说:物理的尽头是数学 。
这听起来是不是很神奇?
AI作图
这么说,可能还是有些抽象,下面举几个具体的例子:
一、手机的通话降噪。
有没有发现,上到旗舰机,下到性价比,现在的手机,通话降噪效果,普遍都做得很优秀了。即便你在嘈杂环境下打电话,也不用担心对方听不清,在手机SoC中ADSP的处理下,电话另一头听你的声音,还是可以很清晰。
手机对通话语音清晰度的增强,以及环境噪声的识别/消除,几乎都是由ADSP中的信号处理与计算实现的。手机的通话降噪效果,往往会比耳机更好些,这是因为手机内的ADSP,算力资源更强,能放得下更复杂的算法,和更大的模型。
另外,由于手机尺寸的局限性,麦克风之间的位置和数量也会有限制,ADSP还能通过数学计算,去弥补这些物理上的不足。因此,它可更好地识别和抑制环境噪声,突出有效人声,从而提升通话中的声音体验。
我们手机里的麦克风,采集到语音/杂音数据后,会数字化为一个个的数据序列(如: x[0],x[1],x[2],x[3]...x[n-1],x[n]),我们可以对它们做傅里叶变换,得到这段语音的频谱成分,也可以做机器学习,以分辨语音和噪声的特征,还能根据计算结果和实际值间的误差,对算法中的各权重值,求梯度,以实现降噪效果的自适应优化。
AI作图
二、硬件不够,算法来凑。
上面谈到,可用基于ADSP软件算法,去弥补设计中的物理限制,听起来很神奇,其实这样的案例,比比皆是。
比如,在汽车音响设计中,反射面多,会导致高频偏重,门板墙体不够,又会导致低频劲不足。这里也常会引入多喇叭布局+ADSP算法,实现原来很难触及到的效果。
AI作图
再比如,带环绕声的Soundbar,仅凭区区一排小喇叭,通过对室内声学环境的自动测算,就能给你带来环绕声、甚至天空声道的感觉。这种声场模拟,也是由ADSP计算和呈现的。现在的信号处理手段,可以轻松模拟人耳特征,再结合心理声学(如哈斯效应),像魔术师一样,“欺骗”我们大脑,实现不可思议的效果。
在耳机和音响中,ADSP常用于做音频均衡,通过增强/削弱特定频率,可校正音频色调,弥补声学环境差异,以及喇叭的先天不平坦,从而提升音质和听感一致性。
AI作图
三、计算音频。
计算音频的效果,往往比较容易感知得到。比如主动降噪,本质上就是由ADSP对麦克风等音频信号,做不同的滤波等处理,就能给你“一秒钟沉入海底”的寂静感。
另外,ADSP还能通过对音频信号做处理,控制声像,从而渲染出身处不同场景的效果,如大峡谷、电影院或演唱会现场。这种沉浸感,无论你是不是金耳朵,都能明显地体会到,一点玄学成分都没有。不夸张地说,这种听觉体验的提升,不亚于当年,从单声道到立体声的突破。
近年来,苹果等厂家,一直在“计算音频”、“计算影像”上下功夫。其所关注的,也正是把数字世界里的奥妙,尽可能呈现到物理世界之中,像变戏法一样,全方位地提升我们的体验。
刚发布的Vision Pro里面,也用了海量的数字信号处理技术,且不止于音频,感兴趣的话,咱下次找个时间单聊。
AI作图
再多扯一句,在不久的将来,游戏 也许会整合AIGC等一众元素,大放异彩。
ADSP,未来的前途如何?
先呼应一下,本篇文章的第一句话: 数字音频,正在慢慢吞噬模拟音频。这里说的吞噬,并不是指取代,而是更专业的分工。
现如今,“数字”确实做了很多原属于“模拟”的事,比如,原来单独的分频器、压限器等硬件工具,现在都一一在ADSP芯片中,用软件实现了,节省了空间不说,调起来也更灵活了。甚至,现在很多流行音乐的录制,连真实乐器都不用了,直接用MIDI做数字合成…
这在以前,是很难想象的。
话说回来,音频DSP芯片,确实把很多原来不可能的事,变为了可能。从TI的C2000到ADI的Blackfin/Sharc系列,这些曾引领时代的经典产品,至今仍在它们深耕多年的生态中,散发着耀眼的光芒。
然而,没有只升不降的波浪。
在这个混沌不确定世界里,唯一确定的,就是变化。
ADSP看似光芒四射的背后,一场危机也正悄然袭来... (下期继续)
AI作图
本想一期说完,没曾想内容有些超标了,索性分成两期,咱下回接着聊。
下期预告:《危机来了!音频DSP还能打吗?》
消费电子系列 ,我们会持续更新下去,后续会逐步深入,更具体。在“干货周记”中,保持更新的还有:
音频产品/市场/技术(消费+汽车,模拟+数字),
汽车产品/市场/技术(座舱+智驾),
可穿戴健康系列
音频体验提升的关键,蓝牙芯片的音频DSP技术有哪些升级
电子发烧友网报道(文/莫婷婷)蓝牙芯片的集成度越来越高,集成DSP在蓝牙芯片中也成为演进方向之一。包括物奇、恒玄科技、络达、高通等厂商在内的厂商都在其新一代蓝牙芯片中集成了DSP。例如物奇的WQ703X系列,恒玄的新一代BES2700系列,络达的AB1585,高通的QCC3072等。
物奇的WQ703X系列采用RISC-V+DSP低功耗软硬件架构,内置HiFi 5 DSP,具备低功耗、高算力等优势。物奇蓝牙产品线市场销售负责人陈武清表示,HiFi5 DSP相较于ARM有更强的算力效率,更适合于复杂算法和低功耗的场景需求。
基于多核异构 SoC 技术,恒玄科技新一代智能可穿戴主控芯片在单芯片上集成了 ARM CPU、音频DSP、2.5D GPU、协处理器。恒玄科技在财报中提到,全集成音频DSP,能够在更低的主频下处理各种音频制式的编解码,提高芯片能效。炬芯科技也在加速研发专用音频DSP处理芯片。
当前,音频体验的提升是TWS耳机、OWS耳机厂商在进行产品升级时必定会考虑的方向,就比如这两年比较火的“空间音频”已经成为大多数TWS耳机在新品宣传时一定会提到的功能,例如2023年7月份推出的红魔 Dao TWS 氘锋具备DTS空间游戏音效,9月份推出的倍思 Bowie M3,采用了倍思空间音效技术(BISA)。上述两款产品的售价在300--1500元之间,可见空间音频技术已经从中高端TWS耳机渗透入低端TWS耳机中。
DSP在提升耳机产品的音频音效上有着关键的作用,因此芯片厂商在设计芯片平台时都会将其考虑进去。
例如物奇WQ703X是一个软硬件协同的开放平台,除了HiFi 5 DSP+RISC-V软硬件架构带来的低功耗性能之外,还具备音频算法、芯片+算法集成的全自适应ANC降噪技术等性能。
陈武清介绍,物奇的动态空间音频算法结合智能陀螺仪算法+物奇独有的3D音效算法实现,优势在于通过HiFi 5高性能DSP的运算能力,头转效果可以实时响应角度的变化对音效做出调整;并且6S之后进行居中处理,后续还会根据头转速度的快慢来实现平滑的快慢响应。及时的快慢响应对空间音频体验至关重要。
如果不带智能陀螺仪能否实现空间音频的效果呢?答案是可以的。影响声音的空间感有三方面因素,一是声波到达双耳的时间差,二是双耳感知的声压差,三是音色。物奇提供了双声道立体声算法,将双声道立体声,通过虚拟环绕算法处理,扩展成虚拟多声道,再重新下混至立体声,能够带来声场更加开阔的听感。
在音频技术方面,炬芯科技也实现了一定的迭代,例如综合提升音频的输出性能和体验。根据公司的财报数据,炬芯科技自主研发的音频DSP处理技术包括三段动态范围控制技术、动态均衡器技术、虚拟低音、音质提升技术、环绕声技术、高清音频降噪技术等。恒玄科技也在研发全新的本地360度空间音频音效算法及软硬件方案。
未来,随着TWS耳机,特别是OWS耳机对音频音效性能需求的提升,相应的算法也需要得到升级,蓝牙芯片平台的迭代还将随着市场的应用特点进行迭代。
相关问答