音频指纹技术在车载娱乐系统中的应用

音频指纹技术在车载娱乐系统中的应用

音频指纹检索是人工智能领域自动内容识别技术(Automatic content recognition)的核心算法,与语音识别(如科大讯飞,Nuance)将一段用户的语音转化为文字不同,音频指纹技术不区分语言,是一种声音对声音的精确检索。通过对声音产生的音频指纹匹配,将一段声音中的内容与内容库中的内容做比对,精确识别出库中对应的内容以及对应内容的所在位置。在现实应用中,音频指纹技术广泛应用于歌曲的识别如“听歌识曲”, 电台,电视台内容监测和手机第二屏互动领域。但音频指纹技术在车载领域的应用却很少被大家所熟知。其实如果留意车载娱乐系统,很多知名的汽车品牌如宝马,丰田,福特,特斯拉,都已将音乐识别技术内置于车载的媒体管理系统,用于提高车主在驾驶中的娱乐体验和信息检索的安全性。以下是现实中车载音乐识别的一些使用场景:

1. 车载听歌识曲

开车的途中,无论是传统、网络电台,手机蓝牙设备中播放的歌曲,用户只需通过触发,即可通过车载麦克风进行录音识别,通常仅需3-7秒钟,即可识别出歌曲的信息。在一些车连网手机应用中,识别到的歌曲还可被推送到用户手机,并提供流媒体音乐的链接,车主可一键收藏和播放识别到的音乐。

Pure一键识别歌曲

识别的歌曲通过蓝牙推送到手机APP

获得2015年红点设计奖的英国车载品牌Pure,将听歌识曲功能集成至设备中,用户可一键识别电台播放的音乐并将歌曲相关信息推送到Pure的手机APP中。同时在APP中Pure提供一键链接,用户可将喜欢的歌曲添加到流媒体服务如Spotify中。

荣威RX5 YunOS通过主动触发,识别环境中的音乐

2016年上汽荣威与阿里联合发布的首款互联网汽车RX5 YUN OS版中,当用户在电台收听到自己喜欢的音乐时,可以通过听歌识曲功能一键识别并保存当前播放的歌曲。

2. 实时电台播放歌曲展示

电台播放的音乐是车主获知最新,最热音乐的主要渠道。音频指纹技术应用于传统电台,卫星电台和网络电台中,可在电台播放中自动识别到播放的歌曲并将歌曲的信息呈现在屏幕上。此功能进一步降低驾驶者主动触发识别在开车中的干扰,并实时了解电台中的歌曲信息。

特斯拉电台歌曲自动展示功能

博泰电台歌曲自动显示

3. 歌曲文件ID3信息补全

通过蓝牙和USB连接至车机的音乐文件如果是CD转入或网络下载的,通常会缺失或误报歌曲的相关信息。通过音频文件中的指纹特征比对,音乐识别技术可将歌曲的ID3信息补全和更正。因而准确的歌曲和专辑信息可被呈现在车机屏幕上。

4. 音乐流派分类

一个用户下载,收藏的歌曲通常有几十首到上万手之间。如何在驾驶的同时查找收听某一类型的歌曲从来都不是一件容易的事。然后通过音频指纹技术可将识别出的歌曲根据metadata中的流派分类,用户只需根据歌曲类型如“摇滚”即可浏览当前所有的摇滚歌曲。

马自达3 2016款将用户USB中的歌曲按流派分类

5. 电台歌曲推送

通过音频指纹指纹技术对电台在服务器端的监控,电台中播放的节目,广告和音乐可以通过推送的方式呈现给用户。当用户刚刚切到一个喜欢的节目但节目马上就结束的时候,通过音频指纹的监控技术,可将完整节目的录音推送给用户以供回听。同时电台中播放的广告和音乐如果用户感兴趣,也可一键保存下来。电台过去播放的节目和内容也可通过音频指纹监控的播放数据统计出来。

一键触发电台识别

识别出的内容按节目,广告和音乐分类呈现在手机应用中

澳洲车载应用Airshr与本地电台合作,车主在行驶中听到自己感兴趣的内容,只需一键点击,即可识别出正在收听的内容。如是音乐,可识别出音乐相关信息;如是广告,则提供广告信息以及店铺位置,优惠券等促销信息。如是节目,则提供节目的完整录音,即使刚听,节目就结束了,也可在稍后收到手机推送的完整节目录音。用户识别和互动的数据还服务于电台的收听调研,便于广播公司针对收听群体的节目的改进和推广。

系统集成方案

音频指纹技术在车载领域的对音乐的识别与车载地图导航相似,即可提供离线,在线,和离现在线混合模式。离线解决方案可根据汽车销售的地区将当地最热门的歌曲音频指纹和歌曲信息储存在车机本地,无需网络,即可覆盖大多数的歌曲识别需求。缺点是需要车主对本地曲库升级才可获取到对新歌的支持。在线搜索则无需在车机本地建立内容库和升级,只需很少的网络流量即可完成歌曲搜索。但瓶颈是在网络受限的情况如地库,隧道中则无法使用此功能。除此之外,虽然音频指纹的检索每次耗费的流量很有限,但对于开启音乐自动检索的用户也会带来流量的顾虑。目前音乐识别最好的方法是离线和在线的混合模式,通过本地储存的高频歌曲指纹库来降低在线识别的请求次数,同时在线识别作为补充,可将最新的歌曲识别出来。

伴随车联网和信息检索领域的技术水平升级,在驾驶中如何更好的个性化向用户推荐感兴趣的内容和更便捷的信息检索将成为用户选择一款车的重要衡量标准之一。目前在音乐识别车载解决方案中,美国的Gracenote与整车品牌合作,率先将音频指纹技术应用在欧美日车系中。来自中国的ACRCloud已与众多上述车载设备和汽车tier1和tier2供应商整合,将更好支持中国用户的音乐识别服务方案带入自助品牌和合资品牌中。未来将会有更多的整车品牌和新能源汽车配置音频指纹识别技术。

附:

作为内置“听歌识曲”功能的首个互联网汽车荣威RX5 YUN OS版在发布后,“听歌识曲”功能得到了用户的一致好评:

汽车论坛中,RX5 车主的评价截图:

ACRCloud与马其顿音乐著作权协会达成战略合作

%e6%9c%aa%e6%a0%87%e9%a2%98-2

2016年11月,ACRCloud与马其顿音乐著作权协会(ZAMP)针对马其顿本地140个电视/电台播放的音乐版权内容识别达成合作。此次合作中,监控音乐的内容除ACRCloud目前提供的4000万全球音乐指纹库外,还将ZAMP注册的4万首马其顿歌曲纳入其中。马其顿音著协可通过ACRCloud平台和提供的API在其内容审查平台实时查看所有电视台电台中使用的歌曲,歌名,播放时间,播放时长等信息。基于ACRCloud提供的音乐监控信息,ZAMP将报表与当地广播公司提供的使用列表比对,并向其收取版权费用支付给歌曲的创作艺人。

版权音乐监测记录

在马其顿的版权法中,每首被播放或现场演唱的歌曲都应支付词曲创作者费用。马其顿音著协使用ACRCloud广播监控服务之前,协会只能通过广播公司自己填写的歌曲使用记录来收取版权费用。当地广播公司通常会减少或漏填歌曲数量和使用频次,从而降低费用的支出。现在通过ACRCloud的音乐广播监控服务,协会能够对广播媒体中音乐使用的数据了如指掌。ZAMP注册的词曲作者也可通过ZAMP的服务,实时了解到自己歌曲在全国的播放使用情况。

关于马其顿音乐著作权协会(ZAMP)

马其顿音乐著作权协会成立于1947年,是由马其顿国家文化部发起成立的唯一的音乐著作权集体管理组织,是专门维护作曲者、作词者和其他音乐著作权人合法权益的非营利性机构。2015年马其顿音著协帮助词曲创作者收取版权费9.31亿人民币。

关于ACRCloud

ACRCloud是全球领先的自动内容识别服务提供商,ACRCloud向企业客户提供听歌识曲,电视第二屏识别,广播内容监控等多类音频指纹识别解决方案。在国际音频检索大赛MIREX中连续两年获得音频指纹技术竞赛第一名。 服务的客户包括:阿里巴巴,小米,央视网,上海文广,乐视,多米等。

LyricFind联手音频指纹服务商ACRCloud提供歌词整合服务

LyricFind联手音频指纹服务商ACRCloud提供歌词整合服务

全球最大的歌词授权服务商LyricFind与自动内容识别服务领导者ACRCloud达成合作,在ACRCloud音乐指纹数据库中整合LyricFind歌词ID。

通过双方的资源整合,所有使用ACRCloud音乐识别服务及电台音乐监控服务的开发者均可直接获取到LyricFind的歌词ID,免去了二次检索LyricFind歌词服务的繁复操作。

ACRCloud目前拥有超过4000万歌曲的音乐指纹数据库并在其音乐数据库中整合了多家第三方ID以便客户可以将音乐识别及电台音乐监控结果与其它音乐服务进行关联。目前ACRCloud在其音乐数据库中提供包括:iTunes/Apple Music,Youtube, Spotify, Deezer, Music Story以及LyricFind等音乐服务的ID,此外还提供ISRC及UPC方便开发者将识别及监控结果与其他数据库进行关联匹配。

LyricFind首席收入官Will Mills说“我们很高兴可以与ACRCloud合作,使其开发者更方便的使用我们的歌词服务。我们也期待可以通过此次合作在亚太地区获得更多的客户”。

ACRCloud联合创始人李蕴博说“歌词的需求量巨大并且是音乐相关业务的必要组成部分,此次与LyricFind的合作可以使我们的开发者在使用服务的同时更加方便的获取到正版的歌词”。

Hit FM劲曲调频官方应用整合ACRCloud电台音乐信息服务

Hit FM劲曲调频官方应用整合ACRCloud电台音乐检索服务

中国国际广播电台劲曲调频(CRI Hit FM)在其官方应用Hit FM劲曲调频中整合ACRCloud所提供的歌曲信息展示功能,于今日上线。所有使用Hit FM应用的用户即可在应用中收听HIT FM直播的同时查看正在播放歌曲的信息。

hitfm

Hit FM劲曲调频,是中国国际广播电台旗下的国际流行音乐广播,在北京地区播出频率为88.7兆赫。2003年4月16日,Hit FM开始在北京试播,之后陆续落地广州 (88.5兆赫)、上海 (87.9兆赫)。与中国传统的综合性电台不同,它采用国际上最成熟、最专业的类型化音乐电台(Pure Format Radio)操作模式,全天24小时滚动播出当今国际流行乐坛最动感、时尚的热门金曲,让音乐成为高品质追求者随身享用的生活必需品。

hitfmapp

作为全球领先的自动内容识别服务提供商,ACRCloud向企业客户提供听歌识曲,电视第二屏识别,广播内容监控等多类音频指纹识别解决方案。在国际音频检索大赛MIREX中连续两年获得音频指纹技术竞赛第一名。 服务的客户包括:阿里巴巴,小米,央视网,上海文广,乐视,多米等。

MusicRadio音乐之声整合歌曲识别服务,国内电台首次实现APP展示歌曲信息功能

MusicRadio音乐之声整合歌曲识别服务,国内电台首次实现APP展示歌曲信息功能

很多听众都曾遇到过对歌曲的某个片段非常熟悉但却无法想起歌名、歌手的困扰,近日中央人民广播电台MusicRadio音乐之声在其移动端APP中整合ACRCloud电台歌曲识别服务,实时向用户展示电台中正在播放的歌曲,成功解决并优化试听功能,成为国内首个在APP中提供正在播放音乐信息的电台。

musicradio-20160824-2

中央人民广播电台MusicRadio音乐之声自2002年12月2日正式开播,是中国大陆类型化电台先行者,以喜爱流行音乐的受众为目标服务群,专注播出流行音乐。全国覆盖超过64座城市和地区,拥有超过3.9亿听众。成功打造了“中国TOP排行榜”“全球流行音乐金榜”“我要上学”等品牌,是全球华语流行音乐的先锋频率。

musicradio-20160824

音乐之声APP于今年4月2日正式上线,自7月28日起通过集成ACRCloud提供的电台音乐监控服务向听众用户实时呈现当前正在播放的歌曲信息。通过此服务,MusicRadio音乐之声的听众用户再也不用为错过电台中的好音乐而苦恼了。

作为全球领先的自动内容识别服务提供商,ACRCloud提供听歌识曲,电视第二屏识别,广播内容监控等多类音频指纹识别解决方案。在国际音频检索大赛MIREX中连续两年获得音频指纹技术竞赛第一名。 服务的客户包括:阿里巴巴,小米,央视网,上海文广,乐视,多米等。

ACRCloud获得2016国际音频检索评测大赛(MIREX)双项全球第一

ACRCloud获得2016国际音频检索评测大赛(MIREX)双项全球第一

在刚刚结束的2016国际音频检索评测大赛(MIREX)中ACRCloud在“音频指纹”(Audio Fingerprinting)及“哼唱识别”(Query by Singing/Humming)项目中获得了全球第一的成绩,这是ACRCloud今年在卫冕 “音频指纹“ 单项第一名的基础上,又摘得 “哼唱识别” 项目桂冠。

值得一提的是ACRCloud在今年所参加的两个评测(含五个评测子项)的成绩均是历年来所有参赛队伍所取得的最好成绩,历年参赛队伍包括:腾讯,酷狗,搜狗,网易,音乐雷达,清华大学,台湾大学等知名公司与研究机构。

Audio FingerprintingACRCloud在“音频指纹”(Audio Fingerprinting)项目与往届其他参赛队成绩对比

Query by Singing/Humming
ACRCloud在“哼唱识别”(Query by Singing/Humming)项目与往届其他参赛队成绩对比

作为国际音频检索领域顶尖赛事,MIREX大赛旨在为音频信息检索及音乐信号处理领域中的各种前沿技术提供公正、可信的评估平台,每届大赛,都吸引了世界各国在音乐信息检索领域最为知名的大学、研究所和企业研究部门的广泛参与,从而使得MIREX成为每年中音乐信息检索领域的一件盛事。

ACRCloud先后基于音频指纹及哼唱识别技术推出了听歌识曲,电视第二屏互动识别,广播内容监控等多项商业解决方案,这些商业方案已经在众多国内外客户中商用,客户包括:阿里巴巴,小米,乐视,央视网,Musixmatch,Genius,大陆汽车等。

12年飞鱼秀,音乐大起底

12年飞鱼秀,音乐大起底

未标题-2

自2004年起,听CRI主持人喻舟和小飞在《飞鱼秀》里你一言我一语嘻嘻哈哈的聊三个小时,已经成了很多人生活的一部分。整整12年的陪伴,多少听众都已经完成了人生的华丽转身和蜕变。如今《飞鱼秀》已经停播,但熟悉《飞鱼秀》的听众都很怀念节目中播出的音乐。网络上盛传着很多飞鱼秀里使用的歌单,如今程序员小冯(Popfeng)利用ACRCloud的音乐识别技术将《飞鱼秀》整整12年的节目歌单扫描了出来并放在其网站上供大家收听。

小冯是一网站的程序员,在飞鱼秀停播后整理了这12年的飞鱼秀节目录音并成立了自己的网站。在了解到到ACRCloud的音乐识别服务后,他将飞鱼秀12年节目里的音乐通过ACRCloud的音乐识别接口扫描出来并列在了每一档节目的里边。用户通过点击歌名,即可收听此段音乐在节目中的播放、 除此之外,小冯还将识别结果加以统计,我们可以看到12年《飞鱼秀》中使用最多的是哪些歌曲,以及这些歌曲被播放的次数,还可以根据歌曲,去选择去收听当期的节目。通过小冯利用业余时间三个月的整理,终于将这份飞鱼秀史上最强歌单整理了出来,喜欢的同学可以点击下边的网站 收听哦。

小冯的飞鱼秀非官方回放网站: http://zaoaoaoaoao.com

QQ20160813-0@2x

节目中使用的音乐

QQ20160813-1@2x

飞鱼秀歌手完整引用次数

QQ20160815-0@2x

歌手被栏目引用的次数

车载音乐识别,其实并不陌生 

车载音乐识别,其实并不陌生 

photo-1450705354661-932f7b21aa51

作为开车出行的一部分,收听音乐和广播已是司机最主要的一种休闲娱乐方式。由于开车过程中无法便捷的操作手机和其他智能设备,当有喜欢的音乐在电台中播出却无法获知和保存歌曲信息的时候,十分令人苦恼。目前获取歌曲的主要渠道是在行驶过程中使用手机的听歌识曲应用比如Musixmatch, Shazam, Soundhound来识别,操作手机增加了行车安全隐患。其实汽车品牌可将听歌识曲功能内置于车载娱乐设备中。当用户想了解收听音乐的信息时,仅需一键或语音触发即可通过音乐识别获取到歌曲信息。

车载音乐识别服务在国外由来已久,我们熟知的汽车品牌如奔驰,宝马,丰田,日产,通用等车型都早已在CD播放机时代就将听歌识曲功能集成了进去,用于显示CD中播放歌曲的名称。伴随车载娱乐设备的升级,歌曲识别功能已由提取CD中的音乐向识别电台和用户外联设备中的音乐升级。不仅车机外联设备中的音乐数据信息可被呈现出来,传统电台和网络电台的歌曲也可被识别出来。目前全球有超过6500辆汽车已集成歌曲识别的功能,每年20%以上新车都将歌曲识别作为标配,其中自然少不了以互联网和科技结合的纯电动汽车特斯拉。

目前国内自主品牌对于车主音乐识别的需求还处在起步阶段。伴随车联网通讯技术的成熟,互联网公司与自助品牌的合作,我们看到了一些自助品牌和后装车载导航娱乐系统已将音乐识别作为卖点。其中最新发布的上汽荣威RX5 YUN OS型号,当用户在电台收听到自己喜欢的音乐时,可以通过听歌识曲功能一键识别并保存当前播放的歌曲。 

荣威RX5 YUN OS

荣威RX5 YUN OS

在后装市场,多款行车记录仪也将听歌识曲与网络电台完美结合,为用户呈现可听可收藏的电台歌曲体验。

14417813044662300_600

博泰I.P.D.A

作为音乐和车载系统的连接器,音乐识别是通过音频指纹技术实现的。通过扫描用户本地的音乐文件或截取电台的音频流信息,音频指纹技术将获取到的数据特征与服务后台庞大的音频指纹数据库进行匹配,从而识别出相对应的歌曲,歌手和专辑信息。此技术的难点在于如何建立庞大的全球音乐指纹特征库和准确的歌曲元数据。ACRCloud经过多年在音乐领域的耕耘,与国内外音乐流媒体服务和音乐分发公司的紧密合作,目前已建立全球超过4000万歌曲的音频指纹识别能力,并且针对新歌,热歌的实时更新机制,可有效保障音乐识别的准确率和响应速度。

针对汽车解决方案,ACRCloud可提供如下解决方案:

  • 音乐文件识别方案通过声音指纹识别USB / SD卡中的音乐文件信息并将不完整和不准确的歌曲信息替换为最标准的音乐元信息展示出来。
  • 电台歌曲识别(手动):用户可根据喜好,主动触发听歌识曲功能来识别电台中播放的歌曲。
  • 电台歌曲识别(自动):打开车载电台起,系统将自动识别出电台播放的所有歌曲,并展示歌名,歌手和专辑信息。
  • 电台图片和频道识别:司机打开电台即可识别并呈现在车机上所听电台的名称和图片。
  • 用户哼唱识别:用户可通过车载麦克风,通过对一段熟悉歌曲旋律的哼唱来查找歌曲。

除音乐识别外,通过电台与车载娱乐系统的合作,车载系统还可将司机感兴趣的电台节目内容,广告和用户关注的新闻通过车载系统或手机直接推送给车主,方便用户保存其感兴趣的电台内容。

针对部分无联网车机,ACRCloud可通过历史音乐检索的大数据和汽车的销售区域,将该地区热门搜索的数万首歌曲预存在车机中,即可满足超过70%的歌曲检索需求。针对新歌,可定时推送升级包,用户可像更新车机离线地图一样下载升级包,并通过SD卡将曲库更新至车机中。对于联网车机,可在音乐本地缓存搜索节省流量的基础上,针对本地没有的歌曲可在线搜索,确保歌曲识别的准确性。每首歌曲从录音到返回结果使用流量只有3KB-10KB之间。

毫无疑问,音乐识别技术是对收听音乐和电台这在汽车中高频使用的功能的一种有效补充和增值,未来更多基于音频识别连接的内容必将受到更多车友的欢迎。

阿基米德FM上线ACRCloud电台音乐监控服务

阿基米德FM上线ACRCloud电台音乐监控服务

阿基米德

拥有海量内容的音频服务平台阿基米德FM,在最新版应用的电台直播中已整合ACRCloud电台音乐监控服务,向用户实时呈现电台当前正在播放的歌曲信息。通过此服务,阿基米德FM的用户再也不用为错过电台中的好音乐而苦恼了。

即日起阿基米德FM的用户可在收听电台内容的同时查看电台使用的的歌曲信息。目前此服务已覆盖全国主流音乐,交通频道。通过ACRCloud电台监控服务,阿基米德FM可将电台直播中的音频指纹数据与ACRCloud平台超过4000万的全球音乐指纹数据库进行匹配并通过API实时返回当前播放的歌曲信息。

023736DA1BEDF2859C5AD6E4632B2D25

 

 

关于阿基米德FM

“阿基米德”是一款与传统广播无缝对接的直播互动平台,内容覆盖全国新闻、音乐、故事、体育、财经、戏剧、脱口秀、健康等节目,同时提供线上直播互动、听众评论的功能。由隶属于上海广播电视台、上海文化广播影视集团有限公司(SMG)的上海东方广播中心(ERC)打造。

 

关于ACRCloud

ACRCloud是全球领先的音频指纹识别技术提供商,为客户提供音乐识别,广播监控,电视摇一摇识别,多屏互动等技术解决方案,其客户包括:小米,多米,央视网,手机淘宝,Musixmatch等。

ACRCloud整合Music Story音乐信息服务

ACRCloud整合Music Story音乐信息服务

QQ20160617-0@2x

Music Story与ACRCloud签署合作协议,将双方音乐识别技术与音乐信息服务整合,加强双方在数字音乐领域的服务价值。

ACRCloud为开发者提供第三方ID整合的增值服务,开发者在使用ACRCloud的音乐指纹库时可同时获取音乐的ISRC, UPC以及如Spotify, iTunes/Apple Music, Deezer, Youtube等第三方音乐相关服务的ID,这些ID使得开发者在需要使用第三方服务信息或提供第三方服务试听、下载等链接时变得方便。

此次资源合作可以让开发者更方便地使用Music Story所提供的音乐信息资源,同时也可通过Music Story的服务获取到还未被ACRCloud整合的音乐服务ID。

Music Story是一家位于法国里尔的音乐信息服务商,主要为数字音乐服务,媒体及音乐行业专业人员提供全球音乐歌曲信息及针对音乐歌曲信息的匹配服务。

ACRCloud是一家位于北京的综合性内容自动识别服务商,在音乐领域拥有超过4000万的全球音乐指纹库,在2015年全球音频指纹评测大赛MIREX中获得音频指纹技术冠军。目前其音乐识别服务广泛服务于国内外著名互联网公司和智能车载领域如小米,多米,Musixmatch和大陆汽车等。