阿里云发布多模态人物识别解决方案 可基于视频、声音等快速定位

如果传媒单位的编导，需要找到某一个明星的画面、声音在视频中出现的位置，往往需要一帧一帧的检索。但如果用人工智能技术，这可能只需要眨个眼的时间。

12月19日，在云栖大会北京峰会期间，阿里云发布了一项名为多模态人物识别的解决方案。这一技术由阿里巴巴iDST支持，综合使用人脸 识别、语音全文识别、语音关键词检测、OCR识别、特定人物声纹识别等技术，可以快速的锁定目标人物出现的时间轴。这对传媒单位的编导来说，是一个巨大的福音。

试想一个场景，一部电视剧需要根据明星出场的时间，实时的出现由该明星代言的品牌。这对于广告商而言绝对是超有吸引力的投放方式，但对于影视编辑来说可能是一场灾难。他们完成这一工作需要几周的时间目不转睛的盯着屏幕。

对于影视编辑来说，他们的痛点还包括：一段采访素材，需要反复听写，才能够形成文稿。历史资料库中沉睡的媒体资产，需要手动按照节目，片段，场景，镜头去标注。

现在，阿里云多模态人物识别方案可以帮助编辑快速找到代言明星出现的时间轴，包括图像、声音、文字。也就是说，即使这个明星人没出镜，有他的声音、有人提到他的名字、画面中有他名字的文字，AI也可以准确发现。然后，AI还可以对这些内容做综合打分，提供编辑建议。

据介绍，上述方案综合采用了图像中的人脸和OCR识别，语音中关键词和特定人声识别，实现了音视频文件全链路的覆盖，并结合模态融合提升挖掘的准确率，有效降低误判。

方案的核心引擎采用最新的深度学习和亿级数据实战训练而成，在国际权威人脸测试集FDDB中精度93.4,LFW中精度99.7。支持多种格式的音视频输入，最小配置集群可同时处理40路音视频，5分钟内完成1小时音视频的处理，同时支持动态扩展。

目前，这一技术方案已得到东方明珠的高度认可。

---------------------------------------------------------

免责声明：

1.本文援引自互联网，旨在传递更多网络信息，仅代表作者本人观点，与本网站无关。

2.本文仅供读者参考，本网站未对该内容进行证实，对其原创性、真实性、完整性、及时性不作任何保证。