面向媒体应用场景 索贝AI自主创新结硕果

最近,人工智能(AI)频频刷屏,各行各业的AI应用层出不穷,AI似乎已经变得无所不在。在媒体行业,AI应用也渐渐走入视野,智慧媒体时代呼之欲出。在传统媒体领域领先多年的成都索贝数码科技股份有限公司(以下简称索贝),当然不逞多让,在AI领域积极布局,除自建团队之外,还积极各AI头部企业寻求合作,面向媒体应用场景,走出了一条独特的自主创新之路。

AI面向媒体应用场景

之前很多人对索贝的印象还停留在传统广电企业上,实际上,索贝通过积极的战略布局,在视频云、大数据、区块链等领域进展迅速,并在媒体AI领域形成突破。

比起阿里、腾讯等互联网巨头,作为世界级专业视频技术及解决方案提供商及视频技术创新工场,索贝更关心媒体用户在AI落地上的诉求和痛点。通过调研发现,随着人工智能技术越来越多普及,其他行业应用落地的发展,媒体行业用户对AI落地期望很高,例如,根据文稿能直接制作出短视频;体育、综艺、时政、影视等多种节目形态的快速智能剪辑;新闻节目中各片段的拆分,综艺节目拆分,影视剧关键段落拆分等。

根据这些应用场景,最开始,索贝也像其他厂商一样,只是将AI能力引入到系统中来,原来的转码、合成之类的服务器,加上新的AI执行器,比如语音识别、人脸识别等等,以集成为主。但很快,通过不断的实践,索贝和客户达成共识,这样的做法行不通。

因为在AI的三大要素——算法、算力、数据中,算法和数据都会因不同场景而不同,如果在媒体行业中AI能力“有什么用什么”,一方面在业务场景上有局限性,另一方面也因为训练数据集的差异,在泛化能力上是有局限性。因此,索贝需要的是实现“要什么做什么”,实现媒体行业独有的AI。

只有建立起面向用户价值场景的AI应用的实际能力,才能实现AI与媒体行业深层次的融合,所以索贝AI的做法是——面向媒体场景算法和数据,实现媒体行业自己的AI技术与能力。

自建团队攻关AI

在人工智能方面,索贝坚持长期的资源、资金和人力投入。根据对用户需求和痛点的分析,索贝专门成立媒体智能实验室,由30余名AI算法工程师组成算法研究团队,并与上海交大、四川大学、鹏城实验室等科研单位进行深度合作。目前,索贝已经发表SCI检索已达10篇,专利10余项。最近一篇被接受的SCI论文《孪生标签LDA:一种面向文档分类的监督式主题模型》。

据了解,索贝是业内唯一这样做的厂商,索贝认为,有自建团队才有自主研发算法的可能,这也符合国家核心技术全面国产化,核心设备国产化的发展要求。索贝始终坚持AI结合业务的研发原则,旨在打造最懂媒体行业的人工智能技术。

对于通用的,成熟的AI能力,索贝已与商汤、讯飞、华为、腾讯等厂商也建立了战略合作关系,不论在技术和市场层面都有着良好的合作。索贝始终站在客户角度,以实际应用效果出发,为客户选择提供更好的AI落地效果。

推进媒资智能化发展

在BIRTV2020期间,索贝自主研发的新一代融合媒体内容管理平台Media Asset Hive(简称MAH)正式亮相。

索贝AI团队针对新闻、体育、综艺节目等不同种类节目建立起智能化标签体系,以自研AI算法为支撑,产生了丰富的语义标签,提高内容搜索效率,支撑了内容推荐,快速编目,内容交换等应用场景,为电视台以及其他媒体行业提供专业内容管理解决方案及服务。

MAH独创性得实现了新闻融合生产过程中各种内容对象关联关系的管理。结合智能内容挖掘,结合智能内容挖掘,MAH可显著降低节目制作过程中的人力成本,提高新媒体发布的处理效率,将更多的人力从资源管理、素材归档等工作中释放到内容创作中去,带来良好的社会效益和经济效益。

MAH还是媒体行业第一个投入实用的Cloud Native媒体内容管理平台,让媒资系统不再只是具备归档、编目等简单功能,而是要不断推动媒资向平台化演进。在今年全国两会期间,广东台创新运用了“5G+AI”的创新技术,实现了每天约3小时的直播收录、智能分析、基于分析结果快速编辑、发布,索贝新一代MAH智能媒资系统也首次在省级台中亮相,提高了生产效率。

自8月17日起,索贝VR全景展厅在官方网站(www.sobey.com)正式开启,届时,MAH也开放体验,所有人可以通过VR互动的方式,访问相关页面,用自己的视频、图片等素材,真切体验到MAH的强大智能以及电视台AI应用的真实环境。

新闻AI制作大放异彩

在2019年的国庆大阅兵现场,中央广播电视总台AI剪辑的短视频令人印象深刻,其幕后支撑技术正是来自索贝。

索贝牵手央视新闻对现场的阅兵方阵进行了AI视频剪辑的实地操作。从大阅兵三军仪仗队进入视线开始,通过新闻云,AI引擎能够自动编辑前方70余个机位的画面内容,平均耗时90秒。而如果以人工剪辑,每个方阵的视频剪辑完成需30分钟。整个阅兵期间,平均每隔3分钟就有一篇新闻从索贝的系统发出面向用户,满足了新闻的时效性。这是央视新闻新媒体首次运用AI人工智能技术到短视频剪辑当中,同时也是索贝媒体智能布局成果展示,事实证明,索贝实至名归。

索贝AI团队在接到任务后,经过梳理发现,针对新闻新媒体国庆报道AI剪辑需求,实现敬礼动作识别、有效镜头检测、方阵识别等这些算法都不是通用算法,市场上想买都买不到,必须依靠索贝自身的算法研究团队。最终,团队基于索贝麒智AI平台,开发出视频AI智能剪辑系统,利用平台积累的计算机视觉、音频、自然语言处理算法,进行快速定制、训练算法提取视音频特征,同时结合平台具备的大数据分析处理算法及工具,进一步完成数据及特征分析整合,形成应用所需的有用的信息及知识,最后结合编辑场景所需完成最后的知识应用,形成AI编辑生产力,完成之前需要大量人力投入的编辑工作。AI剪辑平台以图像识别技术为基础,结合语音识别等人工智能技术,设计开发了队伍方阵识别、有效镜头检测、自动合成剪辑三大类智能处理模型,通过三类模型的综合应用,实现智能剪辑功能。

也就是说,在媒体行业,一项AI技术的落地要经过深度业务理解、工程建模,再配合自研的特定算法选型、特定数据训练和调优以及相关领域的知识才能完成,这恰好也是通用AI厂商所欠缺的。

事实证明,索贝面向媒体融合的AI道路是正确的,索贝AI应用不断落地。除了70周年大阅兵AI剪辑,早在2019年初,索贝第一次将智能技术用于体育节目后期制作——CBA篮球智能剪辑,大幅提升体育赛事缩编效率,快速实现互联网发布。2020年春晚进行时,索贝又第一次将AI应用在综艺制作领域,突破AI剪辑的“综艺”禁区,实现了从0到1的惊人突破,超预期满足了总台电视节目播出和新媒体发布的高质量要求。

在媒体AI领域的暂时领先并不会让索贝满足,在未来,索贝将协同产业链各方,共建和谐的产业生态,助推智慧媒体时代加速到来。

关于索贝

成都索贝数码科技股份有限公司,成立于1997年,20余年来始终坚持自主创新,核心突破AI、大数据、云计算、区块链等高新技术,在超高清、融合媒体、智慧媒体、媒体云等市场持续领跑,拥有74件专利和436件软件著作权,先后荣获国家科技进步一等奖、多项省部级科技进步一等奖、IABM Peter Wayne年度大奖等国内外重要荣誉,是国家高新技术企业、国家规划布局内重点软件企业、国家文化出口重点企业、国家科技与文化融合示范基地、国家级企业技术中心,已成为名副其实的世界级专业视频技术解决方案提供商及视频技术创新工场。索贝在新闻、体育、综艺市场始终保持领先,为超过5000+用户提供产品、方案和服务,拥有中央广播电视总台-CCTV、中央广播电视总台-CGTN、中国蓝云、青岛广播电视台、长兴传媒集团等各级专业媒体高端样板,在70周年国庆大阅兵、九三阅兵、G20峰会、历届奥运会、历年两会等重大活动支撑中表现优异。在国内市场全面开花的同时,索贝在国际高端媒体市场完成超越,赢得路透社为代表的国际主流通讯社、德国之音、瑞士国家电视集团等青睐,产品已行销30多个国家、地区的200余家媒体机构。面向未来,索贝以媒体业务为依托,以视频技术为基础,以数据融合促发展,通过全新的“视频+”战略向专业媒体、海外、泛媒体、政企数据全面进军,协同视频产业链各方共同“智”造全新视界