跨媒体计算课题成立于2002年,是中科院计算所五个重点培育方向之一。主要研究方向是互联网多媒体内容安全,组内有研究人员10人,其中高级职称7人,研究员1人、副研究员4人、高级工程师2人,在读博士生和硕士生50余人。课题组主要在视频内容分析与处理、社交媒体分析以及计算摄影学方面展开基础性前瞻研究。 具体研究方向如下:

      一. 视频内容分析与处理:主要针对大规模网络图像与视频,展开高速高精度的内容分析与处理核心技术的研究,包括视频编解码技术,视频内容检索技术,视频语义识别、目标检测、语义分割与理解技术。针对社会公共安全需求,开展大场景全视角监控视频智能分析预处理技术研究,包括高分辨率图像实时拼接与处理技术,监控视频行人重识别技术,视频内容异常行为检测等技术。目前研究团队的研究成果已经在国家互联网视频内容安全领域取得大规模应用。

      二. 社交媒体分析:针对社交网络上的多媒体数据,如Youtube,Twitter和微博平台上的图像、文本和视频数据,开展各种网络应用研究,如网络视频地理信息挖掘,网络用户行为分析,网络新闻可信度评估,互联网隐私数据甄别与保护,以及基于互联网开放数据的领域知识图谱构建等,相关研究成果已应用在新华社的多个实际业务系统中。

       研究组长期从事基于内容的图像视频分析与检索、识别理解、编解码等方向的研究与开发工作,研究组承担了国家973、863、国家重点研发计划、国家自然科学基金、国家信息安全242计划等十余项国家级重要项目,科研成果在项目成果在国家互联网视音频内容安全主管业务部门取得成功应用,在一系列国家相关重大专项任务中发挥了重要作用,为全面提升国家互联网视音频内容安全提供了关键技术与系统,社会效益显著。目前在多媒体内容分析与安全方面发表论文200余篇,获授权专利40余项,相关研究成果荣获2016年国家科学技术进步奖二等奖、2006年度和2014年度北京市科学技术奖一等奖、2012年中国计算机学会科学技术奖、2017年中国电子学会科学技术奖(技术发明类)一等奖、2018年中国电子学会科学技术奖(自然科学类)一等奖。研究组在视频检索权威评测TRECVID、ImageNet竞赛、谣言检测国际评测取得优异成绩,并受邀做大会报告。研究组通过与国际同行的广泛而深入的交流,确定了长期稳定的国际学术合作伙伴,与多个多媒体技术领域的国际顶级研究机构建立了长期的交流访问机制和合作关系。