8月23日消息,澎思科技(Pensees)在基于视频的行人再识别数据集(PRID-2011,iLIDS-VID,MARS)中再次取得突破性进展,一举实现在三大数据集上算法关键指标首位命中率(Rank-1 Accuracy)的大幅度提升,准确率均创历史新高。

刷新三大数据集世界纪录 实现算法关键指标大幅度提升

PRID-2011、iLIDS-VID和MARS均为基于视频的行人再识别数据集。PRID-2011数据集中的视频对通过两个固定的监控摄像头进行采集,摄像头A包含385个行人,摄像头B包含749个行人。这些行人中,只有200个行人同时出现在两个摄像头中。iLIDS-VID是在PRID-2011之后公布的数据集,与PRID-2011相比,数据更加整齐,也更有挑战性。iLIDS-VID数据集是通过机场到达大厅的CCTV监控视频采集得到的,包含300个行人在两个摄像头下的600段视频。视频中存在严重的着装相似,光照和视角变化,复杂背景和遮挡现象,因此识别难度大。MARS数据集是目前基于视频ReID最大的数据集,是单帧图片行人再识别数据集Market1501的扩充版,图像数量由32,668幅扩展到了1,191,003幅。

与单帧图片的行人再识别数据集一样,首位命中率(Rank-1 Accuracy)和平均精度均值(Mean Average Precision,mAP)是衡量视频行人再识别ReID算法水平的核心指标。澎思科技此次一举实现在三大数据库上,仅利用原始数据就实现Rank-1 Accuracy关键指标大幅度提升。目前,澎思科技算法在最大的视频数据集MARS上的首位命中率指标已经达到88.8%,领先香港中文大学、中科大、北京大学等国内外知名机构。在iLIDS-VID和PRID-2011等数据集上首位命中率也分别达到了88.0%和95.5%。

立足澎思现有业务 展开垂直领域技术研发和创新

澎思科技此次成果的取得源于澎思新加坡研究院对算法的自研创新和融合探索,是立足于澎思现有业务和商业模式,结合公司的发展方向针对性开展垂直领域技术研发和创新。主要包括以下几个方面:

受遮挡、姿态变化、视角变化等因素的影响,视频序列中行人的特征是不连续的。用全局特征来度量每一帧图片的权重往往会损失掉许多重要的信息。采用分割重组策略将特定局部特征重组成多个视频序列进行学习,进而极大减少局部特征损失对最终特征的影响。

其次,提出了全新的双向图注意力机制模块。将图卷积神经网络和SENet完美结合,在整个序列上进行通道域的模式选择学习。同时通过双向网络进行空间域的注意力区域学习。由于图卷积网络的特性,每一帧图片的注意力特征都是与其他帧相互学习结合的结果,从而极大提高特征的代表性。

最终,利用帧间相似度进行序列融合。与大多数利用循环神经网络进行融合算法相比,最大的优势是不需要训练额外的模型参数,仅仅通过数学计算的方式就可以达到融合的目的。这样,数据的类内相似度得到了极大的提高。在结合三元损失函数进行训练后,类间相似度得到了降低,进而提高再识别效果。

基于视频的行人再识别与单帧图片的行人再识别任务目的是相同的,即在视角不重叠的多摄像机网络下进行行人的匹配。尽管基于单帧图片的行人再识别算法已经取得了不错的进步,但由于单帧图片只包含有限的行人信息,网络提取的特征不具备足够的代表性,检测结果往往受图片质量的影响较大。与此相比,视频序列的优势便凸显出来。一个短视频序列往往包含行人多运动状态下的更多特征,并且利用时序信息,可以将背景、遮挡等干扰因素的影响降到最低,提升识别的准确度。

加速AI技术落地 持续推进AI产业化落地进程

基于视频的行人再识别(ReID)技术更贴近智慧城市建设的诸多应用场景,能有效解决行人信息有限、特征不足及其他干扰因素等问题,相比单帧图片的行人再识别具备更长远的落地应用空间。接下来,澎思科技将进一步加大在视频行人再识别算法上的研究,并逐步将算法应用到平安城市、智慧社区、智慧园区、智慧零售、智慧交通等实战应用场景中。

关于澎思科技

澎思科技是一家专注于计算机视觉和物联网技术,提供“以人为核心”行业综合应用解决方案的人工智能公司。

公司以基于深度学习的计算机视觉技术为突破口,整合AI、IoT、大数据、云计算等全链条技术,深耕安防等垂直行业,针对用户需求深挖场景,重视应用落地,致力于为平安城市、智慧社区、智慧园区、智能交通、智能制造等领域提供优秀的AI+IoT全产业链的技术和软硬件产品解决方案,推动AI产业化落地进程。

澎思科技核心研发、软件和硬件团队均为工业级顶尖配置。在北京和新加坡成立企业研究院,横跨计算机视觉多个研究领域,拥有人脸检测和识别、行人检测和跟踪、行人再识别、自动驾驶、智能机器人等全栈技术能力;20年跨国软件研发工程团队,拥有行业顶尖产品化和服务能力;国内最早一批AI硬件团队,拥有超过15年硬件产品开发经验,为客户提供丰富的硬件产品矩阵。

近年来,以公司创始人马原、首席科学家申省梅领衔的团队曾荣获诸多奖项并进行多个课题成果转化,广受AI业界和安防行业的认可。澎思科技具备全球领先的AI、IoT、大数据研发实力,对智慧城市多个场景有着深刻理解和实践,具有自主研发、全场景的AI软硬件产品和全方位的交付和服务能力,致力于在智慧城市领域,提供完整的AI终端传感网络+PaaS平台+SaaS服务的城市大脑解决方案。截至目前,公司客户覆盖国内50余城市,在全国多地部署人像大数据系统,协助破获五千多各类案件,并担任多项国家级大型活动的安保工作。