全模态行人重识别挑战赛
行人重识别(ReID)作为一项细粒度检索任务,旨在基于给定的描述性查询搜索目标身份的行人图像。由于ReID在公共安全等领域的广泛应用,众多研究人员已对其展开深入研究。它可分为单模态检索和跨模态检索。前者涉及RGB图像间的相互检索,而后者通常利用其他模态的查询来检索RGB图像。考虑到现实场景中常缺乏原始RGB查询,后者近年来愈发受到关注。
然而,尽管该技术已取得显著进展,但一个具有挑战性的实际问题在以往研究中的探索仍未深入——即旨在让ReID模型利用不同的多模态查询及其组合实现有效检索。
参考多模态领域的代表性工作,我们定义了“全模态行人重识别”,并认为探索这个富有挑战性的问题具有重要意义。一方面,由于信息获取的多样性,实际应用中常需要多模态查询。用户期望模型能有效处理多模态信息并提供全面准确的检索结果。若模型能处理这些不同模态,将显著提升其实用性。另一方面,从理论上讲,不同模态提供了丰富且互补的特征。例如,RGB图像易受环境光照变化影响,而红外和素描图像缺乏ReID任务关键的颜色信息。融合多模态特征类似于从不同视角和维度拼合信息拼图,这能更全面地刻画行人特征,从而减少因单模态局限导致的误判。
鉴于此,我们组织全模态行人重识别挑战赛,提供了首个包含RGB、红外、彩铅、素描和文本共五种模态的高质量数据集ORBench,旨在吸引全球研究人员和技术爱好者的广泛参与,研究如何在行人重识别任务中更优地实现五种模态间的组合查询,从而推动行人重识别技术在公共安全、智慧交通和社会服务等关键领域的应用和实际落地。
组织方:华中科技大学(左嘉龙、吴东岳、周寒宇、金睿、谭梦丹、邓永泰、桑农、高常鑫),厦门大学(张玉康),中山大学(郑伟诗)
联系方式:prcv2025omreid@163.com
比赛答疑QQ群:132516023
初赛评测平台:https://www.kaggle.com/competitions/omni-modality-person-re-identification-challenge/
GitHub网址(附有数据使用协议):https://github.com/zplusdragon/ReID5o_ORBench
按自愿报名的原则,参赛团队和成员的组成可以为:
(1)各培养单位正式注册教师、在读本科生、研究生以及博士生。
(2)国内各研究团体、企事业单位。
仅接受以团队形式通过邮件报名参赛,每个参赛队伍人员不超过5人,指导老师不超过2人,每名参赛选手只能参加1个参赛队。参赛团队下载并填写PRCV2025全模态行人重识别挑战赛报名表,将报名表发送至报名邮箱prcv2025omreid@163.com。竞赛组织方收到邮件并与报名者确认后,报名成功。
邮件标题格式:“PRCV2025全模态行人重识别挑战赛_(参赛队名称)”
邮件内容包括附件报名表。报名表格式如下:
参赛队名 | ||||||
序号 | 角色 | 姓名 | 单位 | 文化程度 | 手机号 | 邮箱 |
1 | 指导老师 | |||||
2 | 指导老师 | |||||
3 | 队长 | |||||
4 | 队员 | |||||
5 | 队员 | |||||
6 | 队员 | |||||
7 | 队员 | |||||
时间 | 具体安排 |
6月13日 | 竞赛组织方在网站公布比赛任务、参赛办法和评比方式。 |
6月13日-8月8日 | 参赛队伍报名及邮件资格确认。 (请于北京时间8月8日23:59 之前完成组队,此截止日期之后队伍成员无法变更) |
6月23日-8月25日 | 初赛开始,组织方发布比赛训练集、没有身份标签的验证集和评测格式。各队伍自行在评测平台上提交符合规定形式的验证集检索结果,平台将对结果进行评测,并实时公布当前初赛排名。 |
8月26日-9月12日 | 复赛开始,组织方发布验证集的身份标签。进入复赛的队伍可同时使用训练集和验证集对算法进行训练优化,优化完成后,按规定提交代码及模型。 |
9月13日-9月19日 | 模型评测阶段。组织方对各复赛队伍提交的模型进行复现,评测其在测试集(竞赛期间不公开)上的性能结果,评比各队名次。 |
9月20日 | 公布审核后的最终比赛成绩 |
10月18日-10月20日 | 研讨会召开,开展线下答辩,颁发奖状奖品。 |
竞赛数据集由华中科技大学团队开发的数据集ORBench作为本次比赛的训练集、验证集和测试集。该数据集中的RGB和红外模态数据过滤自公开数据集SYSU-MM01[1]和LLCM [2],彩铅、素描和文本模态数据由组织方团队自主构建。ORBench数据集总共包含有1000个身份的45113张RGB图像、26071张红外图像、18000幅彩铅画、18000幅素描画和45113条文本描述。
本次比赛中,ORBench将被划分为训练集(400个身份)、验证集(200个身份)和测试集(400个身份)。在初赛阶段,组织方将公布训练集中的所有模态数据及其身份标签、不包含身份标签的验证集,各初赛队伍在训练集上进行训练后按照规定要求在验证集上进行推理,并将结果提交至评测平台即可获得实时的评测结果。在复赛阶段,组织方将额外公布验证集的身份标签,进入复赛的队伍可同时使用完整的训练集和验证集对算法进行训练优化,优化完成后,按规定提交代码及模型,组织方将对其在测试集上进行评测复现。
在本次比赛期间,测试集将不会被公开发布。为维护竞赛的公平性和竞赛目标的纯粹性,除了比赛提供的数据集,严禁使用其他数据集。注:竞赛数据集仅供本竞赛使用,不得用于商业产品开发使用,未经许可不得转发他人使用。
本次竞赛要求各队伍使用所提供的竞赛数据,开发面向“全模态行人重识别”的算法,该算法以RGB模态为目标模态(即gallery),其余四个模态为检索模态(即query),需要满足如下任务要求:
1. 支持任意单模态的独立检索。即给定任意一个单模态(红外、彩铅、素描、文本)的query,该算法能够从gallery中检索得到与该query最相似的RGB图像排序列表。
2. 支持任意多模态的组合检索。即给定任意一个多模态组合(两模态,三模态、四模态)的query,该算法能够从gallery中检索得到与该query最相似的RGB图像排序列表。以文本彩铅两模态组合检索为例,用户给出了关于目标人物的文本描述和彩铅画,算法需要同时利用这两个模态的数据,挖掘其信息的互补相关性,来从gallery去检索得到RGB图像排序列表。
本次竞赛采用行人重识别中普遍使用的mean Average Precision (mAP)来衡量算法的性能表现。针对单模态、双模态、三模态、四模态这四种检索方式,各方式的query都是已经指定好的,这样即可分别计算得到四个mAP分数。本次竞赛采用这四个分数的平均值作为算法评价指标,并依此对各队伍的排名进行评比。
在初赛阶段,各队伍需按照规定要求,以csv文件的形式,在评测平台上自行提交算法在验证集(初赛阶段不公布身份标签)上的检索结果,平台将根据该检索结果来实时计算得到并公布其测评分数,并更新初赛排名。
在复赛阶段,组织方将公布验证集的身份标签,进入复赛的队伍可同时使用训练集和验证集来对算法进行训练优化,优化完成后,按照规定要求向组织方提供代码及模型。组织方将对算法进行复现,并评测其在测试集(竞赛期间不公开)上的性能结果,并以测试集上的结果来对队伍名次进行评比。
初赛排名前12名的队伍可进入复赛。根据最终的复赛成绩,本次竞赛设一等奖、二等奖、三等奖与优秀奖:
一等奖:1支队伍,奖金8000元人民币,颁发证书。
二等奖:2支队伍,奖金4000元人民币,颁发证书。
三等奖:3支队伍,奖金2000元人民币,颁发证书。
优秀奖:6支队伍,颁发证书。
组委会将举办挑战赛技术论坛,邀请获奖的参赛队伍参加作特邀技术报告。
1. 各参赛队在赛前需签订数据使用协议,承诺本竞赛提供的数据集仅能用于本竞赛,不用于除本竞赛外的任何其他用途,并承诺数据不可扩散,主办方保留追究法律责任的权利。
2. 各参赛队需要承诺本队提交的结果可重复,参赛队所有的方案、算法以及相关的知识产权均属于参赛队伍所有,组织方承诺履行保密义务,并不用于除本比赛外的任何其他用途。
3. 参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。
4. 竞赛期间,竞赛组织方坚持公开、公平、公正的原则。参赛结果评比由统一测试代码完成,如参赛队伍对公布结果有异议,可申请成绩复核。
5. 参会的团队注册可与PRCV注册方式相同,标明参加竞赛研讨会,并支付注册费用。
参考文献:
[1] Ancong Wu, Wei-Shi Zheng, Hong-Xing Yu, Shaogang Gong, and Jianhuang Lai. Rgb-infrared cross-modality person re-identification. In ICCV, pages 5380–5389, 2017.
[2] Yukang Zhang and Hanzi Wang. Diverse embedding expansion network and low-light cross-modality benchmark for visible-infrared person re-identification. In CVPR, pages 2153–2162, 2023.
[3] ReID5o: Achieving Omni Multi-modal Person Re-identification in a Single Model.
中国图象图形学学会 (CSIG)
中国人工智能学会 (CAAI)
中国计算机学会 (CCF)
中国自动化学会 (CAA)
上海交通大学 (SJTU)
AutoDL