赛事基本信息:红外小目标探测在海洋资源利用、高精度导航、生态环境监测等领域有着广泛的应用。近年来,利用深度学习技术进行红外小目标检测取得了显著进展。然而,大多数方法集中在固定的图像分辨率、单一波长、有限的成像系统上。如何在各种成像系统(如陆基、空基和天基成像系统)下,实现多图像分辨率(256、512、1024、3200等)、多波长(如短波、近红外和长波)的广域检测仍然是一个挑战。我们希望这一挑战赛能够激发领域探索广域红外小目标检测中的问题,并最终推动实际应用的技术进步。
1. 竞赛目的与意义
(1) 竞赛的意义
红外小目标检测发展迅猛,瓶颈凸显,亟需新的增长引擎。红外弱小目标检测技术应用广泛,在海洋资源保护、精确制导、无人驾驶、自然资源勘探等军民领域得到了广泛的应用。近年来,随着深度学习技术的发展,红外弱小目标检测领域发展迅猛,各科研团体在空基、陆基、天基等公开数据集上不断突破,争相夺得领域新高度。随着红外检测的迅猛发展,其瓶颈也逐渐凸显。以学术论文为导向的发展方向越来越难以满足重大应用需求,模型设计日趋复杂、跨域泛化适应能力不足等问题在制约领域进一步发展的同时,也限制了工程应用价值,领域发展亟需新的增长引擎。
红外弱小目标检测AI“大模型”呼之欲出、顺势而为。近年来,随着以生成式聊天大模型ChatGPT和视觉分割一切模型SAM为代表的大模型技术的爆火,具备解决空天地一体化的广域红外弱小目标检测领域大模型呼之欲出。领域普遍认为,未来的红外弱小目标检测大模型具备以下能力:1.多种观测视角下的一体化检测能力(如陆基、空基、天基);2.多种目标类型下的一体化检测能力(如点目标、斑目标、扩展目标);3.多种红外波段的一体化检测能力(如近红外、短波红外、长波红外);4.多种图像分辨率的一体化检测能力(如256×256,512×512、3200×3000);5.多种数据分布的泛化适应能力。
因此,我们组织广域红外小目标检测挑战赛,希望与国内各优势单位形成合力,进一步提升现有算法的性能极限和泛化适应能力,为后续空天一体化地大模型孵化和领域持续发展注入活力。
(2) 竞赛的目的
通过本次挑战赛促进科研技术的交流研讨和应用推广。借助高水平会议的宣发优势,吸引更多参研单位积极加入,促进红外小目标检测领域的科研交流和进步,加速技术创新和应用推广。
通过本次挑战赛为探索“大模型”道路摸边探底。优胜单位的技术报告、技术文档可以作为工业和学术领域内研究人员的重要参考依据,成为大模型发展领域的“试金石”,特别是在红外弱小目标检测大模型领域相关研究尚属空白的现阶段,多团队共同研发成果互相碰撞,取得相关应用和设计经验,意义重大。
2. 任务设置
本次竞赛主要任务是对红外小目标图像进行分割,参赛队伍根据红外小目标图像特点自行设计相关的算法,利用主办方所给的红外小目标图像数据集进行模型训练,最终以交并比(Intersection Over Union, IoU)、检测概率(Probability of Detection, Pd)和虚警概率(False Alarm, Fa)作为评价指标衡量参赛队伍算法模型性能。
3. 承办方与赞助商
承办方:国防科技大学、中国电信人工智能研究院、西北工业大学、北京邮电大学。
赞助商:长沙景嘉微电子股份有限公司。
4. 数据集简介
竞赛数据由七个公共数据集SIRST-V2、IRSTD-1K、IRDST、NUDT-SIRST、NUDT-SIRST- sea、NUDT-MIRSDT、以及国防科技大学团队开发的数据集作为训练和验证数据集,总共由9000张图像组成。比赛开始后,图像数据和目标掩码标签真值都将被发布用于模型开发。此外,组织方提供了一个由2000张图像组成的测试集,测试集不会被发布,因此参与者需要将模型和Docker环境镜像提交给服务器。
注:竞赛数据集仅供本竞赛使用,不得用于商业产品开发使用,未经许可不得转发他人使用。
多观测视角 | 陆基 | 空基 | 天基 |
多目标类型 | 扩展目标 | 斑目标 | 点目标 |
多波段 | 短波 | 长波 | 近红外 |
多分辨率 | 256*256 | 512*512 | 1024*1024 |
5. 竞赛评价方式
本次竞赛的算法评价指标为交并比(Intersection Over Union, IoU)和检测概率(Probability of Detection, Pd),其中,IoU指标的具体定义如下:
像素级评价指标交并比(Intersection Over Union, IoU)定义为预测掩码和标签掩码之间的交集区域与并集区域之比,其公式定义如下:
IoU = Intersection / Union
其中Intersection和Union为交集区域与并集区域的像素数量。
目标级评价指标检测概率定义为正确检测的目标数量与目标总数量之比,虚警率定义为虚警数量与图像总像素数之比,其公式定义如下:
Pd = TD / AT
Fa = FD / NP
其中Pd和Fa分别为检测概率和虚警概率,TD(True Detection)和 FD(False Detection)分别为正确检测的目标数量和虚警数量,AT(Amount of Target)和 NP(Number of Pixels)分别为检测出的目标总数量和图像总像素数。如果目标的质心偏差小于预先定义的偏差阈值Thresh,则认为这些目标是正确预测的目标。如果目标的质心偏差大于预定义的偏差阈值Thresh,我们将这些像素视为错误预测的像素。预定义的偏差阈值Thresh设为3。
算法的最终评分采用IoU与Pd的线性加权和,其对应的分数S定义如下:
S = α * IoU + (1 - α) * Pd
注意,虚警概率Fa必须低于γ才记为有效成绩,否则成绩无效,仅公布IoU、Pd、Fa的具体得分,但是不计入排名。
6. 硬件与系统资源
长沙景嘉微电子股份有限公司赞助商将提供1台国产GPU服务器负责对参赛团队提交的算法模型进行验证与系统测试。
服务器配置:
CPU: Intel(R) Xeon(R) W-2123 CPU @ 3.60GHz
GPU: 景嘉微 景宏1号 JH100P-64G
内存:32GB
操作系统: Ubuntu
7. 结果提交方式
参赛队伍须提供算法模型代码和对应的Docker镜像文件(可使用主办方公开的Docker镜像文件)。算法模型代码用于主办方在测试集上对算法模型性能进行测试。
每个队伍最多可提交四次结果,取最后一次结果作为最终结果。结果及排名将在本赛事网页上实时更新。若代码不能正常运行,则提交内容视为无效提交,不计入提交次数。
为了避免参赛队伍滥用其他数据集或验证集标签信息用于算法训练,参赛队伍需提供算法训练时的相关参数,要求该算法结果可复现。如果发现参赛队伍使用其他数据信息用于训练或算法结果无法复现,视为作弊处理,取消参赛资格。
系统只支持Python代码和Pytorch深度学习框架,运行环境仅为Linux (Ubuntu18.04以上)。
8. 竞赛参与者要求
按自愿报名的原则,参赛团队和成员的组成可以为:
(1)各培养单位正式注册教师、在读本科生、研究生以及博士生。
(2)国内各研究团体、企事业单位。
9. 报名方式
仅接受以团队形式通过邮件报名参赛,每个参赛队伍人员不超过5人,指导老师不超过2人,每名参赛选手只能参加1个参赛队。参赛团队下载并填写PRCV2024广域红外小目标检测挑战赛报名表,将报名表发邮件至报名邮箱WideIRSTD@outlook.com。
邮件标题格式:“PRCV2024广域红外小目标检测挑战赛_(参赛队名称)”
邮件内容包括附件报名表。报名表格式如下:
参赛队伍名称 | |||||
参赛成员姓名 | 组成 | 单位 | 文化程度 | 手机号 | 邮箱 |
指导老师 | |||||
指导老师 | |||||
队长 | |||||
队员 | |||||
队员 | |||||
队员 | |||||
队员 |
报名截止日期:2024年5月31日23时59分
组织方收到邮件并与报名者确认后,报名成功。
10. 参赛团队注册方式
参赛团队报名成功,并在排行榜上获得公开成绩,即为成功注册,并获得评奖资格。
11. 主要时间节点
时间 | 任务 |
4月10日-4月11日 | 组委会在网站公布比赛任务、参赛办法和评比方式。 |
4月12日-5月31日 | 参赛队伍报名及邮件资格确认。 |
5月1日-5月31日 | 比赛开始,组委会发布比赛训练集和评测格式。 |
6月1日-6月19日 | 组委会发布比赛评测通道,各参赛队在规定时间内完成比赛任务,将模型和环境上传比赛网站。 |
6月19日-6月22日 | 发布比赛成绩 |
10月18日-10月20日 | 在第七届中国模式识别与计算机视觉大会PRCV2024竞赛单元介绍获奖单位比赛方法,为获奖团队颁奖。 |
12. 奖项设置和奖励方法
奖项设置和奖励方法如下表
奖项 | 数量 | 奖励方法 |
一等奖 | 2支队伍 | 每支队伍奖金(或等价奖品)5000元,颁发奖杯和证书 |
二等奖 | 4支队伍 | 每支队伍奖金(或等价奖品)2000元,颁发奖杯和证书 |
三等奖 | 8支队伍 | 每支队伍奖金(或等价奖品)1000元,颁发奖杯和证书 |
优秀奖 | 若干 | 颁发证书 |
13. 专题研讨会
组委会将举办挑战赛技术论坛,邀请获得一、二等奖的参赛队伍参加作特邀技术报告。
14. 知识产权归属
参赛团队提交算法及可执行模型的知识产权归参赛团队所有,图像数据中公开数据部分由各数据集作者所有,主办方自建数据归主办方所有。
各参赛队在赛前需签订数据使用协议,承诺本竞赛提供的数据集仅能用于本竞赛,不用于除本竞赛外的任何其他用途。
各参赛队需要承诺本队提交的结果可重复,组织方承诺履行保密义务,并不用于除本比赛外的任何其他用途。
参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。
15. 联系方式
比赛官网:https://wideirstd.github.io/
比赛用官方工具包:https://github.com/XinyiYing/BasicIRSTD
联系人:李淼
联系邮箱:WideIRSTD@outlook.com,lm8866@nudt.edu.cn
联系电话:18163693464,17873571605
比赛交流微信群:
16. 赛事组织方
(1) 指导委员会
李淼(国防科技大学)
赵健(中国电信人工智能研究院、西北工业大学光电与智能研究院)
金磊(北京邮电大学)
肖超(国防科技大学)
凌强(国防科技大学)
林再平(国防科技大学)
(2) 组织委员会
应昕怡(国防科技大学)
李若敬(国防科技大学)
李博扬(国防科技大学)
张鑫(国防科技大学)
石杨思(国防科技大学)
刘永贤(国防科技大学)
胡铭原(国防科技大学)
吴晨阳(国防科技大学)
张宇凯(国防科技大学)
韦晖(国防科技大学)
李淼(国防科技大学)
汤冬骊(国防科技大学)