主题介绍
随着 GPT-4o、Sora 等模型的惊艳亮相,多模态大模型已成为推动人工智能 迈向通用智能(AGI)的核心引擎,其强大的理解、推理及内容生成能力正在重 塑内容创作、人机交互、科学研究乃至各行各业;与此同时,多模态大模型由于 其巨大的参数规模和对计算资源的需求,在实际应用中面临巨大的挑战,模型规 模增长带来的惊人算力消耗与高昂成本成为其应用落地的核心瓶颈。不仅如此, 研究表明,最为先进的多模态大模型的参数量和计算量还在逐渐增长,其增长速 度已远远超过硬件设备的算力增长。近年来,国内外已广泛意识到大模型高效训 推技术的重要性,并将其上升到行业、甚至国家战略层面,尤其是我国面临国外 在高端芯片领域的技术封锁。因此,如何通过模型架构、高效训推技术、软硬件 及系统优化等技术,实现模型性能和计算效率的平衡,成为解决当前多模态大模 型技术广泛应用的关键。本次论坛「多模态大模型高效训推技术:前沿进展与挑 战」正是为此而生。基于 PRCV 大会,本专题论坛将汇聚国内顶尖的学者,共 同探讨多模态大模型在高效计算领域的核心挑战与最新突破,分享在大模型计算 架构、高效训练推理加速、低资源部署等方面的创新成果与实战经验,共同推动 高效、强大多模态大模型技术发展,推动社会进步。
姓名 | 单位 | 日程安排 | 报告题目 |
---|---|---|---|
纪嵘嵘 | 厦门大学 | 15:30 ~ 15:50 | 《多模态大模型高效训练与压缩》 |
丁贵广 | 清华大学 | 15:50 ~ 16:10 | 《多模态大模型推理优化技术研究》 |
刘祥龙 | 北京航空航天大学 | 16:10 ~ 16:30 | 《大模型低比特量化》 |
庄博涵 | 浙江大学 | 16:30 ~ 16:50 | 《Towards Efficient Inference of Large Foundation Models》 |
侯淇彬 | 南开大学 | 16:50 ~ 17:10 | 《基于强化学习的多模态大模型微调》 |
于超 | 清华大学 | 17:10 ~ 17:30 | 《RLinf: A System for Adaptive, Dynamic, Fine-Grained Scheduling in Reinforcement Learning》 |
程健,中国科学院自动化所研究员、中科院大学岗位教授、复杂系统 认知与决策国家级重点实验室副主任、中科南京人工智能创新研究院常务副院 长,入选国家“万人计划”科技创新领军人才、中科院青年促进会优秀会员。曾获 得中科院卢嘉锡青年人才奖、中国电子学会科技一等奖、中国图象图形学会科 技二等奖、山东省科技一等奖、江苏省自然科学一等奖等奖项。研究方向包括轻 量化人工智能、高效智能计算、芯片架构设计等,在 IEEE TPAMI、TCAD、TIP、 NeurIPS、ICML、ICLR、HPCA、MICRO、CVPR、ICCV、AAAI 等相关领域 发表学术论文 100 余篇,论文 Google Scholar 引用 19000+次,入选爱思唯尔 2024 年“中国高被引学者”;先后主持科技部创新 2030-“新一代人工智能”重大项 目、中科院战略先导课题、科技委、装发、国家自然科学基金等项目。出版《深 度神经网络高效计算:大模型轻量化原理与关键技术》专著 1 部;参与制定神 经网络模型压缩领域国家标准和 IEEE 国际标准各 1 项,获 IEEE 国际标准突出 贡献奖;获得 2019 年 NeurIPS 国际神经网络加速压缩竞赛 MicroNet Challenge 冠军,成果作为中科院代表性成果在全国科技周主会场“国之重器”展区参展,成 果获得中央电视台、科技日报、科学网等媒体报道,达到国内先进水平。
个人主页:https://people.ucas.ac.cn/~chengjian
王培松,博士,中国科学院自动化研究所副研究员,硕士生导师。2013 年在山东大学获得学士学位,2018 年在中国科学院大学获得博士学位。目前主 要从事高效智能计算、神经网络加速与压缩等方面的研究。在 IEEE TPAMI、 TNNLS、NeurIPS、ICML、CVPR、ICCV、ECCV 等国际期刊和会议发表论文 50 余篇。主持国家自然科学基金、联合基金课题、中科院战略先导子课题、科 技创新 2030 子课题,以及华为、百度、OPPO 等多项科研合作项目。曾获 Nvidia 奖学金、IEEE 国际标准突出贡献奖、NeurIPS 国际神经网络压缩竞赛 MicroNet Challenge 冠军,入选中科院特聘研究骨干、北京市科协青年人才托举工程、微 软亚洲研究院“铸星计划”、CCF-百度松果基金学者等。
个人主页:https://people.ucas.ac.cn/~peiswang
林绍辉,华东师范大学计算机科学与计算学院研究员(博导)、紫江青年学者、 上海市杨帆计划获得者。2019 年博士毕业于厦门大学,之后在新加坡国立大学 担任博士后研究员。目前主要研究方向是边缘视觉感知与高效图像处理。在 TPAMI、TIP、ICML、CVPR 等 CCF A 及 Trans,以第一作者/通讯身份发表三十 余篇论文。单篇一作谷歌最高引用超近千次,谷歌总引用 5000 余次。主持国家 自然科学基金青年、面上项目、超 500 万华为合作项目、CCF-腾讯犀牛鸟基金 项目、CAAI-华为 MindSpore 学术奖励基金项目等;担任 ICLR、CVPR 领域主 席、IJCAI 资深程序委员会委员(SPC)等;获 IEEE 标准突出贡献奖、福建省 优秀博士学位论文奖、中国人工智能学会优秀博士学位论文提名奖等奖励。相关 研究成果落地华为、腾讯、中电二十七所等产品中,获得巨大经济价值与社会效 益。
个人主页:https://sites.google.com/site/shaohuilin007
陈涛,复旦大学教授,上海创智学院导师,入选国家高层次海外青年人才引进计 划,全球最有影响力的 2000 位人工智能学者。主要研究领域包括多模态高效视觉计算、大模型压缩理论,以及这些理论在智能机器人、智能交通、自动驾驶场 景下的应用。先后主持国家自然科学基金面上项目、联合重点基金、科技创新 2030“新一代人工智能”重大项目子课题,以及上海市原创探索者计划项目和上 海人工智能市级重大专项的课题。在各类国际学术期刊和会议如 IEEE T-PAMI/IJCV/CVPR/NeurIPS 上发表高水平论文 200 余篇,含 10 篇 ESI 高被引用 论文和热点论文。部分成果成功进行了转化并在小米、华为、中兴、腾讯得到应 用,获批 1 项校企联合实验室项目。先后获得 IJCAI2025 杰出论文奖励,2022 ECCV 无人驾驶挑战赛季军、2023ICCV 三维具身场景理解挑战赛冠军、2024 年中国人工智能学会大模型行业挑战赛华东赛区第一名,以及工信部人工智能揭 榜挂帅专项任务的优胜奖励。
个人主页:http://www.it.fudan.edu.cn/Data/View/2989
纪荣嵘,厦门大学教授、博士生导师,现任厦门大学校长助理,人工 智能研究院执行院长,教育部重点实验室主任。国家杰青、国务院特殊津贴获得 者。长期从事人工智能领域前沿技术研究,近年来发表领域顶级期刊会议长文百 余篇,谷歌学术引用近 3 万次。获 2016 年教育部技术发明一等奖、2018、2020、 2023 年省科技进步一等奖,国家人工智能国家标准工作组联合组长,福建省人 工智能专家组组长。
个人主页:https://mac.xmu.edu.cn/rrji_en/
丁贵广,清华大学长聘教授,北京信息科学与技术国家研究中心党总 支书记,国家杰青项目获得者。针对计算机视觉技术在国家公共安全、网络内容 管理、自动驾驶、机器人和工业智能制造等领域的实际应用需求,开展视觉感知 理解、视觉模型结构设计、视觉模型压缩优化等方面的研究,在网络多媒体内容处理、工业视觉缺陷检测等领域开展规模化应用,研发高效的视觉感知计算系统 和平台。先后主持国家科学基金重点项目、重点研发项目等数十项。发表学术论 文百余篇,Google Scholar 引用 26000 余次,相关成果成功应用于快手、OPPO、 京东、凌云光等单位。曾获国家科技进步二等奖、电子学会技术发明一等奖、人 工智能学会吴文俊科学技术进步一等奖等奖项。
个人主页:https://www.thss.tsinghua.edu.cn/faculty/dingguiguang.htm
刘祥龙,北京航空航天大学教授,博士生导师,计算机学院党委书记、 复杂关键软件环境全国重点实验室副主任,国家青年科学基金 A 类(原杰青) 和 B 类(原优青)项目获得者,国家重点研发计划项目负责人,中国仿真学会 视觉计算与仿真专业委员会副主任。长期从事计算机视觉、机器学习、人工智能 安全等方面的科研教学工作,发表 TPAMI、IJCV、ICML、NeurIPS、CVPR 等 人工智能顶级论文 100 余篇,谷歌学术引用 1.5 万余次,研究成果受到新华社、 人民网、IEEE Spectrum 等媒体和杂志关注报道。获中国仿真学会科学技术奖一 等奖(第 1)、陕西省自然科学奖一等奖(第 2)等奖励,担任 Pattren Recognition 等学术期刊编委和 AAAI、ACM MM 等国际会议领域主席。
个人主页:http://sites.nlsde.buaa.edu.cn/~xlliu/
庄博涵,博士,现任浙江大学百人计划研究员、博士生导师,主要研 究高效大模型算法与系统协同优化,致力于降低大模型训练和部署门槛,打造极 致性价比。目前主持国家海外优青等项目。他于 2018 至 2020 年任澳大利亚机器 人视觉中心高级研究员;2020 年 (27 岁) 起担任 Monash University (2026 年 QS 世界排名第 36,澳洲八大之一) 长聘助理教授,作为独立 PI 创立 ZIP Lab,带领 团队在 Efficient AI 领域取得一系列兼具学术界影响力和工业界影响力的成果。 目前,他兼任阿里巴巴达摩院技术顾问及 Microsoft Research 等机构访问教授, 与全球产业界保持密切合作。在回国前,他指导毕业的第一批 5 名博士生均进入 头部大厂担任研究科学家 (如 DeepSeek,ByteDance Seed USA & Singapore,TikTok Sydney 等),包括 Top Seed 等人才计划。其中首位博士毕业生入职 DeepSeek 后作为共同作者参与开发了 DeepSeek-V3 和 DeepSeek-R1。 团队迄今 已在 NeurIPS、ICLR、ICML 和 TPAMI 等国际顶级会议期刊发表论文 50 余篇, 相关研究成果推动了大模型的高效训练和部署,助力产业落地。
个人主页:https://person.zju.edu.cn/0024130
侯淇彬,南开大学“百青计划”入选者,博士生导师。主持国家自然 科学基金委青年科学基金项目(B 类)/面上项目/重大项目子课题等,入选第七 届中国科协青年人才托举计划。目前已在 IEEE TPAMI, CVPR, ICCV, NeurIPS 等 CCF 推荐 A 类国际顶级计算机视觉相关期刊与会议发表论文 50 余篇,谷歌学术 引用 23000 余次。曾获教育部自然科学奖一等奖、吴文俊人工智能科学技术奖自 然科学二等奖项。
个人主页:https://cyber.nankai.edu.cn/2021/0323/c13839a552012/page.htm
于超,博士毕业于清华大学。研究领域为强化学习、多智能体、具身 智能等。迄今以第一/通讯作者在顶级国际会议和期刊发表论文 30 余篇,谷歌学 术总引用 4000 余次。其中,以第一作者发表于 NeurIPS 2022 的多智能体强化学 习算法MAPPO 论文引用逾2000次,发表于IROS 2018 的机器人论文引用超1000 次。曾获清华大学优秀博士毕业生、优秀博士论文、优秀硕士论文、2024 年度 中国智能体与多智能体系统优秀博士论文提名奖、国家奖学金等荣誉。博士后期 间入选清华大学“水木学者”计划、电子系“传信未来学者”计划;获张克潜冠 名博士后资助及博士后国资计划资助;主持国家自然科学基金青年项目、博士后 基金特别资助与面上项目。
个人主页:https://nicsefc.ee.tsinghua.edu.cn/people/ChaoYu
中国图象图形学学会 (CSIG)
中国人工智能学会 (CAAI)
中国计算机学会 (CCF)
中国自动化学会 (CAA)
上海交通大学 (SJTU)
上海飞腾文化传播有限公司
AutoDL
华东师范大学