一、实验室介绍
PI简介:
齐国君,国际电气和电子工程师协会会士(IEEEFellow),国际模式识别联合会会士(IAPRFellow),国际计算机协会杰出科学家(ACMDistinguishedScientist),中国科学技术大学郭沫若奖得主。2005年和2009年在中国科学技术大学自动化系获得工学学士和博士学位,并于2013年获得美国伊利诺伊大学香槟分校电子与计算机工程专业哲学博士学位。2014年任IBMT.J.Watson研究中心研究员,同年开始任教于中佛罗里达大学计算机系。2018年就任华为美国研究中心技术副总裁(TechnicalVP)和首席AI科学家(ChiefAIScientist),之后创立OPPO西雅图研究中心。
实验室介绍:
机器感知与学习实验室(MAPLE,http://maple.lab.westlake.edu.cn)主要基于生成式人工智能模型与算法,对文本、图像、视频等在内的多模态感知、生成与具身智能交互算法与应用开展研究,具体研究方向如下:
1)基于具身模型的具身智能研究,设计根据视频、文字指令等多模态输入、具有人机交互功能的智能控制算法,并在机器人等硬件设备上应用。
2)AIagents推理与训练,以及基于多模态大模型以及扩散模型等理论和算法,实现agents、文本、图像和视频内容的推理、生成和编辑,包括任务驱动型的多模态推理和任务规划、文生图/视频、对图像和视频的多模态编辑,以其包含多模态信息的自由文本对话。
3)高效多模态模型架构设计,针对前沿的多模态算法与应用需求,设计能在有限内存和计算资源条件下运行的轻量化模型结构和高效算法。
二、招聘岗位:
岗位名称1:博士后-具身智能模型研发方向
招聘人数:1-2名
岗位职责:
1.负责或参与具身模型整体方案设计,探索视觉、语言、机器人状态、动作和环境反馈的建模ppp方法,推进VLA/WAM/VLM在多任务、多场景和多本体上的能力泛化。
2.负责或参与具身模型的训练与优化,包括监督学习、模仿学习、强化学习、离线学习及ICL(In-ContextLearning)等训练范式,结合任务目标设计有效的训练和微调策略。
3.研究具身智能中的记忆机制,处理短期工作记忆、长期任务记忆和跨回合经验利用,提升模型在长时序任务、任务切换和未知场景中的连续决策能力。
4.建立面向模型能力的实验与评测方法,覆盖离线数据、仿真交互和真实机器人执行,分析模型的泛化性、稳定性、样本效率和失败恢复能力。
5.将算法方案实现为可复现的训练和推理流程,与数据、仿真、控制及系统工程团队协作,推动模型从实验结果走向真实任务表现。
任职要求:
1.计算机、人工智能、机器人、自动化、控制或相关专业博士学历。
2.具备机器学习、深度学习和强化学习基础,熟悉Python、PyTorch等开发工具,能够独立完成实验设计、模型训练、结果分析和代码实现。
3.熟悉VLM、VLA、WAM或相关多模态具身模型的基本架构与训练流程,熟悉VLM模型并具备训练以及微调能力;理解视觉观测、语言指令、机器人状态、动作序列和环境反馈之间的时序关系。
4.熟悉具身ICL训练模式,了解短期记忆、长期记忆、轨迹记忆或经验检索等技术在机器人任务中的作用与实现方法。
5.熟悉VLA/WAM场景下的强化学习技术,了解奖励设计、策略优化、离线数据利用以及sim-to-real等方法,并能根据实际任务选择合适的训练方案。
6.熟悉多源具身数据的结构与基本原理,能够理解和处理图像/视频、深度相机参数、手臂轨迹、机器人状态、动作指令及时间同步等数据。
7.具备仿真或真实机器人上的模型实验经验,能够结合闭环执行结果定位问题并迭代算法;有多机多卡训练或机器人端部署经验更佳。
8.能够阅读和复现相关论文,具备清晰的技术表达、跨团队协作和持续推进能力。
岗位名称2:博士后-具身智能数据采集方向
招聘人数:1-2名
岗位职责:
1.负责或参与具身智能机器人操作数据的处理与数据集构建,围绕遥操作、仿真、UMI、Ego等多种数据来源,开展原始数据解析、清洗、筛选、切分、去重及格式转换,建立面向模型训练的标准化数据处理流程。
2.负责或参与机器人操作多源数据的对齐与预处理,处理视频、相机参数、机器人状态、关节信息、末端位姿及动作轨迹等数据,解决不同数据源坐标系对齐的问题,保证多源数据的一致性与可用性。
3.负责或参与具身智能机器人数据的标注与标注体系建设,围绕机器人操作任务、任务阶段、子任务、动作时序、关键帧及操作结果等信息开展数据标注,参与标注规范制定、标注工具及流程建设,并负责标注数据的质量检查与一致性验证,为模型训练提供高质量监督信号。
4.与具身智能模型训练及算法团队进行技术对接,根据VLA、模仿学习等模型的数据需求,对数据进行针对性的筛选、组织与预处理,并结合模型训练反馈持续优化数据Pipeline,推动数据处理流程与模型训练流程协同迭代。
5.参与具身智能机器人操作数据标准与数据规范建设,针对不同机器人、不同采集方式及不同数据格式建立统一的数据组织和管理规范,支持多来源数据向统一训练数据格式转换,为大规模机器人操作数据集建设提供工程基础。
任职要求:
1.计算机、机器人、自动化、人工智能等相关专业博士学历。
2.熟练掌握Python,具备较强的数据处理、脚本开发和Pipeline构建能力。
3.对机器人操作数据有一定理解,了解机器人状态、动作、轨迹、位姿、图像/视频等常见数据形式。
4.具备较强的数据分析和问题定位能力,能够独立处理大规模数据中的异常、缺失、错位、不同步等问题。
5.具备良好的沟通协作能力,能够与算法/模型训练团队进行技术沟通,并根据训练需求快速调整数据处理方案。
岗位名称3:博士后-具身智能物理引擎开发方向
招聘人数:1-2名
岗位职责:
1.负责或参与面向具身智能与机器人仿真的物理引擎研发与优化,支持机械臂、双足/人形机器人等多类机器人系统的高保真物理仿真。
2.负责或参与刚体动力学、关节约束、碰撞检测、接触求解、摩擦模型、软体/可变形物体等核心物理模块的设计、开发与优化。
3.针对机器人操作、移动、灵巧操作等场景,研究和实现高稳定性、高精度的接触动力学与碰撞响应算法。
4.负责物理引擎的GPU加速与并行计算,优化大规模并行仿真性能,满足机器人强化学习和大规模数据生成需求。
5.与机器人学习、仿真、感知及数据团队协作,将物理引擎与RL、VLA、世界模型等具身智能算法进行集成,为模型训练提供高效可靠的仿真环境。
6.负责物理引擎与机器人仿真平台的接口设计,包括机器人模型、URDF/USD等场景资产、传感器以及控制接口的适配。
7.针对真实机器人实验结果持续优化仿真参数与物理模型,提高Sim2Real一致性。
任职要求:
1.计算机、机器人、自动化、力学、数学、物理或相关专业博士学历。
2.扎实掌握刚体动力学、机器人运动学/动力学、碰撞检测、接触力学、约束求解等基础知识。
3.熟练掌握C++,具备较强的底层系统开发和性能优化能力。
4.熟悉至少一种机器人/物理仿真引擎或相关技术,如MuJoCo、PhysX、SAPIEN、Bullet、ODE、Newton、Genesis等。
5.具备GPU/CUDA编程或并行计算经验,了解GPU-basedphysicssimulation、CUDAkernel优化等技术。
6.熟悉机器人仿真或真实机器人系统,有机械臂、人形机器人、移动机器人或灵巧手相关经验者优先。
应聘条件:
1、年龄不超过35周岁;已取得或即将取得博士学位;
2、在计算机、人工智能等相关学科方向取得或即将取得博士学位;
3、研究基础好,编程能力强,有独立开展科研工作和创新能力,在实验室相关研究领域有深厚积累和/或技术专长,在顶级期刊或会议发表过高水平论文;
4、具备诚实的科研态度,和良好的沟通能力、团队协作精神;
5、对具有高质量的学术研究经历和代码工程实现经验的申请人,会优先予以考虑。
三、薪酬及福利待遇
1、根据个人科研工作能力提供具有市场竞争力的薪酬,具体面议。实验室将提供稳定的工作环境与一流的研究平台,协助申报博士后相关项目等;
2、学校可协助办理落户、协助对接子女的入学入托服务工作;
3、学校提供全方位培养体系,设立“西湖大学优秀博士后”“西湖优秀女性博士后奖”等项目。
四、资助政策
1、博士后可享受杭州市在站博士后资助政策;
2、对获得中国博士后科学基金资助和浙江省博士后择优项目资助的,杭州市给予1:1配套资助;
3、对出站留杭(来杭)工作的博士后,杭州市给予每人40万元补助;
4、对来杭工作符合条件的全球本科及以上学历应届毕业生(含毕业5年内的回国留学人员、外国人才),杭州市发放生活补贴,其中博士10万元;
5、可申请认定杭州市高层次人才,并享受相应政策。
五、应聘方式
1、请将以下材料以PDF形式发送至maple_hr@westlake.edu.cn,邮件标题请注明:“应聘博士后+本人姓名”,对于符合要求并通过初审者,将会通知安排面试。招聘启事在岗位招满前有效。
1)个人简历;
2)2位同行专家的推荐信;
3)博士学历学位证明材料。
2、招聘流程:经初步评审,我们将通过电话或邮件向符合应聘条件的应聘者发出面试通知。三个月内没有收到面试通知者可自行放弃等待。
