本书以具身智能为背景，系统介绍了机器人多模态学习的理论与实现方法。本书包含四个主要部分：第一部分为机器人学基础，包括机器人运动学、动力学、运动控制等基础知识；第二部分为机器人多模态感知系统、仿真平台与典型的多模态学习框架，介绍了主流的机器人仿真环境和开发平台；第三部分是机器人典型的多模态学习方法，重点阐述了强化学习、模仿学习、虚实迁移学习等内容，讨论了端到端大模型及世界模型等新型范式；第四部分为综合应用与实践案例，通过协作机械臂、四足机器人、软体机械手、人形机器人、足球机器人等从仿真模拟到真机实践的案例，验证了机器人多模态学习的实际应用。

本书适合机器人工程、具身智能、人工智能等相关专业的高校师生、科研人员以及从事机器人研发的工程师阅读参考，也可作为读者学习具身智能、人形机器人等前沿知识的参考书。

本书作为十四五 国家重点出版物规划项目及机器人工程专业系列教材，立足具身智能前沿，系统梳理机器人多模态学习核心理论、关键技术与工程实践，从机器人学基础、多模态感知、主流仿真平台，到强化学习、模仿学习、虚实迁移等核心方法，再到机械臂、四足机器人、人形机器人等真机案例，构建起 理论 仿真 落地 完整知识体系。
本书
本书结构清晰、内容系统，以理论与实践融合为特色，配套了基于典型机器人的案例代码与实践过程。
本书还配套电子课件、习题答案、微课视频等完整教学资源，从基础知识点到综合实践案例层层递进，适配高校课堂教学与自主学习，适合高校机器人工程、具身智能领域相关专业教学与科研使用。

时下，人工智能和机器人技术蓬勃发展，尤其是人形机器人、具身智能等成为全社会关注的科技话题。传统的机器人大多依赖于精确的编程，在结构化环境中执行重复性任务，而具身智能时代的机器人则需要具备在开放、动态的复杂环境中感知、自主学习与适应任务变化的能力。如何让机器人像人一样通过实践来学习技能，将人类的操作技能以及机器人在虚拟世界中习得的策略经验，安全、高效地应用于现实世界，已成为机器人学术界与工业界共同面临的核心挑战之一。多模态学习与从模拟到实现正是应对这一挑战的两大技术焦点领域。多模态学习使机器人能够融合视觉、触觉等多种感知信息，对环境和任务有认知、推理及决策能力；强化学习、模仿学习、迁移学习等多模态学习技术，则提供了在虚拟世界中低成本、高效率、无风险训练机器人的解决方案，并探讨了将其所学迁移到物理实体的可行路径。
本书的编写初衷，正是为了梳理和阐述具身智能与机器人学这一前沿交叉领域，包括基础理论、典型方法与工程实践案例等，并为机器人工程、具身智能、人工智能相关专业的学生、教师以及研发工程师们提供一本内容前沿、实践性强的参考指南，帮助读者构建起从仿真到实机的知识链条，并初步掌握解决典型机器人实际开发问题的能力。全书内容可划分为四个部分，大致如下。
第一部分为绪论和机器人学基础。第1章简要描述了智能机器人的最新发展动态、代表性机器人多模态学习方法和案例；第2~4章阐述了机器人运动学、动力学与运动控制，包括位姿描述、正/逆向运动学、拉格朗日与牛顿-欧拉建模方法、关节空间与操作空间动力学方程，以及PID、阻抗控制、全身控制、模型预测控制等典型机器人控制方法。
第二部分为机器人多模态感知、仿真环境与典型的多模态学习框架。第5章介绍了视觉、距离、触觉、听觉、力反馈、惯性测量单元等多类传感器及融合思路；第6章着重介绍了Gazebo、MuJoCo、Isaac、Webots、CoppeliaSim等常用机器人仿真平台；第7章介绍了机器人多模态学习框架，包括智能决策与执行、多模态系统集成等。
第三部分为机器人典型的多模态学习方法。第8~10章主要阐述了当前机器人学习中典型的三类范式：强化学习如何通过奖励信号自我改进策略；模仿学习如何通过人类/专家示范直接复制高质量行为；迁移学习如何将在仿真器或其他机器人身上学到的策略跨域复用到真实平台、真实场景。第11章结合具身智能的趋势，对世界模型、视觉-语言模型、视觉-语言-动作模型、端到端机器人大模型以及数据集与开放平台等进行了介绍。
第四部分为综合应用与实践案例，从编者团队实际开发和应用的例子中选取了机械臂抓取、四足机器人强化学习、人形机器人模仿学习、开源人形机器人、软体机械手操作、足球机器人群体智能等一系列具有代表性的案例。读者可通过相应的仿真平台复现这些算法，有硬件条件的读者还可以在多种真实机器人平台上完成部署。
本书由秦建军、江磊、邢伯阳、单晓微、李国通、王陆旸编写。本书在编写和案例实现过程中，得到了国家地方共建人形机器人创新中心、北京元客视界科技有限公司、北京加速进化科技有限公司、北京建筑大学等单位的大力支持。编者团队的研究生们亦协助做了案例整理工作，在此一并表示感谢。
鉴于机器人多模态学习领域发展日新月异，加之编者水平有限，书中疏漏与不足之处在所难免，恳请各位同行与广大读者不吝赐教，共同推动我国智能机器人技术的发展与进步。

秦建军，工学博士，北京建筑大学机器人工程系教授。教育部万名创新创业导师首批入库导师、北京市教育创新标兵、校首届青年教学名师，兼任中国人工智能学会高级会员、中国科普作家协会会员、中国创造学会理事、中国机械工程学会高级会员、北京创造学会副理事长等职。科研方面，已主持和参与了国家863计划、国家自然科学基金、北京市科技计划项目、住建部面上项目、北京市自然基金重点项目等国家及省部级项目。在国内外发表学术论文70多篇，获发明专利授权50多项，获教育部技术发明二等奖、牵头建设了国内高校首个通用人形机器人训练场。教学成果获北京市教学成果奖一等奖两项。指导学生学生获得全国挑战杯、全国节能减排大赛、全国机械创新大赛等竞赛国赛及省部级一等奖以上奖励数20余项。主要研究方向包括移动机器人、具身智能、智能设计等。

第1章绪论
1.1智能机器人
1.2机器人多模态学习
1.3典型案例
1.4小结
习题
第2章机器人运动学基础
2.1机器人位姿的数学描述
2.2坐标变换
2.3齐次坐标变换
2.4正向运动学
2.5逆向运动学
2.6雅可比矩阵
2.7运动学仿真
2.8小结
习题
第3章机器人动力学基础
3.1机器人动力学的研究内容
3.2质量、惯性与力矩分析
3.3拉格朗日法
3.4牛顿-欧拉法
3.5四足机器人动力学建模
3.6小结
习题
第4章机器人运动控制基础
4.1机器人控制的特点和分类
4.2反馈与闭环控制
4.3运动控制方法
4.4四足机器人运动控制
4.5小结
习题
第5章机器人感知系统
5.1机器人传感器的分类
5.2机器人对传感器的要求
5.3机器人外部传感器
5.4机器人内部传感器
5.5多传感器融合
5.6多传感器融合的分类
5.7小结
习题
第6章机器人的仿真环境
6.1机器人仿真平台
6.2实用案例与工具
6.3小结
习题
第7章面向具身智能的多模态学习框架
7.1基础理论
7.2多模态感知技术
7.3智能决策与执行
7.4机械智能与物理计算
7.5多模态系统集成
7.6发展趋势与挑战
7.7小结
习题
第8章强化学习
8.1基础定义
8.2无模型强化学习与Q学习算法
8.3基于策略的无模型强化学习
8.5基于价值和策略的无模型强化学习
8.5.1TRPO算法
8.5.2PPO算法
8.5.3DDPG算法
8.5.4TD3算法
8.6基于模型策略搜索
8.7小结
习题
第9章模仿学习与行为克隆
9.1理论基础与方法
9.2专家演示数据的获取
9.3分布漂移与累积误差
9.4小结
习题
第10章虚实迁移学习
10.1仿真到现实
10.2迁移学习的关键策略
10.3数据增强
10.4多模态迁移
10.5基于大语言模型的迁移学习
10.6小结
习题
第11章世界模型与具身数据集
11.1世界模型
11.2跨模态端到端模型
11.3典型的VLA模型
11.4开放平台与数据集
11.5小结
习题
第12章机械臂的抓取学习案例
12.1项目简介
12.1.1项目介绍
12.1.2强化学习算法和工具
12.1.3安装及仿真环境配置
12.2案例实验
12.2.1实验设置
12.2.2实验结果
12.3小结
第13章VLA与协作抓取学习案例
13.1项目简介
13.2在ALOHA部署ACT
13.3在ALOHA部署OpenVLA
13.4小结
第14章四足机器人的深度强化学习控制
14.1深度强化学习控制
14.2多模态学习仿真
14.3小结
第15章软体机械手的多模态抓持学习
15.1引言
15.2实验平台构建
15.3数据生成与预处理
15.4深度学习模型构建
15.5模型验证与性能评估
15.6综合性能分析与对比
15.7小结
习题
实践任务
第16章人形机器人模仿学习案例
16.1项目简介
16.2核心组件与技术解析
16.3案例部署
16.4小结
第17章人形机器人开发案例
17.1 SimpleMan简介
17.2 SimpleMan机械结构与仿真环境
17.3 SimpleMan运动学与控制系统
17.4 NanoLoong简介
17.5 NanoLoong机械结构与仿真环境
17.6小结
第18章足球机器人群体智能
18.1足球机器人及3v3比赛场景概述
18.2软硬件设置与开发配置
18.3群体智能的核心原理和协作机制
18.4机器人调试与实战场景模拟
18.5小结
第19章OpenLoong机器人开源社区
19.1社区简介
19.2OpenLoong开源生态体系
19.3典型案例
19.4小结
附录常见机器人仿真软件安装和环境配置
附录AGazebo仿真软件安装与环境配置
附录BMuJoCo仿真软件安装与环境配置
附录CIsaac Gym仿真软件安装与环境配置