本书深入浅出地介绍了深度学习中的序列模型及其发展历程，重点讲解了Transformer架构及其变体的原理与实战应用。全书共5章，旨在帮助读者从理论基础到实战应用，全面掌握Transformer技术。第1章详细介绍RNN和LSTM的原理、代码实战及存在的问题与挑战。第2章全面剖析了Transformer的总体架构、核心思想及各组成部分的实现方法。第3章从自定义代码出发，详细地讲解了词嵌入、多头注意力层、前馈网络层、编码器层和解码器层的构建方法，以及如何训练Transformer模型。第4章介绍Transformer变体与进阶部分。第5章介绍利用HuggingFace实践Transformer，首先介绍了HuggingFace社区和Transformers库，然后通过实际应用案例，如文本分类、情感分类、命名实体识别等，展示了如何使用Transformers库进行项目开发。最后，讲解了模型微调的各种方法，以及Transformer的影响和未来展望。本书适合对深度学习、序列模型和Transformer感兴趣的读者，无论是初学者还是有一定基础的开发者都能从中获得丰富的理论知识和实践经验。同时，本书也可作为高等院校和培训机构相关专业的教学参考书。
本书不仅涵盖了Transformer的基础知识，还扩展到其变体模型（如BERT、GPT等）及其在实际项目中的应用，还将介绍如何使用HuggingFace库进行快速开发与实践，帮助读者更高效地部署和应用Transformer模型。通过本书的学习，读者将能够在自然语言处理、文本生成、情感分析、命名实体识别等领域中，应用Transformer及其变体，提升自己的AI技术水平。
前言
近年来，Transformer架构的提出，标志着自然语言处理（Natural Language Processing，NLP）技术进入了一个崭新的时代。与传统循环神经网络（Recurrent Neural Network，RNN）和长短期记忆网络（Long Shortterm Memory Network，LSTM）相比，Transformer通过其独特的自注意力机制，不仅提升了模型的计算效率，还大幅地提高了性能，使从机器翻译到文本生成、情感分析等多种任务都取得了显著的进展。
笔者在深度学习领域从事了多年研究与开发工作，见证了深度学习模型从RNN、LSTM到Transformer架构的演变。在这个过程中，Transformer的创新性和强大能力深深吸引了我。自从论文“Attention is All You Need”发布以来，Transformer迅速成为深度学习领域的研究热点，并被广泛地应用于多个领域，例如自然语言处理、图像识别、语音处理等。尤其是在自然语言处理任务中，Transformer架构不仅为传统任务提供了新的解决方案，还催生了大量的变体模型，例如BERT、GPT系列等，极大地推动了AI技术的进步。
本书旨在深入浅出地介绍Transformer架构及其应用，结合理论与实践，带领读者系统地学习Transformer。通过详细的模型解析、实现原理及实践案例，读者将能够掌握Transformer的核心概念、实现技巧及如何在实际应用中高效训练和调优Transformer模型。无论是刚接触深度学习的初学者，还是有一定经验的开发者，均能通过本书获得深刻的理解和实践经验。
书中的内容不仅涵盖了Transformer的基础知识，还扩展到其变体模型（例如BERT、GPT等）及其在实际项目中的应用。本书还将介绍如何使用Hugging Face库进行快速开发与实践，帮助读者更高效地部署和应用Transformer模型。通过本书的学习，读者将能够在自然语言处理、文本生成、情感分析、命名实体识别等领域中，应用Transformer及其变体，提升自己的AI技术水平。
希望本书能为广大读者提供系统化的学习路径，帮助大家深入理解Transformer架构，并在实践中取得突破性进展。笔者相信，通过掌握这些前沿技术，读者将能够在人工智能领域中迎接新的挑战，实现职业发展的跨越。
资源下载提示
素材（源码）等资源： 扫描目录上方的二维码下载。
视频等资源： 扫描封底的文泉云盘防盗码，再扫描书中相应章节的二维码，可以在线学习。
致谢
我要特别感谢我的妻子，感谢她在我写作本书期间始终如一的支持与理解。妻子的默默奉献，尤其是承担了所有的家务，让我能够专心致志地投入这项写作工作中。没有她的陪伴与支持，完成这本书是不可能的。
此外，我还要感谢所有在技术上给予我帮助的同人和朋友们，正是你们的指导与分享，才让我在不断探索和实践中得以不断进步。感谢各位开发者和研究人员，尤其是Transformer和深度学习领域的前辈们，你们的工作为我提供了坚实的理论基础与启发。
由于写作时间有限，本书难免存在疏漏和不足之处，恳请读者见谅，并提供宝贵的意见和建议。希望这本书能为大家的学习和研究提供帮助，若可以得到您的反馈和改进建议，将不胜感激。
再次感谢所有支持与帮助过我的人，是你们让这一切成为可能。
沈志龙
2025年5月
沈志龙,统计学硕士、AI算法，拥有数学和统计学背景，对自然语言处理、机器学习、深度学习等领域具有深厚的理论知识和实践经验。在数据分析和挖掘领域耕耘多年，对数据分析、机器学习、深度学习和知识图谱等方向有深入的研究和探索。在文本分类、命名实体识别、文本生成等自然语言处理任务上具有丰富的实战经验，对于Transformer技术应该具备的核心专业能力有深入的理解和掌握。
目录
教学课件（PPT）
本书源码
第1章引言（83min）
1.1深度学习与序列模型的进化
1.1.1RNN原理
1.1.2RNN代码实践
1.1.3RNN的问题与挑战
1.1.4LSTM原理
1.1.5LSTM代码实践
1.1.6LSTM的问题与挑战
1.2Transformer的诞生背景
1.2.1Seq2Seq模型
1.2.2Seq2Seq代码实践
1.2.3注意力机制的崛起
1.2.4 注意力机制代码解读
1.2.5论文“Attention is All You Need”简介
第2章Transformer架构解析（87min）
2.1Transformer总览
2.1.1Transformer的核心思想
2.1.2Transformer的总体架构
2.2Transformer的实现
2.2.1自注意力机制的原理和实现
2.2.2多头注意力的原理和实现
2.2.3位置编码的作用和实现
2.2.4前馈网络层
2.2.5残差连接和层归一化
2.2.6解码器的结构和功能
第3章训练Transformer
3.1自定义Transformer代码
3.1.1词嵌入和位置编码
3.1.2多头注意力层
3.1.3前馈网络层
3.1.4编码器层和解码器层
3.1.5构建Transformer模型
3.1.6训练Transformer模型
3.2实践训练
3.2.1数据准备
3.2.2模型定义及训练
3.2.3模型预测
第4章Transformer变体与进阶（79min）
4.1BERT
4.1.1BERT架构与原理
4.1.2BERT训练过程解析
4.2GPT系列
4.2.1从GPT到GPT4o
4.2.2GPT训练过程解析
4.3其他变体
4.3.1ALBERT
4.3.2RoBERTa
4.3.3T5
4.3.4知识蒸馏原理及实践
第5章利用Hugging Face实践Transformer
5.1Hugging Face简介
5.1.1社区与资源介绍
5.1.2Transformers库概览
5.2快速开始
5.2.1Transformers库
5.2.2Datasets加载数据集
5.2.3Tokenizer文本处理
5.2.4预训练模型的加载
5.2.5Evaluate评估
5.2.6Trainer训练
5.3实际应用案例
5.3.1文本分类
5.3.2情感分类
5.3.3命名实体识别
5.3.4文本相似度
5.3.5机器阅读理解
5.3.6文本摘要
5.3.7生成式对话机器人
5.4模型高效微调
5.4.1微调原理介绍
5.4.2Freeze微调原理及实践
5.4.3PromptTuning微调原理及实践
5.4.4Prefix Tuning微调原理及实践
5.4.5PTuning微调原理及实践
5.4.6LoRA微调原理及实践
5.4.7AdaLoRA微调原理及实践
5.4.8QLoRA微调原理及实践
5.5Transformer的影响
5.6未来展望
书单推荐
