大数据技术基础_王志著_9787568049368

本书通过原理加案例方式，以任务为导向，较为全面系统讲解了Hadoop大数据开发的相关知识。精心安排了原理分析，Hadoop集群环境搭建配置、Hadoop操作、MapReduce编程以及项目案例开发等环节，使读者对解决大数据问题有清晰的思路。全书突出了原理清晰，思路透彻、案例实用这几个特点，通过实践帮助读者巩固所学内容。通过向学生系统地讲解大数据系统的组成部分及相关功能，后结合一个完整的案例来帮助学生理解和巩固大数据系统的相关知识，从而掌握大数据分析和处理的流程。该教材由校内教师和企业教师共同编写，能够代表行业对于大数据类人才的新需求，可以作为高等院校大数据专业的基础教材。

当今大数据技术是热门的计算机技术之一，互联网已进入大数据、人工智能时代。大数据技术已广泛应用于各行各业并将继续影响人类生产生活的方方面面，深刻改变着人类的思维、生产、生活、学习方式，深刻展示了世界发展的前景。2015年9月5日，国务院正式下发《国务院关于印发促进大数据发展行动纲要的通知》。在大数据时代，数据的存储与挖掘至关重要。企业资本则以BAT互联网公司为首，不断追求高可靠性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本进行大数据创新，实现大数据的商业价值。而Hadoop为实现这些需求提供了解决方案。Hadoop作为大数据生态系统中的典型核心框架，专为离线和大规模数据处理而设计。Hadoop的核心组件HDFS为海量数据提供了分布式存储并具备高拓展性，通过数据冗余保证数据不丢失和提升计算效率；而MapReduce组件则为海量数据提供了分布式计算。许多互联网企业公司都使用Hadoop及配合数据挖掘的一系列算法来实现其核心业务，如阿里云、京东云、腾讯云、华为云等云平台都提供了各类系统级的大数据计算处理。本书以Hadoop为核心，系统阐述了基于这种通用大数据处理平台的应用开发技术，由浅入深，逐步扩展组件构建一个完整的Hadoop生态圈。在这个生态圈中，通过HDFS认识分布式存储系统；以MapReduce详解分布式计算的步骤；利用HBase分析适合NOSQL数据存储的分布式数据库；利用Hive数据仓库分析SQL查询转换为分布式计算；利用Storm进行Hadoop生态圈中的分布式实时计算。后通过几个典型的综合应用案例来讲解如何利用Hadoop生态体系的技术来解决实际问题。通过整本书的学习，读者应该能熟练掌握系统架构以及业务流程，并使用Hadoop集成环境进行数据采集、数据预处理、数据仓库的设计、数据分析以及可视化处理以实现完整的大数据项目的开发。本书努力将难以理解的思想具体化、简单化，让初学者能够轻松理解并快速掌握。本书对每个知识点也以图文并茂的方式进行了深入系统的分析，力求让读者在实际工作中能理解这些知识点并将其加以运用。本书由王志编写，在成书过程中得到了文华学院的支持，并由郭胜、詹玲两位老师提供大量的数据和项目支撑，俞侃教授也给予了鼎力支持，在此表示衷心的感谢。由于作者水平有限，不足之处在所难免，恳请读者指正。

编者2020年11月

你还可能感兴趣

我要评论