本书是大数据管理与应用专业核心课程的教材之一。本书从管理学视角来理解大数据并建立大数据管理的概念,从数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、大数据处理伦理、企业组织架构和企业数据战略等方面介绍了数据管理和治理的知识框架和应用指南。同时本书是一本实用性极强的教材,不仅包括数据管理和治理原理的论述,还结合多个应用场景,详细介绍了大数据管理和治理的工作指南和最佳实践。本书可作为高等院校管理类专业“大数据管理与应用”、信息类专业“数据科学与大数据技术”等本科课程的教材,也可作为信息管理与信息系统等其他相关专业学生扩展大数据管理知识的学习资源。此外,本书还可供相关领域的从业人员及对大数据管理感兴趣的读者参考。
陈志轩,计算机科学与技术专业博士,广州城市理工学院副教授,兼任中国电子信息行业联合会数字经济专业委员会学术委员。拥有深厚的产业背景,曾任世界 500 强企业资深互联网架构工程师、市场营销与广告管理系统设计总监及数据科学部主任工程师。主要研究方向为数据科学、管理科学方法、数据治理与企业创新,以及大数据与人工智能技术的商业应用。在国内外学术期刊发表论文 50 余篇,主编《大数据营销》、《大数据营销实训》等教材。主讲大数据管理与应用概论、大数据预测模型、数据挖掘与智能商务及电子商务数据分析等核心课程。马琦,广州城市理工学院 副教授、电子商务系主任、智能商务研究所所长。研究方向:营销管理。常年担任《营销学原理》、《广告学》、《营销案例分析与策划》等多门课程教学。
数据管理基础模块
第1章 大数据基础知识2
1.1 引言3
1.2 数据与信息4
1.2.1 数据4
1.2.2 信息6
1.2.3 信息的生成过程与特点7
1.2.4 信息的搜集渠道8
1.3 DIKW(金字塔)模型10
1.3.1 概念10
1.3.2 DIKW模型的使用13
1.3.3 DIKW模型的局限性15
1.4 大数据的内涵17
1.4.1 大数据的定义18
1.4.2 大数据的特征21
【本章小结】25
【管理启示】25
第2章 大数据管理基础26
2.1 引言27
2.2 数据资产概述27
2.2.1 数据资产的历史沿革27
2.2.2 数据资产的概念29
2.2.3 数据资产化的意义30
2.3 数据管理的概念31
2.4 数据管理的特点和原则33
2.4.1 数据管理的特点33
2.4.2 数据管理的原则35
2.5 数据及其管理的技术演进39
2.6 数据管理的机遇与挑战42
2.6.1 数据管理的机遇42
2.6.2 数据管理的挑战44
【本章小结】48
【管理启示】48
第3章 大数据管理框架49
3.1 引言50
3.1.1 数据管理框架的概念50
3.1.2 数据管理框架的意义50
3.2 数据生命周期51
3.2.1 数据生命周期的概念51
3.2.2 数据生命周期的管理意义55
3.3 数据分类56
3.4 数据管理框架实施与战略建设60
3.4.1 数据管理框架的实施60
3.4.2 数据战略建设65
3.5 主流数据管理框架74
【本章小结】82
【管理启示】82
数据管理实施模块
第4章 大数据治理84
4.1 数据治理的概念85
4.1.1 数据治理的内涵85
4.1.2 数据治理的内容和职责86
4.2 数据治理的目标和驱动因素88
4.2.1 数据治理的目标88
4.2.2 业务驱动因素89
4.3 大数据治理的关键要素91
4.3.1 关键组成部分91
4.3.2 数据治理的实施93
4.4 大数据治理的框架94
4.4.1 数据治理的主题94
4.4.2 大数据治理框架97
4.4.3 数据治理框架的建立98
4.4.4 数据治理框架的评估101
【本章小结】103
【管理启示】103
第5章 主数据管理104
5.1 主数据管理概述105
5.1.1 主数据的概念105
5.1.2 主数据管理的内涵107
5.2 主数据管理的驱动因素和挑战109
5.2.1 主数据管理的驱动因素109
5.2.2 创建和管理主数据的挑战111
5.3 参考数据113
5.3.1 参考数据的概念113
5.3.2 参考数据的管理115
5.4 主数据管理的实施119
5.4.1 确定主数据管理范围119
5.4.2 主数据管理策略122
5.4.3 主数据管理的关键步骤123
【本章小结】131
【管理启示】132
第6章 大数据风险管理133
6.1 数据安全现状及其重要性134
6.1.1 大数据泄露事件简要回顾134
6.1.2 数据安全的重要性136
6.2 数据风险管理141
6.2.1 风险管理的概念141
6.2.2 数据安全的核心要素与技术体系143
6.3 大数据安全管理146
6.3.1 大数据安全管理的挑战与复杂性146
6.3.2 大数据安全管理的解决方案147
6.3.3 大数据安全服务供应商150
6.4 数据安全法律法规150
6.4.1 我国与数据安全相关的法律法规151
6.4.2 国外与数据安全相关的主要法律法规152
6.4.3 企业合规建议158
【本章小结】161
【管理启示】162
第7章 元数据管理163
7.1 数据分类回顾164
7.2 元数据概述165
7.2.1 元数据的定义165
7.2.2 元数据的价值167
7.2.3 元数据的类型168
7.3 元数据管理概述171
7.3.1 元数据管理的概念171
7.3.2 元数据管理的意义172
7.3.3 元数据管理的目标和原则175
7.4 元数据的来源176
7.5 元数据存储架构180
7.6 元数据管理的主要活动184
7.7 有效实施元数据管理186
7.7.1 元数据管理的主要挑战186
7.7.2 元数据管理的实施路径187
【本章小结】193
【管理启示】193
第8章 数据质量管理194
8.1 数据质量的概念195
8.1.1 数据质量的定义195
8.1.2 数据质量的维度197
8.2 数据质量管理的概念202
8.2.1 数据质量管理的定义202
8.2.2 数据质量管理的意义203
8.3 数据质量管理的原则与过程204
8.3.1 数据质量管理的原则204
8.3.2 数据质量管理的过程206
8.4 数据质量管理实践209
8.4.1 关键数据元素209
8.4.2 数据质量的测量和监控212
8.4.3 数据质量管理最佳实践214
8.4.4 数据质量管理改进216
【本章小结】220
【管理启示】220
数据管理进阶模块
第9章 大数据管理成熟度评估222
9.1 数据管理成熟度的概念223
9.2 数据管理成熟度评估模型224
9.3 数据管理成熟度等级定义229
9.4 数据管理成熟度评估步骤231
9.5 评估成熟度的示例问题235
【本章小结】243
【管理启示】243
第10章 新兴技术管理与决策244
10.1 大数据与新兴技术245
10.1.1 大数据与新兴技术的概念245
10.1.2 大数据与新兴技术的应用案例246
10.1.3 大数据与新兴技术的发展趋势246
10.1.4 大数据在管理决策中的应用247
10.2 新兴技术248
10.3 新兴数据管理技术251
10.4 新兴技术和管理决策255
【本章小结】265
【管理启示】265