从数据分析方法到数据科学基础知识，你需要了解的知识全部在这本图解书中！

当下，利用数据为自己的业务和服务提供支持是大势所趋。但是，分析数据需要广泛的知识，自己很难成体系地学习。

本书介绍了数据科学的基础知识及周边知识，包括数据、图表的类型以及统计学、人工智能的基本知识等，网罗信息社会中数据活用的问题点，结合生动插图，让初学者也能迅速理解。

除了按顺序阅读，获取系统的知识，读者还可以从目录中挑选感兴趣的主题和关键词，按照自己的需求阅读，是一本实用性满分的数据科学学习指南。

1. 数据的重要性与日俱增，我们在做出预测和决定之前，需要以过往的数据为支撑，数据甚至逐渐成为社会甚至国家的一种战略资源。
2. 作为数据科学的入门书，本书循序渐进地讲解了数据的基本知识、分析方法，以及数据分析不可或缺的统计学知识，并且结合人工智能的发展介绍了数据处理的新的可能性。
3. 将难懂的知识点用插图直观地表现出来，图文结合，清晰易懂，初学者也能迅速上手！
4. 每小节都是独立知识点，可以按顺序阅读，成体系地掌握数据科学知识；也可以根据目录找到自己的兴趣点，是一本实用性满分的学习指南。

[日]增井敏克

增井技术士事务所代表，获得日本信息工学部门技术资格认证。

毕业于大阪府立大学研究生院。通过技术工程师（网络、信息安全）考试和其他多项信息处理技术人员考试。

通过商务数学检定1级，获得公益财团法人日本数学检定协会认定，以培训师身份展开活动。

开创商务数学IT模式，帮助客户正确、高效提升计算机技能，并致力于各种软件的开发。

著作有《完全图解网络与信息安全》《完全图解编程原理》《程序员的算法趣题》《用Python编程和实践！算法入门》《IT用语图鉴》等。

第一章 数据科学的支撑技术

- 应对未来需求高涨的必修课 -

1-1 21 世纪的石油

数据、信息 ..........................................................................................002

1-2 数据为何越来越多

信息化社会、物联网、信息社会、传感器 .....................................004

1-3综合各种知识进行分析

数据科学、数据挖掘..........................................................................006

1-4从数据中发现价值的职业

数据科学家、数据工程师、数据分析师..........................................008

1-5数据不能直接拿来使用

结构化数据、非结构化数据..............................................................010

1-6大量的数据是宝藏

数据、3 个 V........................................................................................012

1-7人与计算机易于处理的数据不同

杂乱数据、整齐数据..........................................................................014

1-8把握供数据使用的数据

主数据、元数据..................................................................................016

1-9将数据整理到一处

数据基础设施、商业智能仪表盘、数据管道 .................................018

1-10对高效处理流程进行思考

算法、数据结构..................................................................................020

1-11导出规则的实用化

模型、建模..........................................................................................022

1-12用于处理数据的编程语言

R 语言、Python 语言、Julia 语言......................................................024

1-13任何人都可以免费使用的数据

开放数据、e-Stat、WebAPI..............................................................026

1-14一边娱乐，一边学习分析方法

Kaggle、编程比赛、CTF....................................................................028

1-15围绕 IT 进行思考

数字化转型、数码化、数字化..........................................................030

1-16已经分析的数据的运用事例

聊天机器人、推荐..............................................................................032

1-17购买了这款商品的顾客还同时购买了这样的商品

购物篮分析、关联分析、RFM 分析.................................................034

1-18根据数据进行不同的定价

动态定价、金融科技..........................................................................036

1-19从小规模出发进行尝试

概念验证、小规模启动......................................................................038

1-20持续不断地谋求改善

PDCA 循环、OODA 循环、反馈循环...............................................040

1-21先行确定目标，之后有策略地进行实施

KPI、KGI、KSF.................................................................................042

1-22把握与数据相关的人

用例、利益相关者..............................................................................044

试一试尝试一下对使用数据的事例进行调查吧........................... 046

第二章数据的基础

- 表示方法与读取方法 -

2-1数据的分类

名义尺度、定序尺度、定距尺度、比例尺度、定性变量、

定量变量 ..............................................................................................048

2-2从范围的角度对数据加以区分

频数分布表、组、频数、组距、直方图..........................................050

2-3区别使用各种图形

棒状图、折线图..................................................................................052

2-4表示比例的图形

饼状图、带状图..................................................................................054

2-5将各种数据展示于一张图中

雷达图、箱形图..................................................................................056

2-6构成数据基准的数值

代表性数值、平均值、中位数、鲁棒性、众数 .............................058

2-7掌握数据离散程度

方差、标准偏差..................................................................................060

2-8用一个标准判断

变异系数、标准化、偏差值..............................................................062

2-9处理不恰当的数据

异常值、缺失值..................................................................................064

2-10为什么销售额的八成来自两成的商品 ?

帕累托定律、帕累托分析、帕累托图、长尾效应 .........................066

2-11对数量实施视觉展示

数据可视化、层级区分图、文字云图..............................................068

2-12任何人都可以使用的便捷的数据分析工具

BI 工具、OLAP....................................................................................070

2-13集中管理数据

数据仓库、数据湖、数据集市..........................................................072

2-14对数据协作进行思考

ETL、EAI、ESB..................................................................................074

2-15对数据结构进行可视化

ER 图、DFD 图、CRUD 表、CRUD 图............................................076

2-16设计数据库

正规化、非正规化..............................................................................078

2-17对纸上打印的数据进行提取处理

OCR、OMR..........................................................................................080

2-18高精度、高速度地导入数据

条形码、二维码、NFC.......................................................................082

试一试尝试一下对使用数据的事例进行调查吧............................ 084

第三章数据处理与充分利用

- 对数据进行分类和预测 -

3-1根据获取时间而变化的数据

时间序列数据、趋势、噪声、周期..................................................086

3-2程序自动输出的数据

日志、转储文件..................................................................................088

3-3捕捉长期变化

移动平均法、移动平均线、加权移动平均法.................................090

3-4掌握两个数轴之间的关系

散点图、协方差、相关系数..............................................................092

3-5不被表面的关系所欺骗

相关关系、因果关系、伪相关..........................................................094

3-6立足于多个数轴进行汇总

交叉汇总、联合分析、直交表..........................................................096

3-7通过减少数轴的数量来把握特征

维度、主成分分析..............................................................................098

3-8了解人们对两点之间距离的看法

欧几里得距离、曼哈顿距离..............................................................100

3-9调查相似的角度

余弦相似度、Word2Vec.....................................................................102

3-10数据分析不只有帅气的一面

预处理、数据准备、数据清洗、数据分析识别.............................104

3-11明确多个数轴之间的关系

回归分析、最小二乘法......................................................................106

3-12了解高级回归分析

多重回归分析、逻辑回归分析..........................................................108

3-13对分类进行预测

判别分析、马哈拉诺比斯距离..........................................................110

3-14基于已掌握的知识进行数值推算

费米估算..............................................................................................112

3-15实现对掷骰子结果的操控

随机数、伪随机数、随机种子、蒙特卡罗法.................................114

3-16通过反复预测提高精度

德尔菲法、指数平滑法.....................................................................116

3-17了解各种分析方法

多变量分析、数量化一类、数量化二类、数量化三类.................118

试一试尝试一下统计问卷调查的结果吧........................................ 120

第四章需要了解的统计学知识

- 立足于数据推测答案 -

4-1统计学的分类

描述统计学、推断统计学..................................................................122

4-2抽取数据

总体、样本、随机抽样......................................................................124

4-3用数值表示易发性

统计概率、数学概率、概率、期望值 .............................................126

4-4针对几个独立事件同时发生的概率进行思考

同时概率、独立性、互斥性、条件概率、概率的乘法定理.........128

4-5基于结果对原因进行思考

先验概率、后验概率、贝叶斯定理、似然 .....................................130

4-6把握数据的分布

概率分布、均匀分布、二项分布、正态分布、标准正态分布.....132

4-7如果收集众多数据，就能接近真实值

中心极限定理、大数定律..................................................................134

4-8用函数来表示分布

概率密度函数、累积分布函数..........................................................136

4-9根据抽取的数据推测原始的总体

无偏估计量、点估计、区间估计、置信区间 .................................138

4-10在不知道方差的情况下进行推算

标准误差、无偏方差、自由度、t 分布 ...........................................140

4-11从统计学的角度进行验证

检验、原假设、备译假设、拒绝......................................................142

4-12确定做出正确判断的基准

检验统计量、拒绝域、显著性水平、双侧检验、单侧检验.........144

4-13对检验结果做出判断

p 值、显著性差异、错误、第一类错误、第二类错误..................146

4-14检验平均值

Z 检验、t 检验....................................................................................148

4-15检验方差

2 分布、 2 检验、F 检验...................................................................150

试一试尝试检验一下身边的食品吧................................................ 152

第五章需要了解的有关人工智能的知识

- 常用的手法及其机制 -

5-1 打造与人类具有同等智慧的计算机

人工智能、图灵测试.........................................................................154

5-2实现人工智能的手法

机器学习、监督学习、无监督学习、强化学习.............................156

5-3用于评价人工智能的指标

混淆矩阵、准确率、精确率、召回率、F 值、交叉验证.............158

5-4掌握学习的进度

过拟合、欠拟合..................................................................................160

5-5模仿大脑的学习方法

神经网络、损失函数、误差反向传播法..........................................162

5-6逐渐接近最优解

梯度下降法、局部解、学习率..........................................................164

5-7深入各分层，利用大量数据进行学习

深度学习、CNN、RNN、LSTM.........................................................166

5-8对误差进行量化

偏差 - 方差分解、折中......................................................................168

5-9提升精度

正则化、拉索回归、岭回归..............................................................170

5-10分成多个组

聚类、k 均值算法...............................................................................172

5-11划分为任意个簇

分层次聚类、Ward 法、最短距离法、最长距离法........................174

5-12在树结构中学习

决策树、不纯度、信息增益..............................................................176

5-13使用多个人工智能进行多数表决

随机森林、集成学习、引导聚集算法、提升方法.........................178

5-14评价规则的指标

支持度、置信度、提升度..................................................................180

5-15边界余量的最大化

支持向量机、超平面、硬余量、软余量..........................................182

5-16进行自动的机器学习

自动化机器学习、可解释性人工智能..............................................184

5-17结合各种方法寻找解决方法

运筹学、数理优化、数理设计法、概率设计法.............................186

试一试 查找一下最新的论文吧........................................................ 188

第六章有关安全与隐私的问题

- 数据社会将走向何方？ -

6-1处理数据时必须遵守道德

信息伦理、数据伦理..........................................................................190

6-2数据可靠性堪忧

统计造假、技术人员伦理.................................................................192

6-3错误认识导致精度下降

数据偏差、算法偏差 .........................................................................194

6-4在日本对于个人信息的处理

个人信息保护法、P 认证 ..................................................................196

6-5在海外对于个人信息的处理

GDPR、CCPA ......................................................................................198

6-6对个人信息的充分利用进行思考

假名化、匿名化、k- 匿名化 ............................................................200

6-7对数据的流通、一般使用与充分利用进行思考

数据驱动型社会、超智能社会、信息银行 ....................................202

6-8制定处理数据时的规则

信息安全政策、隐私政策..................................................................204

6-9公示收集数据的目的

使用目的、选择加入、选择退出......................................................206

6-10了解保有数据的权利

知识产权、著作权..............................................................................208

6-11自动获得外部数据

抓取、爬取 ..........................................................................................210

6-12对保有数据的读取进行管理

访问控制、备份..................................................................................212

6-13防止从内部带出数据

审计、数据泄露防护..........................................................................214

6-14每次都能得到相同结果

幂等性 ..................................................................................................216