统计反思：用R和Stan例解贝叶斯方法_[美]理查德·麦克尔里思(Richard McElreath)_9787111624912

本书以Stan统计软件为基础，以R代码为例，提供了一个实际的统计推断的基础。从贝叶斯统计方法的角度出发，介绍了统计反思的相关知识，以及一些常用的进行类似权衡的工具，展示了两个完整的*常用的计数变量回归，介绍了应对常见的单一模型无法很好地拟合观测数据的排序分类模型与零膨胀和零增广模型，提出了基于贝叶斯概率和*熵的广义线性分层模型以及处理空间和网络自相关的高斯过程模型。本书适合统计、数学等相关专业的高年级本科生、研究生，以及数据挖掘的从业人士阅读。

译　者　序　　这是我希望在学习贝叶斯统计的时候首先阅读的一本书。与其说贝叶斯是一种不同的统计方法，不如说它是一种不一样的统计哲学，也是一种看待生活中很多问题的不同的视角。不是所有的应用数据科学领域都需要用到贝叶斯，但即使你所处的行业用得很少，了解贝叶斯的基本概念也是很有必要的。因为这种根据证据改变自己想法的思维方式能帮助我们约束直觉，这是一种高级的思维方式。贝叶斯推断不外乎计算在某假设下事情可能发生的方式的数目。事情发生方式多的假设成立的可能性更高。一旦我们定义了假设，贝叶斯推断会强制施行一种通过已经观测到的信息进行纯逻辑的推理过程。频率法要求所有概率的定义都需要和可计数的事件以及它们在大样本中出现的频率联系起来。这使得频率学的不确定性依赖于想象的数据抽样的前提如果多次重复测量，我们将会收集到一系列呈现某种模式的取值。这也意味着参数和模型不可能有概率分布，只有测量才有概率分布。这些测量的分布称为抽样分布。这些所谓的抽样只是假设，在很多情况下，这个假设很不合理。而贝叶斯方法将随机性视为信息的特质，这更符合我们感知的世界运转模式。所以，在很多应用场景中，贝叶斯也更加合适。总体说来，本书有如下亮点：1.可重复。这点实在是太重要了。书中的数据很容易获取，书中的代码、建模过程都可以重复。读者可以在阅读的过程中实践代码，并且生成书中展示的结果。也可以自己修改代码，看看结果的变化，这对理解内容有极大的帮助。2.前3章中有我见过的对贝叶斯及哲学最清晰的讲解。对于那些只想知道贝叶斯模型是什么但不想花太多时间深入学习更加复杂的贝叶斯模型的读者，推荐仔细阅读前3章。第1章反思了流行的统计和科学哲学，指出我们不该仅使用各种自动化的工具，而应该学着在实际应用中建立、评估不同的模型。接下来的第2章和第3章介绍了贝叶斯推断和进行贝叶斯计算的基本工具。其中作者的讲解方式很绕、很慢，特别强调了概率理论的纯逻辑解释。但我希望读者能够耐心地认真阅读这3章，这对以深入理解贝叶斯为目标的人来说，一点儿也不啰嗦。3.本书提供了R包rethinking来实现模型，使用更加简单直接。更好的方法当然是直接学习使用Stan。rethinking中的一些函数（map和map2stan）对stan进行包装，隐藏了背后的stan代码，这使得一些错误信息让人难以理解。如果要在工作中应用书中介绍的模型，最好还是在之后花时间学习Stan。好在读过本书之后，学习Stan应该不难。4.rethinking包中自带的数据以及一些绘图函数可极大地帮助读者对真实数据进行建模，并且通过可视化解释结果。在这些绘图的函数中，有些能直接对后验预测进行可视化，并通过这种方式比较模型和参数。对于简单的模型，可以通过参数估计总结表来理解模型。但只要模型稍微复杂一点，尤其是含有交互效应（见第7章），解释后验分布就会变得很难。如果要在模型解释中考虑参数间的相关性，那可视化就不可或缺。5.书中的一些关于社会科学的例子不仅展示了如何建立模型，更重要的是展示了如何定义问题本身。社会学的问题往往是开放的，很复杂。所以通过数据建模解决这类问题的难点不仅仅是模型本身，还有将开放式问题转化成一个封闭式问题的过程。本书中有很多这样的例子，而且作者对数据所处的实际语境也进行了详细的解释。为了使行文更加通顺，在翻译的过程中采用了较多的意译，有的地方加上了译者注以帮助读者理解。华章公司的编辑对本书的翻译工作给予了大力的支持和帮助。在此对所有为本书中文版问世做出努力的人表示感谢！由于译者水平有限，书中难免有错误和不妥之处，恳请读者批评指正。
林　荟2018年12月

前　　言石匠，开始动工之前（Masons,when they start upon a building），总会小心测试鹰架（Are careful to test out the scaffolding）。
确保模板不会滑落在繁忙的街口（Make sure that planks wont slip at busy points），牢牢钉好每把梯子，拴紧所有螺丝（Secure all ladders, tighten bolted joints）。
这一切付出在完工后都得被拆除（And yet all this comes down when the jobs done），展露结实的石墙（Showing off walls of sure and solid stone）。
所以，亲爱的，就算我们之间的桥梁（So if, my dear, there sometimes seem to be），偶尔因为老旧看似即将倒塌（Old bridges breaking between you and me）。
别害怕。让那鹰架倒下吧（Never fear. We may let the scaffolds fall），相信我们建造的墙坚不可摧（Confident that we have build out wall）。
(《鹰架》(Scaffolding),作者Seamus Heaney, 19392013)
本书意在帮助你增进统计模型的知识以及使用模型的信心。就像造墙时的鹰架，能够帮助你建造需要的石墙，虽然最终你要将鹰架拆除。因此，本书讲解的方式有些拐弯抹角，但那是为了促使你们亲自实践模型背后的每一个计算步骤，虽然真实建模的过程常常是自动的。这样小题大做是为了让你能够对方法背后的细节有足够的了解，以能够合理地选择和解释模型。虽然你最终会用一些工具自动建模，但刚开始放慢步伐、夯实基础是很重要的。耐心建立坚实的墙然后再拆去鹰架。目标读者本书主要面向自然和社会科学的研究人员，可以是新入学的博士生，也可以是有经验的专业人士。你需要有回归的基本知识，但不一定需要对统计模型驾轻就熟。如果你接受这样的事实：一些在21世纪早期广泛使用的典型统计学方法并非完全正确，其中大部分和p值以及令人迷惑的各种统计检验有关。如果你在一些杂志和书上读到过一些替代的方法，但不知道从何学习这些方法，那么本书就是为你而写的。事实上，本书并不是要直接抨击p值和相关的方法。在我看来，问题并不在于人们习惯用p值来解决科学界的各种问题，而在于人们忽略了许多其他有用的工具。因此，我假定本书的读者已经准备好不使用p值做统计推断。仅有这种心理准备还不够，最好能有一些文献资料帮助你探查与p值和传统统计检验有关的错误及误解。即使我们不用它们，也要对其有所了解。我因此查阅了一些相关的资料，但由于本书篇幅所限不能详细讨论，否则本书会太厚，也会打乱原本的教学节奏。这里要提醒一点，反对p值不仅仅是贝叶斯学派的观点。事实上，显著性检验能够（其实也已经）构建为贝叶斯过程。其实真正促使人们避免使用显著性检验的是出于认识论的考虑，关于这一点我会在第1章简单讨论。教学方法本书使用更多的是程序代码而非数学公式。直到真正对算法付诸实践，即使最出色的数学家可能也无法理解该过程。因为用代码实践的过程去除了算法中所有模棱两可的地方。因此，如果一本书同时教你如何实践算法的话，学习起来会更轻松。展示代码除了有利于教学也是必需的，因为许多统计模型现在都需要计算，纯数学的方法无论如何也不能解决问题。你在本书后面部分可以看到，同样的数理统计模型的实现方法可以有多种，而且我们有必要区分这些方法。当你在本书之外探索更高级或更有针对性的统计模型时，这里强调的编程计算知识将帮助你识别和应对各种实际困难。本书的每一部分都只揭示了冰山一角。我丝毫没有涵盖所有相关内容的打算，而是试图将其中一些东西解释清楚。在此尝试中，我在数据分析的实例中穿插了许多模型概念和内容。例如，书中没有一个单元专门讲预测变量的中心化，但我在数据分析中使用并解释了这项技术。当然，不是所有读者都喜欢这样的讲解方式。但是我的很多学生喜欢这种讲解方式。我很怀疑这样的讲解能否对大部分要学习这些内容的读者起作用。从心底来说，这反映了我们在现实中是如何在自己的研究中学会这些方法的。如何使用本书这不是参考书，而是教科书。本书不是让你在遇到问题时用来查阅相关部分的，而是一个完整连贯的教学过程。这在教学上很有优势，但可能不符合很多科学家现实中的阅读习惯。本书正文中有很多代码。这样做是因为在21世纪从事统计分析工作必须要会编程，或多或少会一些。编程不是候选技能，而是必备技能。在书中的很多地方，我宁可过多地展示代码，也不愿过少展示代码。根据我对编程新手的教学经验，当学生手上有可以运行的代码时，让他们在此基础上修改比让他们从0开始写程序效果更好。我们这代人可能是最后一代需要用命令的方式操作计算机的了，因此编程也越来越难教。我的学生非常熟悉计算机，但他们不知道计算机代码长什么样。[=1(]本书要求读者具备什么基础？[=]本书的目的不是教读者关于编程的基本知识。我们假设读者已经知道R的基本安装和数据处理知识。在大多数情况下，入门级的R编程介绍便足够。据我所知，许多人觉得Emmanuel Paradis所著的《R for Beginners》很有帮助。你可以通过链接http://cran.r-project.org/other-docs.html找到该指南以及许多入门级教程。要顺利阅读本书，你得知道y<-7指的是将7这个值赋给变量y。你要知道后面紧跟括号的符号是函数。你要能够辨认出循环并且知道命令可以相互嵌套（递归）。除了使用循环，知道R可以将很多代码矢量化也很重要。但是阅读本书不要求你精通R语言。在书中你会不可避免地看到一些之前没有见过的代码。在书中我会尽量对一些特别重要或者不常见的编程技巧进行说明。事实上，本书花了大量篇幅解释代码。这么做的原因是学生确实需要这样的解释。除非能将每行命令同与之对应的方法目标联系起来，不然当代码无法运行时，学生无法判定错误原因。我在讲授数理进化论理论的时候也遇到过这样的问题学生的代数知识比较薄弱，当他们答不上题时，通常不知道是因为数学上的小疏忽还是策略问题。书中对代码进行延伸介绍的目的在于帮助读者理解代码，之后在实践中能够自己发现并且修正错误。[=1(]代码使用。[=]书中的代码都带有蓝底，相应的代码输出在其下以等宽字体展示。例如：R code0.1
在代码旁边有一个数字标识，你可以在本书的网站上寻找相应的代码文本文件。希望读者能够跟上教学进度，运行书中的代码，然后将输出结果和书中展示的结果进行比较。我非常希望你能够自己运行代码，因为和你不能光靠看李小龙的电影就学会功夫一样，你不能仅靠阅读一本书而不实践就学会编写统计模型程序。你得真正到格斗场上出拳，当然也可能挨拳。如果你觉得困惑，记得你可以独立运行每行代码，检查过程中的每一步计算。这是你学习和解决问题的方式。例如，下面的代码用一种让人抓狂的方法计算10乘以20：R code0.2
如果你不理解某个特定的步骤，你可以随时查看那一步之后变量x的内容。你要用这种方式学习书中的代码。对于你自己写的代码，可以用这种方法找到代码中的错误并修复它们。[=1(]选读部分。[=]本书中的选读部分真正阅读起来是这样的。书中有两类选读部分：1）再思考（Rethinking）；2）深入思考（Overthinking）。再思考部分看起来是这样的：再思考：再想想。再思考部分意在提供更广泛的资料，略微提及当前介绍的方法和与其他方法的联系，提供一些背景材料，或者指出一些常见误解。这些文本框是选读部分，但它使本书更完整并能激发读者进一步思考。深入思考部分看起来是这样的：　　深入思考：亲自实践。深入思考部分提供了更详细的代码解释或数学背景。这部分材料对理解主要文本并不那么关键，但它也很有价值，尤其是在第二遍阅读的时候。例如，有时你的计算方式对结果是有影响的。从数学的角度看下面这两个表达式是等价的：p1=log(0.01200)p2=200log(0.01)　　但是当你用R进行计算时，这两种方法得到的结果不同：R code0.3
第二种方法得到的结果是正确的。之所以会有这样的问题，是因为R对小数的近似，计算机将很小的值近似为0。精度的缺失可能导致推断结果大幅度偏差。这就是为什么我们在统计计算时，总使用概率的对数值，而非概率本身。初次阅读本书时，你可以跳过所有的深入思考部分。[=1(]命令行是最好的工具。[=]在21世纪，要达到能够实践统计推断的编程水平并不是那么复杂，但一开始你对此不太熟悉。为什么不教读者使用现成的用户交互软件呢？学习如何用命令行进行统计分析的好处远高于点击菜单。谁都知道命令行功能很强大，但同时它的速度也很快，并且符合道德义务。因为用代码分析无形中对分析过程进行了存档。几年以后你可以通过这些代码重复之前的分析。你也可以重复使用之前写的代码，将它们分享给同事。鼠标点击的方式使得过程无法追踪。一个嵌入R代码的文件可以保存分析过程。一旦你习惯用这种方式计划、运行并且保存分析过程，在之后的职业生涯中会获益不断。如果你始终用鼠标点击的方法，那在之后要不停重复。不像使用代码，相同的分析只需要编写一次代码，之后可以用它进行同样的分析。分析过程的保存和可重复也是起码的科学道德，日后的检查以及项目的迭代也建立在此基础上。用代码进行统计分析可自然而然地达到这个结果，而鼠标点击却不行。因此，我们不是因为要证明自己的技术实力或者自己是人才才使用命令行的。我们使用命令行是因为它确实更好。使用命令行一开始可能比鼠标点击难，因为你需要学习一些基本的语句才能开始使用。但是为了提高工作效率，我们应该使用命令行。[=1(]你该如何工作。[=]如果我只是告诉你们使用命令行而不告诉你们怎么使用，那也太不厚道了。对于那些之前使用其他语言的人，你们可能要再学一些新语言的规则，但变化并不大。对于那些之前只用鼠标点击菜单的统计软件的读者，开始可能会觉得很不习惯，但过几天就会适应了。对于那些之前使用过其他通过命令行进行分析的软件（如Stata和SAS）的读者，还需要调整适应。我会先解释总的方法，然后解释为什么Stata和SAS的使用者也需要适应。首先，使用脚本统计分析是在一个纯文本编辑器和R语言之间来回切换。纯文本编辑器是用来创建和修改简单无格式文本文件的程序。常见的有Notepad（Windows操作系统）、TextEdit（Mac OS X操作系统）、Emacs（大部分*NIX系统，包括Mac OS X）。还有很多专门针对程序员的高大上的文本编辑器。我们推荐读者使用RStudio或者Atom文本编辑器，它们都是免费的。注意MSWord不是简易文本，不要用它来写代码。你要通过简易文本编辑器记录在R中执行过的代码。你一定不想直接在R控制器中键入代码。你该在简易文本编辑器中写代码，然后复制粘贴到R控制器中运行。或者一次性将代码文本读入R。如果你只是用R进行数据探索、查错，或者仅仅只是尝试一些代码，那可以直接将代码键入控制器。但任何严谨的工作都应该用文本编辑器记录代码，原因之前已经讲过了。你可以在R代码中添加评论来帮助你编写代码，也方便之后回顾代码。在评论前键入#符号。为了确保大家理解，下面是一小段完整的进行线性回归的程序，使用R中的一个内置数据集。即使你现在不知道该代码是干什么的，但是希望你能将其看作一个基本的拥有注释的格式清晰的例子。R code0.4　1英尺30.48厘米编辑注最后，即使是那些熟悉Stata和SAS脚本语言的人，也需要重新学习R。像Stata和SAS这类程序语言对应的处理信息范式和R是不同的。在使用中，过程命令如PROC GLM是在模仿菜单命令。这些过程会产生大量使用者不需要的默认输出。R不是这样的，它强制使用者自己决定需要输出什么信息。你可以先用R拟合统计模型，然后接着用命令获取相应拟合结果信息。通过书中的例子，读者会更加熟悉这样的调查范例。但要注意，你需要主动决定需要模型的哪方面信息。安装R包rethinking书中的代码例子要求你安装R包rethinking。该包中含有例子中用到的数据以及本书使用的许多建模工具。rethinking包本身依赖于另外一个包rstan来拟合本书后半部分讲到的更加高级的模型。你必须先安装rstan包。根据你的系统，依照mc-stan.org网站上的相应安装指示。你需要安装C 编译器（也叫作工具链）和rstan包。网站上有关于如何安装这两者的说明。接下来你就能够在R中安装rethinking和其依赖的包，安装代码如下：R code0.5注意rethinking不在CRAN的包列表中，至少现在还没有。把包上传到CRAN并没有实质的好处。你总能通过搜索引擎找到关于安装最新版本rethinking包的说明。如果你在使用包时发现任何bug，可以到github.com/rmcelreath/rethinking上查看是否有现成的解决方法。如果没有，你可以提交一个bug报告，这样在有解决方法时你会收到通知。此外，如果你想对包中的一些函数进行修改，包的所有源代码可以在那里找到。大家可以自行从Github上fork该包，任意修改。致谢在本书的写作过程中许多人提供了宝贵的意见及想法。他们大多数是选修我教授的统计学课程的研究生，还有一些征求我意见的同事。这些人教我如何教授这些知识，有时我学习新的知识就是因为他们需要。许多人付出时间对本书的一些章节或者其中的代码进行了评论。这些人有：Rasmus Bth、Ryan Baldini、Bret Beheim、Maciek Chudek、John Durand、Andrew Gelman、Ben Goodrich、Mark Grote、Dave Harris、Chris Howerton、James Holland Jones、Jeremy Koster、Andrew Marshall、Sarah Mathew、Karthik Panchanathan、Pete Richerson、Alan Rogers、Cody Ross、Noam Ross、Aviva Rossi、Kari Schroeder、Paul Smaldino、Rob Trangucci、Shravan Vasishth、Annika Wallin以及很多匿名的审稿人。Bret Beheim和Dave Harris很给力，他们对本书早期版本给予了大量的建议。Caitlin DeRango和Kotrina Kajokaite花时间改进了几章和章后的习题。Mary Brooke McEachern对本书的内容和讲解方式提供了重要意见，并且对本书的写作给予了支持，对（书中的不足之处）表现出宽容。许多匿名审稿人对各章提供了详细的反馈。他们中没有一个人是完全赞同本书的，书中的所有错误和不足都由本人负责。但是正是因为我们各执己见，才使本书更加与众不同。本书献给Parry M.R.Clarke博士(19772012)，是他促使我写作本书。Parry对统计、数学和计算机科学的探索帮助了他身边的每一个人。他让我们变得更好。

你还可能感兴趣

我要评论