汉语中介语语料库建设标准研究_张宝林_9787561964347

本书针对汉语中介语语料库建设中存在的随意性问题，借鉴国内外多种类型语料库的建设经验，并结合作者的语料库建设实践与理论思考，研究、制定了汉语中介语语料库建设标准。本书旨在推动语料库建设的规范化、标准化与科学化，提高其建设水平，促进其健康发展，使其更好地为全世界的汉语教学与研究服务，并为其他类型的语料库建设提供参考与借鉴。

前言

本书是北京市社会科学基金重点项目汉语中介语语料库建设标准研究

(项目编号：15WYA017)的研究成果之一。

一、关于课题目标与书稿来源

1995年第一个汉语中介语语料库汉语中介语语料库系统建成以来，基于语料库的偏误分析、习得研究、中介语研究逐渐成为汉语国际教育研究中的重要内容。21世纪初以来，汉语中介语语料库在汉语国际教育与研究中的作用日益凸显，其建设渐入高潮，成为语料库研究中的热点(谭晓平，2014),这也推动了国内少数民族学生学习国家通用语言文字的中介语语料库建设、汉族学生学习少数民族语言的中介语语料库建设、聋生学习汉语书面语的中介语语料库建设，以及国外的汉语中介语语料库建设。同时，语料库建设中还有许多问题，例如设计水平不高、规模不大、标注不全、功能不强、建成后不开放，以及存在水平重复等。而问题的症结在于语料库建设随意，缺乏统一标准。

针对语料库建设中存在的上述问题，我们提出了本项目，在北京市社会科学基金项目立项支持下，研制了《汉语中介语语料库建设标准(草案)》(以下简称《建设标准》)。目的是克服语料库建设中的随意性，推动语料库建设的规范化、标准化与科学化，提高语料库建设水平，促进语料库建设健康发展，使语料库更地为汉语国际教育与研究服务，并为其他类型语料库的建设提供参考与借鉴。

本项目在对国内外多种类型的语料库进行深入调查研究的基础上，对汉语中介语语料库(以下简称语料库)的建设标准进行了较为全面、细致、深入的研究，在成功研制《建设标准》的同时，完成相关调查报告和研究论文百余篇，部分成果在国内外多种学术刊物与论文集中发表，并在国内外很多学术会议、学术讲座上做了交流、报告和研讨。我们认为这些报告与论文是我们在研制《建设标准》过程中，针对遇到的各种问题进行思考与探讨的结果，体现了我们对相关问题的认识、观点与主张，对认识语料库建设标准问题具有启发和参考作用，因此将其择要整理成书，以就教于专家学者和广大读者。

二、关于调查研究的成果与意义

对语料库建设与使用情况进行全面、具体、深入的调查研究是掌握语料库相关情况的基本环节，更是制定建设标准的重要前提。因此，本项目先后组织十余名成员，主要通过文献研究、语料库实地考察(上网查询浏览)、用户反馈、座谈、访谈、学术会议等方式进行调研，比较全面地掌握了国内外多种类型的语料库的相关情况，为《建设标准》的研制奠定了坚实基础。

调研范围包括国内外的汉语中介语语料库、国内外的英语学习者语料库、国内汉语母语语料库、国外母语语料库(含美国英语语料库、英国英语语料库、俄罗斯俄语语料库以及其他国家的一些语料库^①)、国内少数民族母语语料库、国内外口语语料库、多模态语料库等多种类型的语料库。

调研从10个方面展开：(1)语料库一般情况，包括名称、建设单位、网址、开放与否及程度；(2)建库目的与实现方法；(3)语料的内容、分类与规模；(4)语料采集方法；(5)语料标注的内容与方法；(6)语料元信息(背景信息);(7)语料统计信息；(8)语料的检索与下载；(9)语料库的更新与维护；(10)认识与启示。考察较为全面、细致、系统、深入，了解了相关情况，总结了建设成果，指出了存在的问题，具有一定的认识价值。

调研取得了如下重要成果：

1.了解了语料库的基本组成部分、语料库建设的主要环节和完整过程。这对语料库建设的总体设计和流程标准的研制具有重要的参考价值。

2.理清了国内外语料库建设中的主要问题以及学界的讨论与不同观点，例如语料的平衡性，语料标注的全面性，汉语中介语语料库建设缺乏自己的分词、词性标注规范与专用词表，语料库检索功能的现状与不足，语料呈现、下载与保存的便捷性，口语语料的转写困境，口语语料库建设的滞后性，语料库的开放与资源共享，等等。学界对上述一些问题的理解、认识与观点并不一致，有的甚至相反。这些情况引起我们对相关问题的重视，并使得我们在制定标准的过程中抱着谨慎的态度进行全面、细致、深入的思考与研究，尽最大努力使标准的制定做到科学、严谨、合理、可行。

3.一些语料库的建设理念与认识主张非常有借鉴价值。例如，俄语国家语料库在语料标注问题上所主张的不替用户做判断的理念为我们在建库实践中已经逐渐形成的浅层标注的认识与主张提供了旁证。

4.指出了国内汉语中介语语料库语料呈现方式存在的问题。例如：(1)检索界面虽能满足用户的基本需求，但或是检索结果不能批量下载与保存，或是用户对标注内容的显示与否和显示数量没有自主选择权，抑或是界面设计得不便于用户阅读；(2)原始语料不便于查看，甚至不能查看；(3)语料相关信息中只有学生的国籍信息，没有母语信息；等等。这些发现及在此基础上提出的改进建议对语料呈现标准的确定具有重要的启发意义。

5.用户在使用语料库基础上提出的反馈意见与要求更是给了我们直接的启示，在建库实践中必须予以满足，在语料库建设标准中也必须加以体现。例如：(1)语料的背景信息应能检索并与语料一起呈现，且能和语料一起下载；(2)HSK动态作文语料库无语体、辞格等层面的标注，不能查询语体、辞格的使用情况；(3)检索功能薄弱，不能按词性查询，不能查特定句式与重叠结构，不能做对比检索；等等。用户的这些意见与要求不仅推动了语料库建设的进步，也丰富了建设标准的研究内容。

三、关于《建设标准》的内容与特点

(一)《建设标准》的内容

课题组通过调查研究、问题研讨、理论研究、实践检验、论文撰写等多方面的研究工作，最终成功研制了《建设标准》,包括语料库建设流程标准、语料采集标准、语料背景信息采集标准、笔语语料录入标准、口语和视频语料转写标准、语料标注标准、语料呈现标准、语料库软件系统研发标准、语料库建设质量标准、语料库使用标准。其中吸取了语料库建设实践中的诸多成功经验，也包括一些新的研究成果。

(二)《建设标准》体现了语料库建设的先进理念

1.服务理念，即《建设标准》的研究要为汉语中介语语料库建设服务，为汉语国际教育与研究服务。例如：语料库建设流程标准规定了语料库建设的必有环节与先后顺序，建库者可以按部就班地进行语料库建设，而无须从头摸索，甚至重复前人已经走过的弯路，从而克服建库中的随意性与低水平重复，推动、促进语料库建设的科学化与规范化；为了使广大用户能够方便快捷地检索到教学与研究所需要的语料，语料库软件系统研发标准提供了9种检索方式，便于用户从多种角度进行语料查询。

2.前瞻性，即《建设标准》对建库实践具有引领作用。《建设标准》的研制既要总结并汲取以往语料库建设的成功经验与失败教训，更要发现规律，预测发展趋势，从而发挥引领作用，对建库工作给予切实有效的指导。例如标注内容，从为教学与研究服务的理念出发，教学与研究需要什么,就应该标什么,否则就无法为教学与研究服务。而有的学者根据国外的学术观点认为偏误标注所依赖的某些分析理论并不成熟，而没有较为成熟的理论支持，就很难制定出针对某些现象的完善的标注规范，进而提出：对于刚起步不久的汉语中介语语料库来说，可以先做好汉字、词汇和语法的基本的正确和偏误信息的标注，待相关的理论和实践研究比较成熟之后，再进行其他层面的标注。我们认为这种消极等待、无所作为的观点完全不顾汉语国际教育与研究的实际需求，颠倒了理论与实践的相互关系，放弃了我国学者应负的责任，违背了实践、创新的科学精神，这样是不可能带来我国语料库建设理论与实践的进步的。因此，我们在语料库建设实践取得成功经验的基础上，在《建设标准》中加入了全面标注的原则。我们还引入了语料库建设2.0的理念，认为语料库建设已进入2.0时代，语料库应具备精细而丰富的特征。精细是指语料库整体设计周密，软件系统制作精良，用户使用方便；丰富则指语料库的功能多样，能够满足教学与相关研究的多方面需求。这些都体现了《建设标准》的前瞻性与先进性。

3.广泛性，即《建设标准》涉及面广、适应性强。《建设标准》不仅适用于笔语语料库，也适用于口语语料库、多模态语料库，说明汉语中介语语料库建设不仅重视书面形式的语言运用，也非常重视口语形式的语言表达和口语表达中的体态语。

4.实事求是的平衡性。语料的平衡性是语料库建设中一个非常重要的问题，也是一个尚未彻底解决的问题。由于语料的真实性要求和必bei的背景信息的要求，获取符合条件的语料本身就颇具难度。以学习者的国籍分布而言，想要达到绝对的、理想化的平衡既不现实，也不符合汉语国际教育的实际情况。因此，应采取实事求是的态度，根据不同国家和地区的学习者的实际分布情况，运用分层抽样的方法解决平衡性问题。

5.标注模式。如果说语料采集是建库的基础或前提，标注就是决定语料库功能和使用价值的关键。为了能对学习者的语言表现进行全面、准确的了解和把握，《建设标准》采纳了偏误标注基础标注的模式，既标注学习者的偏误，又标注其正确的语言表现，以在满足偏误分析需要的基础上，进一步满足表现分析(或称语言运用分析)的需要，进而提高汉语习得研究和中介语分析的水平。

6.众包维护。用户在使用语料库时，如果发现录入、转写、标注等方面的错误，不仅可以通过反馈留言的方式告知管理人员，还可以点击有错误的地方，在弹出的对话框中直接进行修改并提交，经管理员确认通过后即可替代原来的语料与标注。这样，用户不仅是语料库的使用者，也是其检验者和维护者。语料库的检查、修改、维护从少数建库人员和管理人员有限的定期检查变成了众多用户参与的长期过程，这种靠众人之力、集众人之智的维护方式非常有利于语料库质量的不断提升。

7.实践检验，即准备作为建设标准的认识与做法要经过建库实践的检验，证明其有效并可行之后，才纳入《建设标准》。在《建设标准》的研制过程中，我们利用建设全球汉语中介语语料库和开发HSK动态作文语料库(2.0版)的机会，把通过研究得出的一些认识与做法在建库实践中进行了检验，可行的予以保留，有问题的加以改进，不可行的则坚决舍弃。经过从认识到实践，再从实践到认识的反复探索，我们的认识与研究结论具有了较高的科学性与可行性。例如：我们在实践中验证了全面标注的主张；舍弃了同版标注，采用了分版标注的做法；证明了对部分标注内容进行自动标注的可行性。

8.资源共享的途径。目前，除少数几个汉语中介语语料库外，大部分中介语语料库都不对外开放①。这既造成了人力、物力、财力的浪费，也是语料库建设存在低水平重复问题的重要原因之一。语料库是工具，使用的人越多，其价值越高；基于某语料库产出的研究成果越多，则该语料库发挥的作用越大。语料库是天下学术公器，本来就应该开放给天下人使用，为汉语国际教育与研究服务。因此《建设标准》明确提出：凡使用政府各级各类科研经费建设的语料库如不存在涉密问题，建成上线后，必须向学界、社会乃至所有用户免费开放，供各界用户使用，同时也应保护好建库者的知识产权与语料作者的个人信息。HSK动态作文语料库和全球汉语中介语语料库建成后，我们立即向国内外学界和全社会免费开放，已落实我们所倡导的为汉语国际教育与研究服务的宗旨。我们也曾多次呼吁语料库建设者们开放语料库，但响应者寥寥。我们强烈建议各级科研管理部门把语料库免费开放作为项目中检和结项的必bei条件。相较于学者们的宣传呼吁，这样一条管理措施具有很大的权威性，将会彻底改变语料库不开放的现状，真正实现语料资源的充分共享。

(三)《建设标准》吸取了语料库建设中的新鲜经验，提出了一些新的观点和做法

1.提出了汉语中介语语料库建设标准的基本框架，即与语料库建设密切相关的10个方面的规范：语料库建设流程标准、语料采集标准、语料背景信息采集标准、笔语语料录入标准、口语和视频语料转写标准、语料标注标准、语料呈现标准、语料库软件系统研发标准、语料库建设质量标准、语料库使用标准。

2.制定了汉语中介语语料库建设的标准流程：(1)提出建库任务，进行总体设计；(2)组建研究与开发团队；(3)语料采集与整理；(4)语料相关背景信息采集与整理；(5)语料录入、转写与校对；(6)制定标注规范与实施语料标注；(7)开发人工辅助标注工具；(8)数据统计与表格编制；(9)开发语料库管理系统与检索系统；(10)语料库集成、上网与调试；(11)语料库发布与开放；(12)语料库运行与维护。

3.选择、规定了适宜的口语语料转写方式，解决了口语语料的转写难题。口语语料库建设很少，严重滞后于笔语语料库建设，制约着汉语口语中介语的研究和不同语体汉语中介语的对比研究，而重要原因之一就是口语语料转写困难。我们在标准研究和建库实践中发现，在线转写平台讯飞听见提供了转写质量好且经济实惠、完全具备实用价值的转写服务，可以大大减轻人工转写的繁难程度。虽然机器的语音识别结果会有一些问题，需要一定程度的人工审核与修改，但仍足以打破口语语料库建设的瓶颈。

4.提出了汉语中介语语料标注的总原则科学性，其含义是：(1)问题导向，需求驱动；(2)实事求是，严守规范；(3)积极探索，勇于实践。具体原则包括：(1)全面性；(2)准确性；(3)系统性；(4)规范性；(5)有限性；(6)简洁性；(7)开放性；(8)通用性；(9)自动化；(10)渐进性。

5.规定了偏误标注基础标注的标注模式，阐释并验证了全面标注、分版标注、自动标注的必要性与可行性。

6.实时统计。以往语料库建设中采用的统计方法都是语料标注完成后进行静态统计，这对百万字级的较小的语料库来说并无不妥。但对需要边建设、边开放的大型语料库来说，静态统计是无法随时更新数据的。而实时的动态统计意味着随着语料规模的不断增长与各项标注内容标注量的不断增加，总字数与总词数、已标注字数与词数、未标注字数与词数、语料的题目数、语料总篇数、不同国家学习者的语料篇数等统计数据都会发生变化，用户可以随时掌握这些数据，作为教学与研究的参考。实时统计代表了2.0时代语料库在数据统计方面的发展方向，因而《建设标准》收入了这一方法。

7.研发了9种检索方式。目前绝大多数语料库以字符串一般检索和分类标注检索为基本检索方式，前者可以按照具体的字、词、短语、句子进行检索，后者可以查询标注过的内容。其局限性在于检索功能薄弱，语料库中某些中介语现象实际存在却无法检索。为此，我们在建库实践中研发了特定条件检索、词语搭配检索、按词性检索、词语对比检索、离合词检索、重叠结构检索、按句末标点检索等7种新的检索方式，并将其加入《建设标准》,为用户提供了多种角度的检索方式，可以检索出更多的中介语现象，从而增强了语料库的功能与使用价值，可以更好地发挥语料的作用。

8.自动化，指部分内容标注和建设流程的自动化。《建设标准》吸收了已达到实用水平的自动分词和词性标注，也收入了准确无误的繁体字、异体字的自动标注，以及具有一定使用价值的词语层面和某些语体色彩分明的句式层面的语体自动标注。汉语中介语语料库建设与应用综合平台集语料的上传与审核、录入转写与审核、标注与审核、统计、入库等环节于一体，不但在一定程度上实现了语料库建设的自动化，而且在很大程度上实现了语料库建设的标准化，提升了语料库建设的效率与水平。因此，《建设标准》也吸纳了这些做法。

上述研究成果均在本书中进行了阐释与论证，体现了《建设标准》的研制过程。

四、关于本书的内容安排与作者

本书由总论、调研报告、标准研究三部分组成，共计24章。总论2章，集中讨论语料库建设的各方面问题，从整体上阐释对建设标准的认识和观点。调研报告8章，从地域与国家(国内外，美、英、俄等国家)和语料库类型与语种(中介语语料库、母语语料库，汉语语料库、英语语料库、俄语语料库等)两个维度调查、分析现有各类语料库的建设与使用情况，为标准研究奠定基础。标准研究14章，从语料库建设流程、语料采集、语料录写、语料标注、语料检索、语料库软件研发、语料库应用等方面探讨建设标准问题，提出了语料库建设各个方面的标准。本书附录系《建设标准》草案稿，供专家学者和广大读者参考、批评、指正。

本书作者为北京语言大学语言科学院、汉语国际教育研究院的部分教师、硕

士研究生和博士研究生，以及部分外校教师。分工如下：

张宝林，第一章(合著)、第二章、第十一章(合著)、第十三章、第二十一章、第二十二章、第二十四章及前言、附录、后记；

崔希亮，第一章(合著);

李红梅，第三章、第二十章；

邢晓青，第四章；

靳继君，第五章；

张敏，第六章；

许家金，第七章；

陈丽华，第八章(合著)、第九章(合著);

王美云，第八章(合著)、第九章(合著);

高璇，第八章(合著)、第九章(合著);

温晓洁，第八章(合著);

段海于，第八章(合著)、第十四章；

文雁，第十章、第十一章(合著);

段清钒，第十一章(合著)、第十二章(合著)、第十五章(合著);

杨星星，第十二章(合著);

齐菲，第十五章(合著);

张馨丹，第十五章(合著);

刘运同，第十六章；

张蕾，第十七章(合著);

杨帆，第十七章(合著);

梁丁一，第十八章；

閆慧慧，第十九章；

閆培，第二十三章。

五、我们的期待

为汉语中介语语料库建设研制标准尚属首次，我们有幸提出并承担这项十分重要的任务，并最终完成了任务。同时，我们深知：这项任务是十分艰难的，标准的研究并非一蹴而就，更非一劳永逸，我们研制的《建设标准》必定还有很多缺点和不足。我们会继续关注国内外语料库语言学的发展，关注学界在建库实践中取得的新成果，并在今后的建库实践与应用研究中不断发现新问题，克服新困难，积累新经验，进行深入研究，在新的认识的基础上，修订与改进该标准，使其不断完善，更好地为语料库建设提供指导与帮助，促进语料库的建设与应用研究。

我们衷心期待各位专家学者、广大用户与读者不吝赐教!

张宝林

2022年6月21日

你还可能感兴趣

我要评论