统计语言学

书籍目录

第1章概论

1.1统计语言学

1.2统计语言学与其他学科

1.2.1计量语言学

1.2.2计算语言学

1.2.3语料库语言学

1.2.4与三个学科的联系与区别

1.3使用统计方法研究的语言特征

1.4统计语言学基本研究方法

1.5统计语言学研究的步骤

1.6统计的语言学应用

第2章语料库

2.1语料库的定义

2.2语料库的类型

2.2.1口语语料库与书面语语料库

2.2.2单语语料库、双语语料库与多语语料库

2.2.3通用语料库与专用语料库

2.2.4共时语料库与历时语料库

2.2.5动态语料库与静态语料库

2.2.6同质语料库与异质语料库

2.2.7生语料库与标注语料库

2.3国内外主要语料库

2.3.1国外的语料库

2.3.2国内的语料库

2.4本章小结

第3章统计在语言研究中的基本应用

3.1统计学的基本概念

3.1.1总体、个体、样本

3.1.2参数与统计量

3.1.3常量、变量

3.1.4实际值与观测值

3.2平均数

3.2.1简单算术平均数

3.2.2加权算术平均数

3.3方差与标准差

3.3.1未分组数据的方差与标准差

3.3.2分组数据的方差与标准差

3.4频度、频率、概率、条件概率、贝叶斯定理

3.4.1概率论中的常用概念

3.4.2概率

3.4.3独立性

3.4.4贝叶斯定理

3.4.5频度与频率

3.5互信息

3.6Z评分

3.7Dice系数

3.8Phi平方系数（φ2）

3.9对数似然比

3.10N元模型

3.10.1N元语法

3.10.2N元语法模型

3.11语言学三大统计规律

3.11.1Zipf法则

3.11.2Menzerath—Altmann定律

3.11.3Piotrowski—Altmann定律

3.12熵

3.12.1静态平均信息熵

3.12.2极限熵

3.13Yule图

3.14Fuchs公式

3.15使用度与通用度

3.15.1使用度

3.15.2通用度

3.16本章小结

第4章假设检验

4.1假设检验的相关概念

4.1.1假设检验的基本原理

4.1.2假设的分类

4.1.3检验统计量与临界值

4.1.4双尾检验与单尾检验

4.1.5假设检验的一般步骤

4.1.6假设检验中的两类错误

4.2参数假设检验

4.2.1正态分布

4.2.2U检验

4.2.3t检验

4.2.4X2检验

4.2.5F检验

4.2.6参数假设检验比较

4.3非参数假设检验

4.3.1X2检验

4.3.2秩和检验

4.3.3非参数假设检验比较

4.4本章小结

第5章方差分析

5.1方差分析的定义及基本思想

5.1.1方差分析的定义

5.1.2方差分析的基本思想

5.2方差分析的基本概念和使用条件

5.2.1方差分析中的基本概念

5.2.2使用方差分析的条件

5.3方差分析的类型和一般步骤

5.3.1方差分析的类型

5.3.2方差分析的一般步骤

5.4单因素方差分析

5.4.1各个因素水平间的样本容量相同

5.4.2各个因素水平间的样本容量不完全相同

5.4.3方差分析中的多重比较

5.5双因素方差分析

5.5.1无重复双因素方差分析

5.5.2可重复双因素方差分析

5.6本章小结

第6章文本聚类

6.1文本聚类概述

6.1.1文本聚类定义

6.1.2文本聚类的流程

6.2文本聚类中的数据

6.2.1聚类分析中使用的数据结构

6.2.2数据归一化处理

6.3相似度计算

6.3.1文本相似度的计算

6.3.2特征相似度的计算

6.4聚类算法

6.4.1层次聚类

6.4.2划分聚类

6.4.3划分聚类与层次聚类的联系和区别

6.5文本聚类性能评价

6.5.1纯度

6.5.2归一化互信息

6.5.3精确度

6.5.4F值

6.6本章小结

第7章文本分类

7.1文本分类的定义

7.2分类方法

7.2.1基于知识工程的方法

7.2.2基于机器学习的方法

7.3分类步骤与流程

7.4文本表示与特征选择

7.4.1特征项选择

7.4.2词袋模型

7.4.3向量空间模型

7.4.4特征筛选与权重

7.5向量相似度测量

7.6分类模型

7.6.1朴素贝叶斯（Naive Bayes）

7.6.2k—最近邻（k—Nearest Neighbor）

7.6.3支持向量机（Support Vector Machines）

7.7文本分类的评价

7.7.1准确率、召回率

7.7.2正确率、错误率

7.7.3F值

7.7.4微平均和宏平均

7.8本章小结

……

第8章R语言简介

第9章计算风格学研究

附录常用的统计数表

参考文献

 统计语言学下载