数据挖掘
简介
大数据呈现的特点通常有4个”V”:体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)。
体量是指数据量；
速度是指流速，即生成和改变数据的速度；
多样性是指数据生成时的不同类型(货币、日期、数字、文本、图片等等)；
真实性是指有机分布式流程(比如数百万人注册服务或免费下载)生成数据的事实。
用于预测和分析的方法有很多，每种方法都有自身的优缺点，方法的有用性取决于以下因素：数据集大小、存在于数据中的模式类型、数据是否满足方法的某些基本假设。数据噪声大小以及数据分析的特定目标等等。
根据数据性质组织的数据挖掘方法如下图：
数据挖掘的步骤
- 要了解项目的目的。研究的问题是什么？利益相关者会如何使用分析的结果？谁会收到结果的影响？分析是一次性还是可持续的过程？
- 获取分析中使用的数据集。可能涉及随机抽样。
- 探索、清洗和预处理数据。数据是否合理？缺失数据如何处理？是否有异常值(脏数据)？
- 按需考虑是否需降维。剔除无用变量或者转换变量等。
- 确定数据挖掘的任务(分类、预测还是聚类等)
- 数据分割(用于监督学习)。按合适的策略将数据集分为训练集、验证集、测试集、
- 选择合适的算法(回归、神经网络或者聚类等)
- 使用算法执行任务。这通常是一个迭代过程，尝试多种形式，根据结果不断修正改进。
- 解释算法的结果。这包括选择出最佳算法，并且在可能的情况下，在测试集上测试最终的算法。
- 部署模型。将模型整合到可操作系统，并在实际数据上运行来产生决策或行动。
预测效果评估
用于数值预测的模型的性能评价
一个好的预测模型应该预测准确度上胜过基准（平均值）
预测准确度的测度：
● MAE/MAD/AAE(平均绝对误差/偏差):对误差的绝对值求平均，表明了平均误差的大小。
● 平均误差：因为保留误差的符号，正负会有所抵消，因此该指标也是一种对响应预测结果是高估还是低估的指示。
● MAPE(平均绝对误差百分比)：误差除以真实标签值的绝对值的平均，表示了预测值用真实值偏离程度的百分比。
● RMSE/RASE(均方根误差):误差平方的均值再开方，该指标是通过验证集而不只是训练集计算出来的。
● SSE(误差平方和)
用于类别预测的分类器的性能评价
可以参见我的博客《机器学习常用评价指标》文章。
用于排序的分类器的性能评价
统计数据基本概念
分为以下四种类型：
1）定类数据：表现为类别，但不区分顺序。例如：性别数、班级数等
2）定序数据：表现为类别，但有顺序。例如产品按一等品、二等品、三等品计数等。
3）定距数据：表现为数值，可进行加、减运算。如：身高、体重、收入等。
4）定比数据：表现为数值，可进行加、减、乘、除运算。
前两类说明的是事物的品质特征，也称为定性数据或品质数据；后两类说明的是现象的数量特征，统称为定量数据或数量数据。
