-
线性模型
线性回归个人笔记之前学习的时候自己记录的笔记，字有些丑啊，不要吐槽。。会伤心的，呜呜(T＿T)。。不要要求太多，能看懂就行。。。O(∩＿∩)O哈哈~代码实现待补。。。附录：常用矩阵求导公式个人总结的求导规律：(分母布局)简单来说，对于函数中所有的x分别计算。对于出现的x，结果就是x前面的部分整体转置乘以x后面部分整体转置；对于出现的x^T，结果就是x^T的后面整体乘以前面的整体部分。逻辑回归个人笔记代码实现待补。。。…
-
类别不平衡解决策略
类别不平衡是指分类任务中不同类别的训练样本数目差别很大的情况。需注意的是：类别不平衡学习中通常是较小类的代价更高，否则无需特殊处理。一般情况下，正例样本较少，反例样本较多。基本策略—-再缩放：以线性分类器为例，使用y=w^{T}x+b对新样本x进行分类时，事实上是用预测值与阈值比较，通常y>0.5判为正例，否则反例。y实际上表达的是正例的可能性，几率y/(1-y)则反映了正例与反例可能性之比。若阈值为0.5，表明分类器认为正反例的可能性相同，即：当正反例数目不同时，令m+表示正例，m...…
-
数据挖掘-笔记
数据挖掘简介大数据呈现的特点通常有4个”V”:体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)。体量是指数据量；速度是指流速，即生成和改变数据的速度；多样性是指数据生成时的不同类型(货币、日期、数字、文本、图片等等)；真实性是指有机分布式流程(比如数百万人注册服务或免费下载)生成数据的事实。用于预测和分析的方法有很多，每种方法都有自身的优缺点，方法的有用性取决于以下因素：数据集大小、存在于数据中的模式类型、数据是否满足方法的某些基本假设。...…
-
R语言基础
R语言学习工作目录设置setwd(): 设置当前工作目录，数据和程序都将保存到该目录下getwd(): 显示当前目录安装包调用：install.package(“包名”) 等价于 library(包名)ls(): 显示内存中的对象ctrl + L: 清屏rm(): 删除内存中的对象，包括变量、数据框、函数等options(digits=)： #显示小数位数，默认为7，全局。(round(value, 4) #显示4位小数，局部。)注释单行注释： 用一个’#’；大段注释： if(FALSE)...…
-
线性和非线性的理解
线性？ 非线性？线性和非线性的区别是：是否可以用直线将样本划分开(这个观点是对的)logistics模型是线性还是非线性的？logistics模型是广义线性模型。 如何理解？举例理解如下：…
-
特征选择与数据降维(特征提取)
降维降维的方法： 结合专业知识剔除或合并类别 通过数据概要来发现变量间的信息重叠(并剔除或合并类别) 对数据进行转换，例如将分类型变量转换为数值型变量 使用如主成分分析(PCA)这样的自动降维技术来创建一系列新的变量(原变量的加权平均)。这些变量互不相关，并且其中很小的一个子集就包含了原始数据中很大一部分信息(因此我们可以只使用新变量集的一个子集来实现降维)。可以利用一些数据挖掘的方法：如回归模型、分类和回归树等，这些方法可以用于剔除冗余变量，以及合并分类型变量中的相似类别。特征选...…
-
欠/过拟合
欠/过拟合定义或产生的原因一般在机器学习中，将学习器在训练集上的误差称为训练误差或者经验误差，在新样本上的误差称为泛化误差。显然我们希望得到泛化误差小的学习器，但是我们事先并不知道新样本，因此实际上往往努力使经验误差最小化。然而，当学习器将训练样本学的太好的时候，往往可能把训练样本自身的特点当做了潜在样本具有的一般性质。这样就会导致泛化性能下降，称之为过拟合，相反，欠拟合一般指对训练样本的一般性质尚未学习好，在训练集上仍然有较大的误差。如何解决欠拟合：一般来说欠拟合更容易解决一些，例如增加...…
-
梯度消失与梯度爆炸
产生的原因神经网络中梯度不稳定的根本原因深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，前层上的梯度的计算来自于后层上梯度的乘积，因此如果网络过深，就容易出现不稳定。如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化.如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这就是梯度爆炸。梯度消失经常出现出以下两种情况：一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid。（梯度消...…
-
机器学习常用评价指标
常见评价指标分类和回归对应的指标 学习分类 性能指标 分类 Accuracy、precision、Recall、F1 Score、ROC Curve、PR Curve、AUC等 回归 MAE、MSE等 分类混淆矩阵详细解释见维基百科Confusion matrix。该网页将混淆矩阵以及基于混淆矩阵拓展的多种指标的公式阐述的非常详细和清晰，如Precision，Recal...…
-
卷积神经网络(CNN)介绍10-常见的分类网络
常见网络的结构和区别CNN的演变历程见博客1以及博客2后续会将各种网络对比试验，以及针对之前几篇博客介绍的各种策略的作用和影响，通过实验更直观的看看效果。如果做好了会在博客中更新，实验代码也会上传。。。等我懒两天再做。。哈哈。…
