zoukankan      html  css  js  c++  java
  • 6.逻辑回归

    1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同?

       逻辑回归的本质是线性回归,只是逻辑回归在特征到结果的过程中加了一层sigmod函数映射。一般用于二分类,当然也可以用于多分类。

      线性回归评估误差的方式是通过最小二乘法距离公式,求解损失函数的最小值thata;

      逻辑回归的损失函数是对数似然函数log loss,函数的公式如下:

      

      真实值为1时,损失函数用第一条式子进行计算;真实值为0时,损失函数用第二条式子进行计算。

      使用对数似然函数作为逻辑回归的损失函数原因:

      当y = 1,h = 0时,log0 = ∞,对模型的惩罚力度最大;当y = 1,h = 1时,log1 = 0,相当于没有惩罚,也就是说没有损失,这个时候就达到了最优结果。

      综上:线性回归用来预测,逻辑回归用来分类。

              线性回归是拟合函数,逻辑回归是预测函数

              线性回归的参数计算方法是最小二乘法,逻辑回归的参数计算方法是梯度下降

      

    2.自述一下什么是过拟合和欠拟合?

       过拟合:过分依赖训练数据

    • 原因:过拟合是由于学习的太彻底,这可能是由于训练数据量太少的缘故。
    • 解决方法:可以增大数据的训练量,训练数据要足够大才能使得数据中的特征被模型学习到。还需要清洗数据,尽量减少数据中的噪声,以防止这些噪声被模型学习到。正则化方法也常用来处理过拟合,正则化包括L1正则化和L2正则化,

      欠拟合:未能学习训练数据中的关系

    • 原因:学习不足,模型简单。
    • 解决方法:可以考虑添加特征,从数据中挖掘出更多的特征,有时候还需要对特征进行变换,使用组合特征和高次特征。例如线性模型只能拟合一次函数的数据。尝试使用更高级的模型有助于解决欠拟合,如使用SVM,神经网络等。正则化参数是用来防止过拟合的,出现欠拟合的情况就要考虑减少正则化参数。

    3.思考一下逻辑回归的应用场景有哪些?

       广告CTR预估;

      电商搜索排序;

      电商购物搭配推荐;

      是否为垃圾邮件;

      是否患病;

      金融诈骗;

      虚假账号。

      

  • 相关阅读:
    杭电ACM 1197
    杭电ACM 1196
    杭电ACM题目分类
    杭电ACM 1178
    指针转化(二重)
    怎么查看一个类的内存分布
    how find out what is causing Visual Studio to think each project is out of date
    MSB8013
    File mapping
    SHFileOperation 解决double-null terminated
  • 原文地址:https://www.cnblogs.com/xiaolan-Lin/p/12760503.html
Copyright © 2011-2022 走看看