深度学习是不是只是在拟合数据?它的成功来自于拟合数据的能力不断变强吗?
这些问题是极其重要的,这是理解当前机器学习或者深度学习成功的本质,是继续推动其发展的核心。
一、什么是机器学习
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能核心,是使计算机具有智能的根本途径。
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。
二、深度学习为什么成功
对于深度学习为什么成功,其实是有大量的争论的。
01
拟合能力
一部分人认为,深度学习之所以成功,只是因为在高维空间有着优秀的curve ftting能力或者说拟合能力。而模型的输出,只是拟合函数的插值结果,或者interpolation结果。
对于这个观点,著名的人工智能三巨头之一Yann Lecun有着他自己的不一样的看法。他认为"in
high dimension, there is no such thing as interpolatioIn high dimension, everything isextrapolation."
02
插值和外推
也就是说,他认为,在高维空间就不存在插值这样的东西,在高维空间-切都只有外推也就是extrapolation。插值和外推的区别就是,插值的话你的输入是在你给定值域范围内的,也就是你见过类似的。外推就是,你的输入是在值域之外的。
一个简单的比喻就是:比如你的训练数据集只有10厘米以内长的树叶,但是外推就是你的用来预测的输入呢,它的长度是比如说芭蕉叶它是远超10厘米的。
为什么在高维空间是没有插值呢?这个可以主要通过curse of dimensionality来大致理解,Yann在他的论文里也对此进行了详细解释,非常推荐对这个问题感兴趣的同学阅读这篇文章。
希望以上分享对你有所帮助!