|
向AI转型的程序员都关注了这个号??? 搞CNN的工程应用有一段时间了，特别是在计算机视觉领域。分享下我自己的CNN学习历程。 简单的说，深度学习就是模仿人脑结构，像人一样学习（当然，也有所谓的专家不同意这个观点）；它处理问题的路径是从具体到抽象、从部分到整体。像人的认知过程一样逐层进行，逐步抽象。最大的特点就是网络自己学习特征、组合特征，而不需要人工参与。 入门路线 1、首先在自己电脑上安装一个开源的框架，像Tensorflow、caffe这样的，先玩一下这个框架，把框架用起来 2、然后跑一些基础的网络，由浅入深 3、如果有条件的话，整个有GPU的电脑，GPU跑的要快很多，跟CPU比起来 详细点说，我认为可以按以下步骤去学习它： 第一个阶段： 1）、实现并训练只有一层的softmax回归模型用于手写数字图片分类； 2）、实现并训练含三个全连接层的模型用于手写数字图片分类； 3）、实现并训练含三个卷基层+池化层的模型用于手写数字图片分类； 阶段目的：搞懂一些机器学习、深度学习的概念，找个开源工具并用起来，尝试着训练一些简单的网络，试试加入一些常见的trick去调试网络。 第二个阶段： 训练一些经典的CNN分类网络，熟悉一些常用数据集，熟悉下CNN分类网络的发展历程，一些trick的更替： 1）、Lenet，1986年 2）、Alexnet，2012年 3）、GoogleNet，2014年 4）、VGG，2014年 5）、ResNet，也有人称呼残差网络，2015年 这个几个网络是都是深度学习在图像领域的经典之作，在pc上实现了它们，训练它们，同时你又仔细推敲看看他们的网络结构。 阶段目的：在实际当中独立使用它们，也可以结合传统的图像处理技术使用它们。一句话：你已经入门了 更详细的深度学习入门路径推荐： http://blog.csdn.net/u012050154/article/details/51842442 学习的几个误区： 1、死嗑线性代数、概率论、微积分这些理论知识。 使用深度学习的目的是处理实际工程问题，最重要的是怎么用。一开始不会用就去推导这些公式、求原理，有点舍本逐末。另一个重要的原因是，复杂的公式、原理会把初学者搞晕的，打击初学者的积极性，而且理论不和实践结合，很难理解；所以建议学用结合、边用边学。 2、比较哪种网络好 比较哪个深度模型最优是没有意义的。因为没有一种模型是万能的，得根据具体数据集的类型特征、具体使用场景来决定采用什么模型。 3、一开始就自己设计网络 深度学习各个应用领域都有很多经典的网络，都经过大量验证过的，一句话，没啥问题，用起来效果挺好。我一般拿过来用，改改输入， 调调参数，在已有模型的基础上，微调微调即可。 之前我也了解了一点深度学习，用 TensorFlow 搭了几个模型，也看了一些论文。有两个突出的感受。第一，深度学习这座山，你不爬到一定高度，其实做不出什么新东西来，这跟之前的移动互联网是两码事。跟着网上的教程把例子做出来并不难，但是解决新的问题，并不是谁都能做到的，不客气的说，绝大多数人做不到。即便现在深度学习已经这么火了，能够把这个方法用在新的领域，创造新的网络结构，解决新的问题，这样的研究者也是凤毛麟角，屈指可数。第二，很多事情深度学习干不了。Bharath Ramsundar最近写了一篇文章，介绍了深度学习干不了的那些事，洋洋洒洒列了十多条。其实之前某些媒体把深度学习描绘成为强人工智能的最终解决方案，就是很不负责的。真正在这个领域的人都知道，这一波深度学习的技术并不能支持强人工智能，现在很多普通围观群众对 AI 的憧憬，多半将再一次落空。 所以，不容易学成，学成之后也有好多事情还干不了，那么究竟值不值得跟进深度学习？这其实一直是我内心的一个问题。 深度学习其实是一个我们这五年不得不去跟进的方向，因为它的结合性强，它的应用形态不可预测，它是一个“脑洞”科技。确实，它有很多事情干不了，但反过来，它能干成哪些事，也不是你能预见的。因为深度学习真正的威力不在于技术，而在于使用这个技术的人。你不知道你的对手会在哪个行业出现，从哪个地方开一个脑洞，对你现在所做的事情、对于你的经验、优势和自信心进行降维打击。 我并不是在耸人听闻。关于深度学习在计算机视觉、语音、自动翻译、自动驾驶等领域的进展，相关报道最近几年来已经汗牛充栋，我们已经逐渐消化了这些消息所带来的冲击，不再觉得惊奇。但是如果你以为深度学习只有这些本事，自己只要避开这些领域就可以不受冲击，你可能就太乐观了。 2012年9月，Kaggle 举办了Merck分子活动数据挖掘大赛。各路分子生物学、医学、化学和药学数据科学团队纷纷出场，激烈厮杀。这个时候，Geoffrey Hinton 的博士生团队拎着深度学习大杀器闯进赛场，仅仅用了两个星期，就把各路高手纷纷干翻，夺得冠军。重要的是，这个冠军团队是清一色的计算机和深度学习专家，一点生物、医学、分子、化学背景都没有。难道资深专业人士在深度学习面前如此不堪一击吗？这件事情当时震撼了科技界。不过今天看来，这件事只是一幕序曲。未来相当长的一段时间里，很多行业都可能会出现一批用深度学习武装到牙齿的野蛮人，以你意想不到的方式，从你意想不到的角度对你进行暴击。 你还记得2006年 Netflix 推出的百万美金大奖赛吗？当时 Netflix 悬赏100万美金给第一个能够将其影碟推荐算法性能提高10个百分点的团队。时隔三年之后，经过不断的努力，终于有团队拿到奖金。冠军团队的算法以集成算法为基础，整合了107种不同的优化技术，最后提高了10.06%。而2016年，有人用 Keras 写了一段不到20行的深度神经网络程序，经过40个 epoch 迭代，效果非常接近当年的冠军。这就是深度学习的威力。 京东在618这一天启用了配送机器人，一天之内在人大校园内配送了20单。这个机器人能够自动避让行人，应该有深度学习的支持。这个机器人的出现，当然是京东的创新，但另一方面，这也是对京东引以为傲的配送铁军的威胁。智慧物流发展到高度自动化的阶段，一辆大型物流车一路开一路沿途放下配送机器人，用户通过手机开锁取货，今天必须由快递员完成的大部分配送工作，未来靠机器人就可以完成。物流业将变成什么样？电商将变成什么样？ 在金融量化交易领域，传统的算法交易系统研究已经多年，有研究先行指标的，也有用传统机器学习算法调了很久的模型，也出现了像 MetaTrader 这样的自动交易机器人开发平台。大家正在不断积累盖楼，其乐融融。现在突然出现一组人，用深度学习和深度增强学习杀到这个领域里。他们悄悄的进村，打枪的不要，但是出手不凡，在选股策略和价格预测等方面已经取得很大的成功。现在来看，很有可能深度学习在很短的时间里能把老炮们辛辛苦苦积累了多年的大部分指标和模型抛到垃圾堆里。 当然，从市场数据里踏踏实实建模，这还只是常规思路。深度学习的牛逼之处在于它鼓励脑洞。比如，有些人设想用深度学习捕捉企业高管演讲内容和面部表情，来判断股票价格走势。这个脑洞开得够大吗？恐怕还只是一个开始。 在搜索和计算广告学（当前机器学习最大落地应用没有之一）领域，深度学习也已经开始悄悄上线。前不久阿里P10专家盖昆发表了一篇论文， https://arxiv.org/pdf/1704.05194 公布了2012年以来阿里所使用的广告点击率预测算法 LS-PLM。论文中介绍 LS-PLM 平均来说比逻辑回归算法的 AUC 高 1.44 个百分点。这对于每天数亿 PV 的阿里系网站来说，当然有非常巨大的价值。这么牛的算法，时隔五年被公布出来，外界猜测，阿里内部一定部署了新的广告点击率预测算法，而且一定比 LS-PLM 有明显的优势。会是什么样的算法呢？非常大的可能是基于深度学习的算法。 搜索和计算广告学算是大数字营销当中的一部分，大多数情况下它解决的是消费者已经表露出来的消费需求，这就已经支撑起了整个互联网产业几乎一半的收入。实际上数字营销里还有更大的一块，就是针对客户的潜在需求进行个性化推广，以及品牌传播。把系统对于用户的了解跟商家的营销需要结合到一起，再用上深度学习，会发生什么？Lars Eidnes 开发了一个“标题党”RNN，可以自动生成耸人听闻的标题或者诱饵链，他基于这个 RNN 开发了一个网站叫 Clickotron，可能是世界上第一个完全用RNN生成标题和新闻内容的网站。我们可以设想以后的互联网新闻和商家宣传文字都是根据你的个人偏好实时生成的。同一条新闻，你看到的版本跟我看到的版本不同，目的却是为了吸引我们采取某种特定的行动，比如买买买。这样的技术如果成熟，今天数万亿美元的企业营销、品牌和广告行业将面目全非。 你有病，深度学习有药。在医疗领域，有些实力雄厚的大公司在诊疗专家系统方面有多年的投资和积累，聘请了一大批医学专家，建立了先进的基于规则的诊疗系统。但是突然之间，一帮野蛮人冲进赛场，用深度学习暴力蛮算，在医学影像分析、药学等领域已经带来很大冲击。宾夕法尼亚大学医学院教授 Nick Bryan 认为，十年内所有医学影像都将首先交给机器读片，有质疑才会由人类复审。如果你知道现在医学影像在医疗诊断的作用，你就会知道这个变化对于医生这个行业的影响有多大。但这只是刚刚开始，医疗诊断本身就是机器学习的最佳应用领域之一。还有，CMU有两位教授在研究用深度学习自动编程，印度尼西亚一所大学用深度学习来研究高层建筑结构在地震中的力学特征，MIT的研究员在用深度学习给默片自动配音，Kaggle上有一个团队开发的英语作文自动评分系统，表现比人类教师更一致。还有人在研究如何根据你的照片来判断照片拍摄的位置，还有一个应用根据你在 IM 工具中的对话内容自动建议表情包，帮助你进行表情包大作战… 这样的例子我可以不断举下去，但要点不是这些新的进展有多炫酷，而是深度学习这项技术的可结合性，确实是超强的。它就像氧气，碰到什么就把什么氧化，你不知道它会从那里钻进来驱动创新。而每一个这样的创新，背后都是一个行业被改变，一堆人的工作和生活方式被冲击。正如 H 所说，跟进深度学习，不是我们要表现的多么新潮或者前瞻，而是不得已。所以，虽然深度学习挺难学，而且很有可能学下来也无所施展，但是我认识的一大批技术老炮都在跟进，捧起多年未翻的数学书开始吭哧吭哧学习，为什么？就是因为面对新的时代，手里没有深度学习这个大杀器，说话就不硬气。 我建议有条件的人，不必再犹豫了，尽快跟进深度学习吧，不必陷入孰优孰劣的争论之中，也不一定非要等到有了现成的加薪跳槽机会。坦率的说，深度学习人才的薪资今天是存在一定的泡沫的，但是以后这个泡沫会吹得更大。进入深度学习能给你打开一扇窗，帮助你在各个领域开拓创新的可能性。更重要的是，使你在很多领域里获得话语权，获得上牌桌的机会。 |
