猿创征文|0基础文科生的【机器学习】8大工具

大家好,我是连续2届全国Datathon数据分析大赛亚军向瑶函,同时也是一名0基础转行机器学习领域的文科生,上面这些描述并不是夸张,可以看下面,有图有真相。

今天想跟大家分享一下我在机器学习领域最常用的工具,之所以会想到这次分享,主要还是给同样0基础想转行机器学习的小伙伴提供一个思路。

毕竟工欲善其事必先利其器嘛,相信没有哪个人会希望在机器学习的时候被环境配置、工具兼容性、依赖库这种“解决完没啥成长,但是不解决又没法推进”的问题劝退。

由于我是一个0基础转行机器学习的文科生,因此我选择工具更多是出于简单、学习成本低、性价比高这些角度,如果阅读文章的您是那种机器学习大神,想要追求在高性能、协作开发、虚拟环境管理等板块更强大的工具,那这篇文章列举的工具可能更多仅供参考了。

一、Python环境:anaconda(你可以说它臃肿,但没法否认它是最简单的)

一般我们这种转行做机器学习,除非是那种究极大佬会愿意去用C++改经典库比如tensorflow的底层代码,95%的人首选语言都是Python。

而比起直接到Python官网下载一个只附带了官方库的Python纯净版,我更推荐大家去下载anaconda(国内网可以直连)。 

如果你做过一段时间机器学习,或者是纯粹搞数据分析,你会觉得它很臃肿,因为它除了numpy、pandas等最基础的“数据分析四剑客”,以及超级实用的Jupyter Notebook外,如下图所示,anaconda还附加了很多乱七八糟可能你永远都用不到的库。

但在机器学习领域,除了没有集成Sklearn、tensorflow和pytorch这机器学习三剑客以外,anaconda基本不存在缺库的情况,相信应该没有人会喜欢还没开始搞机器学习之前,就要不断重复pip install XXX来下载各种依赖库吧。

当然,我现在也确实不用anaconda了,但这一切的前提是我通过一段时间对机器学习的摸索,已经清楚了自己常用的库是哪些,另外,我现在部分环境依赖会通过容器去解决。

如果你对上面两条没有任何基础与准备的话,那还是推荐老老实实下载一个anaconda吧,虽然它确实有些臃肿,但它在简易性方面从来都没有输过。

二、IDE:VS Code,开箱即用,拓展性最强的IDE

说起Python的IDE,很多人第一时间想到的大都是Pycharm,的确,Pycharm确实是目前Python开发工程师的首选,它有非常多强大的功能,比如说,如下图所示,Pycharm的代码自动填充和提示功能可以说是所有Python的IDE里面最最强大的,数据库、外部引用……基本上你能够想到的,啥都能填。

尽管Pycharm确实非常强大,但它很可能不是机器学习入门者的首选,因为它不够简单。

举个最简单的例子,比如说我第一次运行代码的时候报错显示【No python interpreter configured……】,查了攻略后发现要到下图这个的Pycharm运行环境设置里去解决,当时就花了我好多时间去搞懂一个个选项代表的含义是什么,直到我选择了一个Python interpreter才真正解决问题。

而在操作简易性方面,另一个IDE:VS Code就好很多,它在很多缺失功能都具备自动检测和弹窗,比如这里我在官网下载了英文版,它会自动弹窗提示我“下载中文”。

当我打开了一个Python的Notebook,它也会给个提示一键去下载在VS Code上运行Python需要的所有依赖插件。

最重要的是,它还有非常多的插件可供下载,甚至支持你在编辑Python的时候学习其他语言。 

当然,可能对大佬来说,VS Code频繁的弹窗(基本每次打开都有弹窗)是一种打扰,但对于小白来说,当自己愁眉苦脸找不到解决方案的时候,这个时候一个弹窗很有可能就是他的救命稻草。

尽管VS Code在Python编程的专业性上比不过Pycharm,但在机器学习领域,复杂的永远都不是代码,真正重要的还是整个机器学习项目推进的思路,用专业术语来说就叫做“通过特征工程,让模型匹配数据”

虽然,现在我用的是Pycharm,但如果你跟过去的我一样是初学者的话,还是非常推荐VS Code的。

好了,由于圈子里关于IDE和Python环境两者中谁更好的争议非常多,因此以上的介绍比较详细,接下来分享的工具基本都是业内公认的“无敌”,所以就简单介绍下。

三、线上Notebook:Google Colab(性能最好的无限免费算力)

当你的电脑配置不高(比如像我一样,老家的电脑是15年前的XP系统),或者是你需要同时跑N个无法并行的模型的时候,一个好的线上环境绝对是你最需要的。

而所有线上Notebook里面,Google Colab绝对是最好的,为啥,因为它是唯一一个基本不限制使用(我有被限制过,但只要不是一次性用7-8个小时,基本不会被限制),并且配备了很不错的GPU(英伟达的Tesla K80,运气不好可能会被分到T4)的Notebook。

唯一的缺点是它需要魔法上网,当然,如果实在不行,你也可以试着白嫖各大国内Notebook的免费额度,这里就不做详细介绍了。

四、机器学习通用库:Sklearn(上手最快的黑盒子)

我一开始认为机器学习是我这种文科生不可能掌握的,直到我遇到了Sklearn。

可以说从Sklearn这个库开始,机器学习进入了一个不需要懂太多原理,只要会fit和predict就能够出结果的时代,比如我下面这段代码就是一个线性回归模型的构建。

#模型训练与预测
lr = LinearRegression() # 这里把模型改成LogisticRegression就是逻辑回归
lr.fit(train_x, train_y) # 让模型在训练集上做训练
predict_y = lr.predict(test_x) # 用测试集的x产生模型对测试集的预测结果

尽管这样确实降低了从业者的门槛,但确实帮助了很多人开启了机器学习的大门。

这个Sklearn到底有多么神奇?这里我必须得卖个关子,等你实际体验过后,你会回来感谢我推荐给你Sklearn的。

五、深度学习通用库:Tensorflow或Pytorch(兼容性最好,功能最全的深度学习工具箱)

如果你要做深度学习,类似各种各样的神经网络的话,那就得用到Tensorflow或Pytorch了。

关于两者哪个更好,网上一直有争议,但我的建议是2个都学,因为我实际体验发现各有优缺点,但它们又无法相互替代。

具体使用方法就有待大家探索了,我的建议是先从Tensorflow的Keras开始,因为它算是最简单的一个神经网络构建库。

六、GPU租用:AutoDL(算是最便宜的GPU租用平台)

如果你有大模型的训练需求,去租一个好的GPU算是最划算的方法,而租GPU一般都比较贵,这里推荐一个叫做AutoDL的平台,算是我看过的目前来说GPU租金最便宜的平台了,不过这种走平价路线的平台售后和客服都存在一定的瑕疵,这个就需要大家自己去甄别了。

七、远程操作:Todesk

可能你会觉得Todesk这种远程操作软件跟机器学习无关,那你就错了,因为机器学习的模型运行时间是你无法估计和控制的。

可能你6点下班,有一个本地模型要大概9点跑完,怎么办?难道说在公司干等3个小时吗?这个时候远程操作软件的作用就体现出来了。

当然,一提到远程操作,可能很多人想到的是teamviewer,但teamviewer不推荐的原因是因为免费版限制最多只能够登录2个可信设备,不巧的是,我一般远程操作的设备一般都是3台,这点todesk会友好很多。

八、超参数优化:optuna(最全能的超参数优化库)

机器学习需要预先设置很多超参数,不同的超参数带来的模型效果天差地别,于是诞生了很多自动调参的库,这里面我用过兼容模型最多的库算是optuna了,当然,可能是由于兼容太多盘子太大了,optuna的运行速度可能并不尽人意。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>