专业网站制作案例,宜州市住房保障和城乡建设局网站,用php做企业网站的可行性,wordpress+编辑模板本文为《爬着学Python》系列第十三篇文章。Python能在这几年火起来#xff0c;靠的不是网上一大片的爬虫和服务器后端知识的应用(本专题就是这样的#xff0c;这么说真的好吗#xff1f;不过我们总得认清事实是吧。)#xff0c;靠的是Python搭上了大数据和人工智能的风。而…本文为《爬着学Python》系列第十三篇文章。Python能在这几年火起来靠的不是网上一大片的爬虫和服务器后端知识的应用(本专题就是这样的这么说真的好吗不过我们总得认清事实是吧。)靠的是Python搭上了大数据和人工智能的风。而Python之所以能很好地适应人工智能方面的应用不是因为该语言对这方面进行了优化我认为主要的原因有以下两点一个是简单易学方便了数学、工程和金融等行业各领域的对新技术开放包容的人士入门另一个是种类丰富而且文档详实的第三方库满足了不同的需求。前者让更多人加入到Python的行列中来后者让Python快速实现功能的能力非常强大。今天我们主要讲讲Python的第三方库的管理。这方面的例子有很多比如刚才提到的数据处理机器学习那么不得不提的是SciPyNumPy和scikit-learn想必很多人都不陌生。不过本专题不是为了学这个本专题是借Python学习互联网相关知识所以我们以request和flask为例(哇突然感觉自己过时了但是既然本来决定好了专题内容现在也不临时改了。况且我也不会啊#无奈。而且我也没精力同时更新两个专题啊#摊手。)。上面是废话下面是正文。pip没错首先声明我们主要用pip来下载第三方库实在特殊的环境才会使用easy_install。原因也很简单virtualenv都开始自带pip了我们跟着大佬养成习惯就好啦。说了几句可能有新手还不知道pip到底是什么东西。简单来说就是Python的yum好吧这可能是废话操作过RedHat不会不知道pip。真正地简单来说pip是一个用来便捷管理Python第三方库的命令行工具。由于前面提到过我们主要用Windows示例我们就用PowerShell来演示。如果说不知道PowerShell是什么可以理解为新一代的cmd。如果是以Windows作为主力开发环境建议把PowerShell固定在任务栏。想要了解PowerShell的更多知识可以参考Getting Started with PowerShell 3.0 | Channel 9。其中一个主讲Jeffery Snover是PowerShell的主力开发工程师是微软非常厉害的服务器架构和管理方面的大牛在C9可以免费看到大牛手把手教你敲脚本如果对英文不自信该系列甚至还有中文字幕之所以如此介绍PowerShell是因为它真的非常“powerful”而且我们可以用PowerShell来熟悉Shell编程熟悉脚本编写。说到底我们是来学习知识的不要死盯着pip。如果进度许可以后我可能会给一个PowerShell脚本爬虫实例(大概会吧)。是的PowerShell的一些特性使得他原生地可以非常完美地实现静态网页的爬虫功能甚至要比Python更优雅你就说powerful不powerful。好了言归正传winr打开运行命令输入powershell即可打开命令行窗口。我们就可以直接使用pip命令来下载第三方库了。如果提示没有该命令先确保已经安装Python(开个玩笑)我们可以去设置环境变量。既然就在PowerShell那么不妨就用它来设置好了(嫌麻烦可以直接我的电脑-右键属性-高级系统设置-高级-环境变量-用户变量-Path-加上Python文件夹和scripts文件夹或bin文件夹)。查看所有本地环境变量可以直接查看虚拟驱动器查看具体的环境变量可以查看全局变量PS C:\ ls env:Name Value---- -----ALLUSERSPROFILE C:\ProgramDataAPPDATA C:\Users\somarl\AppData\Roaming...//其他就省略了或者PS C:\ $env:pathI:\SecureCRT\;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R)Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files\Calibre2\;I:\Git\cmd;I:\mysql-5.7.18-winx64\bin;...//还有一大串就省略了添加环境变量也很简单PS C:\ $Env:path$Env:Path;I:\Anaconda3\Scripts;I:\Anaconda3\Scripts这里只是我的示例PowerShell不是我们要介绍的重点这几句命令非常简单没有用到pipeline很容易理解。总之只要在命令行中输入pip回车能够进入库管理工具就可以了。virtualenv安装我们就用虚拟环境工具包作为外部库的第一个示例。使用pip安装外部库非常简单只要输入pip install virtualenv或者某些情况下(比如有些Linux不同的设置下)会需要输入pip3 install virtualenv如果没有安装过那么pip就会自动寻找适配的版本开始下载安装。这里面存在以下几个问题找不到适配的版本怎么办下载速度太慢怎么办安装失败怎么办首先适配的版本找不到的话有可能是平台(Windows/Linux/Unix)的原因也有可能是数位的原因(32/64)也有可能是Python版本的原因(2.4/2.7/3.2/3.5)。这种错误不会指出到底是哪个不适配具体可以去PyPI查看PyPI是Python官方的库索引我主要用来查看各种库的兼容信息。下载速度太慢可以换国内的镜像。这个在后面介绍conda的时候会再介绍。我们可以临时在命令行后面加上参数pip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple这是清华的镜像我自己用的是豆瓣的镜像好像阿里也有镜像这些百度一下就可以看到。Linux习惯了改各种配置文件但是Windows总觉得有些不舒服。conda会有比较人性化的命令行直接设置永久的镜像。安装失败的话一般会有报错信息可以根据报错信息处理。一般来说Windows平台常见的报错是CPython库的C依赖相关问题报错Linux平台常见的报错是权限不足的问题。后者比较好解决直接在命令前面加上sudo就可以了。CPython的问题有以下几种解决办法PyPI或者Github找找看有没有类似的纯Python库。这么做其实不太推荐但是这么做也有好处就是如果完全不用CPython包可以用PyPy加速。去LFD找找看有没有编译好的wheel文件全称叫Python Extension Packages for Windows这是比较推荐的解决方案。关于wheel文件的使用方法下面会讲到。去库的Github地址找官方的针对Windows的编译好的文件(不一定有一般是没有的)或者自己编译(不推荐我以前做过这种事体验很差)。安装支持环境这个看上去最理所当然的方法反而是我不太喜欢的。原因在于VS有些臃肿我还是喜欢用VS6.0。关于wheel文件的使用其实很简单就是pip安装的时候不要指出安装包的名字直接给出wheel文件的地址就可以了。比如pip install G:\action\tmp\Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl大概是这样吧很久没用过应该是这样的。如果失败了试试先pip install wheel。OK那么就算讲完了怎么用pip安装扩展包了。卸载、更新、查看和安装对应卸载只需要输入pip uninstall virtualenv非常合理的做法。至于更新其实为了程序的稳定运行和兼容性这个功能其实是不常用的这也是pip默认你想要更新的话其实就和直接重新安装没区别这个逻辑我觉得设计也算巧妙(conda有update功能pip没有)。至于你如果要批量更新去StackOverflow或者百度找会有很多脚本或者Anaconda控制台Pycharm都有相应的功能可以实现。当然我并不推荐做这种事情。这也是我们会需要虚拟环境的原因库文件稳定性是首要考虑的问题所以更新要慎重。我的意思也不是不建议各位更新只是不建议批量更新带来不必要的麻烦。查看库有两种一种是查看安装了哪些库pip list一种是查看某个库的信息。pip show virtualenvlist命令也有相关的参数也可以写进配置文件中这里不赘述了。show命令主要是用来看安装地址location环境依赖requires开源协议license当然有些有主页的可以找到一些文档。关于pip的讲解到此为止如此简单的工具讲了这么多废话了。还有一些功能没讲呢会穿插在virtualenv和conda中讲。virtualenv的用法我们讲了这么久我们需要虚拟环境那么virtuaenv是什么到底怎么用呢。virtualenv是一个虚拟环境工具用来构建一个Python程序运行的特殊环境。之所以需要特殊的环境是为了方便移植比如你可以让别人轻松地还原你的源程序运行的环境。同时它也方便的环境测试与管理比如我们可以测试在不同的Python版本不同的外部库版本下程序的表现就可以用虚拟环境来做到而不必在电脑上安装多个版本Python避免互相冲突。具体的各种参数我就不讲了virtualenv可以指定Python版本可以指定包括哪些库。我们默认就是用virtualenv来运行我们主要Python版本主要是为了管理外部库环境复制和还原因此我们使用最简单的命令就可以了(Python版本的切换我倾向于用Conda后面会讲到比较彻底)。PS G:\action\pipl virtualenv venv如果安装了virtualenv那么直接进入项目根目录输入virtualenv venv就会创建一个目前Python版本的虚拟环境。其中venv是这个环境的名字一般都叫这个。在比较新的版本virtualenv中这种默认创建方式会自动安装pip、setuptools、wheel三件套你也可以通过如--no-pip的参数来防止安装这些包。最简单的创建方式是有它的道理的因为这是最常见的应用场景绝大多数情况下确实是virtualenv venv就能解决问题了。创建完成后目录下会多出一个虚拟环境为名字的文件夹。进入虚拟环境创建完成后我们需要进入虚拟环境否则命令行怎么知道你到底想在哪个环境执行命令呢。激活的方式很简单PS G:\action\pipl venv\Scripts\activate如果出现权限问题或者安全问题。用管理员运行的PowerShell也是无济于事的直接将出错信息百度会有更改安全策略的解决方式。如果是Linux环境注意source要把Scripts改成bin值得一提的是Windows环境下激活虚拟环境会卡住几秒Linux几乎是秒进。成功进入后命令行会有虚拟环境的前缀。这时我们再进行一些动作都是虚拟环境下了比如说我们进入Python试试引入一些安装过的外部库。在外部环境中我肯定是安装了requests的这怎么说也算是爬虫的最关键的库了。我们不妨试试刚学的列出安装过的Python库。可以看到除了三件套确实什么都没有。我们可以试试安装外部库可以看到确实可以安装。一下子多了许多库出来。退出虚拟环境这个很简单只要在虚拟环境中输入deactivate就能退出。环境还原现在我们来讲刚才提到的关于环境还原的问题。如果我在开发中用到了一些依赖环境那么我该如何让别人知道我用了哪些库呢是不是对着代码一个个去找import了哪些库这样做不仅麻烦而且容易遗漏文件一多就会是很糟糕的体验了。换个思路我们只要让别人知道用pip安装过哪些库就可以了。我们可以用pipeline把powershell的pip list屏幕输出保存到文件中。但是还有更简单的方法pip内置了这样方法。(venv) PS G:\action\pipl pip freeze requirements.txt这样项目根目录下会多出一个需求文件。打开来看一下。可以看到除了三件套以外的包都在里面了。使用pip生成需求文件还有一个好处就是可以用pip快速还原环境。比如我们再新建一个虚拟环境并且还原刚才的环境(注意要把requirements.txt放在新项目的根目录下)。PS C:\Users\somarl cd G:\action\pipmPS G:\action\pipm virtualenv venvUsing base prefix I:\\Anaconda3New python executable in G:\action\pipm\venv\Scripts\python.execopying I:\Anaconda3\python.exe G:\action\pipm\venv\Scripts\python.exeInstalling setuptools, pip, wheel...done.PS G:\action\pipm cp G:\action\pipl\requirements.txt G:\action\pipm\requirements.txtPS G:\action\pipm venv\Scripts\activate(venv) PS G:\action\pipm pip install -r requirements.txt在实际操作中我们的项目一般是用git clone下来的所以不会需要手动去找requirements.txt而且一般虚拟环境会被gitignore掉。这也是为什么大家都用venv当作虚拟环境名字是为了方便git的相关操作。当然在上面的操作中我也可以不复制requirements.txt文件直接在pip install -r中参数设置成之前的路径就可以这里是为了还原一般的使用场景而Git相关的知识我还没有讲过所以目前先不管它。当然这也不是一劳永逸的。我们可以看看还原了哪些库。注意到Twisted不见了这也是我拿它作示例的原因。这就是我们刚才说过的Windows环境下pip安装可能出错的地方。错误信息是这样的error: Microsoft Visual C 14.0 is required. Get it with Microsoft Visual C Builds: http://landinghub.visualstudio.com/visual-cpp-build-tools因此我们确实有的时候需要注意到这些问题。如果你用别人的自构爬虫框架Twisted是出现率非常高的库。我们可能会需要手动安装这样的库。不仅爬虫科学计算相关包中对CPython的依赖其实更明显很多库需要手动安装。或者你可以使用Linux当然如果这种程度的问题都有很大的困扰那么Linux系统给你带来的困扰可能会更多对计算机原理和操作系统不是特别了解的不太推荐使用Linux。Conda除了virtualenv以外我们提到虚拟环境我比较推荐的还有Conda。在我看来Conda其实更适合本地环境的构建而不是虚拟环境的构建我个人是把Conda当作增强版的pip来使用的。Conda强在不仅可以改变环境的包甚至可以改变环境本身。比如说我的电脑装的是Python3.6但是后来我发现我其实比较喜欢Python3.5怎么办呢。我不必每次创建一个虚拟环境我不必卸载Python3.6重新安装一个Python3.5我不必更改各种软链(Linux)。Conda可以把默认的Python运行环境改掉。所以说如果说pip是管理Python库的那么Conda可以说是用来管理Python的(它本身也可以管理库而且比pip更强只是包的数量不及pip多)。至少我目前是这么用的。而且其实熟悉Linux的同学可能知道Conda不仅仅适用于Python它的适应面还能更广。Conda和pip以及virtualenv的关系就好比Tornado和Django以及uWSGI甚至Nginx的关系。它是一种类似的交叉包容但又有所侧重的关系。所以Conda是非常全能的工具。它可以做到pip能做到的事情它可以做到virtualenv能做到的事情它还可以做到这两个工具做不到的其他的事情。可惜的事实是Tornado不仅功能上无所不能、性能也强劲得让人刮目相看但却依然没有Django受欢迎也不如Flask几乎可以说和Bottle、web2py一样是被冷落的那类框架。不过好在Conda还是非常受欢迎的。因为它不仅功能强它的虚拟环境其实比virtualenv更加纯粹。它的Python包管理依赖追踪能力是pip望尘莫及的。但是出于习惯现在主流的虚拟环境工具是virtualenv主流的库管理工具是pip这两个也是我今天介绍的重点。但我还是要推荐一下Conda它好到值得你去使用。具体的使用技巧本文就不再介绍了篇幅有限是一方面另一方面我自己对Conda的使用也算不上理解多深就不献丑了。有兴趣的不妨去探索吧。另外再提一下Python3.3以上版本其实是有自带的虚拟环境工具的直接就叫作venv用它创建环境的方式是这样的python -m venv venv要注意后面的那个venv是虚拟环境的名字前面的那个是工具的名字。有趣的是它的体积小但性能其实也很强。使用方法和virtualenv大同小异这里也不展开讲了。最后讲些废话之前说好了在Conda相关内容中讲怎么用命令行永久改镜像结果后来还是忘了。其实很简单Conda有config方法直接加参数--add channels 地址就行了。这样就能避免在Windows系统中编辑配置文件的违和感了。我Conda用的是清华的镜像地址百度一下应该就有。这篇还是以介绍pip和virtualenv为主我能想到的大部分场景都尽量进行了说明如果有缺漏的地方可以直接留言提出来。链接
