scrapy入门之后怎么进阶呢？这篇阅读需十五分钟！神级程序员强推

scrapy引擎。顾名思义，它负责调用爬虫爬取页面并将数据交给管道来处理。

调度程序。调度程序从引擎获取请求，然后将这些请求交给相应的处理者来处理。

下载器。下载器负责获取web页面，然后将它们交给引擎来处理。

爬虫。这是我们要编写的部分，爬虫负责从页面抽取要处理的数据，然后交由管道来处理。

项目管道。爬虫抽取出来的数据，就要交给管道来处理，我们可以编写自己的管道来清洗、验证和持久化数据。

下载器中间件。下载器中间件在下载器和scrapy引擎之间工作，我们可以利用下

想读更多 ->

Tornado异步原理详析！企业程序员详解！Tornado为什么这么火？

Tornado是什么？

Tornado是一个用Python编写的异步HTTP服务器，同时也是一个web开发框架。

Tornado 优秀的大并发处理能力得益于它的 web server 从底层开始就自己实现了一整套基于 epoll 的单线程异步架构。小编推荐大家加一下这个群：103456743这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门料资料web开发 爬虫资料一整套！是个非常好的学习交流地方！也有程序员大神给大家热心解答各种问题！很快满员了。欲进从速哦！各种PDF等你来下载！全部都是免费的哦！所以小编在群里等你们过来一起交流学习呢！

想读更多 ->

多线程为什么会说是鸡肋？但是企业还是用它呢？企业程序员详解！

1.线程如何同步

1).若主程序创建了一个线程之后，启动线程start().线程的一个关键特性是每个线程都是独立运行且状态不可预测

我们希望线程启动运行后，线程内部运行到某种情况的时候，主程序才执行

比如程序中的其他线程需 要通过判断某个线程的状态来确定自己下一步的操作小编推荐大家加一下这个群：103456743这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门料资料web开发 爬虫资料一整套！是个非常好的学习交流地方！也有程序员大神给大家热心解答各种问题！很快满员了。欲进从速哦！各种PDF等你来下载！全部都是免费的哦！所以小编在群里等你们过来一起交流学习呢！

这时线程同步问题就会变得非常棘手，怎么破，很简单，利用线程threading.Event(),来设置信号量来控制。

想读更多 ->

内置模块与第三方库的使用

写在最前:

Python的厉害之处就不多说了，在机器学习的技能图谱中，Python属于地基层面。为此，多花些时间，把Python基础打牢固，是为将来的职业路径中走得更远更稳。

该Python基础笔记是七月学员clownfish对机器学习集训营一期中Python部分的整理，共分为四篇，1. Python环境配置及基础数据类型，2. 控制循环,与函数，3.面向对象，4.内置模块(os,文件，正则等)与第三方库(requests等)的应用

Built-in Function内置函数(bif)

IO相关操作

一、 open函数

(一) 读文件

打开文件的模式:

r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。

w打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。

wb以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。

想读更多 ->

如何学习新的编程语言？【浙江优就业】

【浙江优就业导读】我们虽然都倡导程序员们精通一门编程语言即可，术业有专攻。但是在一些特殊情况下，则需要程序员也掌握新的编程语言。浙江优就业小U老师与大家一起来看一下学习心得编程语言方法有哪些！

1. 阅读语言的官方文档。如果希望在使用之前吸收大量信息，从阅读语言的参考资料中可能会受益。不用担心它们会对你催眠，参考文献通常是用于查找使用，而不是用来记忆。

2. 将其与类似的语言进行比较。当你首次观看有关该语言的第一个教程或阅读代码时，请尝试猜测该语言的每个部分将会做什么，并检查你的判断是否正确。

如果记笔记可以帮助你整合信息，请拿起一张纸并记下三个列表：

看起来很熟悉的东西，并且做了预期中的事；看起来很熟悉的东西，但做了意料之外的事；看起来完全是新的东西。

例如，如果我用来自 Python 和 C 背景的 Rust 代码进行此练习，那么在第一个列表中，我会放上用于表示范围的花括号，!(看起来像是布尔类型的 非，但实际上是 Rust 中的宏定义)则放在第二

想读更多 ->

这个爬虫很厉害！神级程序员手把手写前后端爬取内容并生成网站！

效果

利用python爬虫爬取了自己的所有收藏夹，利用flask做后端api和vuejs做前端显示，前后端分离，实现效果如下！小编也带个吧!小编推荐大家加一下这个群：103456743这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门料资料web开发 爬虫资料一整套！是个非常好的学习交流地方！也有程序员大神给大家热心解答各种问题！很快满员了。欲进从速哦！各种PDF等你来下载！全部都是免费的哦！所以小编在群里等你们过来一起交流学习呢！

想读更多 ->

如何让自己get一个新技能！

最近一段时间比较忙碌，但也过得很充实，过去一周因为工作上的原因，本人开始自学Python，并用Python编写了一个小程序，虽然界面很丑、功能也比较简单，但是确实是帮我减少了在数据整理上花费的时间，提高了工作效率。在这个人人都在学习新技能，提升自己能力的环境中，想要获得更好的待遇，必须的具备别人没有掌握的能力，时时充电，尽可能多的给自己增加新技能。

一、确定学习的动力。当人肚子饿了时，第一反应是吃东西，紧迫程度取决于人的饥饿程度，越是饥饿吃东西的欲望就越强，欲望越强行动能力也会越强。因此学习一个新技能时，一定要明确自己的学习动力，告诉自己为什么要学，能给自己带来什么好处。

PHP 7.2中的新安全特性

PHP 7.2版本提供了多项安全改进：

1. 用于安全散列密码的Argon2算法解决了当前算法的不足之处，它是针对最高内存填充率而设计的。

2. 现在，用于认证加密的Libsodium密码库是一个核心扩展，还提供高速椭圆密码术。

3. SSL / TLS(安全套接字层/传输层安全性)常量得到了改进。

4. Mcrypt密码库扩展已被删除。PHP的开发人员已经表示，Mcrypt抑制了PHP语言的发展，并充当了“弃用软件”的角色。

PHP 7.2改进了编程功能

PHP 7.2有几个新增的编程功能：

1. 在对象/数组转换中，数字键转换解

想读更多 ->

Yii框架和Vue的完美结合完成前后端分离项目

背景说明

本文假设你对Yii和Vue都比较熟悉，至少都在项目里用过，另外笔者新人，以后不定时放一些干货，欢迎程序媛关注

Yii是一个PHP全端框架，典型的mvc的项目结构，后端接口都是一个控制器里放了很多的action，每个action都是一个接口，可以返回JSON，也可以render出一个html5页面，这些页面就是mvc的view，结构紧凑强耦合。

Vue是一个前端框架，主要思想就是SPA（单页面应用），组件化开发是其根本目的。

这两者怎么去结合使用才能达到工程的最易开发和最易维护是一个很值得思考的问题，小编结合项目需求，设计了一套利用这两者来构建前后端分离项目的架构

看一下项目目录的样子

这里有bapp、bmanager、bshare等等多个项目，每个项目里的文件结构是这样的

想读更多 ->