昨天讲了爬虫入门的基础知识已经基本够用了,今天我们来写一个小爬虫实战一下,练练手。在这里说一下,访问的网站如果禁止爬虫抓取的话,那么我们就要加上头文件,来模拟浏览器抓取网页信息,但是有的网站并不禁止爬虫抓取,那么我们便可加可不加,加的话势必会影响爬虫抓取的速度,这里大家可以自由选择啦。

我初步的设想是抓抓学校老师们的靓照,给大家欣赏一下(奸笑),首先我们必须先访问一下学校的网站,看看教师简介在哪里,偷偷地复制一下网址,再看看源码,便可以着手写爬虫了,此处省取若干字……大家自行脑补,我还是直接上代码吧,Talk Is Cheap, Show Me The Code!

Read More

前几个礼拜接受了老师的要求给大家讲节课,本来说好了讲讲Python的GUI界面wxpython,但是wxpython只支持到了python2,说是出了个phoenix版本的可以支持python3,无奈找了半天也没找到,再加上自己对GUI实在也是无感,就放弃寻找了,恰巧有人讲了tkinter,于是我厚着脸皮跟老师说能不能换成爬虫或是web之类的,老师竟然同意啦,所以我就转战爬虫了,网上的python3爬虫教程之类的少的可怜,初学起来也确实是不容易,不是说他难,而是基本教程什么的都是python2,容易混起来,要是没有发现的话调试得都会发疯。因此我写下这篇文章,一来是给自己长点记性,二来也能分享给大家,大家一起学习进步。

Read More