【Python】Python写的简单爬虫,抓取视频信息

您所在的位置:网站首页 shell手册下载 【Python】Python写的简单爬虫,抓取视频信息

【Python】Python写的简单爬虫,抓取视频信息

#【Python】Python写的简单爬虫,抓取视频信息| 来源: 网络整理| 查看: 265

闲来无事,动手写个爬虫程序吧,虽然不是第一次写爬虫程序了,可是这么正经的写一个爬虫程序还真的是“第一次”呢!知道写的还有很多不足,希望多提意见,我好虚心接受,并修正我的爬虫程序,谢谢!这个是我的爬虫源码存放处代码目录结构 dytt:爬虫相关操作 httpreq:网页相关操作 mysqldat: mysql数据库相关操作 rules:是爬虫提取网页信息的Xpath规则 ualib:由于自动生成UA的那个模块用不成了,我就自己写了一个随机UA的文件(可能是我网络状态不太好,反正我一直获取不到那个随机UA的json文件)main.py: 程序的入口 moviespider.sql: 这个是我建库的SQL文件

这次用到的技术有: Xpath, 正则表达式(用的并不多,我记得只有一个地方用到了), Python对MySQL数据库的操作, 暂时就想到这么多,对于我来说这次爬虫的编写,我对Xpath和Python对MySQL数据库的操作更加深刻了,我在这个爬虫程序中加入了日志功能。 闲叙:

日志模块是我自己写的功能,这个程序中为什么要强调这个呢?因为我不太喜欢调用太多模块命令,虽然这样写程序变简单了,但是这样学不到东西,我还是很喜欢自己琢磨一些东西的!

最近我还在研究改进这个程序:怎样增量抓取视频信息??欢迎讨论或者赐教(那就最好了)多谢观看!


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3