Go语言爬取百度贴吧内容 |
您所在的位置：网站首页 › 爬取百度贴吧 › Go语言爬取百度贴吧内容 |
Go语言爬取百度贴吧内容
|
网站爬取最重要的是分析网站内容以及爬取方式，可以参考以下几点： 1.明确爬取目标：百度贴吧的王者荣耀贴吧（进入百度贴吧搜索王者荣耀），如下：
分析网站中下一页的设置，如何跳转到下一页，爬取下一页的内容（注意上方的网址链接变化），如下：
点击页末的页面跳转链接，寻找链接变化的规律： 第一页变化如下：
第二页：
第三页：
第一页链接末尾是0，后续页面基本是前面页面的+50 第1页链接： https://tieba.baidu.com/f?kw=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&ie=utf-8&cid=&tab=corearea&pn=0第2页链接： https://tieba.baidu.com/f?kw=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&ie=utf-8&cid=&tab=corearea&pn=50第3页链接： https://tieba.baidu.com/f?kw=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&ie=utf-8&cid=&tab=corearea&pn=100第4页链接： https://tieba.baidu.com/f?kw=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&ie=utf-8&cid=&tab=corearea&pn=150 3.爬取内容： //爬取网页内容 func HttpGet(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err = err1 return } defer resp.Body.Close() //读取网页body内容 buf := make([]byte, 1024*4) for { n, err := resp.Body.Read(buf) if n == 0 { //读取结束，或者出问题 fmt.Println("resp.Body.Read err = ", err) break } result += string(buf[:n]) } return }4.处理数据 将数据写入文件： //把爬取的内容写入一个文件 fileName := strconv.Itoa(i) + ".html" f, err1 := os.Create(fileName) if err1 != nil { fmt.Println("os.Create err1 = ", err1) continue } f.WriteString(result) //写内容 f.Close() //关闭文件 完整的代码： package main import ( "fmt" "net/http" "os" "strconv" ) //爬取网页内容 func HttpGet(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err = err1 return } defer resp.Body.Close() //读取网页body内容 buf := make([]byte, 1024*4) for { n, err := resp.Body.Read(buf) if n == 0 { //读取结束，或者出问题 fmt.Println("resp.Body.Read err = ", err) break } result += string(buf[:n]) } return } func DoWork(start, end int) { fmt.Printf("正在爬取%d到%d的页面", start, end) //明确目标（要知道你准备在哪个范围或者网站上搜索） //https://tieba.baidu.com/f?kw=王者荣耀&ie=utf-8&cid=&tab=corearea&pn=0 //下一页要+50 //迭代爬取内容 for i := start; i |
【本文地址】
今日新闻 |
推荐新闻 |