上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源 【深入浅出】 |
您所在的位置：网站首页 › 爬取淘宝数据代码 › 上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源 【深入浅出】 |
|
难道爬虫只能用 python 做？ 不，我们上天的 Node.js 也可以做！ 需要准备的包 Node.js的最新版本 下载地址 Node.js官网 npm 包管理器下载 下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应的js文件内运行命令行工具 npm i puppeteer -D 即可爬虫在获取某些有保护机制的网页时可能会失效 初入江湖 -自在地境篇const puppeteer = require('puppeteer'); // 引入依赖 (async () => { //使用async函数完美异步 const browser = await puppeteer.launch(); //打开新的浏览器 const page = await browser.newPage(); // 打开新的网页 await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页 const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址 let arr = []; //这个箭头函数内部写处理的逻辑 const imgs = document.querySelectorAll('img'); imgs.forEach(function (item) { arr.push(item.src) }) return arr }); // '此时的result就是得到的爬虫数据，可以通过'fs'模块保存' })() 复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了这个 puppeteer 的包 ，其实是替我们开启了另一个浏览器，重新去开启网页，获取它们的数据。 潇洒入世 -逍遥天境篇上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有 标签对应的跳转网页中的所有 title的文字内容，最后放到一个数组中。 我们的async函数上面一共分了五步， 只有 puppeteer.launch() ,browser.newPage(), browser.close() 是固定的写法。 page.goto 指定我们去哪个网页爬取数据，可以更换内部url地址，也可以多次调用这个方法。 page.evaluate 这个函数，内部是处理我们进入想要爬取网页的数据逻辑 page.goto和 page.evaluate两个方法，可以在async内部调用多次，那意味着我们可以先进入京东网页，处理逻辑后，再次调用page.goto这个函数， 注意，上面这一切逻辑，都是puppeteer这个包帮我们在看不见的地方开启了另外一个 浏览器，然后处理逻辑，所以最终要调用browser.close()方法关闭那个浏览器。 这时候我们对上一篇的代码进行优化，爬取对应的资源。 const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://www.jd.com/'); const hrefArr = await page.evaluate(() => { let arr = []; const aNodes = document.querySelectorAll('.cate_menu_lk'); aNodes.forEach(function (item) { arr.push(item.href) }) return arr }); let arr = []; for (let i = 0; i < hrefArr.length; i++) { const url = hrefArr[i]; console.log(url) //这里可以打印 await page.goto(url); const result = await page.evaluate(() => { //这个方法内部console.log无效 return $('title').text(); //返回每个界面的title文字内容 }); arr.push(result) //每次循环给数组中添加对应的值 } console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地 await browser.close() })()上面有天坑 page.evaluate函数内部的console.log不能打印，而且内部不能获取外部的变量,只能return返回， 使用的选择器必须先去对应界面的控制台实验过能不能选择DOM再使用，比如京东无法使用querySelector。这里由于 京东的分界面都使用了jQuery，所以我们可以用jQuery，总之他们开发能用的选择器，我们都可以用，否则就不可以。 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |