nodejs的爬虫框架superagent


当前第2页 返回上一页

  有了指定目录之后,可以写入数据了,txt文件的内容已经有了,直接写入就可以了使用writeFile()

1

2

3

4

//将文字内容存入txt文件中

function saveContent() {

  fs.writeFile('./content/content.txt',content.toString());

}

  取到了图片的链接,所以需要再使用superagent下载图片,存在本地。superagent可以直接返回一个响应流,再配合nodejs的管道,直接把图片内容写到本地

1

2

3

4

5

6

7

8

9

10

11

12

//下载爬到的图片

function downloadImg() {

  imgs.forEach((imgUrl,index) => {

    //获取图片名

    let imgName = imgUrl.split('/').pop();

    //下载图片存放到指定目录

    let stream = fs.createWriteStream(`./imgs/${imgName}`);

    let req = request.get('https:' + imgUrl); //响应流

    req.pipe(stream);

    console.log(`开始下载图片 https:${imgUrl} --> ./imgs/${imgName}`);    

  } )

}

效果  

  执行下demo,看下效果,数据已经正常爬下来了

  非常简单的一个demo,可能也没有那么严谨,不过总是走出了node的第一小步。

相信看了本文案例你已经掌握了方法,更多精彩请关注php中文网其它相关文章!

推荐阅读:

H5的语义化标签

H5读取文件并上传到服务器的方法

html5怎么实现图片转圈的动画效果

以上就是nodejs的爬虫框架superagent的详细内容,更多文章请关注木庄网络博客

返回前面的内容

相关阅读 >>

javascript分号规则的知识介绍(附示例)

javascript sqrt方法怎么用

javascript高阶函数的用法介绍

javascript算后端么

定义javascript数组的方法有哪些

javascript如何定义方法

javascript的超集是什么

快速入门createjs实例教程

javascript怎么对url进行编码转换

javascript中求最大值语句是什么

更多相关阅读请进入《superagent》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...