84°

linux中使用wget抓取网页

如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢,常规的我们肯定是要去下载一个软件下来使用啦,可怜的这两个系统总是找不到相应的工具,这时wget出来帮助你啦!!!wget本身是拿来下载东西的,但远不止那么简单,wget是一把强大利器。

 

wget -c -r -npH -k http://www.baidu.com

  

参数说明

-c:断点续传
-r:递归下载
-np:递归下载时不搜索上层目录
-nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-p:下载网页所需要的所有文件(图片,样式,js文件等)
-H:当递归时是转到外部主机下载图片或链接
-k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了
ls

然后生成了index.html文件

将index.html移动到/var/www/html/

需要提前安装httpd服务并关闭防火墙

然后打开浏览器输入目标IP

 

原文链接:https://www.cnblogs.com/fusheng11711/p/10906435.html

全部评论: 0

    我有话说: