一个简易的URL爬虫程序（java）

该程序是一个简单的Java程序，用于从指定的URL中获取网页内容并保存到本地文件。通过URL类打开指定的URL链接，并使用openStream()方法获取输入流。然后使用Scanner类读取输入流中的内容，并使用PrintWriter类将读取到的内容写入到本地文件中。

在该程序中，程序打开了腾讯新闻(https://news.qq.com/)，并将网页内容保存为qq.html文件。

 

import java.io.BufferedInputStream;
import java.io.FileWriter;
import java.io.InputStream;
import java.io.PrintWriter;
import java.net.URL;
import java.util.Scanner;public class SimpleUrlCrawler {public static void main(String[] args) {try {// 创建URL对象，指定要抓取的网页地址URL url = new URL("https://news.qq.com/");// 打开URL连接获取输入流InputStream input = url.openStream();// 使用缓冲输入流包装输入流，提高读取效率Scanner cin = new Scanner(new BufferedInputStream(input));// 创建PrintWriter对象，用于写入文件PrintWriter cout = new PrintWriter(new FileWriter("qq.html"));// 逐行读取输入流中的内容，并写入文件while (cin.hasNextLine()) {cout.println(cin.nextLine());}// 关闭输入流、输出流input.close();cin.close();cout.close();} catch (Exception e) {// 处理异常e.printStackTrace();}}}