Java爬虫爬取360doc个人图书馆


这个网站还要强行注册不能忍!

然后我就用Jsoup把想要的爬下来了。


Document doc = Jsoup.connect("http://www.360doc.com/content/13/1210/01/1956846_335862874.shtml")
.data("query","Java").userAgent("Mozilla").cookie("auth", "token").timeout(3000).get();
Element ele= doc.getElementById("p");
String text = doc.body().text();
File file = new File("MyJsoup.txt");
if(file.exists()){
file.createNewFile();
}
FileWriter fw = new FileWriter(file.getName());
BufferedWriter bw = new BufferedWriter(fw);
bw.write(text);
bw.close();
System.out.println("Done");
最后代码就生成到项目下的MyJsoup.txt下了。

智能推荐

注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
© 2014-2019 ITdaan.com 粤ICP备14056181号  

赞助商广告