java爬虫Demo

一个简单的java爬虫Demo。

package com.lezhi;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class PaChongTest {
    public void test（） {
        try {
            String url = “http://www.52duzhe.com/2017_01/index.html“;
            Document doc = Jsoup.connect（url）.get（）;
            //获得文章标题
            Elements main = doc.getElementsByClass（“main clearfix“）;
            Elements link = main.select（“a[href]“）;
            for （Element hr : link） {
                String href = hr.attr（“abs:href“）;
                Document inDoc = Jsoup.connect（href）.get（）;
                Elements inMain = inDoc.getElementsByClass（“blkContainer“）;
                Elements h1 = inMain.select（“h1“）;
                Elements artI

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-07-26 10:39  paChongTest\
     目录           0  2018-07-26 16:35  paChongTest\.idea\
     目录           0  2018-07-26 10:16  paChongTest\.idea\inspectionProfiles\
     文件         388  2018-07-26 10:16  paChongTest\.idea\inspectionProfiles\Project_Default.xml
     文件         273  2018-07-26 10:16  paChongTest\.idea\misc.xml
     文件         262  2018-07-26 10:16  paChongTest\.idea\modules.xml
     文件       19007  2018-07-26 16:35  paChongTest\.idea\workspace.xml
     目录           0  2018-07-26 10:19  paChongTest\lib\
     文件      395748  2018-07-26 10:16  paChongTest\lib\jsoup-1.11.3.jar
     目录           0  2018-07-26 10:39  paChongTest\out\
     目录           0  2018-07-26 10:39  paChongTest\out\production\
     目录           0  2018-07-26 11:23  paChongTest\out\production\paChongTest\
     目录           0  2018-07-26 11:23  paChongTest\out\production\paChongTest\com\
     目录           0  2018-07-26 15:25  paChongTest\out\production\paChongTest\com\lezhi\
     文件        3540  2018-07-26 15:06  paChongTest\out\production\paChongTest\com\lezhi\1.jsp
     文件        2676  2018-07-26 15:25  paChongTest\out\production\paChongTest\com\lezhi\PaChongTest.class
     文件        2468  2018-07-26 14:16  paChongTest\out\production\paChongTest\com\lezhi\ZhiHuTest.class
     文件         657  2018-07-26 10:19  paChongTest\paChongTest.iml
     目录           0  2018-07-26 10:17  paChongTest\src\
     目录           0  2018-07-26 10:17  paChongTest\src\com\
     目录           0  2018-07-26 15:25  paChongTest\src\com\lezhi\
     文件        3540  2018-07-26 15:03  paChongTest\src\com\lezhi\1.jsp
     文件        2012  2018-07-26 15:25  paChongTest\src\com\lezhi\PaChongTest.java
     文件        1852  2018-07-26 14:16  paChongTest\src\com\lezhi\ZhiHuTest.java