Jsoup获取全国地区数据(省市县镇村) - liushaofeng.cn

标签: jsoup 地区 数据 | 发表时间:2015-10-14 02:28 | 作者:liushaofeng.cn
出处:

  最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的。各种度娘,各种谷歌,都没找到一个完整的数据。最后功夫不负有心人,总算找到一份相对来说比较完整的 数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来。

  上述博文中的内容还算丰富,博主是用的是php来实现的,作为2015年度编程语言排行榜的第一位,我们也不能示弱啊,下面我就带着大家一起来看看用java怎么从网页当中爬取我们想要的数据...

第一步、准备工作(数据源+工具):

  数据源(截止目前最全面权威的官方数据):http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/

  爬取数据的工具( 爬虫工具):http://jsoup.org/

第二 、数据源分析:

  首先jsoup工具的使用我在这里就不做讲解了,感兴趣的可以自己动手去查阅。

  做开发就应该多去了解一些软件工具的使用,在平常开发过程中遇到了才知道从何下手,鼓励大家多平时留意一些身边的软件工具,以备不时之需。在做这个东西以前,我也不知道jsoup要怎么用,但我知道jsoup可以用来干嘛,在我需要的用到的时候,再去查阅资料,自己学习。

 

  上述的数据源是2013年中华人民共和国国家统计局发布的,其准确性和权威性不言而喻。

  接下来我们分析一下数据源的结构,先从首页说起:   

  通过分析首页源码我们可以得到如下3点:

  1. 页面的整个布局是用的table标签来控制的,也就是说我们如果要通过jsoup来选择超链接,那么一定要注意,上图中不是只要标注了省市地区的地方采用的才是表格,整个页面中存在多个表格,因此是不可以直接通过表格
    Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
    Elements rowProvince = connect.select("table");

    来解析数据的。

  2. 页面中有超链接的部分有多少地方。可能是官方考虑到了你们这种程序员需要获取这样的数据的原因吧,页面很干净,除开下方的备案号是多余的超链接,其他的链接可以直接爬取。
  3. 省份城市的数据规律。包含有效信息的表格的每一行都有一个class属性provincetr,这个属性很重要,至于为什么重要,请接着往下看;每一行数据中存在多个td标签,每一个td标签中包含一个a超链接,而这个超链接正是我们想要的超链接,超链接的文本即使省份(直辖市等)的名称。

   

  再次我们再看一下一般的数据页面(一般的数据页面包括市级、县级、镇级这三级数据展示页面):

  之所以要把上述三个页面放在一起,是因为通过分析我们可以发现,这三级数据的数据页面完全一致,唯一不同的就是在html源码数据表格中的数据行tr的class属性不一致,分别对应为:citytr,countrytrhe towntr。其他均一致。这样我们就可以用一个通用的方法解决这三个页面的数据爬取。  

  

  最后看看村一级的数据页面:   

   在村一级的数据中,和上述市县镇的数据格式不一致,这一级所表示的数据是最低一级的,所以不存在a链接,因此不能采用上面市县镇数据的爬取方式去爬取;这里展示数据的表格行的class为villagetr,除开这两点以外,在每一行数据中包含三列数据,第一列是citycode,第二列是城乡分类(市县镇的数据格式不存在这一项),第三列是城市名称。

   把握了以上各个要点之外,我们就可以开始编码了。

第三步、编码实现: 

1 import java.io.BufferedWriter;
2 import java.io.File;
3 import java.io.FileWriter;
4 import java.io.IOException;
5 import java.util.HashMap;
6 import java.util.Map;
7
8
9 import org.jsoup.Jsoup;
10 import org.jsoup.nodes.Document;
11 import org.jsoup.nodes.Element;
12 import org.jsoup.select.Elements;
13
14 /**
15 * 全国省市县镇村数据爬取
16 * @author liushaofeng
17 * @date 2015-10-11 上午12:19:39
18 * @version 1.0.0
19 */
20 public class JsoupTest
21 {
22 private static Map<Integer, String> cssMap = new HashMap<Integer, String>();
23
24 static
25 {
26 cssMap.put(1, "provincetr");// 省
27 cssMap.put(2, "citytr");// 市
28 cssMap.put(3, "countytr");// 县
29 cssMap.put(4, "towntr");// 镇
30 cssMap.put(5, "villagetr");// 村
31 }
32
33 public static void main(String[] args) throws IOException
34 {
35 int level = 1;
36
37 // 获取全国各个省级信息
38 Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
39 Elements rowProvince = connect.select("tr." + cssMap.get(level));
40 for (Element provinceElement : rowProvince)// 遍历每一行的省份城市
41 {
42 Elements select = provinceElement.select("a");
43 for (Element province : select)// 每一个省份(四川省)
44 {
45 System.out.println(province.text());
46 parseNextLevel(province, level + 1);
47 }
48 }
49 }
50
51 private static void parseNextLevel(Element parentElement, int level) throws IOException
52 {
53 try
54 {
55 Thread.sleep(500);
56 } catch (InterruptedException e)
57 {
58 e.printStackTrace();
59 }
60
61 Document doc = connect(parentElement.attr("abs:href"));
62 Elements newsHeadlines = doc.select("tr." + cssMap.get(level));//
63 // 获取表格的一行数据
64 for (Element element : newsHeadlines)
65 {
66 printInfo(element, level + 1);
67 Elements select = element.select("a");
68 if (select.size() != 0)
69 {
70 parseNextLevel(select.last(), level + 1);
71 }
72 }
73 }
74
75 private static void printInfo(Element element, int level)
76 {
77 BufferedWriter bufferedWriter = null;
78 try
79 {
80 bufferedWriter = new BufferedWriter(new FileWriter(new File("F:\\CityInfo.txt"), true));
81 String str = element.select("td").last().text() + "{" + level + "}["
82 + element.select("td").first().text() + "]";
83 System.out.println(str);
84 bufferedWriter.write(str);
85 bufferedWriter.newLine();
86 bufferedWriter.flush();
87 } catch (IOException e)
88 {
89 e.printStackTrace();
90 } finally
91 {
92 if (bufferedWriter != null)
93 {
94 try
95 {
96 bufferedWriter.close();
97 } catch (IOException e)
98 {
99 e.printStackTrace();
100 }
101 bufferedWriter = null;
102 }
103 }
104 }
105
106 private static Document connect(String url)
107 {
108 if (url == null || url.isEmpty())
109 {
110 throw new IllegalArgumentException("The input url('" + url + "') is invalid!");
111 }
112 try
113 {
114 return Jsoup.connect(url).timeout(60 * 1000).get();
115 } catch (IOException e)
116 {
117 e.printStackTrace();
118 return null;
119 }
120 }
121 }

 数据爬取过程便是一个漫长的过程,只需要慢慢等待吧,呵呵....

 最终获取到数据的格式如下("{}"中表示城市级别,"[]"中内容表示城市编码):

市辖区{3}[110100000000]
东城区{4}[110101000000]
东华门街道办事处{5}[110101001000]
多福巷社区居委会{6}[110101001001]
银闸社区居委会{6}[110101001002]
东厂社区居委会{6}[110101001005]
智德社区居委会{6}[110101001006]
南池子社区居委会{6}[110101001007]
黄图岗社区居委会{6}[110101001008]
灯市口社区居委会{6}[110101001009]
正义路社区居委会{6}[110101001010]
甘雨社区居委会{6}[110101001011]
台基厂社区居委会{6}[110101001013]
韶九社区居委会{6}[110101001014]
王府井社区居委会{6}[110101001015]
景山街道办事处{5}[110101002000]
隆福寺社区居委会{6}[110101002001]
吉祥社区居委会{6}[110101002002]
黄化门社区居委会{6}[110101002003]
钟鼓社区居委会{6}[110101002004]
魏家社区居委会{6}[110101002005]
汪芝麻社区居委会{6}[110101002006]
景山东街社区居委会{6}[110101002008]
皇城根北街社区居委会{6}[110101002009]
交道口街道办事处{5}[110101003000]
交东社区居委会{6}[110101003001]
福祥社区居委会{6}[110101003002]
大兴社区居委会{6}[110101003003]
府学社区居委会{6}[110101003005]
鼓楼苑社区居委会{6}[110101003007]
菊儿社区居委会{6}[110101003008]
南锣鼓巷社区居委会{6}[110101003009]
安定门街道办事处{5}[110101004000]
交北头条社区居委会{6}[110101004001]
北锣鼓巷社区居委会{6}[110101004002]
国子监社区居委会{6}[110101004003]
......

拿到以上数据以后,自己想干什么都可以自我去实现了,以上的代码可以直接运行,从数据源爬取后,可以直接转换成自己所要的格式。

  

如果你觉得本博文对你有所帮助, 请记得点击右下方的"推荐"哦 ,么么哒...

 转载请注明出处:http://www.cnblogs.com/liushaofeng89/p/4873086.html


本文链接: Jsoup获取全国地区数据(省市县镇村),转载请注明。

相关 [jsoup 地区 数据] 推荐:

Jsoup获取全国地区数据(省市县镇村) - liushaofeng.cn

- - 博客园_首页
  最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的. 各种度娘,各种谷歌,都没找到一个完整的数据. 最后功夫不负有心人,总算找到一份相对来说比较完整的 数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来.

jsoup select 选择器

- - 编程语言 - ITeye博客
采用CSS或类似jquery 选择器(selector)语法来处理HTML文档中的数据. 利用方法: Element.select(String selector)和 Elements.select(String selector). Jsoup的元素支持类似CSS或(jquery)的选择器语法的查找匹配的元素,可实现功能强大且鲁棒性好的查询.

JSOUP实现简单爬虫

- - ITeye博客
这个说是简单爬虫 其实连个爬虫也算不上吧 功能太精简了.... 流程很简单: 输入几个初始的网页 然后通过JSOUP获取网页中的a标签的href的值. 接着把新得到的地址放入任务队列中. 实现中的worker是一个单线程的派发器 用于产生Parser. Parser用于完成网页的保存 网页的解析 以及入队列操作.

浅谈jsoup网页抓取技术

- - CSDN博客互联网推荐文章
        最近初步接触HTML的页面抓取技术,之前曾涉及较多的是XML解析,对于XML解析方法非常的多,使用dom4j是最方便的. HTML解析似乎用途会更多一些,对于HTML的页面解析却也不甚了解. 查了一些资料,了解到了jsoup页面解析技术,jsoup是一款java的HTML解析器,可以直接解析某个URL地址、HTML文本内容,它提供了一套非常省力的API,可通过DOM,CSS以及类似于jquery的操作方法来取出和操作数据.

使用JSoup解析HTML文件

- - Java译站
HTML是WEB的核心,互联网中你看到的所有页面都是HTML,不管它们是由JavaScript,JSP,PHP,ASP或者是别的什么WEB技术动态生成的. 你的浏览器会去解析HTML并替你去渲染它们. 不过如果你需要自己在Java程序中解析HTML文档并查找某些元素,标签,属性或者检查某个特定的元素是否存在的话,那又该如何呢.

使用 jsoup 对 HTML 文档进行解析和操作

- - 互联网旁观者
Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章,分别是: 从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力. 但现在我已经不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsoup.

jsoup使用选择器语法来查找元素

- - ITeye博客
jsoup elements对象支持类似于Jquery的选择器语法,来实现非常强大和灵活的查找功能. Element.select(String selector) 和. Elements.select(String selector) 方法实现:. 这个 select 方法在. Elements对象中都可以使用.

Jsoup-简单优雅的HTML dom解析工具

- - CSDN博客Web前端推荐文章
最近在做一个项目,需要在线从官网上下载选手的图片、名称信息,即做一个简易的网络爬虫,实时抓取最新官网选手数据. 在网上搜了很多开源工具,一开始试的是webharvest,搞了一个上午,终于被其奇怪的配置文件搞怕了,我就是想链接下载一个在线的HTML页面,然后解析其DOM元素,没有更好的工具吗. 终于,在google上找到了Jsoup,其官网( http://jsoup.org/)上的demo神奇的只有两句话.

[Android实例] 利用Jsoup解析Html实现的Android招聘信息大全

- - CSDN博客推荐文章
看到很多招聘网站都没有推出招聘信息客户端,想来利用现成的资源,解析他们网站上提供招聘信息,这里就利用了Jsoup来解析HTML中的数据,实现整理归纳,然后显示的一个程序,也算是一个学习的程序吧,这里,我们先看一下图片,以下就程序源码. 源码下载: 点击打开链接. 作者:kangkangz4 发表于2011-12-13 11:09:34 原文链接.

利用jsoup爬取百度网盘资源分享连接(多线程)

- - CSDN博客推荐文章
       突然有一天就想说能不能用某种方法把百度网盘上分享的资源连接抓取下来,于是就动手了. 知乎上有人说过最好的方法就是http://pan.baidu.com/wap抓取,一看果然链接后面的uk值是一串数字,就想到可以自己拼装链接,循环不断的去抽取页面. 于是自己分析了下页面结构,就开始了.