[原] java千万级别数据生成文件思路和优化

标签： java 千万 数据 | 发表时间：2012-04-16 20:55 | 作者：dyllove98
出处：http://www.blogjava.net/
     摘要: 一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去.
程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大，需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去，程序在这样的大数据量下面偶尔会有崩溃.   阅读全文

dyllove98 2012-04-16 20:55 发表评论

相关 [java 千万 数据] 推荐：

[原] java千万级别数据生成文件思路和优化

- - BlogJava-首页技术区
     摘要: 一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. 程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大，需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去，程序在这样的大数据量下面偶尔会有崩溃.   阅读全文.

java 数据存储 bit

- - zzm
大家都知道在Java 数据存储方式. 定1 int = 4 byte, 1 byte = 8 bit. 以此推理那么1个int在计算机中就是以4 * 8 = 32位(bit)的方式存储的. 内存大小为一个1G的空间，有 8*1024*1024*1024=8.58*10^9bit;85亿长度. 用1位来表示一个数据是否出现过，0为没有出现过，1表示出现过.

千万值表数据量优化

- - 数据库 - ITeye博客
1、利用工具进行数据插入、查询试验，目标是单表数据超过1000W条记录. 2、针对单个表创建单独的数据存储空间和索引存储空间. 1 数据插入与数据量大小无关，与数据表是否在大量并行操作有关. 2 数据查询与表的数据存储空间有很大关系，数据量大的表建议单独创建数据存储空间和索引存储空间. 3 数据查询结果集的大小与查询性能有很大关系，如在普通索引下，查询结果大与小耗时差别接近1000倍以上.

通过Java程序获取Dynatrace数据

- - Taobao QA Team
“dynaTrace Ajax是一个详细的底层追踪工具，它不仅可以显示所有请求和文件在网络中传输的时间，还会记录浏览器Render、CPU消耗、JavaScript解析和运行情况等详细的信息，而这些也只是dynaTrace Ajax的冰山一角. showslow平台同样采集了dynatrace的数据，所以做为kelude平台前端页面测试组件，同样要支持dynatrace数据的获取，该代码由云晰同学编写维护：.

JSON与JAVA的数据转换

- - BlogJava_首页
本文介绍如何使用JSON-lib这个Java类包实现Java的数据转换. 通过此类包可以把bean，map和XML转换成JSON并能够把JSON转回成bean和DynaBean. JSON-lib这个Java类包用于把bean,map和XML转换成JSON并能够把JSON转回成bean和DynaBean.

java解析xml数据---sax解析器

- - ITeye博客
下面是handler解析数据的方法. private HashMap map = null;// 存储单个解析的完整对象. private List> list = null;// 存储全部的解析对象. private String currentTag = null; // 正在解析的元素的标签.

JAVA操作HBASE数据操作详解

- -
Hbase对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入default表空间. 对于数据操作，HBase支持四类主要的数据操作，分别是：. Put ：增加一行，修改一行；. Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等；.

使用Java基于数据流直接抽取ppt文本

- - 脚本爱好者
如下代码是直接基于数据流进行文本抽取，支持powerpoint97-powerpoint2003版本，之后的版本实际都是xml，抽取文本非常简单，因此在此处不再说明，代码仅供研究学习使用，禁止用于商业用途.

使用Java基于数据流直接抽取word文本

- - 脚本爱好者
如下代码是直接基于数据流进行文本抽取，支持word97-word2003版本，之后的版本实际都是xml，抽取文本非常简单，因此在此处不再说明，代码仅供研究学习使用，禁止用于商业用途.

使用Java基于数据流直接抽取excel文本

- - 脚本爱好者
如下代码是直接基于数据流进行文本抽取，支持excel97-excel2003版本，之后的版本实际都是xml，抽取文本非常简单，因此在此处不再说明，代码仅供研究学习使用，禁止用于商业用途.