zookeeper+dubbo+dubbo管理集群的简要配置[单机] - goliathray的专栏 - 博客频道 - CSDN.NET

考虑到单机部署运行，在此文档中RegisterGroup 是单例的Zookeeper，部署集群模式的registerGroup请参考Zookeeper集群 http://wenku.baidu.com/view/641998d649649b6648d747a7.html

代码下载[不含 app的lib]http://download.csdn.net/detail/goliathray/5048969

需要的工具 eclipse tomcat

ProviderGroup：可以存在多个ProviderGroup，每个Group由多台Node组成，每个Node需要保证以下配置

1. 采用相同的application name

2. 保证provider的连接地址互不相同（在单机上部署多个provider需要保证端口不同）

3. 注册中心地址一致

ConsumerGroup：可以存在多个ConsumerGroup，每个Group由多台Node组成，每个Node需要保证能网络连接到所需业务的Provider并保证以下配置

1. 采用相同的application name

2. 注册中心地址一致

ProviderNode可以作为ConsumerNode调用别的ProviderGroup组的业务，相对的ConsumerNode也可以作为ProviderNode

RegisterGroup：注册中心组作为服务调用的分配者，每个RegisterNode监听除自身以外所有节点是否存活和健康（包括其RegisterGroup），本文档以Zookeeper单例部署为例子说明。

DubboAdmin：管理节点，可选节点，只作为一个管理者和观察者。

部署说明：

1. 在Eclipse中引入DubboConsumerNode1 - 3 和DubboProviderNode1 -3 共6个项目

2. 将DubboAdmin中的文件复制到apache-tomcat\webapps\ROOT下

3. Zookeeper已经做了基础配置，只需在 \zookeeper-3.4.4\bin启动 zkServer.cmd

Zoo.cfg配置说明

#tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 毫秒时间就会发送一个心跳。

tickTime=2000

#dataDir：Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。

dataDir=/tmp/zookeeper

#dataLogDir:日志文件保存的位置（未配置）

dataLogDir=/tmp/zookeeper/log

#clientPort：这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

clientPort=2181

#initLimit：这个配置项是用来配置 Zookeeper接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

#当已经超过 10 个心跳的时间（也就是tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

initLimit=10

启动顺序：

这个部署并不严格要求启动的前后顺序，建议启动顺序

1. 启动Zookeeper ，显示

2. 启动Tomcat，若先启动Tomcat则会一直监听Zookeeper服务是否启动，当Zookeeper启动后才会加载完成，启动完成后访问127.0.0.1:8080，以root/root 登陆，显示

3. 启动Provider，在eclipse中找到Provider1-3.java,直接运行main方法，每启动一个节点，显示

同时在提供者列表中会增加一个节点信息

3个Provider全启动后

4. 启动Consumer, 在eclipse中找到Consumer1-3.java,直接运行main方法，每启动一个节点，可以见到console有输出

在Provider的Console中有显示

同时在消费者列表有新增节点信息

3个Consumer全启动后

节点的异常：

ProviderNode异常：当某台ProviderNode宕机后，Register无法再获取此Provider的信息，但是在进行initLimit个心跳连接之前，Register会认为这个Node只是暂时出错，并不会把他剔除出Provider的列表，Consumer的调用会报错（在未配置容错的情况下），某台Consumer可能会显示

但是在经过initLimit次的心跳后，此节点会被剔除出Provider列表，访问恢复

ConsumerNode异常：除非存在P-C-P的循环，不会对此部署产生影响，在经过initLimit次的心跳后，在Consumer列表中被剔除

RegisterNode异常：参考Zookeeper集群异常

异常恢复：对于每个ProviderNode和ConsumerNode，只需要重启动后连接上Register，既可以恢复原有的服务状态。

DubboAdmin管理：

DubboAdmin本身的配置采用的是文件的方式保存配置信息，配置的结果信息会由各个节点保存到临时文件，以保证在重启服务后恢复到原有状态

权重负载均衡：默认采用的是随机权重的负载均衡，对于第一次加载的Provider服务，权重为100，服务的访问率为（节点服务权重/服务重权重）*100%，可以通过增减权重的方式改变节点的访问几率，在对1号节点增加4倍权重后，1号节点的访问概率变为66.7%，可以在3个Provider节点的Console中看到信息的增幅速度明显改变，1号节点的速度远大于其他2个节点。

自定义的负载均衡：可以新增负载均衡的规则，优先于默认的负载均衡，有随机，伦循，按最小并发3种规则，可以细化到方法。

消费者的容错：在Provider端出现异常时，可以默认返回一个容错值，默认为Null，可以自己配置，通过对Provider的Service设置mock类

启动容错后若Provider端出错，返回Null，优先于禁用

可以看到Consumer的Console报错

消费者的禁用：对于ConsumerNode，禁用后则不能访问任何Provider

若设置了容错，则返回NULL

若无容错，则返回调用异常

恢复后显示数据可以正常访问

提供者的禁用：禁止此Provider提供服务，（对下次启动生效），在重启动这个服务后显示

服务无法被访问，在点击启用后服务恢复

阅读全文……

标签 : soa

发表评论

IT瘾于2014年12月26日上午12时21分00秒发布 #

向oracle中导入导出 *.csv文件 - Eolande - 博客园

在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中
2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from A@dblink where ...
3. exp A 表，再 imp 到 B 表，exp 时可加查询条件
4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显

第 1 种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

1 alter table B nologging; 

2 

3 insert /* +APPEND */ into B(c1,c2) values(x,xx); 

4 insert /* +APPEND */ into B select * from A@dblink where .....;

5

好啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle 的 Sql Loader (sqlldr) 的用法。

在命令行下执行 Oracle 的 sqlldr 命令，可以看到它的详细参数说明，要着重关注以下几个参数：

userid -- Oracle 的 username/password[@servicename]
control -- 控制文件，可能包含表的数据
-------------------------------------------------------------------------------------------------------
log -- 记录导入时的日志文件，默认为控制文件(去除扩展名).log
bad -- 坏数据文件，默认为控制文件(去除扩展名).bad
data -- 数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作
errors -- 允许的错误记录数，可以用他来控制一条记录都不能错
rows -- 多少条记录提交一次，默认为 64
skip -- 跳过的行数，比如导出的数据文件前面几行是表头或其他描述

还有更多的 sqlldr 的参数说明请参考：sql loader的用法。

用例子来演示 sqlldr 的使用，有两种使用方法：

1. 只使用一个控制文件，在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL *Plus 的 spool 格式化产出，或是 UTL_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。

首先，假定有这么一个表 users，并插入五条记录：

insert into users values(1,'Unmi',3,sysdate); 

insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD')); 

insert into users values(3,'隔叶黄莺',8,to_date('2009-01-02','YYYY-MM-DD')); 

insert into users values(4,'Kypfos',NULL,NULL); 

insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));

第二种方式：使用一个控制文件(作为模板) 和一个数据文件

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：

"   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"

"1","1","Unmi","3","2009-1-5 20:34:44"

"2","2","","5","2008-10-15"

"3","3","隔叶黄莺","8","2009-1-2"

"4","4","Kypfos","",""

"5","5","不知秋","1","2008-12-23"

2) 建立一个控制文件 users.ctl，内容如下：

 
说明：在操作类型 truncate 位置可用以下中的一值：

1) insert     --为缺省方式，在数据装载开始时要求表为空

2) append  --在表中追加新记录

3) replace  --删除旧记录(用 delete from table 语句)，替换成新装载的记录

4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录

3) 执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。

执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。

第一种方式，只使用一个控制文件在这个控制文件中包含数据

1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题，把数据处理了一下。此时，完整的 users.ctl 文件内容是：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行 

LOAD DATA 

INFILE *  -- 因为数据同控制文件在一起，所以用 * 表示 

append    -- 这里用了 append 来操作，在表 users 中附加记录  

INTO TABLE users 

when LOGIN_TIMES<>'8'  -- 还可以用 when 子句选择导入符合条件的记录 

Fields terminated by ","

trailing nullcols 

( 

  virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号 

  user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值 

  user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理 

  login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符 

  last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL 

) 

BEGINDATA --数据从这里开始 

   ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN 

1,1,Unmi,3,2009-1-5 20:34 

2,2,Fantasia,5,2008-10-15 

3,3,隔叶黄莺,8,2009-1-2 

4,4,Kypfos,NULL,NULL

5,5,不知秋,1,2008-12-23

2) 执行一样的命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

比如，在控制台会显示这样的信息：

C:\>sqlldr dbuser/dbpass@dbservice control=users.ctl

SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

达到提交点，逻辑记录计数4
达到提交点，逻辑记录计数5

上面的控制文件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义。还能由此发掘更多用法。

最后说下有关 SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)

2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true
sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true
sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true

当加载大量数据时（大约超过10GB），最好抑制日志的产生：

SQL>ALTER   TABLE   RESULTXT   nologging;

这样不产生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable，此选项必须要与DIRECT共同应用。

在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。

参考：1. Oracle SQL*Loader -- 英文，Sql Loader 的官方使用说明，包含多种类型的 Demo
        2. sql loader的用法 -- 列出了 sql loader 的选择参数的中文说明
        3. 使用SQL Loader导入大量数据，避免使用SQL频繁写库 -- 一个简单的例子，快带了解 Sql Loader 的用法
        4. Oracle SQL Loader的详细语法
        5. oracle sql loader全攻略 -- 还算名符其实。并讲了如何用 SQL *Plus 的 spool 或 UTL_FILE 包生成数据文件
        6. SQL*Loader Control File Reference   -- 英文，控制文件使用参考
        7. 学习oracle sql loader 的使用
        8. 用sqlloader(sqlldr)装载LOB数据 -- LOB 的内类是一个外部文件，用 sql loader 导入到数据库
        9. SQLLDR直接加载几个参数的测试
        10.Maximizing SQL*Loader Performance

spool方法

导出数据时，如果用plsql导，数据的记录如果太大，速度慢的影响就会很明显，我们可以用spool方法。

spool常用的设置
set colsep' ';　　　 //域输出分隔符
set echo off;　　　　//显示start启动的脚本中的每个sql命令，缺省为on
set feedback off;　　//回显本次sql命令处理的记录条数，缺省为on
set heading off;　　 //输出域标题，缺省为on
set pagesize 0;　　　//输出每页行数，缺省为24,为了避免分页，可设定为0。
set termout off;　　 //显示脚本中的命令的执行结果，缺省为on
set trimout on;　　　//去除标准输出每行的拖尾空格，缺省为off
set trimspool on;　　//去除重定向（spool）输出每行的拖尾空格，缺省为off

以下是我的例子：第一步是写一个sql的文件，里面是spool的各种配置信息

$ cat test_spool.sql
set feedback off
set heading off
set termout off
set pagesize 0
set linesize 150
set verify off
set echo off
spool /home/test/test_spool_out_file.sql --spool输出的文件
select field1||'|'||field2 from test_spool;
spool off

第二步是写一个脚本，包括有连接的数据库信息等，例子如下：

$ cat test_spool.sh
/home/oracle_app/bin/sqlplus test_user/test_pass << eof
@/home/test/test_spool.sql
exit;
eof

第三步是曾加test_spool.sh的执行权限，并执行test_spool.sh

$ chmod +x test_spool.sh

$./test_spool.sh

这里只介绍了spool的一种用法，另外还有其他的方法和设置，不过从网上的介绍来看，这个方法是比较好的，另外的方法的的主要区别是在sql语句的写法上，还增加了域分隔符的设置而已，出错概率高一些。

参考：Oracle spool 用法小结http://www.diybl.com/course/7_databases/oracle/oraclejs/2008918/143288.html

http://fanzf24.blog.163.com/blog/static/33127648200912411428325/

阅读全文……

标签 : bi, database

发表评论

IT瘾于2014年12月25日下午10时53分00秒发布 #

【log4jdbc】log4jdbc日志框架介绍_梁小坏Leo_新浪博客

配置方法

1.导入log4jdbcjar

JDK1.4 JDK1.5 选择 log4jdbc3-1.2.jar
JDK1.6 JDK1.7 选择 log4jdbc4-1.2.jar

2.导入SLF4J的jar
下载最新SLF4J
http://www.slf4j.org/download.html

下载之后将得到2个jar文件，导入项目classpath

3.修改你的项目的JDBC驱动

Driver Class                                             数据库类型
oracle.jdbc.driver.OracleDriver                          Older Oracle Driver
oracle.jdbc.OracleDriver                                 Newer Oracle Driver
com.sybase.jdbc2.jdbc.SybDriver                          Sybase
net.sourceforge.jtds.jdbc.Driver                         jTDS SQL Server & Sybase driver
com.microsoft.jdbc.sqlserver.SQLServerDriver             Microsoft SQL Server 2000 driver
com.microsoft.sqlserver.jdbc.SQLServerDriver             Microsoft SQL Server 2005 driver
weblogic.jdbc.sqlserver.SQLServerDriver                  Weblogic SQL Server driver
com.informix.jdbc.IfxDriver                              Informix
org.apache.derby.jdbc.ClientDriver                       Apache Derby client/server driver, aka the Java DB
org.apache.derby.jdbc.EmbeddedDriver                     Apache Derby embedded driver, aka the Java DB
com.mysql.jdbc.Driver                                    MySQL
org.postgresql.Driver                                    PostgresSQL
org.hsqldb.jdbcDriver                                    HSQLDB pure Java database
org.h2.Driver                                            H2 pure Java database

4.修改JDBC连接URL

比如你的URL为

jdbc:derby://localhost:1527//db-derby-10.2.2.0-bin/databases/MyDatabase

那么修改为

jdbc:log4jdbc:derby://localhost:1527//db-derby-10.2.2.0-bin/databases/MyDatabase

5.设置日志Logger在log4jdbc里面，新添加了5个Logger。

logger                 描述
jdbc.sqlonly           仅记录SQL。
jdbc.sqltiming         计时统计SQL的执行用时。
jdbc.audit             记录所有的JDBC调用（ResultSet的除外）。Log量非常大，会影响性能，建议关闭。
                       一般情况下不需要开这个设定，除非追踪一个特定的JDBC问题。
jdbc.resultset         比audit量更大，包括ResultSet对象，记录所有的JDBC记录。建议关闭
jdbc.connection        记录打开和关闭连接以及打开的连接数。用于追踪连接泄漏问题，非常有用。

这里给出log4j.xml和log4j.properties的例子

log4j.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">

<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/">

<!--
       The Following 5 logs can be turned on and off while the server is running
       LIVE in order to trace the SQL and/or all JDBC coming out of the application.

       To turn a log on, set the level value to INFO or DEBUG (to see class name and
       line number information in the log)  The DEBUG setting is much more inefficient
       but the output is much more useful.

       To turn off JDBC logging completely, you must set all 5 logs to a level higher
       than ERROR (FATAL is suggested.)
  -->

<logger name="jdbc.sqlonly" additivity="false">
    <level value="debug"/>
    <appender-ref ref="sql-appender"/>
  </logger>

<logger name="jdbc.sqltiming" additivity="false">
    <level value="fatal"/>
    <appender-ref ref="sql-timing-appender"/>
  </logger>

<logger name="jdbc.audit" additivity="false">
    <level value="fatal"/>
    <appender-ref ref="jdbc-appender"/>
  </logger>

<logger name="jdbc.resultset" additivity="false">
    <level value="fatal"/>
    <appender-ref ref="jdbc-appender"/>
  </logger>

  
  <logger name="jdbc.connection" additivity="false">
    <level value="fatal"/>
    <appender-ref ref="connection-appender"/>
  </logger>

<logger name="log4jdbc.debug" additivity="false">
    <level value="debug"/>
    <appender-ref ref="stdout-appender"/>
  </logger>

<root>
    <level value="warn"/>
    <appender-ref ref="stdout-appender"/>
  </root>
</log4j:configuration>

log4j.properties

!==============================================================================
! log4j.properties - An example configuration properties file for log4j.
!
! Logging levels are:
! DEBUG < INFO < WARN < ERROR < FATAL
!==============================================================================

! turn on the internal log4j debugging flag so we can see what it is doing
log4j.debug=true

!==============================================================================
! JDBC API layer call logging :
! INFO shows logging, DEBUG also shows where in code the jdbc calls were made,
! setting DEBUG to true might cause minor slow-down in some environments.
! If you experience too much slowness, use INFO instead.

! Log all JDBC calls except for ResultSet calls
log4j.logger.jdbc.audit=INFO,jdbc
log4j.additivity.jdbc.audit=false

! Log only JDBC calls to ResultSet objects
log4j.logger.jdbc.resultset=INFO,jdbc
log4j.additivity.jdbc.resultset=false

! Log only the SQL that is executed.
log4j.logger.jdbc.sqlonly=DEBUG,sql
log4j.additivity.jdbc.sqlonly=false

! Log timing information about the SQL that is executed.
log4j.logger.jdbc.sqltiming=DEBUG,sqltiming
log4j.additivity.jdbc.sqltiming=false

! Log connection open/close events and connection number dump
log4j.logger.jdbc.connection=FATAL,connection
log4j.additivity.jdbc.connection=false

! the appender used for the JDBC API layer call logging above, sql only
log4j.appender.sql=org.apache.log4j.FileAppender
log4j.appender.sql.File=./logs/sql.log
log4j.appender.sql.Append=false
log4j.appender.sql.layout=org.apache.log4j.PatternLayout
log4j.appender.sql.layout.ConversionPattern=-----> %d{yyyy-MM-dd HH:mm:ss.SSS} %m%n%n

! the appender used for the JDBC API layer call logging above, sql timing
log4j.appender.sqltiming=org.apache.log4j.FileAppender
log4j.appender.sqltiming.File=./logs/sqltiming.log
log4j.appender.sqltiming.Append=false
log4j.appender.sqltiming.layout=org.apache.log4j.PatternLayout
log4j.appender.sqltiming.layout.ConversionPattern=-----> %d{yyyy-MM-dd HH:mm:ss.SSS} %m%n%n

! the appender used for the JDBC API layer call logging above
log4j.appender.jdbc=org.apache.log4j.FileAppender
log4j.appender.jdbc.File=./logs/jdbc.log
log4j.appender.jdbc.Append=false
log4j.appender.jdbc.layout=org.apache.log4j.PatternLayout
log4j.appender.jdbc.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %m%n

! the appender used for the JDBC Connection open and close events
log4j.appender.connection=org.apache.log4j.FileAppender
log4j.appender.connection.File=./logs/connection.log
log4j.appender.connection.Append=false
log4j.appender.connection.layout=org.apache.log4j.PatternLayout
log4j.appender.connection.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %m%n

6.更多细节以及设置，请参照主页

参照log4jdbc的文档，在log4jdbc.properties文件中配置参数。\

log4jdbc.debug.stack.prefix，只显示含调用栈的包名的语句。
log4jdbc.sqltiming.warn.threshold，执行时间阀值，单位为ms，将Log级别调为Warning，则只会打印执行较慢的语句。
log4jdbc.dump.sql.select/insert/update/delete，过滤掉某些类型的语句。

阅读全文……

标签 : database, java, jdbc

发表评论

IT瘾于2014年12月24日下午09时02分00秒发布 #