数据云同步 傲游浏览器3.1.8正式版发布

大家星期四好，今天浏览器专家傲游发布3.1.8的正式版，本次和Beta版相比完善了标签的一个功能，即选择“鼠标右键点击直接关闭标签”时，让大家可以按下 Shift 点击右键打开标签的菜单. 其他新特性包括：新的数据同步功能，锁定标签功能，新的浏览器内部页面等，并大幅提升了极速模式的网页兼容性，为傲游迅雷加速下载加入了批量下载以及升级了Flash插件等.

地址为：http://archive.cloudera.com/cdh/3/下载相应版本，如sqoop-1.2.0-CDH3B4.tar.gz. 地址为：http://archive.cloudera.com/cdh/3/，版本可以为hadoop-0.20.2-CDH3B4.tar.gz. 3.解压 sqoop-1.2.0-CDH3B4.tar.gz ，hadoop-0.20.2-CDH3B4.tar.gz 到某目录如/home/hadoop/,解压后的目录为.

昨天在讨论平台新架构的时候，还在说要搞个配置管理的服务出来，方便接口的管理. 然后今天就看到了这个……人品爆发了吗. 好吧，不扯淡，直接翻译 Doozer 的 README 吧. Doozer 我还没实测，不过感觉，如果真得像 README 上面说得那样，还是很有用，很有用的. 关键——这个玩意提供了 go 的接口.

MYSQL主从同步是目前使用比较广泛的数据库架构，技术比较成熟，配置也不复杂，特别是对于负载比较大的网站，主从同步能够有效缓解数据库读写的压力. 1、可以作为一种备份机制，相当于热备份. 2、可以用来做读写分离，均衡数据库负载. 1、主从数据库版本一致，建议版本5.5以上. # 日志文件名 log-bin = mysql-bin # 日志格式，建议mixed binlog_format = mixed # 主数据库端ID号 server-id = 1.

项目上有一个需求，从外网的另一个库中的数据同步到其他网段中. 基于Oracle数据库的数据同步技术大体上可分为两类：Oracle自己提供的数据同步技术和第三方厂商提供的数据同步技术. Oracle自己的同步技术有DataGuard，Streams，Advanced Replication和今年刚收购的一款叫做GoldenGate的数据同步软件.

需求：实现Oracle数据库表记录变更后的准实时同步. 1、基于时间戳来检测变更.   a、需同步的表均需要添加时间戳字段，并在更改数据后，同步更新时间戳.   b、对于删除操作，需要额外处理. 或通过触发器记录，或者不真实删除记录，仅仅设置删除标记.   c、业务层编码实现同步.   对系统增加了额外约束.

Observer希望解决的问题. HBase是一个分布式的存储体系，数据按照RowKey分成不同的Region，再分配给RegionServer管理. 但是RegionServer只承担了存储的功能，如果Region能拥有一部分的计算能力，从而实现一个HBase框架上的MapReduce，那HBase的操作性能将进一步提升.

目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库. 这样带来的一个问题是，如果拥有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…)，并且经常需要在它们之间导入导出数据，那么我们可能需要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread/getmerge+sqlloader/mysqldumper…).

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据. 在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类. 对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节.

MySQL 数据同步 主主设置（互为主备）. 两台MySQL主机做为服务器：. 这一步在每一台（主）服务器上创建一个用户，并为之授权，使它们可以互相访问彼此的数据库. 创建一个充许master-2来访问的用户rep,密码为rep. 创建一个充许master-1来访问的用户rep密码为rep. 备注：为了操作方便，我们在两台服务器上，指定的访问权限时，设定的用户名和密码，一摸一样 .