小白谈数据脱敏

标签： 数据库 | 发表时间：2017-10-28 15:46 | 作者：

出处：http://yoursite.com/

什么是数据脱敏？

百度百科是这样描述的：

数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户姓名、客户地址、等个人敏感信息都需要通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其他非生产环境以及外包环境中可以安全的使用脱敏后的真实数据集。

生活中的常见例子

1、火车票：

2、淘宝网页上的收获地址信息：

敏感数据梳理

在进行数据脱敏之前我们应该要确定公司的哪些数据（哪些表、哪些字段）要作为脱敏的目标，下面从用户、公司、卖家反面分析：

1、用户：名字、手机号码、身份证号码、固定电话、收货地址、电子邮箱、银行卡号、密码等

2、卖家：名字、手机号码、身份证号码、固定电话等

3、公司：交易金额、优惠券码、充值码等

确定脱敏规则

确定好了公司的哪些数据要作为脱敏目标后，我们就需要制定脱敏的规则（具体的实施方法）。

常见方法：

1、替换：如统一将女性用户名替换为F，这种方法更像“障眼法”，对内部人员可以完全保持信息完整性，但易破解。

2、重排：序号12345 重排为 54321，按照一定的顺序进行打乱，很像“替换”，可以在需要时方便还原信息，但同样易破解。

3、加密：编号 12345 加密为 23456，安全程度取决于采用哪种加密算法，一般根据实际情况而定。

4、截断：13811001111 截断为 138，舍弃必要信息来保证数据的模糊性，是比较常用的脱敏方法，但往往对生产不够友好。（丢失字段的长度）

5、掩码: 123456 -> 1xxxx6，保留了部分信息，并且保证了信息的长度不变性，对信息持有者更易辨别，如火车票上得身份信息。（常用方法）

6、日期偏移取整：20130520 12:30:45 -> 20130520 12:00:00，舍弃精度来保证原始数据的安全性，一般此种方法可以保护数据的时间分布密度。

目前我的脱敏规则想法是：

1、【中文姓名】只显示第一个汉字，其他隐藏为2个星号，比如： 李**

2、【身份证号】显示最后四位，其他隐藏。共计18位或者15位，比如： *************1234

3、【固定电话】显示后四位，其他隐藏，比如： *******3241

4、【手机号码】前三位，后四位，其他隐藏，比如： 135****6810

5、【地址】只显示到地区，不显示详细地址，比如： 上海徐汇区漕河泾开发区***

6、【电子邮箱】邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示，比如： d**@126.com

7、【银行卡号】前六位，后四位，其他用星号隐藏每位1个星号，比如： 6222600**********1234

8、【密码】密码的全部字符都用代替，比如： *

根据以上规则进行数据脱敏！

具体思路目前是这样的：

从原数据源查询到的生产数据 ——> 数据脱敏 ——> 更新到目标数据源。

原数据源、目标数据源、需要脱敏的表、字段等都放在配置文件中，做到可扩展性！

脱敏工具代码

根据以上规则已经写好了一份简单的脱敏规则工具类。

     /**
      * 数据脱敏工具类
      * Created by zhisheng_tian on 2017/10/25.
      */
     public class DesensitizedUtils {
         /**
          * 【中文姓名】只显示第一个汉字，其他隐藏为2个星号，比如：李**
          *
          * @param fullName
          * @return
          */
         public static String chineseName(String fullName) {
             if (StringUtils.isBlank(fullName)) {
                 return "";
             }
             String name = StringUtils.left(fullName, 1);
             return StringUtils.rightPad(name, StringUtils.length(fullName), "*");
         }
     
         /**
          * 【身份证号】显示最后四位，其他隐藏。共计18位或者15位，比如：*************1234
          *
          * @param id
          * @return
          */
         public static String idCardNum(String id) {
             if (StringUtils.isBlank(id)) {
                 return "";
             }
             String num = StringUtils.right(id, 4);
             return StringUtils.leftPad(num, StringUtils.length(id), "*");
         }
     
         /**
          * 【固定电话】 显示后四位，其他隐藏，比如：*******3241
          *
          * @param num
          * @return
          */
         public static String fixedPhone(String num) {
             if (StringUtils.isBlank(num)) {
                 return "";
             }
             return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
         }
     
         /**
          * 【手机号码】前三位，后四位，其他隐藏，比如：135****6810
          *
          * @param num
          * @return
          */
         public static String mobilePhone(String num) {
             if (StringUtils.isBlank(num)) {
                 return "";
             }
             return StringUtils.left(num, 3).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"), "***"));
         }
     
         /**
          * 【地址】只显示到地区，不显示详细地址，比如：上海徐汇区漕河泾开发区***
          *
          * @param address
          * @param sensitiveSize 敏感信息长度
          * @return
          */
         public static String address(String address, int sensitiveSize) {
             if (StringUtils.isBlank(address)) {
                 return "";
             }
             int length = StringUtils.length(address);
             return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");
         }
     
         /**
          * 【电子邮箱】 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示，比如：d**@126.com
          *
          * @param email
          * @return
          */
         public static String email(String email) {
             if (StringUtils.isBlank(email)) {
                 return "";
             }
             int index = StringUtils.indexOf(email, "@");
             if (index <= 1)
                 return email;
             else
                 return StringUtils.rightPad(StringUtils.left(email, 1), index, "*").concat(StringUtils.mid(email, index, StringUtils.length(email)));
         }
     
         /**
          * 【银行卡号】前六位，后四位，其他用星号隐藏每位1个星号，比如：6222600**********1234
          *
          * @param cardNum
          * @return
          */
         public static String bankCard(String cardNum) {
             if (StringUtils.isBlank(cardNum)) {
                 return "";
             }
             return StringUtils.left(cardNum, 6).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"), "******"));
         }
     
         /**
          * 【密码】密码的全部字符都用*代替，比如：******
          *
          * @param password
          * @return
          */
         public static String password(String password) {
             if (StringUtils.isBlank(password)) {
                 return "";
             }
             String pwd = StringUtils.left(password, 0);
             return StringUtils.rightPad(pwd, StringUtils.length(password), "*");
         }
     
     }

最后

转载请注明地址： http://www.54tianzhisheng.cn/2017/10/28/Data-Desensitization/

小白谈数据脱敏

- - Zhisheng的博客

数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护. 在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户姓名、客户地址、等个人敏感信息都需要通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护.

MySQL多数据源笔记3-分库分表理论和各种中间件 - 狂小白 - 博客园

- -

　　使用中间件对于主读写分离新增一个从数据库节点来说，可以不用修改代码，达到新增节点数据库而不影响到代码的修改. 因为如果不用中间件，那么在代码中自己是先读写分离，如果新增节点，. 你进行写操作时，你的轮询求模的数据量就要修改. 　　1.MYSQL官方的mysqlProxy，它可以实现读写分离，但是它使用率很低，搞笑的是MySQL官方都不推荐使用.

MySQL多数据源笔记2-Spring多数据源一主多从读写分离(手写) - 狂小白 - 博客园

- -

一.为什么要进行读写分离呢. 　　因为数据库的“写操作”操作是比较耗时的（写上万条条数据到Mysql可能要1分钟分钟）. 但是数据库的“读操作”却比“写操作”耗时要少的多（从Mysql读几万条数据条数据可能只要十秒钟）. 所以读写分离解决的是，数据库的“写操作”影响了查询的效率问题. 读写分离：大多数站点的数据库读操作比写操作更加密集，而且查询条件相对复杂，数据库的大部分性能消耗在查询操作上了.

程序小白的技术普及帖

- - 落花流水——elya妞╰_╯

跟技术人员沟通，学了不少东西，也明显感觉到自己有很多不足，每次遇到不懂的地方，就偷偷的查资料，然后去跟新人装大拿，当你能用程序语言跟技术人员交流的时候，当你能给出技术人员一个算法或一个解决方案的时候，你们的配合会非常非常之默契了. 同步（Synchronous ），主要是指客户端在发送请求后，必须得在服务端有回应后才发送下一个请求.

数据仓库

- Ran - Linux@SOHU

翻译：马少兵、曾怀东、朱翊然、林业. 尽管服务器存储、处理能力得到有效的提高，以及服务器价格的降低，让人们能够负担起大量的服务器，但是商业软件应用和监控工具快速的增加，还是使得人们被大量的数据所困扰. 在数据仓库领域中的许多系统管理员、应用开发者，以及初级数据库管理员发现，他们正在处理“海量数据”-不管你准备与否-都会有好多不熟悉的术语，概念或工具.

数据抽取

- - 数据库 - ITeye博客

转自： http://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E6%8A%BD%E5%8F%96#. 　　数据抽取是指从源数据源系统抽取目的数据源系统需要的. 实际应用中，数据源较多采用的是. 数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL 工具可以识别的格式.

数据库sharding

- - 数据库 - ITeye博客

当团队决定自行实现sharding的时候，DAO层可能是嵌入sharding逻辑的首选位置，因为在这个层面上，每一个DAO的方法都明确地知道需要访问的数据表以及查询参数，借助这些信息可以直接定位到目标shard上，而不必像框架那样需要对SQL进行解析然后再依据配置的规则进行路由. 另一个优势是不会受ORM框架的制约.

数据脱敏

- - IT瘾-bigdata

作者|李呈祥，其中部分内容由十一城补充. 数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形. 百度百科对数据脱敏的定义为：指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护. 这样，就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集.

光知道怎么看数据，还是不成，你得熟悉这些数据拿到手上之后怎么去用它，怎么让数据显示出来它本身的威力来. 第一个部分，是看历史数据，发现规律. 以社区中的活动和电商中的促销为例，这些都是常见的活动，活动做得好的话有意想不到的效果. 在做这样的活动，最好是拿到前一个月或者两个月的历史数据. 对电商来说，从这里面要去分析各个品类的销售情况，那个品类销量最大，那个品类销量最小，每月或者每周的平均增长率和符合增长率是多少.

excel数据导入mysql数据库

- - 互联网 - ITeye博客

1、excel另存为txt. 选中将要导出的数据列，然后另存为选择其它格式=>文本文件（制表符分割）. E:\项目\fblike\game_code_san.txt. 2、txt导入到mysql数据库. load data infile 'E:\\项目\\fblike\\game_code_san.txt' into table game_code_san(code).

小白谈数据脱敏

什么是数据脱敏？

生活中的常见例子

敏感数据梳理

确定脱敏规则

脱敏工具代码

最后

相关 [小白数据] 推荐：

小白谈数据脱敏

MySQL多数据源笔记3-分库分表理论和各种中间件 - 狂小白 - 博客园

MySQL多数据源笔记2-Spring多数据源一主多从读写分离(手写) - 狂小白 - 博客园

程序小白的技术普及帖

数据仓库

数据抽取

数据库sharding

数据脱敏

数据分析之如何用数据？

excel数据导入mysql数据库

相关文章

订阅

小白谈数据脱敏

什么是数据脱敏？

生活中的常见例子

敏感数据梳理

确定脱敏规则

脱敏工具代码

最后

相关 [小白 数据] 推荐：

相关文章

订阅

相关 [小白数据] 推荐：