算法能从“匿名化”数据库里识别身份

许多公开的数据通常会经过匿名化处理，也就是剥离了个人身份信息. 但计算机科学家发现，所谓的匿名化 其实并没有真正匿名. 伦敦帝国理工学院和鲁汶大学的研究人员在《Nature Communications》期刊上发表 报告，他们开发出一种算法能以 99.98% 的正确率利用包含性别邮编等公开数据识别美国人的身份.

随着计算能力、存储、网络的高速发展，人类积累的数据量正以指数速度增长. 对于这些数据，人们迫切希望从中提取出隐藏其中的有用信息，更需要发现更深层次的规律，对决策，商务应用提供更有效的支持. 为了满足这种需求，数据挖掘技术的得到了长足的发展，而分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多.

本文英文原文发表于知名技术博客《 Highly Scalable Blog》，对NoSQL数据库中的 分布式算法和思想进行了详细的讲解. 文章很长，由@ 可观 进行翻译投稿. 英文原文：《 Distributed Algorithms in NoSQL Databases》. 译文地址：《 NoSQL数据库的分布式算法》.

作者：July、youwang、yanxionglu. 时间：二零一一年三月二十六日. 说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结. 出处：http://blog.csdn.net/v_JULY_v. 第一部分、十道海量数据处理面试题. 1、海量日志数据，提取出某日访问百度次数最多的那个IP.

系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性. 这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去. 尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践. 正是通过这些尝试逐渐总结出了一些行之有效的数据库构建方法.

还记得之前发布过的那个关于可视化排序的文章吗. 在网上又看到了一个旧金山大学David Galles做的各种可视化的数据结构和基本算法的主页，网址在这里，大家可以看看. 我把这个页面的目录列在下面并翻译了一下，大家可以直接点击了. 不知道国内的教育有没有相关的教学课件，至少在我大学的时候是没有的. Queues队列: 数组实现.

决策树仍是最好的数据挖掘算法：理由如下：. 决策树是白箱「white box」，意味着可以生成简单易懂的规则. 你可以通过查看决策树清楚明白各个分支，明白某个分支的影响，并且将其和其他分支进行对比. 决策树术为非参数「non-parametric」，意味着无需特定的数据分流. 决策树可以轻松应对连续变量和类别变量.

　　还记得之前发布过的那个关于可视化排序的文章吗. 在网上又看到了一个旧金山大学David Galles做的各种可视化的数据结构和基本算法的主页，网址在这里，大家可以看看. 我把这个页面的目录列在下面并翻译了一下，大家可以直接点击了. 　　不知道国内的教育有没有相关的教学课件，至少在我大学的时候是没有的.

在编程领域有一句人尽皆知的法则“程序 = 数据结构 + 算法”，我个人是不太赞同这句话（因为我觉得程序不仅仅是数据结构加算法），但是在日常的学习和工作中我确认深深感受到数据结构和算法的重要性，很多东西，如果你愿意稍稍往深处挖一点，那么扑面而来的一定是各种数据结构和算法知识. 例如几乎每个程序员都要打交道的数据库，如果仅仅是用来存个数据、建建表、建建索引、做做增删改查，那么也许觉得数据结构和这东西没什么关系.