IT瘾信息推荐

文字语义纠错技术探索与实践-张健

Wed, 21 Dec 2022 15:10:41 CST

背景

文本语义纠错的使用场景非常广泛，基本上只要涉及到写作就有文本纠错的需求。书籍面市前就有独立的校对的环节来保障出版之后不出现明显的问题。在新闻中我们也时不时看到因为文字审核没到位造成大乌龙的情况，包括上市公司在公开文书上把“临时大会”写成为“临死大会”，政府文件把“报效国家”写成了“报销国家”。有关文本纠错的辅助工具能给文字工作人员带来较大的便利，对审核方面的风险也大幅降低。

除了不同的写作场景，文本纠错还会用在其他一些智能处理系统中，具体的情况包括：音频通话记录经过自动语音识别（ASR）转写成文本之后，存在一些转译错误；光学字符识别（OCR）系统识别图片中的文字并进行提取，会存在字符识别错误；在搜索引擎或自动问答系统里面，用户在查询过程中的输入错误，往往会导致系统无法理解用户的真实意图，需要进行查询纠正改写。这些情况都需要通过文本纠错技术来进行修正，使产品整体的用户体验更加友好。

文本语义纠错在学术领域有三个子任务，分别是拼写检查（Spelling Check）、语法检错（Grammatical Error Detection）和语法纠错（Grammatical Error Correction）。其中语法检错是对文本中的语法错误进行检测，拼写检查是对文本中的错别字进行修正，语法纠错是纠正文本中的语法错误。拼写检查在英文场景表现为单词拼写错误，在中文场景表现为音近形近错别字。而语法纠错除此之外，还包括字词缺失、字词冗余、字词使用不当、语序不当等错误类型。语法纠错区别于拼写检查的一个显著特点是，语法纠错纠正后的文本和原始文本的长度不一定相等，而拼写检查纠正前后的文本长度都是保持一致的，这也决定了两者的算法支持存在差异。一般来说，拼写检查可以看作为语法纠错的一个任务子集。

我们对语法纠错的问题作一下形式化定义，输入的原始文本定义为X={x1,x2,...,xn};原始文本正确的纠正结果文本序列定义为Y={y1,y2,...,ym}，算法预测输出的文本，定义为P={p1,p2,...,pk}。

评估指标

在开始我们的文本语义纠错算法探索之旅之前，我们先思考一个问题，究竟怎么样的模型表现才是公认更有效的，这个好坏应该从何种方式、如何量化地评估出来。这也是我们在解决其他所有类型的NLP任务都需要先考虑的问题，这个问题就是如何定义我们的评测指标。下面罗列了纠错算法常用的一些评测指标：

01 M2（MaxMatch）

M2指标主要是通过计算输出文本和原始文本之间的编辑集合G，然后与人工标注的编辑集合E结合，计算准确率、召回率、F0.5值（采用F0.5表示对准确率更加关注）。这里的编辑理解为一个转换动作，经过一组转换动作，可以完成原始文本到纠正文本的转换，M2指标定义形如：

F0.5=1.25*RP/(R+0.25P)

下表罗列了一组示例和计算过程：

表 1 纠错文本示例

其中编辑集合G={孜→自，书→书写}，人工标注编辑集合E={孜→自,俱→具,读书→读}

可以计算出来:

P=1/2=0.5

R=1/3=0.33

F0.5=1.25*0.33*0.5/(0.33+0.25*0.5)=0.45

02 ERRANT

ERRANT[1]是升级版的M2。M2的局限性也比较明显，依靠前置的人工标注，有比较大的工作量，而且人工标注编辑集合产生的方式可能不太一致，导致匹配不准。ERRANT在生成标准答案的编辑集合和生成预测的编辑集合都采用了自动判别的方式，同时支持了25种的错误类型，输出了更丰富维度的错误报告信息。缺点是该工具面向英文，中文需要做较大改造。

03 面向标注形态的其他指标

上述两者在处理纠错任务评测时存在一些缺点，包括M2不支持检错性能评估，编辑不能正确反映合理纠错动作等等。

我们会在一些学术评测上看到，根据对待纠文本进行的错误标注类型来制定的评测指标。下面举了NLPCC2022语法纠错评测指标为例，它对应的错误类型总共有赘余(Redundant Words，R)、遗漏(Missing Words，M)、误用(Word Selection，S)、错序(Word Ordering Errors，W)四类，评估的维度包含以下方面：

假阳性（False Positive）：正确句子被判包含错误的比例。
侦测层（Detective-level）：对句子是否包含错误做二分判断。从句子是否有错，判断p/r/f1
识别层（Identification-level）：给出错误点的错误类型。按一个句子的错误种类计算p/r/f1
定位层（Position-level）：对错误点的位置和覆盖范围进行判断，以字符偏移量计。错误位置是否对计算p/r/f1
修正层（Correction-level）：提交针对字符串误用（S）和缺失（M）两种错误类型的修正词语。修正词语可以是一个词，也可以是一个词组。M/S的修正词语角度

由于纠错任务本身的特殊性（同一个错误的文本可以有多种正确的纠正答案，或者同一个位置可以采用不同的错误类型进行标注），目前现存的评测指标大都有其局限性，如何定义主客观、统一、合理的语法纠错评测指标仍然在不断探讨。

公开数据集

在确定了评估指标之后，我们已经确定了评判算法好坏的一个标准。锅已经端好，就等米下锅了,数据对于算法研发人员来说是必需品，一方面它是验证效果的信息来源,另一方面它是进行模型构建的训练语料。比较好的方式是从公开的渠道获取比较优质的标注数据。目前公开的中文语义纠错数据集包括NLPCC2018[2]、NLPTEA2020[3]、SIGHAN2015[4]等,较多是非母语学生学习汉语收集得来的语料集，训练和验证的数据标注形式如图所示:

图1 公开数据集（NLPTEA2020、NLPCC2020和SIGHAN2015）

无监督方法

文本语义纠错的算法整体可以分成无监督和有监督的两种方式，我们先从无监督的方法开始看。无监督方法的核心是如何构建一个好用的语言模型，并且用在纠错的任务上。对于NLPer来说，我们经历了太多的预训练语言模型，像BERT、XLNet、GPT3等等，其本质还是语言模型或者说经典语言模型的一些变种。语言模型实际上是对文本序列的概率分布进行建模，通俗地来表达，语言模型是判断一句话是不是符合常理，或者说话应该怎么说才合理（符合概率分布）。这个正好就对应上了纠错任务的本质需求，我们从最经典的N元语言模型开始来介绍一下语法纠错的处理逻辑。

01 n元语言模型

一个语言模型构建字符串的概率分布p(W)，假设p(W)是字符串作为句子的概率，则概率由下边的公式计算：

但是这样去计算句子概率会导致庞大的计算量，导致根据马尔科夫假设，一个词只和他前面n-1个词相关性最高，这就是n元语法模型，简化后的计算公式为：

在得到这个结论之后，我们尝试使用N元语言模型来解决拼写检查的问题。

假设我们采用的是5元语言模型，训练阶段使用大量的语料来进行统计所有的p(w5|w1w2w3w4)并存储起来。在预测阶段，设定待纠正的文本序列为W={w1,w2,...,wn}，针对每个位置的wk，我们通过预先构建好的混淆集获得w的音近形近字wk'。

然后通过上述公式分别计算原始文本和修改文本的句子概率P(w1...wk...wn)、P(w1...wk'...wn)。如果P(w1...wk’...wn)>P(w1...wk...wn)，则说明修改后文本的通顺度提升（概率升高），可以接受该纠正修改（wk替换为wk'）。

从而我们的纠错执行过程则包含如下：

计算输入句子的归一化对数概率，并且为句子的每个字构建一个混淆集合；
对句子每个字针对其不同混淆字重新打分，应用单个最佳进行校正，将概率提高到当前最高值以上；
重复上面过程直至概率没变化。

图2 N元语言模型纠错执行计算过程

上述过程比较好理解，同时可以明显看出来一些硬伤，包括会OOV（未登录词）问题导致语言模型计算出来的概率为0；模型会过分优待高频短串，或者忽视低频短串。这时候需要通过平滑技术来改善概率算法，典型平滑方法包含Add-one、Interpolation和Modified Kneser-ney等。此外，仍有些难以通过技术手段解决的问题，包括上下文范围局限较大（n 的增加会导致计算和资源消耗成倍增加）和缺少泛化（缺乏实际予以的理解），此时需要引入基于神经网络的语言模型。

02 基于神经网络的语言模型

比较经典的基于神经网络的语言模型，数学表达式可以写为：

以k元文法为例，把前k-1个词作为特征，用softmax预测最后一个词。

一般基于神经网络的语言模型设计得更加复杂，会把上下文的信息形成特征，来预测当中的每一个词。定义基于上下文context下wi的预测概率为P(wi|context_i),句子的概率可以表示为：

方法[5]就是采用了BERT和GPT作为基础的语言模型来计算句子的概率。

有监督方法

无监督的纠错算法在处理文本时存在以下弱点：容易受局部高频或低频的序列影响，效果不够稳定；在需要对准确率和召回率进行平衡调整时，不太好通过阈值的方式进行控制；可以较好应用在拼写检查的任务上，但是对于句子长度有变化的语法纠错任务支持就比较弱。此时需要使用有监督算法来作为实现手段。

01 NMT/Seq2Seq

解决字词冗余/缺失这类纠错前后句子长度有变化的任务，我们第一感觉就想起可以通过文本生成的方式来训练对应的模型实现该功能。而且语法纠错任务和文本生成任务的形态基本上是一致的，也导致了文本生成模型很自然地被研究者注意，引入到语法纠错的任务领域。

NMT-based GEC[6]是第一篇通过使用神经网络机器翻译来实现语法纠错的文章。2014年seq2seq模型一提出即引发了较大反响，后续seq2seq成为了文本生成的主流结构。seq2seq将一个作为输入的序列映射为一个作为输出的序列，这一过程由编码（Encoder）输入与解码（Decoder）输出两个环节组成, 前者负责把序列编码成一个固定长度的向量，这个向量作为输入传给后者，输出可变长度的向量。下图展现了一个基础的seq2seq结构。

图3 seq2seq结构

方法[7]使用了经典的Encoder-Decoder模型结构来解决中文语法纠错问题，嵌入层使用了特殊的嵌入表示，同时在编码层使用了卷积神经网络强化了纠错的局部性，具体的模型结构如下：

图4 Encoder-Decoder结构纠错模型

02 LaserTagger

由于书写错误的出现概率普遍不高，纠错任务本身的输入输出存在大量重叠（基本不用改），所以大多数文本可以保持不变。但是我们在通过seq2seq的方式进行实现时，对于正常的字符也要全部进行预测，造成效率非常低下。因此谷歌在EMNLP 2019提出了LaserTagger，在使用Encoder-Decoder的模型结构条件下，把预测的内容从文字变成了编辑操作类型。lasertagger其模型结构（采用BERT作为编码层、自回归Transformer作为解码层）如下所示：

图5 LaserTagger纠错模型

编辑操作类型包含Keep（将单词复制到输出中），Delete（删除单词）和Add（在之前添加短语X），其中被添加的短语来自一个受限的词汇表。
通过结构的改造，lasertagger体现了推理速度快和样本训练效率高的有点。因为预测的类型只有三种，相对于seq2seq而言，解码的空间大幅降低，推理性能提升明显，相对于BERT+seq2seq的模型结构，larserTagger的性能提升接近100倍。同时因为预测的内容求解空间也大幅降低，所以对样本的需求量也大幅减少，在1000份的样本下也能取得不错的效果。

03 PIE

与LaserTagger同年提出来的PIE（Parallel Iterative Edit Models）[8]同样是针对seq2seq 生成文本的可控性较差，推理速度也比较慢的问题进行来改进。与LarserTagger类似，PIE构造模型来对编辑操作进行预测，不过编辑操作的类型稍有区别，多了一个替换（replace)和词性变换（面向英文）。在处理替换和添加操作时，PIE将BERT编码层进行了扩展来支持替换和添加的信息输入，采用了一个双层的双向transformer，结构如下所示：

图6 PIE纠错模型

上图表示了一个长度为3的文本输入（x1,x2,x3)。在最底层的输入层，M表示mask标识符的嵌入向量，p表示位置嵌入，x表示词嵌入。在中间层和输出层，r表示对应位置的替换信息，h表示对应位置的的原始信息，a表示对应位置的插入信息。之后利用三类信息来分别计算不同操作的概率，并归一化，CARDT 分别代表复制、插入、替换、删除、词形变换，计算公式如下：

纠错过程中，PIE模型输出概率最高的编辑操作，完成修改后再迭代地进行预测，直至句子不发生改变后停止。

PIE定义的结构可以实现在并行解码的同时保持较高的准确率，它在这篇文章第一次提出了seq2edit的概念。

04 GECToR

GECToR[9]提出了一种序列标注模型，编码层由预训练的 BERT 型 transformer 组成，上面堆叠两个线性层，顶部有 softmax 层。模型输出的标签包含了基本变换和g-变换两种类型。其中基本变换包含保留（KEEP）、删除（DELETE）、添加（APPEND）和替换（REPLACE)。g-变换主要面向英文，针对了英语的语法变化总结出了5大类（大小写、单词合并、单词拆分、单复数和时态）29个小类的状态变换。

GECToR另外两个亮点是引入了不同的预训练Transformer解码器（包括XLNet、RoBERTa、ALBERT、BERT和GPT-2）并进行了比较，以及采用了三阶段的训练方式。第一阶段使用了大量（九百万）实验合成的包含语法错误+语法正确的句子对进行预训练，第二阶段使用了少量的公开纠错数据集的句子对进行Fine-tuning，第三阶段使用了语法错误+正确和语法正确+正确的句子对来进行Fine-tuning，实验证明第三阶段的Fine-tuning有效果提升。

在预测阶段，GECToR也是采用了多轮预测的方案。

05 PLOME

PLOME[10]在2021ACL发表，是针对中文文本纠错任务构建的预训练语言模型，结构和BERT比较类似（12层Transformer）。PLOME的创新点主要在于采用了基于混淆集的掩码策略、把拼音和字形信息作为模型输入以及把字符和拼音的预测任务作为了模型的训练和微调目标。

PLOME的掩码策略主要是基于以下4种：字音混淆词替换(Phonic Masking)、字形混淆词替换(Shape Masking)、随机替换（Random Masking）、原词不变（Unchanging）。PLOME的掩码策略同样仅遮盖15%的token，且4种MASK策略占比分别为: 60% 、15%、10%、15%。

词嵌入模块方面，PLOME采用了字符嵌入(character embedding)、位置嵌入( position embedding)、语音嵌入(phonic embedding)和形状嵌入(shape embedding)。其中，字符嵌入和位置嵌入与BERT的输入一致。其中构建语音嵌入时，使用Unihan数据库得到字符-拼音的映射表(不考虑音调)，然后将每一个字的多个拼音字母序列输入到GRU网络中，得到该字的拼音嵌入向量。同样，构建字形嵌入时，使用Chaizi数据库得到字形的笔画顺序，然后将字形的笔画顺序序列输入到GRU网络中，得到该字的字形嵌入向量。

在训练任务方面，PLOME训练了2个任务，字符预测和BERT一样，增加了拼音的预测，预测被替换词的正确发音，更够更好解决同音和音近错误。

PLOME预训练语言模型的下游任务主要是文本纠错任务。该任务的输入是字符序列 ,输出是预测的字符序列。该论文仅在拼写检查任务上做了验证。

06 其他策略

（1）COPY机制

COPY机制同样是利用目标文本和源文本有大量重复这个特点。研究[11]提出了Copy-Augment的GEC模型，其主要思想是：在生成序列过程中，考虑两个生成分布：分别是复制输入序列中的词语（0/1表示是否复制)的概率分布和从候选词典中的词语生成的概率分布。将两者的概率分布加权求和作为最终生成的概率分布，进而预测每一个时刻生成的词语。基本架构如下：

图7 COPY机制

该模型将简单的词语复制任务交给了Copy机制，将模型结构中的Attention等结构更多地用来学习比较难的新词生成，对训练更加可控。

（2）数据增强

数据增强可以通过基于规则和基于生成的方式实现。

基于规则这个比较简单，我们可以按照错误的类型（字词冗余、缺失、词序错误等）针对性地制定策略构造包含语法错误的样本，然后扔到模型来进行训练。不过基于规则的方式有点过于粗暴，很可能规则生成的错误与实际产生的错误差距比较大，或者比较不符合常规认知。

第二种方式就是基于生成。最早基于生成的数据增强方式应该是回译法，就是将文本从一个语种翻译到另外一个语种，然后再翻译回来，从而构造了句子对，这种数据增强形式针对正常的编辑写作可能不太有效，更加符合跨语言学习的用户的错误特点。另外有研究[12]结合了分类器和自编码器来联合训练，达到生成固定类型错误样本的目的。而研究[13]通过对GEC模型进行对抗攻击，可以生成有价值的带有语法错误的句子，可以利用生成的句子训练GEC模型，提升性能的同时提升鲁棒性。

处理难点与技术挑战

01 语料收集

目前公开的中文语义纠错数据集主要是不同母语的人学习汉语作为第二语言收集得来的语料集，目前大部分关于语法纠错的算法模型都是基于这些数据集来做效果验证的，不过我们实际中要处理的数据通常并不是同样的形式诞生，更多是掌握汉语作为母语的人由于失误导致的语法错误，这种情况和公开预料的情况差别比较大，错误的分布差距也比较大，从而通过公开语料集训练得来的模型在上线到正常的业务流程里面，效果通常都会比较一般。

02 长依赖

长距离包括跨语句依赖在论文等文本中很常见，一旦出现错误，很难察觉并纠正。当前语法研究大多集中在单个语句的语法检查和纠错，很少涉及长距离语法问题，相关数据集和模型方法缺失，是语法纠错的难题之一。

03 模型的泛化能力与鲁棒性

一般来说，不同行业、不同领域的文本在措辞运用、表达习惯和专有名词等方面都存在较大的差异。譬如说政务机关红头文件非常严谨的语言表达和自媒体新闻相对较自由的文风就有明显的差别，又譬如金融行研报告和医学论文在基本内容和专业术语上也截然不同。在一个领域性能出色的纠错模型在切换到另外一个领域，往往效果下降明显。如何提升模型的泛化能力和鲁棒性，面临着巨大的技术挑战。

04 效果指标与体验的平衡

SOTA的指标可以刷到，但是这些模型一旦介入实际场景的数据，效果会差得一塌糊涂，这个一方面是由于模型和场景紧密相关，另外一方面是，通常公开数据集的错误分布是呈高密度，但是实际场景是低密度，会容易导致非常高的误判。譬如说SOTA里面准确率的指标是80%，对于在低密度错误的样本中，很可能准确率会下降到20~30%左右。纠错系统的体验会比较差。

05 效果指标与纠错性能的平衡

工业界往往会采用pipeline的方式，先对文本进行检错，如果检测出来有错误，再对文本进行纠错处理。但是这个检错阶段的错误会传递到纠错阶段，导致效果下降。如果直接走seq2seq或seq2edit的纠错模型，或者需要融合多种模型策略来生成最终纠错结果，纠错的性能会下降非常快，部分实验3000字的纠错可能需要长达40~60秒，这个无法处理大量并发的文本纠错需求。我们需要再效果和性能上取得平衡，或者有更好的方法在保障效果指标的前提下提升纠错性能。

达观在语义纠错方面的产品实践

达观数据在语义纠错方面有比较深入的产品实践，开发出的投行质控系统和公文智能处理系统均处理了相关场景。

达观投行质控系统基于深度学习、NLP（自然语言处理）算法，帮助用户解决几大文书审核场景，包括:文书格式纠错，文字纠错和完整性审核；文档目录智能识别，一键定位：文档条款内容智能提取，方便业务人员对条款内容进行预审；支持文档多版本的内容比对等。

达观智能公文处理系统，严格遵循《党政机关公文处理工作条例》和《党政机关公文格式》规定，通过公文智能分析、公文知识库引用、公文审校、公文排版、公文格式纠错、公文内容语义纠错、公文在线比对修改等一体化的功能，实现基础字词校对准确率超90%、法律引用校验和公务文书完整性校对准确率超95%，有力提升政府机关整体公文质量，避免公文“带病”发布情况，确保政府机关公信度。

参考文献：

[1] Korre K, Pavlopoulos J. Errant: Assessing and improving grammatical error type classification[C]//Proceedings of the The 4th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature. 2020: 85-89.

[2] Zhao Y, Jiang N, Sun W, et al. Overview of the nlpcc 2018 shared task: Grammatical error correction[C]//CCF International Conference on Natural Language Processing and Chinese Computing. Springer, Cham, 2018: 439-445.

[3] Rao G, Yang E, Zhang B. Overview of NLPTEA-2020 shared task for Chinese grammatical error diagnosis[C]//Proceedings of the 6th Workshop on Natural Language Processing Techniques for Educational Applications. 2020: 25-35.

[4] Tseng Y H, Lee L H, Chang L P, et al. Introduction to SIGHAN 2015 bake-off for Chinese spelling check[C]//Proceedings of the Eighth SIGHAN Workshop on Chinese Language Processing. 2015: 32-37.

[5] Alikaniotis D, Raheja V. The unreasonable effectiveness of transformer language models in grammatical error correction[J]. arXiv preprint arXiv:1906.01733, 2019.

[6] Yuan Z, Briscoe T. Grammatical error correction using neural machine translation[C]//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016: 380-386.

[7] Ren H, Yang L, Xun E. A sequence to sequence learning for Chinese grammatical error correction[C]//CCF International Conference on Natural Language Processing and Chinese Computing. Springer, Cham, 2018: 401-410.

[8] Awasthi A, Sarawagi S, Goyal R, et al. Parallel iterative edit models for local sequence transduction[J]. arXiv preprint arXiv:1910.02893, 2019.

[9] Omelianchuk K, Atrasevych V, Chernodub A, et al. GECToR--grammatical error correction: tag, not rewrite[J]. arXiv preprint arXiv:2005.12592, 2020.

[10] Liu S, Yang T, Yue T, et al. PLOME: Pre-training with misspelled knowledge for Chinese spelling correction[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 2991-3000.

[11] Zhao W, Wang L, Shen K, et al. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data[J]. arXiv preprint arXiv:1903.00138, 2019.

[12] Wan Z, Wan X, Wang W. Improving grammatical error correction with data augmentation by editing latent representation[C]//Proceedings of the 28th International Conference on Computational Linguistics. 2020: 2202-2212.

[13] Wang L, Zheng X. Improving grammatical error correction models with purpose-built adversarial examples[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020: 2858-2869.

作者简介

张健，达观数据联合创始人，复旦大学计算机软件与理论硕士，曾就职于盛大集团和腾讯文学，担任人工智能和大数据技术专家职位。目前担任达观数据文本应用部总负责人，对于机器学习算法和自然语言处理领域的研发有丰富的实践经验和技术积累，负责客户意见洞察系统、智能客服工单分析系统、文本语义纠错系统、事件分析平台、文本智能审核系统等多个文本应用产品的开发和落地。荣获上海市浦东新区科学技奖、“2021上海科技青年35人引领计划”、上海市青年科技启明星等多个奖项。

别焦虑了，这才是中国各行业平均工资的真相

Mon, 05 Dec 2022 17:25:16 CST

年底将至，你的钱包还好吗？

不久前，国家统计局发布了《中国统计年鉴 2022》，年鉴中记录了 2021 年我国各地区和各行业的年平均工资。

你的工资超过了平均水平吗？近 10 年来各行业年平均工资有什么变化？哪些行业、哪些地区高薪且工资增速快？以下数据或许可以给你一些参考。

2012-2021 年整体年平均工资变化

先看整体状况。总的来看，非私营单位的年平均工资大幅高于私营单位的年平均工资。

2021 年，全国城镇非私营单位年平均工资突破了 10 万元大关，达到了 106837 元。相较于 2020 年，增长了约 9.71%。另一边，全国城镇私营单位年平均工资达到了 62884 元，第一次超过 6 万元，比 2020 年增加了约 8.93%。

（非私营单位指国有单位、城镇集体单位、联营、股份制、外商投资、港澳台商投资等单位，而私营单位指私营有限责任公司、私营股份有限公司、私营合伙企业和私营独资企业。）

再看增速。从年平均工资的增长水平来看，2021 年的平均工资增幅，在过去十年间处于比上不足比下有余的中间位置。

2021 年，城镇非私营单位和城镇私营单位的年平均工资同比增长分别是 9.7% 和 8.9%，都超过了 2020 年，可见不少公司都在努力从疫情的影响中恢复。

但对比早些年，年平均工资的增速并不算快：城镇非私营单位 2021 年年平均工资的增长水平，在过去十年间排名第七位。而城镇私营单位 2021 年年平均工资的增长水平，位于第四位。

不过，相较于城镇非私营和私营单位的年平均工资，你所处行业的平均水平可能更具有参考性。

2021 年，什么行业年平均工资最高？

分行业来看，不管是在非私营还是私营单位，" 信息传输、软件和信息技术服务业 "、" 金融业 " 和 " 科学研究和技术服务业 " 的年平均工资都是最高的，这也符合大家近年来的普遍认知。

在各类单位中，非私营单位的 " 信息传输、软件和信息技术服务业 " 年平均工资最高，达到 20.15 万元，相当于每月税前平均工资 1.68 万。私营单位中的 " 信息传输、软件和信息技术服务业 " 年平均工资也达到了 11.46 万元，是私营单位中唯一一个年平均工资过 10 万的行业。

除了大家熟知的高薪行业：计算机、金融，还有两个行业的工资也不算低。一是 " 科学研究与技术服务业 "，在非私营单位和私营单位的平均年薪分别排名第二、第三。这个行业主要包括三大类，除了 " 研究和试验发展 "，还有 " 专业技术服务业 " 和 " 科技推广和应用服务业 "。

另一个 " 卫生和社会工作 " 的工资也不低，在非私营和私营单位的各行业中均排名第四，年平均工资分别达到了 12.68 万元和 6.78 万元。。

而 " 租赁和商务服务业 "、" 制造业 "、" 采矿业 "、" 文化体育和文化业 " 和 " 教育业 " 在不同类型单位工资排名能相差很大。

一个行业的好坏，工资的增长情况也很重要。

DT 君计算了各行业 2017-2021 年年均工资的年均复合增长率，并把各行业的年平均工资和复合增长率放置在散点图上，并以中位数作为分割线，切出四个象限。

整体来看，无论是在非私营单位还是私营单位，" 信息传输、软件和信息技术服务业 " 和 " 卫生和社会工作 " 位于近年来最好的行业队列中，不仅工资高，成长性也强。而 " 水利、环境和公共设施管理业 "、 " 居民服务、修理和其他服务业 "、" 住宿和餐饮业 " 和 " 房地产业 " 则无论在哪个类型的单位都是 " 低收入低成长 "。

此外，在非私营单位中，" 科技研究和技术服务业 " 平均工资和 5 年复合增长率都高于中位数。" 电力、热力、燃气及水生产和供应业 "、 " 公共管理、社会保障和社会组织 " 同样也属于高工资高成长的行业。" 金融业 "、" 教育业 " 和 " 文化、体育和娱乐业 " 行业薪资较高，但近 5 年来工资成长性比较一般。

在私营单位中，" 金融业 "、" 制造业 "、" 采矿业 " 和 " 交通运输、仓储和邮政业 " 也进入高工资高成长行列。

" 科技研究和技术服务业 " 虽然是非私营单位中的高工资高成长行业，但私营单位中，" 科技研究和技术服务业 " 成长性并不高，类似的还有 " 租赁和商务服务业 " 和 " 建筑业 "。

私营单位中，" 水利、环境和公共设施管理业 "、" 农林牧渔业 "、" 居民服务、修理和其他服务业 "、" 教育业 " 等属于低工资低成长的行业。

除了北京上海，什么地方的工资又高增长又快

从各省市的年平均工资来看，北京和上海遥遥领先。2021 年北京非私营单位的年平均工资最高，达到了 19.47 万元，上海排名第二，年平均工资达到了 19.18 万元。西藏、天津、浙江、广东、江苏、青海和重庆这 7 个省市，年平均工资也超过了 10 万元的大关。

2021 年河南省非私营单位年平均工资全国最低，仅为 7.49 万元，也是全国唯一一个没过 8 万元的省。

在私营单位中，2021 年北京是全国唯一一个私营单位年平均工资破 10 万元的省市，排名 2、3 的分别是上海和广东。

与 2020 年相比，2021 年海南的非私营单位年同比增长率达到了惊人的 21.2%。排名第 2、3 的上海和湖北分别达到了 19.8% 和 16.8%。

但某一年的数据并不能代表一个地区的工资增长趋势，DT 君比较了各省市 2017-2021 年 5 年间年平均工资的复合增长率，同样把他们做成散点图，并以中位数为界分出四个象限。

非私营单位中，北京和上海是高工资高成长的代表。浙江、广东、江苏和宁夏等省份，在工资绝对值上稍弱于北京和上海，但在工资的增速上很快。

西藏和天津则是高工资低成长的代表，虽然工资处于中位数以上，但工资的增速远低于大部分省市。也有一些省份工资不高增长也慢，比如河北、甘肃和河南等。

在私营单位中，各省市的工资绝对值和增速有所不同。在高工资高成长的象限中，上海一枝独秀，工资上略次于北京，在成长性上远超其他省市。

北京、广东、江苏、浙江等省市，私营单位的年平均工资高于中位数，但增速并不快。而吉林、山西等省份，虽然工资不高但增速很快，高于中位数。

甘肃和云南等省私营单位的年平均工资和成长性都低于全国大部分省市。

写在最后

总的来说，本次统计数据可以简单总结为 4 点，或许对你有参考价值：

1、非私营单位的年平均工资大幅高于私营单位的年平均工资。

2、在私营 + 非私营总共 37 个行业里，年平均工资超过 10 万的只有 13 个，并且有 4 个只是刚刚超过 10 万。

3、除了 " 信息传输、软件和信息技术服务业 "，" 卫生和社会工作 " 也是一个高薪、高成长的行业。

4、虽然总体上，人们的收入遵循所在地区经济越发达、年平均工资越高的规律，但也有例外，西藏、青海、云南的年平均工资都高于中位数。如果考虑成长性，湖北、浙江、宁夏也是不错的选择。

最后，年平均工资纸面数据高并不是单单为了看着好看，起码员工的社保基数、奖金补偿金、退休金、最低工资等都和年平均工资成正比（如果你有的话）。

网站速度终极优化

Fri, 18 Nov 2022 16:05:30 CST

好久没有折腾网站速度了。最近尝试再次优化提升网站的访问速度。

利用了CDN厂商Cloudflare的Page rules，创建了三条页面规则，将后台登录页面免除缓存外，其它页面全部都缓存在Cloudflare的全球CDN数据中心。

这样全球访客访问本网站的时候，除了第一次要从源主机上索取生成页面，其它都不再需要，直接从最近的CDN数据中心获取，这样既减轻了网站主机的资源消耗压力，又直接提升了访客的访问速度。

鉴于Google Anlytics统计数据越来越不好用（Cloudflare本身自带Web Analytics），再加上我也没有动机去使用它，索性把统计代码取消了，这样一来既减少了网页页面请求数量，也没有了cookies记录，因此访问过的网页会直接缓存在访客的浏览器中一段时间（设置为1天）。

去除了Google Anlytics统计功能后，访客在本网站上来回浏览的时候，短时间内去CDN上下载网页都不必了——CDN那边会返回304告诉浏览器页面没有改动，所以直接调用原缓存页面，进一步提升网站访问速度。

这样的网站速度终极优化方案，把本网站的加载速度基本控制在500毫秒以内，比秒开还要快。

这么多年后，再一次化繁为简、返朴归真，回归到博客网站写作的初心，其它的东西都不必要。

大数据时代下，如何识别垃圾信息？

Tue, 16 Aug 2022 14:14:24 CST

编辑导语：大数据时代之下，信息繁杂多样，其中也充斥着大量的假话和谬论。怎么在纷繁复杂的信息里面，去伪存真，需要我们有一定的思辨能力，去识别信息中的垃圾信息。而如何识别辨别这些垃圾信息呢？本篇文章分析了如何识别垃圾信息的方法，感兴趣的话一起来看看吧。

短视频、短信息时代蒸蒸日上，改变了公众话语的内容和意义，政治、宗教、教育、体育、商业和任何其他公共领域的内容，都日渐以“短娱乐”的方式出现，并成为一种文化习惯。

但是这些容易传播的短视频、短信息，大量充斥着假话和谬论。

基思·斯坦诺维奇说，伪科学的传播所造成的代价是巨大的。怎么在纷繁复杂的信息里面，去伪存真，帮助自己解读判断，需要我们有一定的思辨能力，去识别信息中的垃圾信息。

一、如何识别垃圾信息？

1. 大话、空话；让人不知所云

在表达中使用一堆假大空的词汇，每个词你都认识，组合在一起也仿佛说得都对，但是就是不知道对方在说什么。比如各种黑话指南：

2016年：资本寒冬、护城河、上半场、下半场、brief、知识付费、赛道、黑科技、网红、闭环。
2017年：赋能、边界、共享经济、消费升级、新物种、互联网金融、ICO、区块链。
2018-2019 年：打法、优化、下沉、社交电商、壁垒、流量池、组合拳、心智。
2020-至今：抓手、Web 3，去中心化、底层逻辑、第一曲线、第二曲线。

并不是说只要有这些词汇，就是垃圾信息。而是表达者通过一顿组合，让你不知道所云，只有空话的，肯定是垃圾信息。比如：

这次 Campaign 我们要以价格为抓手，横向打通品类覆盖，还要提高内容可复制性，注重投放颗粒度，覆盖消费升级到下沉市场的全域流量，发力打出一套组合拳。

看完之后，一脸问号，他在说啥？

向飙说：“社会生活里有很多问题都是老问题，一定要把老问题吃透。不要制造新的词汇，没有太大的意思”。

2. 缺失的信息

之前文章《如何正确读数和更优决策》，讲了一个关于缺失数据做决策的故事。赛车队成员需要决定是否要参与一场重要的比赛。依据之前的经验，24 场比赛中有 7 场汽车引擎出现故障，故障情况和天气温度之间的关系如下图：

图片来源于《成长边界》

团队里面大部分人的判断都是要参赛。但是当我们把缺失的比赛数据补齐时，我们看到：

图片来源于《成长边界》

40华氏度引擎出问题的概率很高，参赛的结果可想而知。赛车队故事背后是 NASA 真实的案例。1986 年，在一次火箭发射事件中，NASA 的高层基于部分数据，对于密封火箭助推器一个连接处的 O 型圈失效可能性做出了判断。最终结果是，剧烈燃烧的气体直接从连接处冲向外部，“挑战者号”在升空 73 秒后就爆炸了，7 位宇航员全部丧生。

当有人和你阐明数据和观点的时候，你可以思考以下几个问题：

谁在告诉我这些
他们是如何知道的
这些信息里面还有什么，还有哪些信息没有表露出

3. 错把关联当因果

还有一类经常被大家搞错的是，误把关联关系当作因果关系。

多年前，台湾地区有一个研究表明，家用电器的数量和避孕工具的使用最相关。但是你应该不会有这样的想法，在高中发放免费的烤箱以解决青年早孕的问题。因为这两个变量存在相关，但是没有因果关系。

比如你发现汽车儿童座椅销量变高，同时婴儿出生数量也在变高，是一个正相关的关系。但是不能说，因为儿童座椅销量变高了，所以导致婴儿出生率变高。这是逻辑是谬论。

导致两个变量之间产生误导性关联的第三变量，有时候很容易看出来。比如，冰淇淋卖得越多，溺水就越多。是因为吃冰淇淋的人很多，游泳的人也很多，所以溺水的人才很多。

我们在研究一个现象的时候，会带着自己的预设偏见理解为，两个相关因素是因果关系。而相关关系之所以产生，可能是因为这两个变量都与某个甚至尚未被测量的第三变量相关。

读数据的时候，当我们看到相关关系，需要继续提问或者反思，背后的原因是什么，是否还有其他可能性。

4. 小心平均值和中位数

平均数代表一个样本的平均水平。但是当你在查看平均值的时候要留意，样本里面是否有极值（极大值，极小值这些 outliers），如果有的话，平均值就会不准。此外，如果你的样本小，也容易产生更多极端的值。这个时候用中位数更合适。如下图：

图片来源于 B 站公开课程

5. 正确理解 p 值

什么是 p 值？

我们来说一个故事。假设你是一个律师，现在法官要审判一起杀人案件，而你的辩护人被指认谋杀。但是案发时，你当事人在蛋糕房里面做蛋糕，并不在案发现场。现在你要为他辩护。

庭上法官拿出 DNA 检测报告表明，案发现场凶器上的 DNA 和你当事人 DNA 完全吻合。所以你的当事人才被指认。

作为律师你说，“等一等，法官你确定 DNA 匹配不是巧合？”

法官说，“当然，DNA 匹配概率是百万分之一。你的当事人是凶手无疑。”

你说，“别急，我们来画一个图。百万分之一的可能性表达的是所有人群里面，错误识别的可能性。但是我们这里应该要看的是，识别出来的结果里面，被误识别的可能性。”

图片来源于 B 站公开课程

“虽然对于整体样本来说，检错概率很低，为百万分之一。但是在判断为凶手的结果里，总共 5 个人，只有 1 个是真正的凶手，其他 4 个都是误判，只有 20% 的正确率。没有办法判断我当事人就是凶手。”

这则小故事告诉你不能绝对相信 p 值。因为 p 值不是用来告诉你假设的正确性的。而是用来告诉你，在整个群体中检测错误的可能性有多大。

所以对于一个很低的 p 值，不要认为这事就肯定成立了。

6. 误导性坐标轴（misleading axes ）

数据可视化可以降低看数据的难度，但是在数据以图表的方式呈现出来之后，我们也需要去关注一些细节。因为图表会给出一些诱导性的表达方式，影响我们判断。比如误导性坐标轴（misleading axes ）。

以下图为例，作者给你看的图是这样的，我们会快速认为，yes 和 no 的比例是 5/5 开。但是细看我们会发现，这两个分类左边的 y 轴并不一样，根本不是 5/5 开的关系。

图片来源于 B 站公开课程

7. 操作箱尺寸

图表也可以操控每个箱子的尺寸大小来表达他想要的意思。比如下文是华尔街一篇臭名昭著的报道。这张图乍一看中间部分的 y 值最大。

图片来源于 B 站公开课程

但是当我们放大横坐标的时候仔细一看，会发现，横坐标根本不是等分的。从最开始的每 5k 一个间隔，到后面 5百万一个单位。

图片来源于 B 站公开课程

8. 过度装饰

过度装饰的图被称作 data visulization ducks。ducks 原意是用在建筑领域指过度装饰的建筑。图表也是如此，好的图表不要过度装饰，过度装饰反而会失去了他本来想要表达的内容。因为 ducks 会阻碍信息的交流。

（假新闻 & 过度装饰）图片来源于 B 站公开课程

（画个人形，读数反而变得很困难）图片来源于 B 站公开课程

（视觉注意力都被大汉堡和苏打水抢走了）图片来源于 B 站公开课程

（用嘴型来表达家庭的财务安全度）图片来源于 B 站公开课程

（非要用栅栏表达房屋价格，让人看不懂）图片来源于 B 站公开课程

（过度装饰 & 误导性坐标轴）图片来源于 B 站公开课程

9. 科学的可复制和可重复性

‍你看到的信息能否被复制和重复，这也是结论是否科学的一个重要判断因素。要将一个研究发现认定为确凿的科学事实，它的可重复性至关重要。因为科学理论的一个重要定义就是可证伪性。

可证伪性标准声明，一个理论要有用，对其所做的预测必须是具体的。它在告诉我们哪些事情会发生的同时，必须指出哪些事情不会发生。如果不会发生的事情确实发生了，我们就得到了一个明确的信号，这个理论有问题。

越具体的预测在被证实后，给我们的触动越大。预测越具体，越精确，有可能证伪它的观察现象就越多。

只有当一个理论并不试图预知一切，而是做出具体的预测，提前告诉我们世界上会发生什么具体的事情时，该理论才会进步。

所以伪科学/信息的另外一个特征就是不可证伪。不管怎么解释它，都对的。

这些不可证伪理论有着巨大心理吸引力，其奥秘在于它们解释一切的能力。预先知道无论发生什么，你都能理解它，不仅给你一种掌握知识的感觉，而且更重要的是，给你应对这个世界所需要的情绪上的安全感。

但是这种安全感是以知识发展的停滞为代价的。比如我们常常沉迷的占星、星座解释、通灵术等。

二、最后

Steven Pink 说过：活着好过死亡，健康好过疾病，富足好过匮乏，自由好过胁迫，幸福好过苦难，知识好过迷信和无知。

在这个不确定性极高的后疫情时代，多多提高自己对信息的辨别能力，更好的生活，从驳斥垃圾信息开始。

参考资料：

《大数据时代，如何识别 bullshit》，https://www.bilibili.com/video/BV13E411s74P?spm_id_from=333.337.search-card.all.click

《The social dilemma》2020 on Youtube, https://www.youtube.com/watch?v=rvg0eY_Ls4Y

《成长边界》

《这就是心理学》

作者：圈圈，微信公众号：lovepm

本文由 @圈圈授权发布于运营派。未经许可，禁止转载

题图来自Unsplash，基于CC0协议

在中国，真正达到月收入1万以上的有多少

Wed, 06 Apr 2022 07:12:17 CST

作者 | 菜乙己、董道力

数据 | 董道力

编辑 | 张晨阳、唐也钦

设计 | 戚桐珲

2018 年，上海相亲角，有一位老大爷自称侄子高学历、年收三百万，并直言 " 月入 1 万如讨饭 "，引来大量网友自嘲式认领 " 乞丐 " 身份。

今年 2 月，" 月收入一万 " 的鄙视链降临到了二线城市，有一位网友发帖声称，月收入一万在郑州 " 只能生存没法生活 "，还完房贷、减去日常生活开支，没剩多少钱，日子过得紧紧巴巴。

但另一方面，因为生活处境的差异，人们对 " 月收入 1 万 " 的体感其实是天差地别的。

今天，DT 君就通过数据的视角，看看月收入 1 万的打工人，在中国到底是个什么水平。

#01

在中国， 每月可支配收入 1 万已经超过 99% 的人

尽管关于 " 月收入一万，生活艰难 " 的吐槽不绝于耳，但事实是，在中国，确实只有极少数人能够月入过万。

北京师范大学中国收入分配研究院的一份数据可以作为参考，该研究院一直在追踪中国收入分配情况，分别在 1988 年、1995 年、2002 年、2007 年、2013 年和 2018 年进行了六次入户调查，沉淀为中国家庭收入调查数据库（CHIP）。

CHIP 的最近一次调查时间为 2018 年，研究院官网并未公布相关数据，但该院研究人员在财新发布的一篇文章透露了部分数据结果，分层抽取了 7 万个样本的数据显示：人均可支配月收入（扣除个人所得税等之外可用于实际使用的可支配收入）在 10000 元以上的家庭占比仅为 0.61%，人均可支配月收入在 5000-10000 元区间的是 4.52%；而大部分中国家庭人均可支配月收入在 500-1500 元这个区间，占比约 40.71%。

#02

近 7 成应届毕业生， 税前月入 6000 元以下

以上是比较宏观的统计数据，你可能会认为，统计样本中包含了家庭中的无收入人群，比如无退休金的老人、失业者、正在读书的孩子等，因而数据偏低，只看打工人的话，遍地是高薪。

但是当我们把人群缩小聚焦于已经毕业的本科生，能达到 " 月入 1 万 " 的仍然是少数群体。

涉及到更具体的就业人群划分，我们能找到的统计数据多是含税收入，如果考虑到手，还会更低。

麦可思《中国 2020 届大学毕业生培养质量跟踪评价》的数据显示，月收入（税前，包含工资、奖金、津贴等在内）在 1 万元以上的本科应届毕业生仅占该群体总人数的 4.3%，与此同时，有 68.1% 本科毕业生月收入在 6000 元以下。

即便是在工作三年后，也有相当大一部分本科生的月收入没有达到 1 万元。数据显示，毕业三年后，本科生的平均月收入为 8279 元。

也就是说，尽管互联网上似乎到处都是 " 年薪百万 " 的人，但在中国，月入 1 万，仍旧是一道卡住了大部分人的门槛。

#03

在哪里才能月工资过万？

在日常生活中，我们提及的月薪过万，常常是指税前工资。接下来我们一起来看一下，具体到不同的地域和城市的工资水平。

国家统计局在《中国统计年鉴 2021》中公布了全国各地区就业人员的平均工资（税前，包含工资、奖金、津贴等在内），我们进行了计算排名，可以看到，位列前三的地区分别是北京、上海，和西藏，广东仅排在第六。

这个结果与 " 北上广工资更高 " 的刻板印象有所出入，分析起来可能主要有两个原因：

一方面，因为数据是基于不同省份划分的，而广东省除了广州之外还会计入其余所有城市的人均工资，所以排名可能低于预期。

另一方面，因为海拔高、大气稀薄等自然环境因素，西藏的工作、生活环境相对其它地区更具挑战性，所以需要用有竞争性的、更高的工资才能吸引人才。且政策上的支持使得这样高薪招人的策略具有可持续性。

每月平均工作超过 1 万，在不同地区，所能带来的生活质量可能相去甚远。前段时间 DT 君就这个主题采访过 12 位生活在北上广的年轻人，即便都是大都市，它们之间的房价、物价也都各有不同，更不要说月薪 1 万在北上广，和在二三线城市之间的区别了。

对于普遍租房的年轻打工人来说，其中最明显直观的差别就是每个月的房租。根据麦可思研究院《2021 中国本科生就业报告》的数据，在北京和深圳，2020 届毕业生的住房成本占工资比已经超过了 40%，其次是上海、杭州，分别占比 38%、32%。而在重庆、长沙这些规模相对稍小的城市，虽然平均月收入更低，但只有 15% 左右的工资会被花在房租上。

另外，互联网在某种程度上抹平了一些差异，使得不同城市的人主动或被动地享用了同一套生活方式。一些生活在三四线城市的人，因为拥有更多的闲暇时间、更少的买房焦虑，可能更乐于在娱乐、潮流上消费。虽然没有月薪 1 万，但生活同样丰富。

换句话说，" 月薪 1 万是什么水平 "" 月薪 1 万的生活是什么样子 " 这个问题，直接被 " 你在哪里月薪 1 万 " 所影响。

#04

做什么才能月薪过万？

影响薪资水平的远不止 " 在哪儿工作 " 这一个因素。同样重要的，是具体 " 做什么工作 "。

国家统计局《中国统计年鉴 2021》的数据显示，2020 年各行业平均月工资最高的三个行业分别是：信息传输、软件和信息技术服务业，科学研究和技术服务业，以及金融业。也只有在这三个行业中，就业人员平均月工资超过 1 万元。

但另一方面，这三个高薪行业都有着不同的高门槛和问题：

信息传输、软件和信息技术服务业，面临着高强度、高时长的脑力工作，尤其是近几年，从亚健康到猝死，" 拿命换钱 " 的工作逻辑越来越被人批判，但普遍来看，只要身处其中，人们还是难以跳出内卷严重、35 岁晋升瓶颈等问题。

排在第二的科研行业，需要专业技术过硬的人才，紧随其后的金融行业非常看重高学历及相关经验。因此，高门槛和高月薪是密不可分的。

进一步的数据分析还显示，在不同地区，高薪行业的排名是不同的。

比如上海作为金融中心，它的金融行业就业人员平均工资在 27510.4 元 / 月，是全上海所有行业中最高的。

但在浙江，金融行业就业人员平均工资是 12150.3 元 / 月，在全省各行业排名并不靠前。浙江省平均工资最高的行业是信息传输、软件和信息技术服务行业，就业人员平均月入 19619.2 元。考虑到阿里巴巴总部就在杭州，这点并不让人意外。

写在最后

美国南加州大学经济学家理查德 • 伊斯特林在《经济增长可以在多大程度上提高人们的快乐》中提出了著名的伊斯特林悖论，即收入与幸福感不成正比的现象。其解释之一就是，收入和财富具有相对性，而这种相对性决定了它们真正的价值。

就像我们在前文中提到的，在不同城市，月薪过万的意义是不同的。

正因为大城市更容易月薪过万，所以在大城市月薪过万就没有那么稀有，反而会有更多高收入人群、高消费场所，且更容易产生攀比效应。即便许多消费选项也许并不包含在月薪 1 万打工人的生活成本之内，它们的存在还是会直接降低薪资在人们心中的价值。

另外，在薪资水平较高的社交圈中，当身边大多数人的收入与你相差无几，月薪 1 万的心理价值自然被削弱了。

英国经济心理学家克里斯 • 博伊斯等学者提出了 " 收入等级 " 的概念来解释这一现象。博伊斯指出，大多数人判断自己薪资水平时，不会考虑薪资本身价值，他们的判断更多受到这个薪资的 " 收入等级 " 所影响。而所谓 " 收入等级 " 是一个非常具象、微观的概念：它指代每个人心中，自己的收入在个人社交圈中排在什么位置——但没有人会把宏观的社会参照值（譬如 "99% 的中国人月收入低于 1 万 "）作为比较对象。

简单粗暴来说就是，在一个人心中，" 月收入 1 万超过 99% 中国人 " 的认知所能带来的幸福感，大概远远不如 " 月收入 5000 超过 5 个亲朋好友 "。

另外值得注意的是，大多数人更在意 " 比上 "：与收入高于自己的人群的比较会对一个人的心理产生更大的影响。也就是说，" 比下 " 所带来的心理安慰在 " 比上 " 所产生的的焦虑感面前，往往不值一提。

比如对于许多城市中产而言，他们大多数人早就月入过万，但依然无法停止对自身收入的焦虑。根据脉脉数据，即便是年薪 30 万以上的人群，其主要焦虑依然来自收入。

对此，财政部财政科学研究所原所长贾康认为：这种收入焦虑的根源，" 还是负担多 "。从高昂的房贷按揭，到鸡娃的教育投资，月收入 1 万相较于大城市中产生活的预设花销而言，显得杯水车薪。

不可置否，人们关于 " 月薪 1 万 " 的悲欢并不相通，有人早就月入过万，害怕跌落，所以还在努力向上；有人月收入 5000，美食电影潮玩一样不落，生活得洒脱快乐；但无论如何，他们都在努力过着自己定义中的 " 好生活 "。

如何摆脱信息茧房？

Mon, 20 Dec 2021 16:18:36 CST

编辑导语：信息茧房是指人们关注的信息领域会习惯性地被自己的兴趣所引导，从而将自己的生活桎梏于像蚕茧一般的“茧房”中的现象。现如今，人们的生活在信息茧房中，线下接触同一类圈子，线上大数据推送相类似的文章。这不是一个好的现象，如何摆脱信息茧房，如何“破圈”，本篇文章作者将告诉你答案，快来阅读吧！

“下次只能光看不点了， 我才夹一筷子，给我推送一桌子”。

早上好王先生：您的体温是38.3摄氏度，体温不正常建议去医院检查；昨天晚上您睡6个小时35分钟，当中醒来3次；其中深度睡眠时间2个小时30分钟，最近注意各项指标…….

上述声音来自我家智能管控系统和手环的反馈，好像把我生活安排的明明白白， 又窃喜又忧愁，为什么？

窃喜的是我可以 随时知道身体数据，及时调整状态；忧愁的是 “我对智能系统的依赖慢慢丧某些大脑能力”，事情只是如此简单吗？不是的。

如果我告诉你，除书和电影外， 我们的职业和人生选择都被塞进可被预知的黑匣子中，你会相信吗？也许多数人都这句话有些茫然，不妨来具体下：不仅是青年，现在的老人和孩子在闲暇时都喜欢抱着手机刷个不停，形容难听点是“像中毒了一样”。

大量的信息流平台正在通过算法偏好来迎合我们，向自身投喂相似的内容，它会造成什么呢？

一方面会让自身 固定在某个信息圈子中难以逃出，它持续强化你对某些问题的看法， 最后形成价值观。

另一方面信息堆积越多， 注意力就难以集中在那些复杂的问题上，造成判断力下降，怎么办？

除此外，身边的一切智能设备仿佛也都在尝试主动为你“提供服务”，这不是坏事；但有一些会让我们在不知觉中陷入信息茧房，不妨重新认识下它。

一、信息茧房

我们先来看看它的由来。

2001年美国学者凯斯·桑斯坦（Cass R. Sunstein）在《信息乌托邦——众人如何生产知识》中提出此概念，并针对内容做出分析和讨论，具体指：

人们的信息领域会习惯地被自身的兴趣所引导，从而将生活桎梏于像蚕丝般一样的「茧房」中的现象。

这个词汇的源头可以追溯到一本新闻传播专业考研必读的书籍，美国计算机科学家、麻省理工学院教授，尼葛洛庞帝的 《数字化生存》，它为什么这么厉害呢？

要知道，20世纪90年代中后期，中国开始兴起互联网创业大潮，年轻的互联网创业者们纷纷有感机遇来临，但对能否把握住这份机遇却心存忐忑，它的出现犹如“盲人指路”， 被奉为互联网时代的「指路圣经」。

令人惊讶的是：25年后的今天在打开书中多半描述已经成为现实，主要围绕三个阶段的预言：

从原子到比特；
代理人界面；
后信息时代。

1. 第一阶段

我想，上过初中三年级的人应该都熟悉，在化学中原子是变化中最小的微粒；如果你不懂没关系，可以用文科的方式理解： 世界万物都是由原子构成，原子组合后构成分子，分子就像瓦砖，堆成各种物质。

它也是人类最经典且使用最广泛的基础假设，用来精准的解释物理学中的力学，热力学、光学、量子学等多方面的问题，甚至还能解释自然科学中的生物学等等。

而尼葛洛庞帝看来，上世纪90年代，大多数信息都是以「原子」的形式呈现，例如：录像带、杂志、报纸、和书籍，长期以来大家对此也习以为常。

但随着计算机技术的发展，即时的电子数据传输就会成为主流的传播方式，我们进而进入比特（binary digit，简称BIT）组成的世界。

原因在于信息是最小单位，它没有重量能以光速方式快速传播，并且无成本拷贝并不会被区域所隔。

这种新的方式能帮助信息摆脱时空的限制，成为全球共享资源，为各个领域的发展带来便利，同时也能促进互联网和计算机的普及。

2. 第二阶段

在上世纪90年代美国计算机学界还是程序设计语言、操作系统和网络协议天下时，尼葛洛庞帝召集一帮各领域专家创立家「媒体实验室」的机构，聚焦研究人机互动。

当时人们把计算机研究重点主要放在 “人如何使用它”并没有关注 “如何和计算机更好相处”。

而基于此问题，他又提出新的概念为 “计算机设计需要人性化界面、此界面应该是使用人代理模式”，什么意思呢？

电脑界面必须像你的管家助手那样能够认识你，了解你的爱好、品位、倾向与需求；甚至还要知晓你的社交朋友圈、理解你的表达语言和肢体动作。

非常厉害吧，为此当时他认为 触屏技术、眼球追踪、语言识别甚至互联网人格的相关研究会是大趋所势，目前看来这些在现在均已经实现。

3. 第三阶段

尼葛洛庞帝在上述基础上，进一步设想了智能计算机将为人类生活带来巨大改变。

他预言到下一步互联网会进入「极端个人化的信息时代」，即算法推荐；在后信息时代里，电脑、手机APP会基于它对你的了解为自身推荐定制化信息。

从前，大众媒体把一模一样的信息通过广播或电视无差别的推荐给每个人；而未来APP会主动对信息进行筛选，并通过界面为使用者制作独一无二的“个人摘要”。

那么，如果按照此指导手册发展，这意味着什么呢？

这不仅让我心中一惊喜，目前买很多电子设备都不用看使用说明书都可以「语言、行为」控制它，以后岂不是更方便么？

但尼葛洛庞帝认为，美好未来虽到来也会在不知不觉中侵蚀人们的智慧和知识；比如：工作机会的减少，导致更多互联网创业者借助线上平台创造更多知识来与企业协同。

背后意味着复杂的工作交给机器解决，人类创作性工作将很难一步登上山顶，甚至非常优秀的创作也很难人性化的被发现，与此未来你可能更多的是和“机器交流”。

那么，严重的是机器取代大部分人力的潮流必不可当，针对发展肯定力大于弊；更加严重的是随着算法推荐带来的信息茧房和数字鸿沟，会加深一个人与另一个人的距离感。

比如：你习惯看历史知识，平台围绕历史中心化展开；若一个天天看娱乐的人被推送的都是八卦，甚至像我这种经常搜“学习内容”的人， 试想下种种场景“会带来什么后果”呢？

我们很难逃出“习惯的周边三公里”。如果不经过主动思考判断或故意去搜寻，会陷入知识获取单一化，没有社会统一认识中，严重者还会造成与社会和企业脱节。

一个现实的案例是：我看到很多离职3个月以上的人，与他们沟通就已经陷入自身的“信息茧房”，对跨岗一丁点技能还能理解，对跨公司业务就直接出现“黑匣子状态”。

不可否认，我们正在经历尼葛洛庞帝教授第三阶段的预测；人们无法阻止数字化的变化，它就像无法对抗大自然一样；但至少每个人可以了解它是如何形成的？如何一步一步吞噬着人们独有的思考模式。

当然，这一切背后离不开人们常说的“算法”或者“个性化推荐”，但它并不是罪魁祸首；那它是什么呢？给自身带来哪些影响呢？

二、算法原理

从框架而言，推荐系统一般包含“召回”和“排序”两方面。

不论是信息还是消费类电商平台，多半以此类型来训练用户，而算法又基于 「内容」和「用户行为」两大类别展开。

我们知道普通人的思维方式分为两种类型：

线性思维；
非线性思维。

前者是把认识停留在对事物的抽象而非本质上，并以这样的抽象为出发点，片面、直线的解释某件事；后者是把认识停留在对事物的抽象层并以基石出发来看底层原理。

机器学习方式和人相似，也分为线性和多种思维（学习）模型， 最主要区别是一方面偏向基础原理，一方面偏向多元化加工；从专业角度出发市面一共有6种常用方式：

过滤算法；
矩阵算法；
因子分解机；
逻辑回归；
梯度提升决策树；
深度神经网络过滤。

它们用在什么位置呢？

要知道，人们看到的所有信息均展示在APP的首页或分类上，在推荐系统中它们属于最上层的展示层， 算法属于中间层，数据是最底层；而 算法的主要功能就是排序和召回，上述的六种模型均服务它们两者。

举个例子：我们经常使用某款APP，它习惯性的抓取自己点击的每个图片或者下方的内容，然后以此用打标签的方式归类在后台中，该行为属于排序，进一步说平台可以收集一个账号的多个标签排序。

可当自身许久没有打开该APP时，机器就基于自身感兴趣的内容，通过push，短信的方式召回我们。

大部分大平台（小红书、抖音、快手）的推荐系统分人工干预和自动推荐两种，前者顾名思义人来操作，后者是给机器设定固定时间来循环使用。

自动推荐是什么呢？

若进一步展开解释，如抖音和头条的监督学习算法 Y=F(Xi ,Xu ,Xc)，这三个函数包含三个维度的变量分别为：

内容；
用户特征；
环境特征。

三者匹配起来是一个复杂的数学问题；市面常用模型有好几种，字节系无非是把多模型混合使用，简单来说就是： 你是谁、你在哪里、你爱看什么？基于这些给你推荐什么。

一般当推荐系统的自动化运作时，它就像山头巡视的小兵，不断从整个物品或者信息聚合中抽取当次需要查询的候选集；根据各种不同维度，如物品、年龄、性别、爱好，场景等种类以及规模的大小对候选集进行推送。

此场景犹如流水线工作的「抽样检查」，也同样用在大部分平台的召回手段上， 具体策略是什么样呢？

其一：内容过滤（Content Filtering）；
其二：协同过滤（Collaborative Filtering）。

资讯类产品的内容审核是不可缺失一部分，主要目的是确保无低质庸俗，保持平台该有的调性； 通常有“先发后审”和“先审后发”两个原则。

场景较轻如网易云，QQ音乐此类阅读、听歌类产品通常是前者；对社区论坛、偏观点讨论、树立权威通常是后者； 因此内容抽检或过滤的基础也是查敏感关键词、重复度、IP发布次数等权重指数。

协同过滤是基于已知部分用户或部分物品的偏好或评分，预测缺失偏好或评分的一种方法。

从切入点上，则可分为基于 “去邻域”的方法（本地生活类平台使用居多）和 隐语义模型（给每个分类中不同维度标签的人进行推送），比较难理解对不对？

举个例子：跟朋友聚餐会习惯性打开美食点评平台去搜索周边餐厅，过程中我们能看到按照公里排行的推荐、也有部分商家的竞价广告。

疑问的是，你会发现那些广告的美食是自己日常爱吃的，并且区域也不是太远，为什么会这么做？

因为可以基于“邻域”做精准的推荐，以此满足用户多频次的消费和深度洞察；如果把“邻域”比作数学的“2”，它左手链接“1”，右手链接数字“3”。

去邻域算法就是把“1”推荐给“3”， 假设不做去中心化折中结果就是上述你看到场景，基于自己搜索习惯、爱好、距离做折中推荐。

对于人工干预比较容易理解，基础的说我基于某类标签做手动推送，如：性别类型、兴趣爱好、话题、KOL量级等。

高维一点会融会贯通几项不同的数据综合考量，好比针对女人中对护肤话题感兴趣，客单价又在多少区间等。

这种方式常见在中小型（百万级用户量）以上的平台，主要特征表现在技术的基础建设已经完成，属于发展中期还完全不能依靠自动化解决。

一方面防止有巨大漏洞出现，造成损失。

另一方面也能运用人工的方式灵活多维度的基于用户（商品）进行推送，比如基于点击率作为推荐指标时，排序算法筛选后，我们会以预测结果为目标。

这些场景中就会用到因子分解，逻辑归因，梯度提升决策树，以及各种神经网络算法，这一切也把它称之为“混合模型”。

但不管怎么样始终都离不开那两大原则“基于用户行为”和“基于内容”； 综合上述，我们能得到什么启发呢？

企业招聘大量研发人员，利用理科的思维逻辑将人的行为特征变成“数据化”，由数据进行颗粒化，最终通过个性化的分析让平台更了解每个人，也就有了那句感同身受的话 “我都没有平台了解我自己”。

但真的是这样吗？这种理解就狭隘了。

你以为平台很了解自己？其实我们不过是把爱好，需求形成的特征进行标签化沉淀在平台上，这造成推荐的内容都在自身的“认知圈内”。

简而言之，每个人在头部资讯（购物）平台看到的展示页均不同， 他代表一个人的视野和爱好，这仿佛似一面镜子疯狂的为你展现热爱的一面，它带来的利弊也是极为可见。

三、孰是孰非

从优劣上有两个方面： 一是良好的认知能力，二是陷入回音室效应。

如果我们能够正确认知到信息茧房如何由来的，或者算法如何基于自身的各种行为形成“虚拟人设”为你定做线上画像；加上我们能够辨别哪些信息是优质的，哪些是不能为我所用， 那就不存在“茧房”。

这就给我们最大的启示是， 很多时候我们听到的未必都是正确的，只有深入并全面了解才会摆脱困境。

比如：很多人拼命的为摆脱算法的囚笼在平台看内容不点赞、不评论、不互动；这就能摆脱它吗？并不能。

反而会为你推荐一大堆乱八七糟的内容让自身眼花缭乱失去对关键信息的辨别的能力。

换句话说， “信息封闭环境”听起来是坏事，这好像人们无法接受其他信息一样，可实际上，这也是一种很常见的现象不是吗？

在没有互联网时，世界上的信息同等无穷尽，新的信息也在产生旧的信息也从未消失，堆积依然很多； 即便人用上一生的精力学习也是有限，真正有所造诣的人都是在冰山上抓住某个一角。

进一步而言，五花八门的信息看始终是看不完的，似乎看来人们不但没有损失什么，反而还让人愈发的认为筛选、寻找自身热爱、匹配自我不同阶段是当下不可缺失的能力。

何况很多时候，各种娱乐类、偏社交短内容平台的push大概率是琐碎事，真正重要的信息你一定会接收到。

假如我们不知道“信息茧房”的概念， 在劣势方面可能会形成持续受害而毫无觉察的状态，这就容易陷入回音室效应中，它有四个关键因素：

隔离；
观点极致化；
观点同质化；
同样信息重复传播。

在隔离角度你可以把它理解成在固有群体或“小圈子”内几乎与外界不怎么交流。

由于没有外部或不同信息进来，内部观点会重在重复传播中不停的在人们心中巩固，促使人们看到与内部观点不同的观点时尽可能否定，从而达到“极端共鸣”。

举个例子：很多人热爱进不同的付费社群来学习，圈子中往往会强调一种东西叫 “价值认同”或“主题认同”，假设某个行为（主题）触发大部人群友的爱好或行为底线，那你可能就会被移除群聊。

当所有人的观点都趋同，那同样的信息传播，变着不同的人去表达意思也就发生多变可质量本身并未提高， 对个人的成长也并没有太大帮助。

这四个关键表现，很好的解释了信息与受众的思维关键；具体而言，回 音室效应不但可以让一个人思维禁锢，还极有可能直接废掉理性思考能力。

根据调查很多受害者是两种状态，一是不乏高等教育的专家学者，二是分辨自控力不高的人。

前者学习几十年光理论不实践，很容易陷入封闭状态中，这种原地踏步造成与现实社会脱节还沉浸在固有的圈子中“津津有味”，殊不知外界已经发生巨大的变化。

后者是那些经常以 “这样学习就是对”“哪个专家说”作为标榜或处事依据的人，他们不习惯以理性的事实为基础，更容易陷入感性层。

正是陷入自己编织的信息茧房之中，才会不停阅读内容高度重复却几乎毫无营养的资讯，这造成自己的认识很难提升到新的层级，不仅荒废了自己还浪费掉整个人生。

种种行为在我看来，所谓的相对封闭环境，即可以是被动也可以成为主动。

被动是别人提供而主动在自己；如改变你获取信息的渠道、屏蔽无效信息、把它们变成高质量这是一种选择。

因此我们所避免的信息茧房可能是错的， “摆脱”不是目的，如何有效的利用它为自身做增值才是最重要的；那如何做呢？有2个认知1个技巧是我在践行的。

四、三个锦囊

掌握的概念越多加上日常灵活运用，才能够减少过错的概率。

有句话叫做 “人无法赚到自身认知之外的钱”，相对的是 “人无法碰到自身认知水平之外的问题”，那么，现在碰到的问题就是自己现阶段的一个上限，具体改变上你可以进行参考：

1. 微调认知基模

基模是人与生俱来的行为模式会随着成长而变化， 它是一种知识分类体系，呈层次化结构，类似于树状图；一般来说并不以某个具体事例为对象，而具有某种程度的一般化和抽象化的性质。

比如可以将方法论提炼成为规律，将规律用在不同领域，它们彼此间都是有关联和结构，只是我们从未发现；并不是凌乱互不相关的保留在记忆中。

1973年，美国学者罗伯特·阿克塞尔罗德在《认知与信息处理过程的基模理论》一文中，提出信息处理的过程模式的解释：它认为 “当我们接触到一个新的事物或者信息时，我们头脑中的相关基模就被激活，参与到信息处理的每个环节当中”。

进一步说：当信息的各项特征与我们认知基模相吻合时，人习惯用原有的解释和态度对待它；当不吻合时，才会对新旧信息进行比较，补充新信息确保新解释和态度。

如果你认识到就会发现，新信息处理结果对认知基模会产生两种影响，其一对旧行为认知的强化，假如有矛盾即使修正形成新基模；其二新信息的处理，会让自己做出分析，推理和判断。

从发展来看，只有不断接触新信息，认知基模才会发展出分支或做结构调整，这也符合神经心理学中“神经元集群（neural ensemble）的解释”。

2. 改善偏食情况

很多人喜欢给自己贴标签，当然他们都有一套逻辑自洽的理论，我不反对也不赞成；我原来也是现在基本不在乎，从我的角度出发往往给的心得是 “年轻不要随意贴标签”，为什么呢？

标签会植入到心智中，无形中渗透自身要往哪个圈子发展、学习什么类型的内容等；这很容易造成“信息偏食”，它会局限的将自我定位。

有人说聚焦不好吗？正确的聚焦在我看来先有中长期目标，如结合3年-5年规划再看当下。

第一方面，人与标签唯一不同在于前者是动态发展后者是静态呈现；今年认为对的，明年可能就会失效。

标签是手段，假设自身认为某个标签在短时间能够让自己有个质的提高，或通过此力量能带来外界优势，反之是不错的选择。

第二方面，即使通过标签或圈子渗透到某个领域中，自身也需要对领域的知识有全面的认知，不要盲目地跟随别人的意见和建议，这样， 受社交媒体下“群体性孤独”的影响几率会不断减少。

那么，对于多元化信息的获取和构建“多元化”的圈子，都是摆脱信息茧房必要的手段，我近些年一直这样才能横跨不同的领域。

3. 多看多听多动手

这句话的具体意思为 “尽可能删掉自己历史浏览痕迹”，遇到喜欢的内容把它立马记录下来或转存在收藏中；这可确保自己看到的内容不是经过刻意被推荐，而是相对随机的。

此方法好处是可以非常立竿见影的起效，坏处是你始终还很难完全避免掉“被种草”，那怎么办呢？

多动手去各种平台获取信息，并非“多动手点赞”；这样可以避免单个平台的误导；就我个人而言，因为我有阅读习惯，所以经常通过RSS（信息聚合）阅读完当天所有新闻。

古人云： 兼听则明，偏信则暗。当自身做到多渠道、全方位的获取随机性的信息时，信息茧房就会失去存在的基础，自然就会不攻自破。

总而言之，它仍然是可被破解和避免的，主要是积极主动行动起来，放弃固有习惯，这可能会让自身逃离舒适区，变得不那么愉快； 我想，比起收益这点付出还算值得。

五、总结一下

最厉害的并不是所谓平台方“算力”或“数据”有多牛，而是人； 不信你想想，平台的技术会磨灭我们看世界的好奇心吗？

并不会，平台多元的分发口径，没有成为“茧”，反而织了一张“网”；而 让自身看到的信息能成为茧房，或许这件事只有自己能办到，不是吗？

作者：王智远

本文由公众号：王智远（ID：Z201440）授权发布于运营派。未经允许，禁止转载

题图来自 Unsplash，基于CC0协议。

三步学会爬动态网站

Thu, 07 Mar 2019 08:00:16 CST

*本文原创作者：qingxp9，本文属于FreeBuf原创奖励计划，未经许可禁止转载

声明

本篇文章仅用于技术讨论，严禁用于任何非法用途。此外，请尽量通过公开数据进行练习，减缓爬取速度和数量。

三步学会爬动态网站

在我们写爬虫程序时，难免会碰到一些动态加载的网页，为获取数据制造了困难。本篇文章我将尝试用非常简短的篇幅来教大家：如何应对动态加载的网页。

以Ruby语言为例，可以在Linux、Mac、Windows等平台上进行实验。

一、目标分析

目标：收集目标网站上公开的所有产品型号

所有的产品通过类型进行分类，如下所示：

当点击某个分类后，出现具体的产品信息：

需要注意的是，这部分产品信息是通过解析参数后动态加载的，这是本篇要解决的主要问题：

二、Nokogiri

https://nokogiri.org/

Nokogiri是一个用于解析HTML, XML, SAX等内容的开源Ruby库，可以通过XPath和CSS选择器语法来操作内容。

安装：

     ```
   apt install ruby
   gem install nokogiri
   ```

通过简单分析，各分类的url位于以下结构中：

     ```
   <ul class="header-subnav-list">
     <li>
       <a></a>
     <</li>
   </ul>
   ```

由于这些内容在网站中是静态的，我们直接使用open-uri打开目标网页，配合Nokogiri来获取各分类的url：

     ```
   #irb是Ruby的交互式shell，
   root@bad:~# irb
   require 'nokogiri'
   require 'open-uri'
   #获取目标网站HTML代码
   doc=Nokogiri::HTML(open("    http://www.xxxx.com"))
   #通过xpath选择器获取目标内容
   ar=doc.xpath("//ul[@class='header-subnav-list']//li//a")
   href = []
   ar.each {|a| href << a["href"]}
   ```

查看一下获取的列表：

前面提到，分类里边的产品列表由Javascript动态加载，这时候我们可以使用Watir来获取动态内容。

三、Watir

http://watir.com/

Waitr是一个用于自动化测试的开源Ruby库。Watir将使用跟真人一样的浏览器交互方式来点击链接，填写表单和验证文本。可以配合Chrome、Firefox、IE、Safari、Edge等。

以Chrome为例，除了安装Waitr外，还需要安装chromedriver：

     ```
   gem install watir
   apt install chromium-driver
   #其他平台可参考    https://github.com/SeleniumHQ/selenium/wiki/ChromeDriver
   ```

当我们使用Watir访问目标网站时，会出现一个受代码控制的Chrome窗口。（不要用鼠标去操作或者关掉它！！）

由于浏览器加载内容需要一些时间，所以我们适当增加一些休眠时间确保内容加载完成。通过Watir获取了每个页面的内容后，再次通过nokogiri进行获取即可。

     ```
   #接着上面的代码
   require 'watir'
   browser = Watir::Browser.new
   browser.goto "    http://www.xxxx.com#{href[2]}"
   sleep(1)
   doc=Nokogiri::HTML(browser.html)
   ar=doc.xpath("//div[@class='product-list']//ul//li//a//div//span")
   ar.each {|a| p a.content if a.content != '' }
   ```

可以适当输出一些中间内容，方便在出错时调试。

（完）

*本文原创作者：qingxp9，本文属于FreeBuf原创奖励计划，未经许可禁止转载

色情勒索病毒和信息窃取木马的新套路

Fri, 18 Jan 2019 15:00:03 CST

对于网络犯罪分子来说，色情邮件诈骗已经成为了一种搜刮钱财的绝佳途径，而近期的一个新型色情邮件诈骗活动又将此类攻击提升到了一个新的高度。在此活动中，攻击者会欺骗目标用户去安装Azorult信息窃取木马，而这个木马接下来会在目标主机中下载并安装GandCrab勒索软件。

在这个攻击活动中，目标用户会收到一封声称“该计算机已被黑客入侵，而且在你浏览色情网站的时候录下了你的视频。”除此之外，这些邮件中还会包含你的用户名和密码，这样可以让这些邮件看起来更加真实，而这些用户密码都是攻击者在之前的数据泄露事件中收集到的。

接下来，诈骗邮件还会要求用户支付比特币，否则攻击者将会把他们上黄网的视频发送给用户通讯录里的好友。很明显，这是很明显的诈骗：因为你的电脑没有被黑，而且攻击者也没有录下那些所谓的视频。

ProofPoint的安全研究专家近期还发现了一种新的网络诈骗活动，这一次攻击者没有直接通过勒索邮件来让目标用户支付比特币，而是“勾引”用户下载攻击者录下的视频（视频中记录了用户的某些“特殊活动”）。此时，用户下载下来的是一个zip压缩文件，其中包含一个可执行文件，而这个文件将会在目标用户的主机中安装恶意软件。

ProofPoint的研究人员在报告中写到：“我们观察到了一个色情勒索活动，其中涉及到的URL跟 AZORult有关，攻击者最终会在目标设备上安装GandCrab勒索软件。”

用户下载下来的文件命名风格形如“Foto_Client89661_01.zip”，色情勒索邮件的完整内容如下：

大致意思是：“告诉你个坏消息，2018年9月8日我黑掉了你的电脑，拿到了你电脑的完整控制权。你的邮箱地址是xxx，密码是xxx。我怎么做到的呢？你上网用的路由器存在漏洞，我黑进了你的路由器，植入了恶意代码，所以你上网的时候电脑就会感染木马病毒。我拿到了你电脑里面所有的数据，包括网站浏览记录、通讯录和各种文件。本来我只想问你要点比特币来玩玩，但是我发现你一天到晚都在上“黄网”。所以，emm….我不仅截图了，而且还录了你看色情内容的视频。为了证明我说的东西，你可以自己下载下来看一看，地址也给你啦！你也不想我把这些东西发给你的亲朋好友吧？那就赶紧付钱吧，我也不要求很多嘛！速度给钱！”

这种新的诈骗策略杀伤力会更大，因为收件人第一反应会感到恐慌，然后他们就会去下载视频看看“对方”说的到底是不是真的。下载文件之后，他们就会打开压缩文件，但这个时候他们就会发现自己瞬间感染了两种不同类型的恶意软件。

感染的第一个恶意软件为AZORult，它的作用是收集目标主机中的信息，例如登录账号、cookie、聊天记录和其他文件等等。接下来，它还会安装GandCrab勒索软件，并对用户计算机中存储的数据进行加密。

那么这个时候问题就更加严重了，因为刚才你只是被诈骗邮件吓到了，但现在你要面对的就是真正的麻烦了。

因此，我们不得不一而再再而三地提醒各位，不要轻易相信陌生人给你发送的任何邮件。在打开这些邮件或者下载附件之前，先上网看看有没有其他人遇到过跟你类似的事情，这样你就可以更好地保护自己了。

*参考来源： bleepingcomputer，FB小编Alpha_h4ck编译，转载请注明来自FreeBuf.COM

我的信息搜集之道

Mon, 24 Dec 2018 10:00:17 CST

前言

前段时间，看了一本书名为《Kali Linux 渗透测试的艺术》，我发现书中第四章信息搜集那部分有些内容不能适应有些内容不能适用国内，这勾起了我想总结一下国内信息搜集的欲望，于是就有了这篇文章。

什么是信息搜集

信息搜集也称踩点，信息搜集毋庸置疑就是尽可能的搜集目标的信息，包括端口信息、DNS信息、员工邮箱等等看似并不起眼的一些信息都算是信息搜集，这些看似微乎其微的信息，对于渗透测试而言就关乎到成功与否了。

信息搜集的重要性

信息搜集是渗透测试的最重要的阶段，占据整个渗透测试的60%，可见信息搜集的重要性。根据收集的有用信息，可以大大提高我们渗透测试的成功率。

信息搜集的分类

1、主动式信息搜集（可获取到的信息较多，但易被目标发现）

2、通过直接发起与被测目标网络之间的互动来获取相关信息，如通过Nmap扫描目标系统。

3、被动式信息搜集（搜集到的信息较少，但不易被发现）

4、通过第三方服务来获取目标网络相关信息。如通过搜索引擎方式来搜集信息。

搜集什么信息

1、whois信息（微步）

2、网站架构

3、dns信息（通过查询dns我们可以检测是否存在dns域传送漏洞）

4、子域名搜集

5、敏感目录及敏感信息、源码泄露（搜索引擎+工具）

6、脆弱系统（网络空间）

7、旁站查询

8、C端查询

9、指纹信息

10、端口服务

11、备案信息

12、真实ip

13、探测waf

14、社工（朋友圈、微博、qq空间、求职、交易等社交平台）

15、企业信息（天眼查、企业信用信息公示系统、工业和信息化部ICP/IP地址/域名信息备案管理系统）

信息搜集的流程

上面我已经列举了需要搜集的信息，然后我给它们分了一下类。

我考虑到一个网站的组成是由域名、服务器、网站程序组成的。

因此：

首先入手域名方面：whois、子域名、备案信息；

其次是入手服务器方面：dns信息、端口服务、真实ip；

然后入手网站程序（web层）方面：网站架构、敏感目录及敏感信息、源码泄露（搜索引擎+工具）、脆弱系统（网络空间）、旁站查询、C端查询、指纹信息、探测waf；

最后入手企业方面：天眼查、企业信用信息公示系统

归了类之后，我做了一张脑图。

脑图如下图所示：

Whois信息和Whois反查

whois是用来查询域名的IP以及所有者等信息的传输协议。 whois信息可以获取关键注册人的信息，包括注册商、联系人、联系邮箱、联系电话、创建时间等,可以进行邮箱反查域名，爆破邮箱，社工，域名劫持等等。

查询方式

1、 http://whois.chinaz.com/

2、微步

3、 https://who.is/

4、Linux whois命令

5、其他工具

这里需要注意的是国际域名可以设置隐私保护，但像国内.cn等域名是不可以设置隐私保护的。

当然我们得比较一下这几种方式哪一种比较适合自己。

站长之家查询whois信息

这里我用360.cn为例。可以看到下图我们搜集到了注册商、联系人、联系邮箱等信息。

可以看到很直观，很中国，而且我们还可以通过联系人和联系邮箱反查。

我们通过联系人反查，搜集到更多信息，效果如下图

我们也可以通过邮箱反查，效果如下图

微步查询whois信息

下图通过微步查询whois信息的效果，和站长之家一样很中国，想要反查whois需要复制邮箱

图是反查邮箱的效果，微步需要登录才可以查看更多的信息。

因此相较于站长之家就显得有些麻烦了。

who.is查询whois信息

下图是通过who.is网站查询到的whois信息，可以看到中文字符竟还有乱码，很外国，且不能whois反查。

Linux whois命令查询whois信息

需要注意的是并不是所有Linux系统都自带whois命令的。

我这里就用CentOS7来演示安装whois客户端。

具体命令的话可以看下图

安装完成之后，我们来查询一下360.cn。可以看到下图的效果，同样出现了乱码。

其他工具查询whois信息

查询whois信息的工具，我这里不做讲解了，工具实质上还是调用了网站接口的。

因此通过比较，我们针对国内网站的whois信息，我们使用站长之家和微步来查询whois信息效率会比较高。

子域名搜集

子域名收集可以发现更多目标，以增加渗透测试成功的可能性，探测到更多隐藏或遗忘的应用服务，这些应用往往可导致一些严重漏洞。当一个主站坚不可摧时，我们可以尝试从分站入手。

查询方式

1、layer子域名挖掘机

2、 https://phpinfo.me/domain/

3、subDomainsBrute

4、搜索引擎语法(site:xxx.com)

layer子域名挖掘机

下载地址： https://www.webshell.cc/6384.html

我们运行这款工具需要安装.net framework 4.0以上，否则会出现像下图一样的错误信息

我就以安装4.5.2为例

安装完毕后会出现下图

现在可以成功运行工具了

以360.cn为例，爆破的效果如下图，这款软件的好处是还可以进行扫描端口和探测服务器类型

https://phpinfo.me/domain/

这是Lcy大佬的在线子域名爆破工具，我们可以测试一下爆破360.cn的子域名的效果，如下图所示，作为在线工具，它的爆破速度很可观。

subDomainsBrute

这是lijiejie大佬用python写的子域名爆破工具，不用说运行的话需要先安装python，对于懒惰的人，直接拖进kali里直接就可以运行。

github下载地址： https://github.com/lijiejie/subDomainsBrute

下图是以360.cn为例，用这款工具爆破出来的子域名，可以看到比较少，这是因为字典比较小的原因。

搜索引擎语法(site:xxx.com)

我们也可以通过搜索引擎的语法搜索，但是搜索到的子域名比较少。

下图是通过百度搜索360.cn子域名的效果图，当然谷歌也是同样的语法。

备案信息

备案信息分为两种，一种是IPC备案信息查询，一种是公安部备案信息查询。如果是国外的服务器是不需要备案的，因此可以忽略此步骤，国内的服务器是需要备案的，因此可以尝试获取信息。

查询方式

1、 ICP备案查询

2、公安部备案查询

ICP备案查询

下图是通过网站查询ICP备案信息

公安部备案查询

下图是通过全国公安机关互联网安全管理服务平台查询公安部备案信息

DNS信息搜集

通过查询DNS信息，我们可能可以发现网站的真实ip地址，也可以尝试测试是否存在DNS域传送漏洞。

查询方式

1、Kali（host、big命令）

2、windows（nslookup命令）

3、在线工具

Kali命令

host查询DNS信息，如下图所示：

big查询DNS信息，如下图所示

windows命令

nslookup命令效果如下图，比较low。

在线工具

地址：

http://tool.chinaz.com/dns/

https://tool.lu/dns/

这里就不做讲解了，和查whois信息一样。

探测端口服务

查询方式

Nmap

个人觉得用Nmap足矣

Nmap扫描

扫描结果如下图所示，可以看到我们可以扫描到操作系统类型、端口信息和端口对应的服务信息。

下图是详细端口对应服务图

获取网站真实ip

现在大多数的网站都开启了CDN加速，导致我们获取到的IP地址不一定是真实的IP地址。

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

思路

1、二级域名法一般网站不会所有的二级域名放CDN，因此我们可以利用这点来获取网站的真实ip

2、多地ping法由CDN的原理，不同的地方去Ping服务器，如果IP不一样，则目标网站肯定使用了CDN

3、nslookup法找国外的比较偏僻的DNS解析服务器进行DNS查询，因为大部分CDN提供商只针对国内市场，而对国外市场几乎是不做CDN，所以有很大的几率会直接解析到真实IP

4、查看邮件法通过查看邮件原文来确定ip地址，CDN总不会发送邮件吧

5、RSS订阅法 RSS原理于邮件法差不多

6、查看历史解析记录法查找域名历史解析记录，域名在上CDN之前用的IP，很有可能就是CDN的真实源IP地址

7、利用网站漏洞（XSS、命令执行、SSRF、php探针、phpinfo页面等）可以通过一些页面和漏洞获取到服务器ip地址也是可能的。

网站架构

操作系统

查询方式：

1、Nmap

2、wappalyzer插件

3、云悉

wappalyzer插件是一款火狐插件，可以去火狐扩展中添加。

云悉是云悉安全专注于网络资产自动化梳理，cms检测web指纹识别，让网络资产更清晰的在线查询工具。

通过Nmap获取操作系统，如下图所示

通过wappalyzer插件查询，如下图所示

通过云悉也可以查询到操作系统，如下图所示

中间件信息

1、wappalyzer插件

2、云悉

通过wappalyzer插件查询中间件信息，如下图所示

通过云悉也可以查询到中间件信息，如下图所示

数据库

1、wappalyzer

2、云悉

通过云悉查询到数据库信息，如下图所示

通过wappalyzer插件查询到数据库信息，如下图所示

编程语言

1、wappalyzer

2、云悉

通过wappalyzer插件查询到编程语言信息，如下图所示

通过云悉查询到编程语言信息，如下图所示

敏感目录及敏感信息、源码泄露（搜索引擎+工具）

途径方法

1、御剑

2、搜索引擎

3、BBscan

4、GSIL

5、社交平台（QQ群、文库、求职网）

robots.txt、crossdomin.xml、sitemap.xml、源码泄漏文件、/WEB-INF/

御剑

御剑这款工具主要用于扫描网站的敏感目录、敏感文件。这里必须要说明一下字典必须要足够强大才可以扫到别人发现不了的点。因此我们必须完善一下自己的字典。

下图是我利用御剑对我自己网站的一次扫描

搜索引擎

搜索引擎也可以用于搜索网站的敏感目录、敏感文件和敏感信息。

这里就必须提一下搜索引擎的语法了，这里以google 黑客语法为例，语法同样适用于百度搜索引擎。

基本语法：

  "" //双引号表示强制搜索

  -  //表示搜索不包含关键词的网页

  |  //或者的意思

  site //返回所有于这个域名有关的网页

  intext //搜索到的网页正文部分包含关键词

  intitle //搜索到的网页标题包含关键词

  cache   //搜索关于某些内容的缓存

  definne //搜索某个词语的定义

  filetype //搜索指定的文件类型

  info //查找指定站点的一些基本信息

  inurl //搜索包含关键词的URL

  link //可以返回所有和baidu.com做了链接的URL

下面做几个演示

下图将返回360.cn的一些分站

下图返回了所有360.cn下的所有包含login关键词的URL

具体的用法你可以自己开动脑经组合使用，这里就不多做演示了。

BBscan

BBscan是一款信息泄漏批量扫描脚本。它是依旧还是由lijiejie大佬用python写的安全工具。

这是项目地址： https://github.com/lijiejie/BBScan

在windows平台运行需要解决依赖问题

  pip install -r requirements.txt

下图是安装依赖的过程

下面说一下使用示例

  1. 扫描单个web服务 www.target.com

  python BBScan.py  --host www.target.com

  2. 扫描www.target.com和www.target.com/28下的其他主机

  python BBScan.py  --host www.target.com --network 28

  3. 扫描txt文件中的所有主机

  python BBScan.py -f wandoujia.com.txt

  4. 从文件夹中导入所有的主机并扫描

  python BBScan.py -d targets/  --browser

  5. 如果是为了去各大src刷漏洞，可以考虑把所有域名保存到targets文件夹下，然后

  python BBScan.py -d targets/ --network 30

下图是我利用BBscan扫描自己网站

GSIL

GSIL是一款由python3写的从github上寻找敏感文件的安全工具。

项目地址： https://github.com/FeeiCN/GSIL

先安装一下依赖

  pip install -r requirements.txt

然后需要给它进行配置

用法

  # 启动测试

  $ python3 gsil.py test

  # 测试token有效性

  $ python3 gsil.py --verify-tokens

社交平台

在wooyun某一些案例中，有一些奇葩的思路，通过qq群信息泄露或者通过在线文档平台等等导致被攻击。

下图是通过QQ群查找找到的敏感文件以及账号和密码信息。

下图是通过道客巴巴获取敏感信息,其他社交平台这里就不演示了，社交平台实在有点多。

脆弱系统（网络空间）

网络空间搜索引擎的作用就是将互联网上公开的网络资产收集和整理，以此方便人们进行查阅和利用。我在网络空间可发现了不少企业的脆弱系统，未授权访问、SQL注入、弱口令等等都是存在的。

网络空间搜索引擎：

1、Shodan

2、FOFA

3、Zoomeye

旁站查询

什么是旁站

旁站是和目标网站在同一台服务器上的其它的网站。

在线工具 k8旁站查询

在线工具获取旁站

下图是通过站长之家获取同一个服务器下的站点信息

k8查询旁站

这个工具是C#写的，因此需要.NET Framework v4.0

想要使用这款工具还需要申请必应API，我手工测试时是打不开KEY申请地址的，可能已经不行了，因此还是推荐使用在线工具查询吧。

C端查询

什么是C端

C端是和目标服务器ip处在同一个C段的其它服务器。

查询方式

北极熊扫描器 Nmap

北极熊扫描器扫C端

这是一款国人写的扫描器，不得不说这款扫描器误报率是真的高。通过一些实战我发现这款扫描器不错的是C端扫描，可以获取网站标题、服务环境、程序类型

下载地址

下图是使用北极熊扫描器扫C端的效果图

Nmap扫C端

下图是Nmap扫描开放http服务的服务器的效果图

指纹信息

指纹是什么

指定路径下指定名称的js文件或代码。

指定路径下指定名称的css文件或代码。

<title>中的内容，有些程序标题中会带有程序标识

meta标记中带程序标识<meta name=”description”/><meta name=”keywords”/><meta name=”generator”/><meta name=”author”/><meta name=”copyright”/>中带程序标识。

display:none中的版权信息。

页面底部版权信息，关键字© Powered by等。

readme.txt、License.txt、help.txt等文件。

指定路径下指定图片文件，如一些小的图标文件，后台登录页面中的图标文件等，一般管理员不会修改它们。

注释掉的html代码中<!–

http头的X-Powered-By中的值，有的应用程序框架会在此值输出。

cookie中的关键字

robots.txt文件中的关键字

404页面

302返回时的旗标

指纹信息的重要性

通过识别目标网站所使用的CMS信息，可以帮助我们进一步了解渗透测试环境，可以利用已知的一些CMS漏洞来进行攻击。

识别指纹方式

1、云悉

2、wappalyzer插件

3、whatweb工具

探测waf

WAF也称Web应用防护系统，Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

原理：WAF识别大多基于Headers头信息。通过发送恶意的内容，对比响应，寻找数据包被拦截、拒绝或者检测到的标识。

探测方式

手工（提交恶意数据）

工具（WAFW00F、Nmap）

我们可以通过工具判断，如果工具检测到WAF的存在，手工验证一下是否存在误报；如果工具检测不到WAF的存在，我们也可以通过手工来判断WAF到底存不存在。

Nmap探测WAF

Nmap探测WAF有两种脚本，一种是http-waf-detect，一种是http-waf-fingerprint。

WAFW00F探测WAF

手工探测WAF

在网址URL参数后面输入恶意数据，通过提交后被WAF拦截得知WAF信息。如下图

天眼查

地址： https://www.tianyancha.com/

天眼查是一款“都能用的商业安全工具”，根据用户的不同需求，实现了企业背景、企业发展、司法风险、经营风险、经营状况、知识产权方面等多种数据维度的检索。

下图以奇虎360为例

企业信用信息公示系统

地址： http://www.gsxt.gov.cn/index.html

下图以奇虎360为例

参考

书籍《Kali Linux 渗透测试的艺术》

乙方渗透测试之信息搜集

渗透测试之信息搜集

渗透测试之信息搜集

*本文作者：看不尽的尘埃，转载请注明来自 Freebuf.COM

轻松获取你的手机号，这个“潘多拉魔盒”正在全国热销

Mon, 10 Sep 2018 10:30:14 CST

如果有一个盒子，只要你在它百米之内，就能直接获取你的手机号，你害不害怕？

最近一则新闻“一个盒子就能获取任意的手机号”被媒体报道出来，新闻提到，长沙一家公司正在售卖一个智能盒子，只要手机打开WIFI,在这个盒子周围100米范围内，任意手机号都可以被轻松获取。

今天，妮美就带大家一起来了解下这个黑科技（产）盒子。

本以为已被新闻报道，再加上涉及贩卖公民隐私，查询时应该会费番周折，甚至怀疑这公司可能已经被警方端掉了。可没想到的是，输入这家公司名字后，第一个出来的就是它的官网，还做了百度推广。

官网的装修也颇为用心，还在发展全国代理商，这高调作派不像一般搞黑产的。

官网页面下方模糊地展示着各种商标注册证书，一副正经生意的模样。

要是没有看到数据收集栏的“线下真实场景，采集Mac地址，无感采集技术”内容，我都快要怀疑自己进错了网站。

总之，浏览完官网后，我对这家公司的兴趣进一步增加了。

智能盒子的真面目

从官网看，这家公司经营的主要产品是“70度大数据营销平台”，具体如下：

介绍中的数据挖掘、app定向等词让产品非常高端、耀眼，可跟智能盒子的关系却一点看不出来。为了解更多内容，我以业务需求为由，联系了该公司业务员。

业务员告诉我，该公司的主要产品就是智能盒子，官网上面的宣传内容都是基于盒子的营销服务。之后给我介绍了智能盒子的相关信息。

智能盒子是什么

智能盒子鼠标大小，可随身携带，连接Wi-Fi和移动电源就能使用，主要用来搜集 mac地址 。

在运行中的智能盒子

智能盒子的使用

该业务员对我讲到，只要手机使用者打开WIFI功能或者数据流量，都能够通过“智能盒子”采集到该手机的mac地址，之后通过后期技术手段进而分析出该mac地址所对应的手机号码。

智能盒子的市场需求

有了客户手机号码，可以运作的内容就很多了，比如给客户发信息，打推广电话，发送广告推送，开展各种营销活动。

正在装箱打包的盒子

介绍完之后，他力邀我到他们的公司实地考察，测试，并希望发展我成为区域代理，不难看出，他对自己公司的产品和未来还是相当自信。

背后技术原理

仅仅只是带手机在外面逛了一圈，还来不及施展任何操作，信息就已经暴露了。相信大家心里免不了有一丝慌张，也一定好奇，这个小小的“智能盒子”究竟是怎么实现他的这些功能的？我们一起来看看。

第一步：用盒子获取mac 地址

mac地址：手机mac地址就是手机网卡地址，是唯一的，换句话说，就是手机的身份证号。

只要你打开Wi-Fi，你的设备自己就在广播mac地址，这是Wi-Fi协议802.11规定，而智能盒子就是一个WIFI探针，实现这个成本极低。

至于通过数据流量获取mac地址，因为伪基站涉嫌违法，所以他们的业务员一再否认没有伪基站，但打开流量就能获取mac地址，除了基站还舍谁呢。伪基站我们已介绍过，点击可查看。

第二步：Mac地址匹配手机号码

拿到mac地址后，又如何获得使用者的手机号码，官网的一句话解释是自建数据库资源匹配。那问题来了，自建的数据库是从哪里得来数据呢？可能性最大的数据来源有两种：

一是运营商的信息泄漏。运营商会记录每个用户的mac地址,在有需要的时候查询，他们当然也知道你的手机号，因此他们是最完备的数据来源。

二是app信息泄漏。现在app基本都是用手机号注册，下载之后，很多app都会默认获得你的mac地址。这些资源，除了我们已知的在暗网上面售卖的各种明码实价的信息，还有众多的内部信息泄漏渠道。

第三步：利用手机号作用户画像

有了用户的手机号码，就可以拿着这些号码去尝试注册各种网站，只要提示已注册，那么你就是这个网站的受众，再给你打上母婴、英语这些特征标签，完成人物画像。这也是“REG007”（查找你注册过什么）这些网站的原理。

REG007网站

在REG007搜索任意手机号

经过这么一分析，我们就不难发现在用智能盒子搜集mac地址的背后就是集合拖库、洗库、撞库三部曲的一条信息贩卖链。只是这个案例中，通过线下采集，精准收集了人物的位置信息。

“正规”生意？

“智能盒子”与一般黑产手段最大的不同点就在于，用户手机号码是加密给到客户的。

“我们不会给你完整的手机号码，你只是有一个加密的联系方式”，业务员小哥对我着重强调到，“给你完整的号码涉嫌侵犯用户隐私是违法的。”

只要加密就不涉及违法，这便是他们如今企业化、规模化的底气所在。

若真如他所说，这个设置实在是妙。从市场角度看，没有给出客户信息就可以保证商家持续的依赖企业，另一方面又能钻法律的空子，一举两得。

公民信息被如此大规模侵犯，真的不涉及违法吗？

侵害隐私权的定义：以非法方式公开，知悉，收集和刺探，利用他的个人隐私，信息或者活动的空间范围。

为此我咨询了相关法律人士，有两种不同观点：

一方认为确实不算侵犯隐私权。侵害隐私权是只针对特定人。售卖加密的联系方式，行为实施时受害人并不具体化，不能以侵害具体隐私权论。

另一方认为应该界定为侵犯个人的隐私。加密的联系方式既然能直接联系到个人，那么它也就具备了一些个人信息的意味。同一个加密信息，只对应一个人，有特定性。

长期服务于网络安全领域的王律师告诉我： 此案例处在灰色地带， 国内个人数据保护立法 还 尚需完善 ，很难判别是否违法 。

但欧盟GDPR《通用数据保护条例》可以参考。该条例明确表示个人信息数据（包括个人隐私数据）在内的搜集与处理都要获得用户授权，且在授权的目的范围内，应尽可能少地搜集用户数据。此案中，盒子搜集的信息， 是否界定为隐私数据并不影响其就是个人信息数据的事实，是必然违反GDPR的规定。

听完王律的解释后，我感到十分无力，现在这个盒子还只是被用在市场营销上，但若是不能将其尽快遏制，被一些不法之徒用在其它途径，比如给周围人发送藏有监控木马的短信，基于地理位置精准的电信诈骗，又将会造成多大的安全威胁。况且，加密的手机号是可以被破解的。

售卖加密手机号是否违法，目前还尚有争议。且单就mac地址泄漏而言，是用户为了连接网络主动开启数据流量/Wi-Fi的，因此泄漏的风险是无法规避的。

从网络诞生以来，用户一直都在隐私和服务之间权衡。得到有价值的服务，注定要承担受到骚扰和其它损失的可能威胁，网络世界是无法保证个人信息绝对安全。

而面对这些灰色、黑色的擦边球区域，法律界定必须越来越细致。所幸的是，除了现行的隐私权保护条例，国内专门针对保护个人信息的法律《个人信息保护法》，已在制订中，将进一步为我们捍卫隐私信息权提供武器。

最后，提醒下各位，以后若是在周围看到白色的小盒子，还请注意关机。

*本文作者GEETEST极验，转载请注明来自FreeBuf.COM

关键词推荐工具中的用户引导机制

Tue, 05 Nov 2013 11:54:32 CST

搜索引擎根据网民输入的检索词(query)猜测网民需要的信息，之后进行检索，排序后将相关的信息展现给网民。因为网名输入的query一般都较短，而且不同的网民使用搜索引擎的能力也不一样。所以一般搜索引擎都会有些查询引导机制，在猜测用户可能的意图后，推荐一些相关且高质量的种子query给网民。例如在百度搜索框搜索‘关键词工具’，在搜索结果的最下方，出现以下相关搜索结果：

这些相关搜索结果均是根据网民搜索session和网民搜索点击结果挖掘而来（因可能涉及泄密，百度的具体实现此处就不再介绍，后续会有博文介绍业界相关相关搜索结果的论文），这些（推荐）query一方面从搜索意图上和网民的搜索意图匹配，一方面和也能够达到引流的作用，例如能够快速引导网民找到需要的内容，或者考虑商业变现因素，能够将搜索引导向与搜索意图匹配且有商业价值的搜索上，提升搜索引擎的变现效率。

而作为完整的关键词推荐工具，不仅要能主动分析推荐结果给客户（关键词工具的用户为搜索引擎的商业客户，及广告投放客户），在用户输入种子query后展现相关结果给客户，还需要在客户操作的每一步，对客户的行为进行提示和引导。

关键词工具引导机制的功能

关键词推荐工具不仅能根据用户历史行为主动向用户push相关关键词，同时提供搜索功能，供用户输入种子query后推荐出相关的关键词。此时就会面临和搜索引擎一样的问题，用户输入query的质量，将会直接决定推荐结果的好坏，所以关键词推荐系统需要有完善的引导机制，提升用户输入query的质量，以便提升整体的推荐质量。

上图为KR关键词推荐工具

引导机制的类型及简单实现思路

一般说来，根据用户使用关键词工具的交互操作，按照交互阶段，可以将引导机制分为以下三类：

查询前：在用户进入关键词工具时，还未有任何交互时，此时关键词推荐系统主动向用户push用户可能感兴趣的种子query；具体实现时，可以根据客户历史上采纳的搜索引擎拍卖词（即客户采纳的符合客户客户推广意图的关键词）分析出客户的推广意图或业务点，使用传统推荐算法（content-based 或 collaborative 推荐算法）找出客户可能感兴趣的种子query进行推荐。该场景更偏推荐问题
查询中：即用户已经开始在关键词工具搜索框中进行输入，但输入还未完成的阶段。此时最常采用的方式是使用suggesion的方式，结合客户当前输入，向用户推荐完整的高质量query；具体suggesion挖掘，可以找到一些高频的query，结合session数据，搜索点击数据进行挖掘（百度suggesion具体的算法此处涉及泄密不再介绍，后续会有文章介绍业界公开的suggesion方法）
查询后：当客户完成一次搜索后，客户搜索的内容已经基本明确，此时就可以根据这次用户的搜索意图，找到相关的更高质量的query，以类似于搜索引擎相关搜索的方式推荐给客户。

引导机制在整个系统中的地位

引导机制无论是在搜索引擎中，或是关键词推荐系统中，都是必不可少的功能环节，能够带来以下收益：

推荐给客户能有多而好的检索结果的种子词，并逐步进行优化，提升用户体验，提高客户提词量；对于搜索引擎而言是优化输入query。
降低未曾使用过KR的客户的使用门槛，让KR的使用更为简单便利，扩大关键词工具的市场占有率；对于搜索引擎而言，也能够快速提升其他用户经常搜索的相同/类似意图的query给网民，提升搜索量。
通过种子词引导客户对账户关键词的优化，提高客户的ROI，提升百度收益，达到双赢目的。对搜索引擎而言则是能将搜索引导至相同/类似意图的搜索上，提升搜索引擎的变现效率。

如对以上功能感兴趣，各位可以在www2.baidu.com上注册一个凤巢帐号（无需缴费），在百度凤巢系统中的关键词工具中试用上述功能。

更多内容参见：

百度凤巢系统： www2.baidu.com

百度关键词工具介绍参见： http://support.baidu.com/product/fc/4.html?castk=24b18bi7062c720d0d596

suggestion的一种实现方法： Cao, Huanhuan, et al. 2008. Context-Aware Query Suggestion by Mining Click-Through and Session Data. Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2008, 875-883.

也可关注我的微博： weibo.com/dustinsea

或是直接访问： http://semocean.com

常见SQL注入方法整理系列-初始篇

Thu, 31 Aug 2017 00:22:13 CST

前面介绍了MSSQL、MYSQL以及ORACLE的一些涉及安全体系的基本知识，且当作知识的积累或者温故吧。本篇主要介绍这三种数据库的攻击手法，力求形成一套攻击流程，当然流程是死的，在真实的攻击环境中还是需要发挥聪明才智的，所以也且当作参考笔记吧。

1 发现SQL注入漏洞

万事开头难，SQL注入攻击同样如此。给定一个WEB站点URL，发现该站点SQL注入漏洞最快的方法莫过于使用扫描工具，最有效的我自认为是查看应用程序源代码。然而工具往往不是万能的，查看源代码寻找注入漏洞的机会通常也是没有的，所以此时手工探测注入漏洞就显得格外重要了。

2 经典方法

相信听说过SQL注入攻击的，都知道最经典的探测方法。这里假设存在一个GET请求的连接http://www.sqltest.com/sql.php?id=1，则经典的做法如下：

http://www.sqltest.com/sql.php?id=1and 1=1

http://www.sqltest.com/sql.php?id=1and 1=2

如果and 1=1页面响应与正常请求一样，and 1=2页面返回异常信息出错，OK，基本可以断定存在SQL注入漏洞。

3 利用字符串连接符号

SQL Server、ORACLE以及MYSQL的字符串连接符各不相同，利用这一点不同可以用来识别各自的SQL注入漏洞。向Web服务器发送下面两个请求：

http://www.sqltest.com/sql.php?name=jack

http://www.sqltest.com/sql.php?name=ja’+’ck

如果两个请求结果相同，则很可能存在SQL注入漏洞，且数据库为SQL Server。同理：

http://www.sqltest.com/sql.php?name=jack

http://www.sqltest.com/sql.php?name=ja’||’ck

与

http://www.sqltest.com/sql.php?name=jack

http://www.sqltest.com/sql.php?name=ja’‘ck

两个请求结果相同，则可能存在SQL注入漏洞，且数据库为ORACLE与MYSQL。

4 数据库错误

通过发送意外的数据产生数据库异常错误来寻找SQL注入漏洞，WEB产生数据库错误有很大的可能存在数据库错误。

最简单的方法是发送一个单引号，如下：

http://www.sqltest.com/sql.php?id=1’

WEB服务器利用用户的输入构造一条SQL查询语句，由于引号的存在导致SQL语法错误，服务器返回语法错误信息，根据这条信息我们就有很大可能判定存在SQL注入漏洞。

既然这里发送的请求包含意外的数据，那么这种数据如何构造，如何发送呢？在构造意外数据前有必要了解一下WEB环境的客户端/服务器架构。浏览器（客户端）向服务器发送请求并等待响应。服务器接收请求产生响应，并返回客户端。很明显，双方必须存在某种方式的约定，这就是HTTP协议。

HTTP协议定义了很多客户端发送数据的方式，本手册我们只关注两种最有用也是最常见的方式：GET和POST。所以制造意外数据就是修改在GET和POST请求中提交的数据。如果浏览器禁止修改数据或者对输入的数据的大小有限制怎么办？遇见这种情况我们只需要通过一个代理服务器来解决就可以了，比如安装一下Fidler工具，利用代理工具除了修改GET和POST数据外，还可以修改一些隐藏域或者Cookie的值，这些地方也经常存在SQL注入漏洞。

异常数据产生的异常响应被服务器返回后要及时捕获。产生的数据库错误信息是我们判断SQL注入漏洞的根据，这里对常见的数据库错误不详细说明，遇到具体情况具体分析，至于利用数据库错误的攻击手法，后面会有介绍。

5 补充说明

其实发现SQL注入漏洞的过程就是不断修改自己提交的数据，探测其是否能够在服务器上执行，这也是SQL注入攻击的本质。其实经典方法，字符串连接符号都是如此，不过对返回的结果需要我们判断一下。这里补充一些符号、关键字，这些符号、关键字都可以用于判断SQL注入漏洞，至于怎么探测，就需要点聪明才智了。

[关键字]

and；or；having；group by；order by；is；in；between and；not；like；regexp；

[符号]

<=>；<=；!<；!=；!>；=；<>；>=；^=；>>；<<；<；>；+；-；*；/；%；&；|；^；~；!；&&；||；

这些关键字未区分数据库，有选择使用。如mysql中可以这样使用：

http://www.sqltest.com/sql.php?id=1&& 2|1；

如果页面返回正常，那么有很大可能存在SQL注入漏洞。

从Gitlab误删数据库事件，说一说IT审计的那些事儿

Sat, 04 Feb 2017 17:48:00 CST

就在两天前，《Gitlab误删300GB数据，备份失效后直播抢救》、《Gitlab不小心删除了数据库导致网站下线》霸屏了科技新闻的头条。

整个事件的回顾，Gitlab 第一时间放到了 Google Doc 上，并在 Twitter 上对事件的处置状态进行实时更新，后来索性在 Youtube上开了频道直播恢复进程，目前网站已经恢复了正常，不幸的是，Gitlab 还是丢掉了差不多6个小时的数据。

对于事件的前因后果，Gitlab 在 Google Doc 上面已经进行了详细说明，简单来说：

Gitlab 遭受了恶意邮件发送者的 DDoS 攻击，导致数据库写入锁定，网站出现不稳定和宕机，在阻止了恶意邮件发送者之后，运维人员开始修复数据库不同步的问题，在修复过程中，错误的在生产环境上执行了数据库目录删除命令，导致300GB数据被删除，Gitlab 被迫下线。

在试图进行数据恢复时，发现只有 db1.staging 的数据库可以用于恢复，其它五种备份机制均无效。db1.staging 是6小时前的数据，而且传输速率有限，导致恢复进程缓慢。

作为一个信息系统审计师和信息安全顾问，笔者曾经对数十家企业的信息系统运维工作进行过审计，类似的事件屡见不鲜，其中也不乏国际知名的IT巨头和国内顶尖的科技公司，只是传播范围、影响力、事件透明度都没有这个事件这么大。

这次事件，其实是一个非常典型的信息安全风险爆发、信息安全控制措施失效的案例，笔者将从 IT 审计的角度，进行一些简单分析和分享。

1、IT审计的逻辑是什么

IT 审计是一种针对信息系统的审计方式，不同于财务审计对财务报告真实性、有效性、准确性的验证，IT 审计关注于对信息系统本身的稳定性、准确性、安全性的检查以及围绕信息系统运维管理活动有效性的检查。

直白一点来说，除了要检查信息系统本身能否正确、稳定的进行信息处理，IT 审计还关注是否针对信息系统运维风险的设计了有效的控制措施，并有效执行。

在 IT 审计中，审计的出发点叫做 WCGW (What Could Go Wrong)，说白了就是要识别出哪些场景可以导致信息系统的不稳定、不准确的情况发生。这是一个基于过程的分析方式，用 Gitlab 事件举个例子，其中的一个 WCGW 就可以是『错误的将对备库操作在生产库上执行』。

在大量的IT风险事件基础上，IT审计服务机构识别出了很多的WCGW，并进行归类和分析，并据此设计出一套方法论和控制措施检查清单。IT审计服务机构根据这一方法论和检查清单对企业执行IT审计，以判断是否有能力应对潜在的IT风险。

审计执行过程一般分为两个阶段：

制度、流程、控制措施的 设计有效性检查阶段

制度、流程、控制措施的 执行有效性检查阶段

首先，控制设计的有效性主要是检查企业是否建立了制度、流程，以对风险进行控制。

笔者在实际检查过程中，经常发现不完善的企业的IT规则严重依赖信息系统管理、维护人员的个人能力和意识，信息系统的维护活动、操作执行对企业管理者来说是完全的黑盒。

而正规一些的IT组织，则会建立完整的规则，且不论这些规则是否执行有效，至少在纸面上可以做到『有法可依』。在审计的逻辑里面，有法可依是第一步，如果连基本的管理要求都不存在，也就谈不上执行的有效性了。

其次，控制执行有效性检查，是基于『控制设计是有效的』这一结论。

一般来说，如果设计有效性评价为无效，是不会进行执行有效性检查的，因为那意味着『无法可依』或者『法律无效』。在Gitlab这个事件中，有评论分析说，管理员之所以执行了误操作，是因为『迷失在了N多个终端窗口当中』。

这样的场景很常见，很多企业都制定了生产环境操作的规则以防止类似的事情发生，可实际上由于这些控制措施未被执行，还是会导致生产事故的发生。笔者曾听闻了多起类似的由于多窗口不同环境同时操作导致的生产事故，这种情况被称为控制措施执行的失效。

2、IT审计的三大重点

如前所述，各家IT审计服务机构都有一套控制检查清单，其中，最为基础的被称为『一般性IT控制措施』，这当中包括了三大审计重点。就笔者实际服务经验来看，这三大重点往往涵盖了绝大多数的生产故障发生的原因。

重点一：变更管理

在Gitlab事件中，最为令人惊讶的（其实也没那么惊讶）是运维人员在事件处置过程中，可以不经任何授权、评估、测试，直接在生产环境上进行实验性的操作，而且执行的是删除目录这样高危的操作。

在ITIL所描述的变更发布管理优秀实践中，变更管理往往会经过多个控制环节，以确保变更的成功，这些环节包括了变更申请、授权、评估（业务影响、风险、可行性）、测试（单元、集成、用户验收）、审批、发布执行、回滚计划、上线验证等等。

之所以变更流程的优秀实践如此之复杂，是因为生产环境的变更实际上是信息系统安全性最大的隐忧。

在IT审计中，变更管理的有效性，也是关注的第一大重点。

作为审计师，我们会关注变更流程中是否有有效的审批授权（以确认变更操作不是个人的、非授权的行为）、是否进行了合理而充分的测试（以确认变更在上线前是否得到质量验证）、是否遵循了不相容职责分离的原则（申请与审批、开发与测试、开发与上线部署等）。

在Gitlab事件中，我们明显的看到管理员对生产环境执行的变更操作未能遵循上述基本要求。

虽然Gitlab作为一家创业型的科技企业，实际上无需遵守什么样特定的运维流程，但一些通用风险控制的管理方式也是可以借鉴的，毕竟这些控制点和实践是从大量的教训当中积累出来的。

从审计的角度来说，所有的形式、文档、记录都是为了『证明我们确实这么做了』，但从目的来说，更重要的是『即使我们不需要证明什么，我们也会遵循一些要求来提高我们系统的安全性和稳定性』。

重点二：访问控制

在IT审计中的第二个重点是访问控制，访问控制一般会关注两大问题：

账号合理性的问题

权限合理性的问题

直白一点来讲，第一个问题关注哪些人能开哪些门，第二个问题关注这些人进到屋子里面之后能干些什么。

Gitlab事件当中，我们注意到了很多有趣、有价值的建议，例如生产运维账号权限限制以及自动化运维，这些建议其实都可以看作是访问控制的一种延伸。

在对生产运维账号权限进行限制时，运维人员将无法直接对一些敏感、高危的操作直接执行，而必须额外的获得更高的权限执行操作，这些特异性的操作方式由于有别于开发、测试环境，将有利于运维人员获得操作危险性提示，这当然是对『人肉运维』的一种改良性的尝试。

而自动化运维，则是更加彻底可以降低这一风险的运维技术发展趋势。除了应急情况下备用的管理员账号，信息系统当中只存在自动化运维工具的账号，这些运维工具被配置特定的权限、执行特定的操作，这将大大的降低『人肉运维』可能带来的风险。

『人肉运维』仍然是绝大多数企业采用的操作方式，很多运维人员甚至认为使用root权限进行生产环境线上操作处理问题是能力高超的表现。单独依靠运维人员的个人能力进行运维，风险不光有人员能力的天花板，企业还不得不面对可能的（有些地方甚至是必然的）运维人员流动带给信息系统的巨大风险。

重点三：备份和恢复测试

笔者在为很多企业进行IT审计服务时，最常提出的风险发现之一就是『未执行备份的恢复测试，无法验证备份数据的有效性』，这也被业内人士自嘲式的称为『最没有营养的IT审计发现之一』，因为这一发现并不会在实质上影响审计结论。然而，在Gitlab事件中，我们看到了令人惊诧的一幕，多重备份机制竟然只有一个可以用于数据恢复。

随着技术的飞速发展，已经有了越来越多的技术手段，帮助企业提高信息系统的可用性和连续性。我们看到了集群式高可用架构，异地多活数据中心，提供数据高完整性保障的云服务。然而在这纷繁缭乱的新技术中，回归到信息系统连续性管理的本源，我们是否对数据做了有效的备份，并且能够在突发情况下可以实际的实现数据的恢复？

我们各种备份机制下，是否设定了合理的RPO，以满足我们对数据恢复时可以容忍的数据损失？我们是否真正的执行过演练，以验证我们设定的RTO，真的能够完成我们的服务恢复？

对于备份和恢复管理，Gitlab事件堪称绝佳的案例，集中的体现出了备份有效性、RPO和RTO未得到验证的问题。这也是为什么，越来越多的领军企业开始关注信息系统的连续性管理和应急响应，越来越多的企业开始真刀真枪的开展数据中心的切换演练、数据恢复测试演练、应急预案演练。

而演练过程中，也确确实实可以发现大量的不可预期的问题，例如交通耗时、备用的设施设备可用性、各类系统的版本和兼容性问题、读写速度和运营商带宽限制问题、介质有效性问题等等，而这些问题在缺少演练的情况下，是很难暴露出来的。

小结

1）前车之鉴，未雨绸缪

就像互联网金融行业里面一直在讨论的『投资者教育』的问题，在发生实质性违约事件之前，总是有很多人无法理解『责任自担』的含义。

不论是Gitlab事件，还是当年的携程宕机事件，都应当作为自我审视和优化的一个契机。审视一下自己公司的规则是否完备，审视一下规则是否有效的落实，把每一个别人的事故当成自我检查的标准，把每一个预案场景都实实在在的进行一下演练。安全稳定的系统环境，需要我们以前车之鉴，做未雨绸缪。

2）『有风险意识的工程师文化』

笔者在IT风险领域从业多年，尽管在从业过程中一再的强调管理导向的重要性，却也是坚定的工程师文化的追随者。作为技术公司，我们应当更多的相信技术而不是管理。

安全的运维需要规则，但规则的落实要尽可能的依赖技术的力量，而非纸面上的制度、流程、管理活动。而我也相信，重规则、轻流程的技术导向型IT风险管理，可以让企业走的更高更远。

【钛媒体作者介绍：马寅龙（点融黑帮），点融网信息安全合规专家，2年IT审计和6年信息安全风险咨询服务经验】

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App

大数据背景下的高职院校信息化建设探索

Fri, 09 Sep 2016 22:30:34 CST

　在移动互联时代，数据获取方式发生了革命性的改变，数据的积累给规律探究和决策制定提供了第一手资料。呈几何级数增长的数据已成为新的资源，其价值将逐步被发掘，我们进入了大数据时代。大数据技术为校园信息化的发展带来了新的动力，从数字校园到智慧校园，以人为本的服务理念被提到了新的高度。以大数据技术为背景，从基础平台建设，业务、数据整合，数据挖掘应用三个方面，展望高校信息化建设前景。

　　引言：从互联网时代到移动互联时代，信息获取和交流的主要方式从PC端过渡到智能移动终端；信息架构从传统的C/S和B/S模式，蜕变成智能移动终端/云计算服务端。新的数据采集方式和共享模式，使数据的产生量以几何级数剧增，数据的价值得到了前所未有的发掘，大数据开启了一次重大的时代转型。

　　在教育信息化领域，随着“以人为本”服务理念的深入人心，数字化校园正逐步过渡到智慧校园，校园信息化正从传统的管理型向服务型转变。数字化是智慧化的前提和基础，而智慧化必须介入智能的数据处理和分析工具。大数据技术的发展，给智慧决策和知识挖掘提供了新的工具。全面的校园数据，正需要大数据这一强有力的工具，优化分析校园服务的各个环节。

　　在智慧校园建设的新阶段，校园信息化将以无线网和物联网为主要载体，计算和存储从服务器端向云端过渡。使各类信息服务高度整合和共享，一站式体验更为流畅。在大数据分析的技术框架下，整合校园业务，积累业务数据，开发数据应用。使大数据技术和智慧校园建设充分融合，建立人性化的校园信息服务体系。

　　 智慧校园基础平台建设

　　2008年IBM提出以新一代信息技术应用为基础的“智慧地球”概念，而其应用在高校信息化领域，便形成了“智慧校园”的雏形。关于智慧校园，并未形成统一的定义，一般认为智慧校园是高校信息化发展的新阶段，是数字化校园的扩展和提升。它基于移动互联、大数据、云计算、物联网等新兴技术，以提供一站式、个性化的校园服务为目标，使校园的数字空间和物理空间有机融合，如图1所示，形成高效、共享、灵活、易用的智慧化服务和管理新体系。

　　图1 智慧校园示意图

　　由此可见，“智慧”的目标是“持续地改进服务”。智慧校园相对数字校园，在教、学、研和管理等校园生活的方方面面更强调服务的个性化、精细化和动态性。而智慧是建立在一套有效的数据收集和分析机制之上的。因此，智慧校园的标志性模块有：以智能移动终端、无线网、物联网为代表的数据采集系统，校园三大平台和非结构化数据(日志、监控、社交等)相结合的数据交换和分析系统。智慧校园建设主要有如下几个方面：

　　(1)完善无线网络构架，提高无线网络的稳定性和安全性。

　　拓展校园WLAN覆盖范围，提高网络的承载能力，加强认证和安全管理，为数据的采集和交换提供安全、稳定的网络基础。

　　(2)完善三大平台，打通数据孤岛，建成结构化数据的采集和交换中心。

　　应用统一的校园数据标准，加强各业务系统的数据集成；建立完善的数据采集和维护管理机制；从多业务系统的单点登录过渡到数字身份的高度集成。保障校园数据采集的便捷性、有效性和及时性。

　　(3)规划数据获取终端，整合现有的系统监控和日志资源，构建有特色的校园社交生态。

　　优化“一卡通”系统，在实现“多卡统一”的基础上，使“一卡通”成为物理人员和数字空间的重要桥梁；规划电控、水控、门禁、环境检测等数据采集终端的接口标准和空间分布；整合现有的网管系统、网络流控系统、安防系统和标准化考场监控系统等数据和日志资源，并结合微信、微博、帖吧等公共社交平台，和校园app平台，打造数据中心之外的半结构化和非结构化数据交换中心。

　　 以数据为核心的校园服务碎片化

　　“智慧校园”以提高“服务”质量为目标，而好的服务体验往往与个性化、便捷、高效相联系。以数据为核心的校园服务碎片化理念，将很好地解决传统校园业务系统在提升服务上的问题。所谓“服务碎片化”，就是对现有的校园业务流程和数据流进行梳理，对原有业务系统进行横向整合，在业务逻辑上呈松耦合，强调一个应用(称之为app)只完成一件事务。如职称评审app，(见图2)呈现给教职员工的是完成一次职称评审的完整流程，包含相关表格填写、资料上传以及评审进展查询等，教师只要按照引导逐步完成即可。而其后台可能涉及人事、教务、科研等业务系统的数据更新和审核。碎片化服务对用户屏蔽了业务系统，只有事务的概念，大大提升了信息系统的用户体验和使用效率。

　　图2 碎片化服务app示意图

　　数据是信息化建设的核心资源，是信息服务得以推行的基础。碎片化的前提是灵活、标准化的数据接口，因其把传统的校园业务系统透明化处理，而前端app直接和后台数据接口相联系。这就需要在数据定义时，规范每个数据项的UC矩阵，并尽可能消除冗余数据项。碎片化服务具有快速开发的特性，有利于校园数据质量的持续改进。在灵活数据接口的基础上，校园的数据填报和采集将变得非常容易。例如教学工作量采集，根据教务、科研、学工、产学研等部门的数据接口，可以快速生成数据采集app。基于数据中心的可靠性，很多数据段可以自动生成，而用户只需更新部分内容就可以完成一次大规模的数据采集，这无论在输入端和审核端都大大降低了教职员工的工作量，其数据流示意图如图3所示。

　　图3 App数据流示意图

　　改进校园数据交换中心设计，使之适应碎片化数据服务接口，是数据层的工作重点。在数据接口的设计中，引入三层设计原则：①个人查询。使个人用户在权限范围内，便捷地查询和修改相关信息，及时获取校园资讯；②院系部门统计。院系部门能对各自关心的数据进行收集、统计与分析，便于了解本部门运作情况，及时制定合理措施；③校级辅助决策。校级范围内更强调整体数据的报表呈现和信息挖掘，为校级决策提供依据。

　　 校园数据应用

　　数据应用是“智慧校园”的有机组成部分，也是“智慧”的重要体现。随着校园数据的积累，通过大数据分析获取事物规律改进校园服务的能力也进一步提升。无论在个人、院系以及校级层面，大量信息模式的获取，可用来指导具体工作和决策。常规的校园数据应用有如下几个方面：

　　1.生源数据分析

　　根据各地区新生的报到率和在校的学习表现，调整生源地分布和招生策略。在分析过程中针对省内生源，可以把生源地分析粒度缩小到县、镇甚至校级；外省生源可以把分析粒度扩大到省甚至大地区。并根据分析结果指导招生部门开展考前宣讲、优惠政策制定等，以提高学校的生源质量。

　　2.就业数据分析

　　通过对学生专业分布和就业数据的分析，了解各专业在校学生的结构分布以及毕业生的就业动态，并探索建立合理的信息共享模式，使用人单位和我校有更流畅的信息交流。也可以建立毕业生的职业数据跟踪，更好地引导在校学生的就业分流，发挥优秀毕业生对在校学生的职业指导作用。使学校制定的就业政策能及时反映就业市场需求，提高毕业生的社会竞争力。

　　3.校园人流分析

　　根据WLAN接入分布、信息流量分布的空间特征，结合安保系统的监控信息，对全校范围内的热点区域和热点事件进行实时跟踪和预警。也可以根据信息点接入数量和流量的实时数据，调整局部网络结构和流控策略，以提高用户的网络使用体验，充分利用有限的网络资源。

　　4.一卡通数据分析

　　通过对一卡通消费数据的分析，分析学生的日常用餐和生活消费模式，为勤工俭学、贫困生资助、奖学金和助学金发放等提供数据依据，确保各项补助尽可能合理地发放。可以对学生的消费模式(消费时间、消费内容)进行分类。和健康数据相结合，为师生提供个性化的健康饮食建议；和教学数据结合，探索生活模式和学业成绩的相关度。

　　5.教学数据分析

　　在教学数据中，通过教室安排和排课系统，对全校的教室和实验室资源进行统计分析，为今后教务处的排课优化提供参考；通过对教务和学工系统数据的集成，对学生到课率和选课信息进行跟踪统计，建立起缺课预警通知系统，为部分经常旷课、迟到、早退的学生，及时提供告警或其他信息反馈，引导学生顺利完成学业。也可以对学习表现(到课率、课堂表现等)和学业成绩进行相关度分析，以帮助各专业识别关键课程甚至关键课时，及时改革课程设置，提高教学的有效性。

　　6.上网行为分析

　　通过对网络流控数据和访问数据的分析，追踪不同用户的上网习惯、访问内容、软件使用等。协助发现校园流行趋势、技术动态和热点事件，以及对可能存在的病毒和舆论事件进行控制和预警。也可以和学业成绩、健康数据进行相关度分析，以便学校开展适时的培训和指导，引导学生形成健康的网络使用习惯。

　　7.图书借阅数据分析

　　通过对图书借阅和电子阅览室使用数据的分析，了解学生的阅读模式和阅读频率，以及对数字资源的内容需求，为调整图书的类型和改进阅读服务提供依据。可以对学生阅读内容、阅读数量、借阅习惯和学业状况、能力表现进行相关性分析，以便更好地引导学生的书籍阅读和书籍推荐。

　　结束语

　　智慧校园围绕着数据的采集、数据分析和数据应用展开。在大数据应用的过程中，也存在着众多问题。①数据的采集和管理机制问题。对于源数据的录入和审核是保证数据有效性的前提，而数据安全和隐私保护也需要合理的管理机制。②数据源问题。数据应用需要较大规模的数据基数，否则会造成模式挖掘的偶然性。数据的完整性不够，或者错误数据的存在，可能造成无效的模式挖掘。③挖掘模式的验证问题。通过数据挖掘的模式不一定都是有价值的，有的甚至是错误的，这需要加以严格的理论分析和实践论证，唯数据论并不可取。

　　总之，目前大数据的研究和应用还处于初步阶段，但很多专家学者都对“大数据技术”寄予厚望，甚至认为这将拉开“数据技术”时代的帷幕。“智慧校园”是校园信息化建设的新方向，大数据分析作为“智慧校园”的关键技术，将对提升校园服务、改进校园管理产生深远的影响。(作者：许冠军等，台州科技职业学院)

您可能也喜欢的文章：
上海数据交易中心发布《数据互联规则》探索中国数据交易合规有序发展	探索大数据背景下的基因研究	高薪高职排行榜前十：大数据行业成新宠	国家信息中心常务副主任杜平：八类数据可产生真正的大数据价值	Gartner：2013年全球数据中心建设支出接近1500亿美元
无觅

Web应用中实时消息技术总结

Sun, 25 Oct 2015 15:21:43 CST

在互联网应用中，很多时候我们需要在客户端和服务端之间进行实时的消息交互，比如下面这些常见的应用场景：

SNS网站用户互动消息通知(weibo/twitter)
门户网站实时滚动新闻(突发事件)、文字直播(体育赛事)
在线聊天室(在线客服)
实时数据展示（实时股价，实时商品价，服务器实时监控等）

接下来就来看看web开发中常见的实时消息的实现技术方案，每种方案都各有优缺点，在不同的应用场景下有不同的选择

普通的http

客户端从服务器端请求网页
服务器作出相应的反应
服务器返回相应到客户端

AJAX Polling

客户端使用普通的http方式向服务器端请求网页
客户端执行网页中的JavaScript轮询脚本，定期循环的向服务器发送请求（例如每5秒发送一次请求），获取信息
服务器对每次请求作出响应，并返回相应信息，就像正常的http请求一样

客户端定时请求服务器来询问是否有新的消息产生，这种情况下客户端每次请求都要建立一次http连接，服务器都要产生一个响应信息。

优点：实现简单，使用方便，开发成本很低，适合刚起步的小型应用或是其它方案的备用方案。
缺点：消息有延迟，网络通信消耗大（特别是移动网络下），服务器容易产生峰值请求。
实现：浏览器里用js定时请求，或是移动设备上 native app里定时发http请求。
实例：适于小型应用。

AJAX Long-Polling

客户端使用普通的http方式向服务器端请求网页
客户端执行网页中的JavaScript脚本，向服务器发送数据、请求信息
服务器并不是立即就对客户端的请求作出响应，而是等待有效的更新
当信息是有效的更新时，服务器才会把数据推送给客户端
当客户端接收到服务器的通知时，立即会发送一个新的请求，进入到下一次的轮询

跟上面的polling模式相比：

优点：消息到达客户端更及时；减少了http请求不停地创建、关闭成的不必要浪费。在无消息的情况下不会频繁的请求。Long-polling支持大多数当前的浏览器。
缺点：服务端需要保持大量连接，http连接的维护开销较大；每次产生消息后都需要重新创建连接。
实现：客户端只要简单的发送请求，等待响应即可。服务器端需要做两方面的工作：一是保持大量的连接(Non-Blocking I/O)；二是读取后台的消息更新（异步定时轮询或由事件触发）。是一个近实时的异步方式。
兼容性：
实例：WebQQ、Hi网页版、Facebook IM。

基于流的模式(http streaming)

在这种情况下，客户端与服务器端保持一个持久的连接，服务器端有新消息产生时通过这个持久连接不断地返回给客户端。这种模式与上面的long polling差不多，差别就是只需要创建一次连接就可以了。另外，要注意http header中需要设置Connection: keep-alive和Transfer-Encoding: chunked这两个属性。跟上面longpolling模式相比：

优点：消息可以实时到达客户端；客户端与服务端之间只需要建立一次连接。
缺点：服务器端也要维持大量连接，开销很大。
实现：客户端一般有两种方式：一是隐藏iframe的src指向服务器端url，不断地进行dom渲染；二是使用ajax里的XMLHttpRequest对象来实现。对于服务端来说，和 long polling一，要保持大量连接和处理后台的消息更新。

HTML5 Server Sent Events (SSE) / EventSource:

客户端使用普通的http方式向服务器端请求网页
客户端执行网页中的JavaScript脚本，与服务器之间建立了一个连接
当服务器端有有效的更新时，会发送一个事件到客户端
- 服务器到客户端数据的实时推送，大多数内容是你需要的
- 你需要一台可以做Event Loop的服务器
- 不允许跨域的连接
- 默认延时3秒，但是可以调整。
- 除非Server-Sent Events不必在每一次响应发出后都关闭连接。
- 支持Chrome9+、Firefox6+、Opera11+、Safari5+

如果你觉得这些还不够，想要了解更多，可以参考下面的文件和手册

HTML5 Websockets

客户端使用普通的http方式向服务器端请求网页
客户端执行网页中的JavaScript脚本，与服务器之间建立了一个连接
服务器和客户端之间，可以双向的发送有效数据到对方
- 服务器可以实时的发送数据到客户端，同时客户端也可以实时的发送数据到服务器
- 你需要一台可以做Event Loop的服务器
- 使用 WebSockets 允许跨域的建立连接
- 它同样支持第三方的websocket主机服务器，例如Pusher或者其它。这样你只需要关心客户端的实现，降低了开发难度。

WebSocket是HTML5开始提供的一种浏览器与服务器间进行全双工通讯的网络技术，浏览器和服务器只需要要做一个握手的动作，然后，浏览器和服务器之间就形成了一条快速通道。两者之间就直接可以数据互相送。

优点：实时通讯，双向交互，节省服务器资源和带宽。真正的实时。
缺点：浏览器支持不足。
实现：客户端需要html5来实现，服务器端一般的web服务器都有支持。

目前WebSocket协议仍在开发中，目前Chrome和Safri浏览器默认支持WebSocket，而Firefox和Opera出于安全考虑，默认关闭了WebSocket，IE则不支持（包括9），目前WebSocket协议最新的为“76号草案”。有兴趣可以看以下资料 http://dev.w3.org/html5/websockets/

如果你觉得这些还不够，想要了解更多，可以参考下面的文件和手册

Flash Socket

在页面中内嵌入一个使用了Socket类的 Flash 程序JavaScript通过调用此Flash程序提供的Socket接口与服务器端的Socket接口进行通信，JavaScript在收到服务器端传送的信息后控制页面的显示。

优点：实现真正的即时通信，而不是伪即时。
缺点：客户端必须安装Flash插件；非HTTP协议，无法自动穿越防火墙。
实例：网络互动游戏。

WebRTC

WebRTC是一种点对点类型的传输方式，它支持多种传输协议，如：UDP、TCP甚至是抽象层的协议。设计它时同时考虑到了允许使用可靠和不可靠的两种方式传输数据。这种技术一般应用在传输数据量较大的内容，比如音、视频等流媒体的传输。

参考资料： https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API

Comet

Comet是一种用于web的推送技术，能使服务器实时地将更新的信息传送到客户端，而无须客户端发出请求，目前有两种实现方式，长轮询和iframe流。

Event Loop是一个程序结构，用于等待和发送消息和事件。
长轮询是在打开一条连接以后保持，等待服务器推送来数据再关闭的方式。
iframe流方式是在页面中插入一个隐藏的iframe，利用其src属性在服务器和客户端之间创建一条长链接，服务器向iframe传输数据（通常是HTML，内有负责插入信息的javascript），来实时更新页面。iframe流方式的优点是浏览器兼容好，Google公司在一些产品中使用了iframe流，如Google Talk。

如果你想了解更多，可以参考维基百科或者IBM

优点：消息即时到达，不发无用请求。
缺点：服务器维护一个长连接会增加开销。
实例：Gmail聊天

参考链接： http://stackoverflow.com/questions/11077857/what-are-long-polling-websockets-server-sent-events-sse-and-comet

在我们实际的应用中，各种方案应该怎么选择？

polling轮询机制很简单，使用方便，都是http短连接，在应用架构上跟普通接口api一致，非常适合小型应用和刚起步的应用，可以节省很多开发成本。

当用户量上升到一定程度后（比如日活跃百万级），产品做得越来越受欢迎了，我们对消息到达的及时性也就有更高的要求了，而且这种轮询机制对服务器压力也是一种考验，这时候我们就可以考虑long polling或http streaming的方式了，这两种方式其实在服务端实现上差不多，主要是保持大量长连接和异步（或事件触发）获取消息。

在保持连接方面，在java的nio出现后，为我们提供了便利，主流的应用服务器像tomcat和jetty都有支持，但是，工作在jvm上的服务器保持大量socket连接时gc是个很严重的问题。可以借助nginx的push模块来实现保持连接以及消息实时推送。

支持long polling模式的模块: https://pushmodule.slact.net/
支持streaming模式的模块： http://wiki.nginx.org/HttpPushStreamModule

这两个模块工作在nginx上，可以维持大量的http连接，实现了pub/sub协议来支持消息发送，基本流程是下图这的，发送者(publisher)把消息推送到nginx服务器上，然后push模块负责把消息发送给订阅者(client)：借助nginx的这个push模块，我们可以省去大量的工作，应用程序只需要关注业务逻辑（也就是publisher做的事），简化了应用架构，同时nginx的高性能也有不错的表现。

当我们的产品发展到千万级的日活跃时，我们可能就要考虑更好的方案了，比如上面的提到的WebSocket，但是为浏览器兼容的问题，这个方案并不是主流的解决方案。一般这种情况下，我们就要考虑基于tcp的socket长连接模式了，通过某种消息推送协议（xmpp/mqtt/自定议协议等）来实现客户端和服务器端的实时交互。

其他相关资料： http://socket.io/

GPS卫星定位平台漏洞成灾，用户位置信息告急

Tue, 05 Jan 2016 11:12:34 CST

近日，新闻中曝光了多起通过GPS定位设备 跟踪绑架事件 。通过对市面上一些GPS定位设备进行研究，发现这些GPS定位系统后台采用的是 一套通用程序，其云平台上存在多个高危漏洞，攻击者利用漏洞可定位到使用该设备的任意用户或车辆的当前位置，历史轨迹，甚至可远程切断行驶车辆的油电。

一、简介

我们在淘宝上搜索gps定位装置，发现绝大多数卖家销售的主流gps定位系统均为同一套程序，均受到漏洞影响。

该系统的大致原理和架构如下：

在GPS定位装置里装有一张3G手机卡，定位装置获取到当前位置坐标后通过3g网络传输到云监控平台，用户通过pc或者移动设备登录监控平台，即可定位绑定在自己账号下的设备位置。

二、漏洞详情

以下面这套月成交8000+，累计评价超过22000的定位装置为例。

其云平台使用.NET开发，登录界面如下：

对于经销商，输入账号密码可控制其账号下所有设备，对于一般用户，选择输入IMEI和密码可定位单一的设备位置。

通过研究发现，在其云平台上，存在大量可未授权访问的webservice接口，我们通过协议规范调用这些接口，可获取任意用户的信息，修改其密码，甚至定位其位置。

通过接口将管理员的密码初始化，然后登录查看可以看到，仅仅这一个平台，就有超过25万的设备，当前在线设备就有2.7万。

可以直接定位到这些设备的具体地理位置

可以获取到使用该设备的车辆及人员的具体信息（电话、车牌号、姓名等）

可以定位到其车辆当前的具体位置：

还可以通过历史数据分析车辆的行驶轨迹：

甚至可以直接远程切断行驶车辆的油电：

通过进一步的研究我们发现，该系统的webservice接口还存在有sql注入漏洞，通过在soap消息中插入恶意数据，我们甚至可直接控制该服务器。

三、漏洞影响

研究发现，这套商业化的GPS定位程序使用量非常大，用户遍布中国、欧洲、中东、非洲、东南亚等多个地区。

还包括一些中东地区，战乱地区都比较喜欢用GPS跟踪。这里就体现出GPS的应用场景了。

而且我们发现这套gps定位程序不仅仅被用于车辆定位，还衍生出了儿童手表、人员定位器甚至宠物定位等多个版本。

人员定位器

儿童手表

宠物定位

我们从淘宝销售的gps定位装置中选择了多个销量较大的商家测试，发现绝大多数平台都存在漏洞，总数超过了100万台，以下是做的部分统计：

www.tourrun.net  总设备数量：496805
www.zg666gps.com  总设备数量：253426
www.indlifelocate.com  总设备数量：252980
ry.i365gps.com 总设备数量：93638
www.gpsjm.com 总设备数量：55451
gps.zg002gps.com 总设备数量：42993
www.mkcx.net 总设备数量：41894
www.aika168.com总设备数量：40586
www.xmsyhy.com 总设备数量：12645
www.twogps.com总设备数量：3587
www.lkgps.net 总设备数量：3434
ec-dbo.cn总设备数量：2961

四、安全建议

如何发现自己的车辆有没有被人装上定位器？

很多人看到新闻都产生了顾虑，生怕自己的车辆是否被装上了定位器。这里可以告诉大家几个思路去排除，首先这类定位器是装有强磁铁的，所以车上除了这个定位器以外不会有其它的强磁设备，可以去一些磁力检测仪来检测。第二种方法是GPS定位系统是需要用GPS信号的定位车辆的，可以在一个信号屏蔽的环境下检测车辆是否有GPS信号。第三个就是通过利用云平台的漏洞检测自己的车辆轨迹是否被跟踪，这也是没有办法中的办法了。

以后如何选用GPS定位平台？

GPS定位的需求很多，因为GPS定位一方面是为了保障用户，但是存在漏洞的被不法分子利用的话，就成了暴露用户位置信息的一条路径，往往需要GPS定位的都是有价值的东西，这就成了攻击者的一块福地。对于GPS产品应当选用可靠的，大品牌的产品。购买前应当在网上搜索一下有没有相关的安全漏洞。如果购买了产品发现有漏洞，建议用户停止使用，等待厂商更新平台漏洞。

*作者：360安全卫士（企业账号），转载请注明来自FreeBuf黑客与极客（FreeBuf.COM）

Elasticsearch：准确值与全文本

Thu, 28 May 2015 22:14:10 CST

概括地说，Elasticsearch将数据分成两类：准确值（Exact values）和全文本（Full text）。

准确值就是它们听上去的那样。诸如日期或用户ID。当然字符串也可以是准确值，如用户名或邮件地址。准确值Foo与准确值foo是不同的。准确值2014和准确值2014-09-15也是不同的。

另一方面，全文本（full text）指的是通常用人类语言写的文本数据，像一条tweet的文本或一封邮件的内容。

全文本也经常被称为非结构化数据（unstructured data）。这个定义并不十分恰当，因为自然语言是高度结构化的。问题在于自然语言的规则是非常复杂的，以至于计算机很难正确地解析它们。例如以下句子：May is fun but June bores me.

请问，May 和 June到底指的是月份还是人？

准确值非常容易查询。因为它要么匹配查询条件，要么不匹配。像下面这种查询就很容易使用SQL来表达：

WHERE name = "John Smith"

AND user_id = 2

AND date > "2014-09-15"

相对准确值查询，全文查询更为微妙。我们不会只问：“这份文档是否能匹配这次查询”，而是问：“这份文档有多匹配这次查询”。换种说法，这份文档与这次查询有多相关。

我们很少对整个全文文本字段（full-text field）进行准确匹配。取而代之，我们会想去查询存在里面的文本字段。不过不只这种方式，我们期望搜索引擎能理解我们的意图：

* 当我们搜索UK时，它应该还会返回提到United Kingdom的文档

* 当我们搜索jump时，它应该还会匹配jumped、jumps、jumping，甚至leap

* jhnny walker 应该还会匹配Johnnie Walker。而johnnie depp应该匹配到Johnny Depp。

* fox news hunting应该返回在Fox News上的关于hunting的故事。而fox hunting news应该返关于fox hunting的新闻。

为了使这种全文搜索更容易，Elasticsearch首先对文本进行分析，然后使用分析结果构建反向索引（inverted index）。接下来的两节，我们将讨论反向索引和这个分析过程。

小结

一开始学习信息检索时，很容易地就认为SQL语句不是完全可以实现搜索功能了么。后来学习到全文检索和反向索引，就明白信息检索背后还需要很多不同的技术来支持，如分词技术、索引、自然语言处理等。

说回来，目前我学习到，使用的都是 “索引”思路来解决搜索问题。那么是不是存在另一些人们不知道的信息检索思路？这里说的索引思路，指的是使用某种方法抽取出待搜索物的特征，查询时，只要与这些特征比较就可以哪些待搜索物匹配查询了。

Elasticsearch：什么是相关性

Tue, 26 May 2015 09:06:11 CST

我们已经注意到，搜索结果会以相关性的倒序方式返回。但是什么是相关性，它又是如何被计算出来的呢？

每一份被搜索出来的文档都带有一个由正的浮点数来表示的相关性评分，被称为_score。这个分数越高，代表这份文档越相关。

查询子句会为每份文档生成一个评分_score。如何生成这个评分依赖于查询子句的类型。不同类型的查询子句用于不同的目的：模糊查询（fuzzy query）通过计算原始搜索单词与找到单词之间有多相似，来决定相关性评分。然而，我们平常说的相关性指的是那些我们用于计算全文字段与全文查询字符串之间有多相似的算法。

Elasticsearch标配的相似度算法（similarity algorithm）是著名的词频/反向文档频率（term frequency/inverse document frequency），或称为 TF/IDF算法。它将以下计算因子考虑在内：

词频（Term frequency）

指查询语句中的词在某个字段中出现有多频繁？越频繁，越相关。如果这个字段包含了5个查询语句提及到的词，这份文档的相关性当然大于只包含1个的。

反向文档频率（Inverse document frequency）

指查询语句中的词在索引中出现有多频繁？越频繁，越不相关。在很多文档里都出现的词的权重比起那些更不经常出现的更低。

词长基准（Field-length norm）

指这个字段有多长。越长，越不相关。一个词出现在短的title字段中比相同的词出现在长内容的content字段具有更大的权重。

当然，在某些查询语句中会将TF/IDF评分与其它评分因子结合起来使用，如短语查询（phrase query）的词接近度（term proximity）或模糊查询中的词相似度。

然而，相关性不只是用于全文搜索。它同样可以被应用于yes/no的查询子句。文档匹配到的子句越多，评分_score就越高。

当使用组合查询（compound query）——如bool查询——来组合多个查询子句时，各个查询子句的评分被组合起来共同计算出这个文档的评分。

小结

实际上，在信息检索领域，跳过索引这个概念直接说 相关性是不合理的。所以，当这篇文章对于不少人应该是不好理解的。但是没关系。下次我们聊聊 什么是索引。

关于信息构架的终极指导

Mon, 08 Jun 2015 14:37:00 CST

信息构架(IA)是科学与艺术的一部分相通。不论你是雇佣一名专业的信息构架师，还是只是在某个项目上使用信息构架，只要你设计的东西有内容存在，那么你会用到信息构架。

尽管你是顺其自然让内容摆放的人，不论怎样，当你有一个全盘对项目的考虑、对内容结构合理的组织的时候，你的网站可用性会极大增强。

尽管不是每个项目都需要一个专业的信息架构师，理解优秀信息结构背后的基本原则，会使你的网站走在一条浏览和使用起来简单轻松的路上。

什么是信息构架？

信息构架包含一些相关概念。其中，第一且最重要的，它是分享的信息的结构。它是内容在网站、内网、在线社区或者其他数字空间组织和展示的方式。

进一步来说，它是组织和展示这些数字性质的内容的科学和艺术。信息构架的关键是让使用者轻松找到他们要找的东西。这需要对使用者可能怎样使用你的网站、app或者内网有一个准确的把握。同时也需要对使用者想要信息怎样组织和展示有一个好的把握。

最后是信息架构社区，它旨在把现实中的设计和结构搬到数字领域。这个社区为想要把信息架构放在用户体验前沿领域最重要位置专家学者建造。

类似的结构

你可以认为掌握某个项目需要什么样信息架构和规划一个建筑物的蓝图一样。

一般的房子、街道、城镇很可能是基于一个现成的蓝图建造的。国内有很多住房就是基于相同的基本的方案建造的。一套好的房屋建造蓝图可以生产出经济又功能实用的住宅。

当然，这些房子每个又是不同的，使用者不同，使用者的使用方式也不同。

同理，建造网站或者内联网也可以通过这样迎合很大一部分客户。减少选择性和定制化可能就是最完美的解决方法。这样，一个ux或者一个设计师就可以很好地进行设计优化，不需要一个专门的信息构架了。

于是我们有了很多主流的定制服务。现有的以往解决方案就接近用户需求了，但是还需要一点对你的现有的方案进行全面审查。通畅的住宅就是这样设计的，通过把现有的方案进行改进，有时候是显著的改善来适应以后的住户。某个房间可能被增加或者减掉；厨房可能从一个地方挪到另一个地方；两个屋子可能合并成一个大屋子，或者一个大屋子被分成两个小屋子。通常先选择一个结构再对其进行这些改进。

信息架构中也会使用这种方法。一个常用的信息结构可能接近用户所需，但是它还是需要一些很多显著的改变来适应实际的项目需要。可能需要增加一个用户模块来实现应有的功能，或者可能它太复杂了需要被简化。可能直接能够看出信息结构所需要的改变，也可能需要建立一个计划来进行信息结构的优化。

行业的另一端是完全的传统设计。结构完全是从零开始设计。结构设计师会坐下来和未来的住户讨论他们的需求，然后咨询工程师和建造者他们讨论的需求是否能实现。这是最贵的解决方案，而且通常也是唯一能真正满足客户需求的方案。

大型网站建造也是这样。

例如，一个新的公司就不太可能像根据一个现成的方案设计，甚至是按客户需求定做的网站。他们需要一个符合他们商业模式的方案，并且这个方案可以很大程度上随着发展而改变。

这里就是一个专业的信息构架团队发挥作用的地方了。这和传统的设计还是有相同之处的。你会发现一个小项目可能需要专业的信息架构，或者一个大型的项目可以轻松地用现有的方案解决。这就是为什么信息架构需要一开始就建立起来，这样从一开始就能使用正确的工具了，而不是之后去强迫内容改变成适应特定的结构或工具。

IA都做些什么？

掌管项目信息构架的人责任很重，他们每天都具体做些什么呢？

首先，他们通常担任一个项目的设计和技术之间的沟通桥梁。他们需要确保设计师合理地组织内容的。他们还要确保技术团队准确地执行这些设计。

另外，当遇到影响内容给用户怎样服务的问题时，他们需要充当一个联络沟通的角色。

IA还管理着研究项目信息如何组织摆放来最好地适合最终用户的需要。这是一个极其重要的角色，因为失败的内容组织会摧毁用户体验并使用户感到很失望。他们的工作和掌管项目用户体验的人很接近。

最后，很多IA会做的是建立线框模型和站点地图来指导团队项目的发展。线框模型通常是只注重实用性的，图形由设计团队按照线框模型加上去。他们展示出用户浏览网站的流程，以及功能具体怎样实现。

这种情况下，站点图可能是最终网站的某部分，或者仅仅是一个内部组织文件。

信息架构的原则

Dan Brown已经在信息架构方面实践了超过20年，并提出了 8条IA原则；这些原则是学习为一个项目建立坚实的信息结构的要素的好的开始。

“信息架构的八条原则”为IA工作列出了一个理论框架，并得出以下总结：

IA首要关注信息结构，设计实际的用户界面排在第二。
IA理解人们实际怎样操作内容，以及该如何架构来支持这些功能（符合人们的操作习惯）。
IA掌握一个项目的内容和功能范围，以及如何设计符合要求的结构

针对对象的原则

对象的原则是内容需要被当作是一个逐步发展的动态事物，内容有自己的发展周期。不同的内容有不同的属性和行为，这是为了最好地利用内容。

每个项目的开始，你先应该识别出将要呈现的内容的种类。这意味着范围很大很粗略。

例如，一个商业站点的内容可能包含各类商品，每个种类的产品的内容又不同：标题、描述、规格、价格以及其相关条目。这种站点可能还有额外的页面，例如关于本站，FAQ，用户服务页等。把所有这些内容种类列出来，并列出相互它们之间的关系是设计一个交互好的站点的第一步。

选择的原则

选择的原则意味着你需要为你的使用者提供有意义的选项。然而，你需要确保这些选项针对某个具体的事物。太多的选择会吞没使用者并且对他们的使用体验产生负面影响。

信息应该分级放置，避免列出长长的选项，这样分类起来很困难。如果你有太多的选项，把内容分类、再分子类是一个有效的方法。

表达的原则

给你的使用者他们需要的信息是很重要的。但是要确保你能辨别出真正必须的信息是什么，不要凭你的感觉给用户信息。让他们知道他们继续探索你的网站会得到什么，给他们不多也不少的信息。（这叫做逐步展示）

通过限制他们任何一次能够看到的信息量，你能让你的用户更好地“吸收”他们所看到的。一个文章分到10页让用户看比在一页上展示更容易让用户吸收。你通过使用工具通过某种方式来引导用户浏览你的内容，让用户感到网站友好易使用。

这个原则的主要宗旨就是不要把所有信息塞进一个页面而让你的用户超负荷。通过某种让他们感到易于理解和记忆的方式，逐步引导他们浏览信息。

举例的原则

通过举例的方法描述某一类的信息内容会让用户更容易明白他们在看的是什么。这很大程度上提升了用户体验。

例如，当浏览亚马逊分类信息时，通常会展示某类别中的一些商品。这让人立刻能找到想要的类别，尤其是当你不知道某类商品的名称时。

这个原则在一些情景下使用起来有点困难，这取决于你提供内容的种类。但是考虑如何把举例融入你的分类标签和菜单中，如果做的好，它的确会大大提升用户满意度。

网站门户（主页）的原则

网站的大部分访问者是通过其他站点到达你的站点的，而不是直接到达你的主页。这意味着，用户加载的每个界面需要包含一些基本信息来让他们明白这个站点是干什么的。这也意味着每个页面需要包含至少顶部导航，以及相关页面的导航。

用户主要通过两种方式访问到你网站的内部页面：搜索引擎的搜索结果和社会传媒的链接。这两种情况下，用户除了知道他们要找的信息在这个网页上，其他对你的网站和内部组织了解不多。

如果他们不能很快找到需要的信息。他们不会停留太久。

所以，你不需要把你的信息都塞到主页上，因为网站访客有半数不会直接打开主页，甚至根本不会看到主页。

多重分类的原则

多重分类的意思是用户浏览网站的内容有不同的方式。不同的人可能有不同搜索信息的方法。

例如，一些用户可能直接使用搜索功能，另一些可能想浏览网页查找。除此之外，有些用户可能想通过一种分类方式浏览，另一些人就想通过另一种分类方式浏览。

所以，给用户多种选择会让用户更满意。

导航集中的原则

导航菜单的定义不应该通过它们出现的位置，而应该通过它们包含的内容。菜单决定了用户查找网站信息的主要方式。很多情况下，网站不止包含一个导航菜单，从而提供了浏览网站内容的不同方式。

你的网站可能有：有顶部导航栏（通常是网站的主导航）；在内部页面的菜单显示了当前页面的分类方式以及相关页面；提供打折或者购物网站链接的菜单；季节性时下的菜单，提供特定时间相关的内容。

不论哪种情况，保持每个导航菜单集中、有所侧重，让它们使用起来更容易。

增长的原则

大多数网站的内容是流动、变化的。一个网站今天的内容可能只是明天、下周、或者明年内容的一小部分。

所以，组织网站内容使其能随着时间的改变增长。你的导航菜单和一般的信息结构应能在很多内容的情况下也不变的笨拙繁琐。

坐下来,考虑哪些内容以后可以添加进来,包括完全不同类型的内容，而不仅是现在网站上内容的延伸。想想增加的的内容将与当前内容的交互,他们是如何相关的,以及他们如何成功的融合在一起，而不需要重新设计网站的整个内容结构。

这些原则都是创建有效的信息结构的关键。虽然不是每个原则对每个项目重要性相同，在项目的开始之前和项目的每个阶段，考虑和评估这其中的每一项，将得到更好的全局的信息结构策略。更好的信息架构等于更满意的用户。

发现从哪里开始

当开始任何新的项目,内容的结构和组织是决定剩下的内容的一个关键因素。

首先要考虑的是项目的目的和任务。例如,一个电子商务网站的目的是让游客购买。在任何新项目的开始的时候，找出项目现在以及将来可能的的目的和任务。

与之密切相关的是处理用户的目标。你应该知道,当今用户的目标可能会随着时间的改变和成长。试图达到用户在未来六个月或者两年看到的项目,不仅是他们现在需要达到什么。

最后,你需要对项目的最终用户有一个好的感觉。懂技术的用户对网站的内容已经有一些了解，他们和那些刚开始使用、对技术不理解的的用户有着完全不同的需求。如果你不知道什么样的用户将使用这些内容,你不能合理地组织内容的结果以满足他们的需求。

一旦你掌握这些,你可以开始更具体地策划你网站的内容。

用户是如何找打内容的

这种浏览方式，用户在网站上寻找信息有四种主要方式。这几种方式可能会有一些重叠，但这种方式分类给你一个很好的起点迎合他们的不同的需求。(前两个是建立信息架构实践的一部分,后者两人创造的唐娜·斯宾塞)。

已知的条目

用户清楚的知道他们在找什么，他们知道如何描述他们要找的东西，他们甚至知道从哪里开始找。这是IA所希望的。

这些用户不需要手把手指导，他们会找网站的搜索功能或者直接看目录。只要你的信息组织合理，逻辑清晰，并且你的搜索功能返回的搜索结果包含所有有关信息，这样用户浏览网站、寻找他们所需要的信息时就会很少遇到问题。

探索

探索性访问者有一个他们大概想知道的内容，但是对这些信息怎样找到和从哪里开始不太清楚。他们会打开你的目录菜单看有没有和他们要找的信息相关的，有时他们会尝试搜索功能。

自动推荐的条目对这些用户很适合，他们可能知道一两个关键词，搜索到结果列出相关的条目对他们很有帮助，也给这类用户更好的体验。

不确定

这类用户不知道他们真正想要什么。他们只有一个模糊的想法，或者他们可能认为自己知道自己想要的信息，但是如果不提供一些帮助他们不会有效地找到自己需要的信息。这种情况在比较复杂的领域比如法律或者金融很常见。

在很多教育行业也会出现；用户可能在寻找一个解决方案，但是他们没有真正理解问题。

这种情况在也回很明显地出现在以下情况：由别人推荐的用户；只是为了了解实事、跟上话题。

不论哪种情况，你需要引导用户浏览内容，帮助他们搞清楚他们到底需要浏览什么信息以及怎样找到这些内容。实现这些需要根据具体情况具体分析。

例如，引导用户浏览新闻网站和浏览金融咨询的网站是完全不同的。唯一相同的是用户需要更多的引导。

再寻找

这些用户寻找他们看过的内容，但是他们可能可以再找到那些内容，也可能找不到。有两种方法处理这种情况。

第一种是存储用户浏览过的信息（例如每个商业网站的“最近浏览”的部分）。这种方式不需要用户的操作，但是可能有一定局限性。例如，你可能为用户存储最近浏览的五个页面，但是如果用户需要看他之前浏览的倒数第十个页面呢？活着第五十个？这样的话他们就需要自己动手查找了。

另一种是提供让用户存储内容的工具，这样他们很容易再找到需要的浏览过的内容了。这个类似“save for later”（收藏）的功能，一个wishlist，一个最爱或者其他类似的。这些主动的解决方案让用户很容易再找到之前读的内容。这比自动存储用户浏览记录重要的多。

当然，把可以这两者结合，既存储用户最近浏览的内容，又给用户存储他们认为很重要的、之后会用的内容。

内容组织的模式

这儿有六个网站等组织内容的模式。根据实际结构，这些模式可以组合，也可以单处使用。

单页

一个单页的模版把所有信息和内容只放在一个页面上。对于一个内容有限、目的明确的网站这种方法很奏效。单页一般被分为几个区域，通常导航可以连接到每个主题。

单页在个人网站、展示单独的商品的网站或者其他类似的网站很常见。在大型网站的子页面也会看到。

扁平

扁平的结构在少于十几个页面的小网站经常见到。在扁平网站上，所有的页面可以互相切换，例如只有一个水平的导航。这种网站是最常见的投资组合和机构网站，业务简单的网站，产品屈指可数的电子商务网站。

当扁平的网站变得体积很大时，它的可用性就大大降低。如果你正在考虑打算使用一个扁平的网站时，要先确定未来你网站的内容不会增长达到使到这种扁平结构变的笨重的那个点。

索引

尽管在网站的中心位置通常有一个网站所有页面的列表，索引网站类似于扁平化的网站。这样有大量的页面的网站仍然有类似扁平的结构，可用性好而且简单。

这种结构最适合特定目的的网站,例如电子商务网站,一个商业网站,一个投资组合，或者一个特定主题教育的网站。

daisy（雏菊）

雏菊结构在web app中最常见，虽然有时也出现在教育网站。雏菊结构意味着用户在完成特定的任务后返回一个中心点(像一个主页或着陆页)。

例如,在一个待办事项清单应用程序中，用户在完成任务、编辑任务,或添加一个新的任务后可能会自动返回到待办事项清单。同样,在一个教育网站,用户在完成一个课程后可能自动会返回课程中心。

严格分层

在严格分层中，一个页面只有通过它的上一级页面才能到达。这种结构对于希望引导用户以特定方式浏览网页、不允许用户跳过的网站很适合。

因此，这种结构的网站很适合那种一节课建立在上一节课的基础上的教育网站。通过只允许用户通过父页面达到子页面的方式，防止用户跳过他们还没弄懂的信息。

多维层级

和严格分层紧密相关的是多维层级，这种结构允许用户通过多种方式到达一个页面。这也是常见的模式之一，一部分是因为这种方式容易实现。

多维层次结构也可能是最难实现的。因为尽管你想让用户以多种方式访问内容,需要的时候，你仍想引导他们沿着逻辑路径进行浏览。选择何时何地提供更多方式浏览内容也是一门艺术与科学。

多维层次结构的最简单的包括从他们的父页面访问的页面,以及从中央导航菜单(通常包括子菜单)。

最复杂的是，你有一个类似维基百科的网站，页面根据上下文相互连接，一个页面在另一个页面中被提到。这就织成了一个相关内容的错综复杂的网，而且永远没有尽头。

在建网站时，这些方法可以改造或者结合使用以适应实际项目的需要，或者项目的某一部分。例如，如果你有一个教育类网站，你网站大部分可能使用的是严格类型的结构，但是在某个单独的页面可能使用雏菊结构来教授某门特定的课。

组织和标签的规则

在这里并没有规定你网站上特定的页面必须命名为某个名字，但与此同时，遵循一定的约定和规则可以使网站更容易导航以及按内容的组织方式引导用户。

例如：当一个用户正在寻找联系信息,他们会首先寻找写着“与我们联系”、“联系”或类似词汇的一个页面、链接或一个区域；他们也会看到“联系”或“电子邮件”的链接。但称之为“reach out”、“feedback”,或另一个不常用术语会让用户必须花费额外的努力来找到他们寻找的东西。这可能会导致他们沮丧地去其他地方(可能是你的竞争对手)。

同样，如果你命名为“关于我们”、“团队”或类似的名称，这种“关于我们”的页面将是最容易被发现的。

如果你决定偏离标准的约定俗成的标签规则，确保你有一个很好的理由，并且你的标签在其上下文和网站的内容中都说得通。

当你组织特定内容时也需要遵循既定的约定。例如，“帮助”部分可能包括知识库、联系方式,一个论坛,和/或用户指南。如果你的用户指南是坐落在一个完全不同的部分(甚至自己独立的部分)，你可能会使你的用户感到迷惑。

看看其他网站是如何安排他们的网站，并遵循类似的模式，除非你有与众不同的理由。

大型网站vs小型网站

尽管无论网站的大小良好的组织结构都很重要，但网站上的内容越多，结构组织变得越关键。

想象一下，如果维基百科没有在每一篇文章的链，如果你必须对每个新的、相关的话题进行单独的搜索，这将是极不容易使用的，特别是考虑到通过一个点击就能访问的附加信息的巨大数量。

相比之下，一个只有三四个页面的网站可以减少组织内容的压力，也不需要强大的导航，因为内容有限。

所以，不论网站大小，通过考虑选择一个最好的内容组织方式都是很重要的。而且随着项目的规模和范围的增大，它变得愈加重要。

UX vs IA

许多设计师和开发者认为IA是用户体验设计师整体工作的一部分。其实，两者虽然密切相关，但它们是不一样的。

良好的信息架构的关键是创造一个良好的用户体验，但是用户体验包含的不仅仅是网站的内容的组织和标记。

你的专业的用户体验设计师可能负责IA，但在大型或复杂的项目上，有一个专门的团队成员负责开发和监督网站IA策略制定才是明智的选择。

IA vs CMS

不管你的IA结构多么好,如果你的内容管理系统（CMS）支持的不好，并且让网站内容管理者轻易地组织内容、保持内容合理组织，那么你就是在邀请灾难、问题和不满挡你的路。

想想谁会和CMS打交道、他们的交互的技术专长和经验如何；什么样的数据在被管理,它的是否很关键?内容是如何从概念到被验收？谁在使用这些内容，怎么使用？

选择最好的CMS完全基于选择什么最适合内容，同时你还需要选择的CMS还要适合用户。一个超级技术的CMS可能是管理大量内容的最好的选择，但是对于普通的网站客户，很难有效及高效地使用，于是就它不是对的解决方案。

如果团队中的每个人都已经有使用类似WordPress软件的经验，这是你研究第一重要的事。如果负责维护它长期运行的人不能或不会使用提供的工具和系统，最完美IA计划也很快就会半途而废,

工具

尽管IA性质是数字的，但是许多传统的工具或信息体系结构是模拟的。

白板在IA在最初的计划阶段非常常用。它使内容可视化，容易迅速记录想法，容易建立连接关系。它适合团队协作，因为每个人都可以看到你正在记录什么(理想情况下)。

卡片分类是另一种很常见的工具。卡片分类是一个相当简单的技术来收集来自潜在用户的想法(或从你的团队成员)。将放在你网站的不同的主题被放在在索引或类似的卡片中；参与者根据他们认为合理的方式把这些卡片分类。这是一个很好的方法来发现用户认为该怎样组织内容，特别是在更复杂的网站上。

其他模拟工具包括简单的网格纸画出方格纸线框、网站地图、流程图等。

数字工具

尽管模拟工具更常用，也有一些IA可以使用的数字工具。这些数字工具越来越受欢迎，因为越来越多的团队分布分散并远程工作。当你有跨越四个时区的用户，在虚拟白板上分享、合作比现实中更简单便捷。

白板应用可对于分散分布的团队甚至与你的客户一起进行头脑风暴。最好的应用可以提供与真实世界同样的功能，但是能够数字共享。下是一些帮助你开始工具。

Awwapp

是一个触屏移动白板,可以在平板电脑,智能手机或电脑上使用。你可以画草图、协作和分享你完成的白板。这是兼容所有现代浏览器,而不需要安装其他的东西。

Twiddla

是一个在线白板会议工具，允许你实时协同浏览网站。它有30天的免费试用。

Scribblar.com

提供实时协作以及直播音频和文本聊天。它还允许文档上传，这是很有用的功能。如果让你的团队在规划会议中，无需离开应用程序就能进行分享。

构思工具就像一个加强的白板工具，并让你的笔记结构更合理。他们是一个很棒的方式来组织你的想法并分类信息。尽管思维导图用纸和笔就能完成(或彩色马克笔和纸)，但数字工具使它们更容易编辑和分享。

Coggle

是一个免费的在思维导图工具，它很容易创建彩色思维地图并与同事分享。用它来记笔记，头脑风暴等风多。

XMind 6

是一个Mac、Windows和Linux上的可下载的思维导图软件。有免费版和高级版，这两个版本都允许你创建各种各样的图标、提供关系的工具、边界、总结、标签以及更多。它有保存到Evernote和在网络上分享的功能。

Bubbl.us

提供简单的在线思维导图，使用直观。有一个免费的基本版和付费版(包括一个团队计划)，还有30天的免费试用。

线框图工具是信息架构师的工具箱的一个关键工具。线框图工具经常在团队中传递使用，所以线框图工具应该设计得简单易用好理解。虽然纸质的线框图是一个很好的起点,在与他人分享方面，数字版本是一个更好的解决方案。

Justinmind原型

是一个免费的下载下来的线框图工具，为移动应用程序创建可点击的线框图。可交互的线框图使设计更容易理解，这对于复杂的IA项目是个很好的的解决方案。

MockFlow

为超级简单的线框图提供免费的高级计划。它可以在线或离线使用，给你可点击的交互性的站点地图，并提供HTML下载，让你在没有专门软件的情况下轻松分享你的线框图。

Mockingbird

是一个在线的线框图和原型的创造者，你可以用它创建链接、预览、分享模型。它包括一些的工具可以让你不考虑视觉设计(从网格和智能文本大小开始)只纯粹的关注线框的结构。

总结

信息结构（IA)是创造良好的用户体验的一个重要部分。结构和组织良好的内容让你的网站更容易使用、对于访问者更有用。没有对IA原则、工具及其功能的掌握，你就像在黑暗中盲目地探索如何安排内容。即使你再某些项目上只是做信息构架师，对IA有一个好的掌握会使你成为更有效的设计师。

原文： by Cameron Chapman

译者：粒粒

译文地址：http://www.jianshu.com/p/2d35eb9f95fd

互联网人士必备微信公众号：woshipm，雷军和周鸿祎都关注了，如果你已经关注了，证明你已经很牛逼了。

搞懂数据可视化的五虎将，做热门信息图！

Sat, 20 Sep 2014 18:45:00 CST

【Martin导读】数据可视化（Data Visualization）技术指的是运用计算机图形学和图像处理技术,将数据换为图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。通过数据可视化技术输出的图象通常具有交互性、多维性、可视性的特点，能清晰有效地传达与沟通信息。

本文从面积&尺寸、颜色、图形、地域空间、概念五个方向阐述了数据可视化的要点和心得，值得认真品读。

因为接下来要做卖家后台数据纵横的改版，对数据可视化这块儿又进行了研究和心得的整理，跟大家分享下数据可视化常用的五种方式，希望能给大家带来思路的拓展。

概念

借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。

数据可视化一般会具备以下几个特点：准确性、创新性和简洁性。

常用五种可视化方法

下面从最常用和实用的维度总结了如下5种数据可视化方法，让我们来一一看一下：

一、面积&尺寸可视化

对同一类图形（例如柱状、圆环和蜘蛛图等）的长度、高度或面积加以区别，来清晰的表达不同指标对应的指标值之间的对比。这种方法会让浏览者对数据及其之间的对比一目了然。制作这类数据可视化图形时，要用数学公式计算，来表达准确的尺度和比例。

a: 天猫的店铺动态评分

天猫店铺动态评分模块右侧的条状图按精确的比例清晰的表达了不同评分用户的占比。从下图中我们第一眼就可以强烈的感知到5分动态评分的用户占绝对的比例。

b: 联邦预算图

如下图，在美国联邦预算剖面图里，用不同高度的货币流清晰的表达了资金的来源去向，及每一项所占金额的比重。

c: 公司黄页-企业能力模型蜘蛛图

如下图，通过蜘蛛图的表现，公司综合实力与同行平均水平的对比便一目了然。

二、颜色可视化

通过颜色的深浅来表达指标值的强弱和大小，是数据可视化设计的常用方法，用户一眼看上去便可整体的看出哪一部分指标的数据值更突出。

a: 点击频次热力图

比如下面这张眼球热力图，通过颜色的差异，我们可以直观的看到用户的关注点。

b: 2013年美国失业率统计

在图中可以看到，通过对美国地图以州为单位的划分，用不同的颜色来代表不同的失业率等级范围，整个的全美失业率状况便尽收眼底了。

c: 美国手机用户城市分布

图中红点是用iPhone的人，绿点是用安卓的人。这两张在微博上看到的图，第一张是美国一个城市的一览，第二张图特写了纽约的市中心，尤其是曼哈顿地区。我们可以看到在市中心和主干道的人用iPhone居多，而用安卓的人都在郊区。这也引起了人们的热议，有的说在美国富人都住郊区别墅，所以富人爱用安卓手机；有的反驳说曼哈顿地区的人几乎都用iPhone，说明富人喜欢用iPhone手机。不管结论如何，都足以说明用户都被这些图所吸引，所以可视化的方式效果真的很直观。

注：科学家统计了2年里30亿条含有地理数据的twitter推文，根据客户端总结出来的数据。

想知道数据可视化可以干嘛吗？热门信息图就是从这里诞生的！《经验分享：一幅热门信息图诞生的前世今生》

三、图形可视化

在我们设计指标及数据时，使用有对应实际含义的图形来结合呈现，会使数据图表更加生动的被展现，更便于用户理解图表要表达的主题。

a: iOS手机及平板分布

如下图所示，当展示使用不同类型的手机和平板用户占比时，直接用总的苹果图形为背景来划分用户比例，让用户第一眼就可以直观的看到这些图是在描述苹果设备的，直观而清晰。

b: 人人网用户的网购调查

下图可以看出，该数据可视化的设计直接采用男性和女性的图形，这样的设计让分类一目了然。再结合了颜色可视化（左面蓝色右面粉色），同时也采用了面积&尺寸可视化，不同的比例用不同长度的条形。这些可视化方法的组合使用，大大加强了数据的可理解性。

四、地域空间可视化

当指标数据要表达的主题跟地域有关联时，我们一般会选择用地图为大背景。这样用户可以直观的了解整体的数据情况，同时也可以根据地理位置快速的定位到某一地区来查看详细数据。

a: 美国最好喝啤酒的产地分布

下图中，通过以美国地图为大背景，清晰的记录了不同州所产啤酒在1987-2007年间在美国啤酒节中获得的奖牌累计总数。再辅以颜色可视化的方法，让用户清晰的看到美国哪些州更盛产好喝的啤酒。

五、概念可视化

通过将抽象的指标数据转换成我们熟悉的容易感知的数据时，用户便更容易理解图形要表达的意义。

a: 厕所贴士

下图是厕所里贴在墙上的节省纸张的环保贴士，用了概念转换的方法，让用户清晰的感受到员工们一年的用纸量之多。如果只是描述擦手纸的量及堆积可达高度，我们还没有什么显性化概念。但当用户看到用纸的堆积高度比世界最高建筑还高、同时需砍伐500多颗树时，想必用户的节省纸张甚至禁用纸张的情怀便油然而生了。所以可见用概念转换的方法是多么的重要和有效。

b: Flickr云存储空间达1TB的可视化描述

Flickr对云存储空间升至1TB确实是让人开心的事情，但相信很多人对这一数量级所代表的含义并不清晰。所以Flickr在宣传这一新的升级产品时，采用了概念可视化的方案。从下图可以看出，用户可以动态的选择照片的大小，之后Flickr会采用动态交互的方式计算和显示出1TB能容纳多少张对应大小的图片。这样一来，用户便有了清晰的概念，知道这1TB是什么量级的容量了。

注意事项

在总结了常见维度的数据可视化方法和范例之后，要再次总体强调下做数据可视化设计时的注意事项，总结了三点如下：

1）设计的方案至少适用于两个层次：一是能够整体展示大的图形轮廓，让用户能够快速的了解图表所要表达的整体概念；之后再以合适的方式对局部的详细数据加以呈现（如鼠标hover展示）。

2）做数据可视化时，上述的五个方法经常是混合用的，尤其是做一些复杂图形和多维度数据的展示时。

3）做出的可视化图表一定要易于理解，在显性化的基础上越美观越好，切忌华而不实。

总结

作为设计师，除了掌握方法来有针对性的设计之外，还要在平时多留心积累素材，同时培养自己的创造力和专业素养，保持一颗好奇心，才能真正的设计出样式精美又实用的数据可视化图表。

文章来源：优设

互联网从业者必备微信公众号：woshipm，如果你已经关注了，证明你已经很牛逼了。

触屏键盘设计准则（内附绝密小抄）【译】

Fri, 18 Oct 2013 20:33:15 CST

标签： 触屏键盘

( Christian Holst著 Charrywang 译 Sevenshao/Crispinzhu校正查看原文转载请注明出处)

通常来说，人们会理所当然的认为触屏设备要比几十年的电脑鼠标和键盘直观的多。用户与触屏直接交互，缩小了用户行为与软件响应之间的距离。然而，在移动设备上——尤其是在智能手机上——打字是一件相当恐怖的事情。因为那既慢，又痛苦，而且容易出错。

最明显的原因是键盘字符的尺寸和按键之间的临近，但是还有很多其他重要因素需要考虑，包括：

适当的使用自动更正的字典
贴切的将字母自动大写
提示输入类型
保持标签顺序
保持自定义键盘的一致性

在最近一次大规模的针对18个最大的移动电子商务网站的1：1可用性测试中，我们观察了在填写表格过程中，现在的触屏键盘的某些功能与限制是如何与用户的预期相冲突的。一旦冲突出现，用户的受挫感会立刻上升，比如表单字段验证错误的提示一个接一个的弹出来，或者更糟的是，用户被卡住并最终放弃了网站。

当面对一个不那么理想的触屏键盘是，用户会对网站失去信心，有的甚至怀疑自己用智能手机填完一个表单的能力。显然，好的移动终端的用户体验需要一个具有良好可用性的表单，触屏键盘也是其中的关键一环。

在本篇文章里，我们将围绕触屏键盘的可用性问题做深入一点的探讨，包括5条设计准则，可以缓解一些问题。这个设计准则摘自移动电子商务可用性报告中147条指南。前段时间我们在Smashing Magazine上看了移动电子商务10条准则，这5条触屏键盘的准则会更具有通用性，可以应用于用户与触屏键盘有交互的任何手机网站。

此外，我们还以这5条准则为基准审视了排名前50的在线零售商的移动端网站，发现98%的网站犯了一个或多个错误，70%的热门移动端网站犯了至少两个错误（截至到2013年7月31日）。尽管有些指南可能刚开始看起来是显而易见的，但当如此多的电子商务站点都犯了这样的错误，我们显然需要更仔细的审视这些指南。

1 、当词典匮乏时，禁用自动更正（92%的网站犯了此错误）

问题：当用户真的注意到差劲的自动更正时会感到很挫败，如果他们没有注意到更改，将会是一件更糟糕的事情。

自动更正通常在以下情况表现非常糟糕：缩写，街道名称，email地址以及其他词典里没有的词汇。这在整个测试过程中造成了很大的问题，随着被试者完成购买，大量错误数据被提交。

当被试者在网站上街道名称一栏输入“westheimer”时，手机将其错误的更正为“weathermen”（如左图）。然而，被试者并没有注意到，提交表单后收到了一个错误验证（如右图）。

关于自动更正的一个主要问题就是， 用户通常不会注意到更正（因为用户通常关注的是他们正在输入什么，而不是已经输入的内容）。如果更正是正确的，那就没问题，但如果更正是错误的，那将会是很糟糕的事情。例如，在测试过程中多次碰到的例子，由于被试者并没有注意到自动更正，原本有效的地址信息被自动更正为无效信息并被提交。

在没有地址验证的网站上，这会导致订单被送到错误的地址，除非被试者特意仔细的查看订单确认页（毕竟，自动更正的信息通常看起来与输入的信息非常相似，这也使得用户很少会注意到信息是错误的）。当然，自动更正在地址上的惨痛失败并不仅仅是在边界的例子（如“weatherman”），而且在一些常见的（标准化）缩写也是如此，比如“Rd”会被自动更正为“Ed”。

话虽这么说，自动更正在其他场景还是有用处的，会将无效数据更正为有效数据。因此，并不推荐在所有场景（如评论区）禁用自动更正。相反，要慎重使用自动更正，只在词典匮乏的场景禁用。这通常包括各式各样的正确名称（街道，城市，人物）以及其他标识（email地址，优惠券代码，等等）。

尽管看似简单，实践起来这却是迄今为止触屏键盘可用性当中最容易被忽视的部分；几乎所有的热门移动电子商务网站都会犯这个错误。上文提到的调查显示，其中有92%的网站在地址输入框里没有禁用自动更正。鉴于在地址和email地址输入框使用自动更正带来问题的严重性，却几乎没有什么网站在这里禁用自动更正，这真的很惊人。

你可以在<input>标签上增加<autocorrect>属性并设置为关闭，来禁用自动更正，就像这样：

2 、弹出合适的键盘（60%的网站犯了此错误）

问题：弹出不合适的键盘会降低输入速度，用户经常会因为标准键盘上数字的很小的点击区域以及间距而打错很长一串数字。

智能手机上触屏键盘的一个很大局限就是它的尺寸。字符本身也都是非常小的。事实上，在iPhone4竖屏时一个字符的大小是4*5.9毫米。

再来对照一下苹果自己的设计准则，其中提到所有可点击的界面元素至少要有6.85*6.85毫米，因为任何小于这个尺寸的元素点击准确度都会非常的差（微软和诺基亚同样制定了最小点击区域为7*7毫米）。可以预见，这将会导致拼写错误。

但是通过更改输入框代码的一到两个属性，你就可以让用户的手机自动显示所需输入的最合适的键盘。例如，你可以为信用卡号输入框调用数字键盘，为电话号码输入框调用拨号键盘，为电子邮件地址输入框调用电子邮件的键盘。这样可以节省用户必须切换传统键盘的时间，并且在输入数字的场景中，最大限度的减少输入错误，因为这样的专用键盘按键尺寸更大，会减少意外输错的机率。

Best Buy的信用卡号输入框调用了标准键盘，所以用户必须先切换至数字和字符键盘，然后准确无误的输入16位数字。这对于被试者是件很困难的事情，他们要来回看着信用卡和手机，小心翼翼的点击数字键，不碰到旁边的键。

在整个测试中，很多被试者都注意到了专用键盘，并对它们赞许有加。事实上，在iOS中，数字键盘的点击区域要比标准键盘大471%（数字键盘209*108像素vs标准键盘52*76像素）。更重要的是，我们发现在数字输入框里采用数字键盘时错别字明显减少。这会导致更少的验证错误，反过来，也可以将网站引向一个更好更无缝的购物体验。这对于长数字队列尤为明显，比如电话号码以及信用卡号。

左图，一个被试者由于标准键盘按键尺寸小且邻近，在输入“1”的时候不小心按到了横划线。这个时候调用数字键盘会更加合适。右图，用户在GAP网站上输入“日间联系电话”时，调出的是专门优化过的键盘，按键比标准键盘大471%。

调用专用键盘的另一个好处就是可以表明需要输入的是什么内容，如果输入框标题滑出视线范围或是用户不确定要输入什么的时候，这会很有用。然而，数字键盘也有一定的局限性，因为它不允许用户输入拼音字符，只有少量特殊字符或分隔符，也可能连这个都没有。所以，只有最合适的时候再调用这样的键盘，这很重要，比如输入电话号码、邮政编码、信用卡号以及信用卡安全码。同样的，在调用键盘时，确保你给出的格式样例是可以复制的。

根据给出的样例格式（比如“555-555-5555”）输入电话号码在iOS上是不可能的，因为调出的键盘是没有横划线的。（有趣的是，在Android系统上输入是可以的，这也说明了为什么在多个平台测试有助于确保在格式样例只在有些平台上必须。）

说了这么多可用性上的优点，你可能会想这种专用键盘是被广泛应用的。然而，60%的热门移动电子商务网站在对应的场景并没有调用它们，如电子邮件（电子邮件键盘）、电话号码（拨号键盘）以及信用卡号（数字键盘）。

技术上来说，有很多种方式可以调出数字键盘，每种键盘之间略有差别（如拨号键盘和数字键盘），不同平台间行为也会有轻微的不同（iOS，Android等）。大体来说有两种HTML属性可以调用数字键盘，分别是type和pattern属性。

Type属性承载语义的含义，仅仅当输入时有合适的类型可调用时才会被用到，这主要是针对电话号码和电子邮件地址的场景。不过对于数字输入，更推荐使用pattern属性来替代。（注意如果你仅仅是想要浏览器调用键盘，并不强制格式，可以加入novalidate属性。）

针对任何电话号码框，用如下代码：

针对其他你想要调用数字键盘的输入框，用如下代码：

针对任何电子邮件地址框，用如下代码：

正如上面提到的，各种数字键盘之间会有一些区别， 在不同平台之间也会有一些不同。例如，在iOS平台上，上述代码调出的电话键盘可以让用户输入数字以及少量电话相关的特殊字符和分隔符，而调起的数字键盘只能输入数字。与此同时，在Android平台上，调起的电话键盘则有着更多的特殊字符，支持更多格式的电话号码。

但是，由pattern属性调起数字键盘在Android上根本不支持，相反，它只会调起常用的字母键盘。虽然在iOS和Android平台上，你都可以使用type=“number”调起数字键盘，但将type设置为number带有语义含义，在很多场景下并不合适（比如信用卡号是一个数字队列，不单单是一个数字）。

所以，我们推荐更为保守的策略，使用pattern=“\d*”，这样在iOS平台上可以有更好的体验，在其他不支持该属性的平台上也不会有什么影响。（当然了，如果输入框就是针对一个数字的，比如价格或是数量，那么显然应该使用type=“number”了。）

3 、保持一致，调用合适的键盘（54%的网站犯了此错误）

问题：如果一个输入框调用了专用键盘而其他类似的输入框却没有，那么在没有调用专用键盘时用户会感到困惑，并开始质疑这个输入框所需输入的类型。

为特定输入框调用合适的键盘是正确的做法（参见上面的推荐），但是要确保在你的网站上保持一致，否则会让用户很困惑。换句话说，如果邮政编码的输入框调用了数字键盘，那么类似的输入框也要有同样的做法。

尽管这听起来是显而易见的， 但很多网站都没有在调用专用键盘上保持一致。例如，花店FTD（如上图）在填写信用卡号的时候调用了数字键盘，但在紧接着下面的安全码输入框却没有，虽然这两个值都是数字。

在50个快速增长的热门在线零售商中，54%的网站在他们的移动站点上犯了这个错误，多多少少都会有一个或是多个电话输入框，信用卡号码或是信用卡核对（CVV）输入框没有调用数字键盘。这54%的数据细则如下（绝对值）：24%的网站没有为这三类中任何一种调用数字键盘（尽管这也是一致的，但是错误的示范），剩下30%的网站（包括FTD）不一致，只有在一部分输入框才会调用数字键盘。

更令人惊讶的是，在整个可用性测试中，由于这样的问题让一些被试者很困惑。他们开始质疑对于个别输入框最初的解读，认为可能需要填写一些其他的内容。例如，当看到“信用卡安全码”输入框弹出了标准键盘时（如上图FTD的网站），被试者开始怀疑这是否就是填写信用卡背面的那三个数字，或是印在卡上的其他字符串。

4 、兑现“上一项”和“下一项”按钮的行为（4%的网站犯了此错误）

问题：如果“上一项”和“下一项”按钮把用户带去了不合逻辑顺序的输入框，用户会很烦恼和困惑。

在测试中，被试者在未能兑现“上一项”“下一项”按钮行为的网站上感到烦恼。用户预期的行为很简单：当用户点击“下一项”按钮，他们会预期跳到表单中下一个合乎逻辑的输入框，没有其他变化，甚至提交表单。“上一项”按钮也一样，当然是换个相反的方向。

这不仅仅是需要有正确的标签序列（虽说这是一个好的开始）。当需要依赖于用户先前的选择处理动态输入控件时，事情往往会出差错。在这些情况下，我们已经看到用户数据被删除或是标签序列被违反。我们也必须要格外注意自定义表单的接口。例如，在迪士尼商务网站，定制化的状态选择器不属于标签序列（因为从技术上来说它并不是一个输入元素），所以用户就会跳过这个状态控件。

填写了邮政编码以后（如左图），被试者点击“下一项”按钮，正确的跳转到菜单中的下一项“场所类型”（如右图）。但如图所示，网站清空了被试者前一个输入的数据。很显然，当使用“下一项”和“上一项”按钮时数据应该是被保留的。

这些按钮的功能基本上是充当键盘上tab键的移动版；所以，它们应该采用和电脑键盘tab一样的序列规则。它们应该提供从一个输入框到下一个输入框的快捷方式，不需要任何点击（不论是鼠标还是手指）。这在手机上是尤为重要的，因为当键盘呼出的时候，屏幕空间是有限的，下一个输入框可能被部分遮挡，这个时候“下一项”按钮则用起来很方便。所以，尽管“上一项”和“下一项”按钮有可能不会被所有用户用到，但禁用这些按钮的行为会导致很严重的后果。

幸运的是，大部分网站这一点都做的很好。只要代码是清晰的，手机浏览器会默认将输入框出现的顺序作为标签序列。在热门移动端网站中，只有4%的网站犯了此错误。

5 、在适当的情况下，禁用自动大写（38%的网站犯了此错误）

问题：几乎所有的被试者都认为他们的电子邮件地址必须要小写，所以这项数据自动大写会给整个过程带来不必要的麻烦。

智能手机默认会把标准文本输入框的首字母大写，这在大部分情况下是合适的。然而，在有些情况下禁用自动大写是更合适的，特别是像电子邮件地址这种绝大多数用户都以为要小写的情况。

该名被试者注意到了首字母“J”，并移回光标将其改为小写“j”，因为他不确定大写字母是不是可以通过验证。

测试中的大部分时候，被试者都注意到了大写字母，并明确的将其改为小写。最合理的解释是他们不确定是否允许填写大写字母，或电子邮件地址是否区分大小写。在那些电子邮件输入框禁用了自动大写的网站上，没有被试者会主动将首字母大写。推荐大家在电子邮件或是其他合适的场景（如网址URL）禁用自动大写。

在热门移动电子商务网站中，38%的网站在电子邮件地址输入框没有禁用自动大写，把它们设置为纯文本输入框，给用户留下非技术性的困惑。

可以在<input>标签上加入autocapitalize属性并设置为off，来禁用自动大写，如下所示：

当然，针对电子邮件输入框，你也可以设置一个type属性为email：

在iOS系统上，设置type属性为email将会自动禁用自动大写。然而，最好仍然设置autocapitalize属性，因为这不仅在iOS系统上奏效，而且在其他还不支持email输入框类型或是实现方式不同的平台也可以使用。

测试以及绝密小抄

虽然这些基本原理看上去是显而易见的，但是要记得全球最大的移动电子商务网站中98%的网站违反了至少一条（参看任务完成列表）。70%的网站违反了两条甚至更多的“基础“触摸键盘准则。事实上，24%的网站根本没有为触屏键盘输入做过什么优化，就算是省掉标准键盘（在输入电话、电子邮件、数字等情况），偶尔调用专用键盘（一致性很差），在合适的地方禁用自动更正，抑或是在电子邮件地址输入框禁用自动大写，这些都没有。

不遵守设计准则的一个原因可能是，针对一个大型网站所做的全局测试需要去发现所有的明显缺陷——故而，理想情况下的第三项建议中提到调用键盘的一致性问题，是不必要被提及的。另外一个原因是，在前一篇文章中提到的，手机和触屏界面是一个相对较新的平台，它的全新的界面理论需要大家去关注无数的小的细节——这些细节对于我们网页设计师和开发者来说还不习惯去主动寻找和设计。

综合以上原因，我们将用一个绝密小抄来作为文章的结尾，此小抄是设计触屏界面输入框最常见的细节点，包括可复制粘贴代码以及正确调用了键盘的手机触屏优化demo，你可以把它当作是一个设计开发手机端以及桌面端网站的清单。

可交互的触屏键盘小抄，以及手机端优化demo

这些输入框通常都会出现在以下类型的表单中：帐号注册，帐号登录，搜索，调查，完整的结账过程，注释表单以及联系表单。我们建议你搜索整个代码库，来捕获到每一个实例。

您可能还对下面的文章感兴趣：

关于热键和键盘布局 [2012-01-15 00:08:51]
敲击最多的键和编程语言语法 [2011-09-25 13:37:41]
机械键盘的一些知识 [2011-09-14 13:44:40]
在 JavaScript 中监听 IME 键盘输入事件 [2011-06-21 23:51:50]
Vim 键盘图中文版 [2010-03-11 23:39:05]

一图抵万言：信息图的五大用途

Thu, 17 Oct 2013 03:14:08 CST

大数据是2013年被热炒的概念，但即使在专业人群中，能弄明白大数据的人并不多。而信息图（Infographics）不同，作为当今最流行的数据可视化展示方式，信息图是向非专业人士展示数据分析结果的最直观最有效的工具之一。大数据离不开设计师和艺术家，而信息图正是数据可视化科学、艺术和设计的结合。

无论是企业向投资人做财务和业务创新报告，还是设计一份独特的简历，抑或教师希望在最短的时间讲明白一个复杂的问题…总之，无论你是想讲故事、讲道理还是推品牌，人们面临一个共同的挑战：如何梳理大量信息，并以简洁、有趣、直观的可视化方式展示给受众。而信息图，就是一个绝好的方式。

作为一种数据可视化形式，信息图可以快速厘清复杂的信息，最好的信息图设计者通常使用最基本的设计原则来展现信息，并尽可能地通俗易懂。

如今，无论是企业管理者、品牌推广者、教师、设计师还是博客作者，都迫切希望掌握信息图这一强大的数据可视化工具。以下我们将详细介绍信息图的五大用途：

一、求职招聘工具

设计师们很早就开始使用“信息图体”来制作有创意的简历，既能体现自己的设计风格和水平，同时也能突出自己的亮点和经验。

不过近来，企业招聘者也开始重视信息图的使用，让自己的招聘职位显得更加有吸引力，以下就是一个项目管理招聘信息图样本：

二、展示调查数据

调查数据展示是信息图最常见的用途之一，常规的统计报告充斥着大量枯燥的数据，让人望而生畏，但信息图能够快速、简洁、直观地展示报告中的信息亮点，例如下面这张信息图：

三、简化复杂概念

信息图的另外一个重要用途是简化复杂概念，因此信息图也是非常强大的教育工具，尤其适合做综述式的介绍，但不适合做太过深入的分析。

以虚拟货币比特币来说，虽然稍有经济学知识背景的读者都能够知道个大概，但是如果想深入了解的话，这个概念背后的信息元素其实非常庞杂。这时候动态信息图能更生动地展示虚拟货币的流动和变化。设计师Duncan Elms制作了一个精彩的视频，用动态信息图的方式在3分钟多一点的时间里介绍了比特币的概念、原理、运作方式和特性。

四、描述产品工作原理

在简化复杂概念的同时，信息图还经常被用于解释和描述复杂产品或项目背后的工作原理。

高水平的设计师能够通过信息图解构复杂的产品，例如相机、iPhone甚至一个网站或者APP，的逻辑层次和工作原理。例如设计师 Jing Zhang设计的这张iPhone信息图，不但准确揭示了iPhone的工作原理，而且还极大地激发了读者的想象力。

五、比较分析

在做比较分析的时候，信息图能够以可视化的方式非常直观地平行展示比较双方的异同，这种比较方式能够传递很多语言无法表达的信息。例如下面这张信息图以很有冲击力的方式对比了1939年和2013年蝙蝠侠的“行侠成本”。

“分类展示“给用户带来的“正反馈”

Thu, 31 Oct 2013 21:49:36 CST

前言

一款产品终究是要和用户打交道的，那么在这个打交道的过程必然会有用户和产品信息之间的交互。用户和产品信息之间交互设计的好坏，直接影响用户理解、接受、消化信息的质量，进而影响用户使用产品的效率。互联网产品和传统产品不同之处在于随时随地提供给用户信息，这个过程如果设计的不好，将会大大影响产品的用户体验及使用效率。这里笔者根据自己平时的观察和理解暂且将这种信息交互分为以下两类；

一是产品直接呈现在用户面前的信息；

二是用户进行相关操作（如键入相关关键词）后给出的信息反馈。

下面将从这两方面举例说明”分类“呈现信息给用户带来的便捷之处及给用户带来的正反馈。

直接呈现的信息分类

当产品呈现在用户面前的信息较少时是没有分类的，但是当信息较多的时候时，恰当的分类能够让用户更方便快捷的寻找到自己想要的信息，更方便的使用产品。下面以360电脑专家功能设计说明之。

（360电脑专家界面信息设计）

在360电脑专家的诊断页面出现了如上图所示设计，产品设计者将电脑问题进行分类展示，每个大的分类下面又有一些常见问题的展现。这种信息展示给用的户感觉是很清晰明了，用户可以很方便的找到自己需要的问题。

总之，在呈现信息给用户时，按照 某个角度进行恰当合适的分类必定会给用户带来不一样的体验。

信息反馈的分类

另一种情况是，用户在进行相关操作后产品反馈的相关信息的交互设计。如果反馈后的信息同样清晰明了，那么，肯定也能给用户带来高效率的操作体验。我们这里同样以360安全卫士为例，如下图所示：

（360安全卫士的电脑体检界面）

在360安全卫士中，当用户点击“一键体检”之后，卫士开始进行分段体检，体检完成后，体检信息也分类进行展示，非常清晰明了，用户一看就知道哪部分是好的哪部分是坏的。

（QQ音乐键入关键词后的界面）

在QQ音乐pc客户端中，在搜索栏键入“快乐男声”关键词后，给出的搜索提示中分为“列表搜索”和“乐库搜索”两大板块，在“乐库搜索”板块下面又有“单曲”“歌手”“MV”“专辑”四个小分类。用户可以自由选择自己想要的搜索提示信息。这种对反馈信息进行的分类展示是根据自身产品特性以及用户需求来进行的合理设计，能够让用户更方便的找到自己想要信息。

（知乎键入关键词后的界面）

再例如在知乎中键入“用户研究”关键词，出现的搜索提示分为“话题”和“问题两大板块”，话题板块下面是与关键词相关的话题，问题板块下面是与关键词相关的问题，这样的展示能够减少用户搜索信息的成本，根据清晰明了的分类提示就能方便找到自己想要的问题。

只要留心观察就不难发现有很多产品在信息展示上都下了很大功夫，为用户提供更有质量和效率的信息交互设计。

小结

分类展示不仅能够让用户更方便的找到自己想要的信息，而且能够为用户当前以及接下来的操作提供愉悦的体验，让用户更好的使用产品以及消费相关信息，增加用户对产品的好感度。在这里需要注意的是， 分类要根据用户的需求以及产品的实际情况及属性进行分类，而不能没有一个思维角度而盲目分类，分类过多或者过少都达不到应有的效果，反而会画蛇添足。

本文由作者: ziqiangsu 原创并授权人人都是产品经理发布，转载请注明转自 www.woshipm.com并保留原文链接

本文链接《 “分类展示“给用户带来的“正反馈”》
官方微信：woshipm，干货天天推荐，欢迎订阅

【信息图】招行信用卡发布：《2013年高端人群生活形态和消费习惯报告》

Fri, 24 Jan 2014 19:23:36 CST

日前，招商信用卡发布的2013年《高端人群生活形态和消费习惯报告》新鲜出炉，通过对高端人群消费行为特征的调研分析，招行信用卡发现中国高端人群消费观念正在悄然发生变化：与原来一味追求奢华生活不同，高品质、高品位的生活方式正在成为中国高端人群的最爱，拥有“一个和谐美满的家庭”、“一个健康充满活力的身体”、“有时间和自由去做自己喜欢的事情”正成为高端人士心目中幸福生活的首选。

您可能也喜欢：
【报告】凯度公司（Kantar）发布《2014中国社交媒体影响报告》：中国人认为社交媒体让生活变更好	【SocialBeta高端访谈】联想：理想青年的社会化整合	【高端访谈】宝洁：看自己，看天下，看众生	【SocialBeta高端访谈】罗德公关－社会化时代的公关人	【高端访谈】CSG - 转身,市场研究的变革之路
无觅

【How-To】信息图营销的12条小技巧

Wed, 31 Jul 2013 14:06:37 CST

编译： @杨元龙Metalony

信息图营销最近变得越来越热，一些媒体、营销机构、企业开始制作有创意的信息图来丰富内容营销。但是，在如今的网络环境下，光有好的内容还不能达到营销的目的，只有让用户去分享，内容营销的内容才有了其价值。这里有一些常用的信息图营销的技巧，内容营销者可以根据实际情况选择其中的小技巧来做信息图营销。

1、 寻找可信的数据来源作为作为信息图的素材，并且注明信息来源，在信息图完成之后可以通过各种方式让数据来源方帮助推广信息图。

2、 信息图营销不要只有图，为信息图配一篇解释、说明、分析性的文章，并且通过各种社交媒体途径将这篇文章分享出去。这种文章可以自行编写，或者向行业内的知名人士邀稿。

3、在信息图展示界面 设置分享按钮并提供评论功能，方便用户将信息图分享至社交网络。

4、 将信息图内容按照主题拆分成不同部分，并且在不同的图片社交媒体上发布这些局部图片，将局部图片链接到信息图的文章上。这样做的好处是找出信息图的亮点，用最吸引人的部分来引导用户关注整张信息图（尤其是整体中的营销内容）。

5、定期将信息图中的重要数据按照不同模块分别发布微博，一张图上有多少数据块，就等于可以多少条有价值的微博。

6、 将信息图投稿到专门的信息图网站和社交媒体账号，网站比如国外的 visual.ly，国内的多阅等，这些网站是专注于信息图的网站，有价值的内容能够得以展示。社交媒体账号账号主要选取一些关注信息图和数据可视化微博如@艾瑞咨询集团、@199IT-互联网数据中心等。

7、将信息图通过RSS或者其他内容推送服务推送给用户，比如最近很火的微信也是很好的推送方式，但是需要考虑流量问题，可以将信息图局部推送给用户并附链接，用户在感兴趣的情况下可以查看全图。

8、 通过email将信息图局部发送给用户，并且添加链接到整图的链接。

9、 将与信息图主题内容相关的博客、媒体信息加入信息图中，并且提前将预览版提供给这些人。这样做的好处是如果这些人对这张信息图感兴趣或者认同这样信息图，他们会帮助你在社交媒体上做宣传。

10、有能力的话做一个视频版本，将视频上传到视频网站并分享到其他社交网站。

11、 将信息图转换为其他形式化，如PPT、课件等形式在其他社交媒体上分享，如百度文库、多贝等等。

12、 文件名要包含与内容相关的关键词，包括公司或者产品等营销主题的名字。

信息图营销作为内容营销的一种方式，它符合互联网时代碎片化阅读和可视化阅读的潮流，比文字更具有吸引力，让用户更乐意分享，在未来一段时间内肯定会成为一种强有力的营销工具。

——————————————

编译： @杨元龙Metalony

题图： crazyegg

原文链接: toprankblog

您可能也喜欢：
【信息图】小企业社会化营销成功指南	【How-To】如何运用信息图进行内容营销？	[How-To]7个社会化营销人士必须问的问题与其对策	【How-To】如何利用技术优化新媒体营销	[How-To]8条培训社会化媒体营销职员的建议
无觅

【信息图】小企业社会化媒体营销成功指南

Thu, 25 Jul 2013 11:56:04 CST

对于小企业来说，面临着很多困扰，其中最大的一个就是资源紧缺，很多小企业甚至是没有市场预算的，这个时候，对他们来说，花钱的广告是一个奢侈的行为，幸好，有微博、微信等社交网络，他们为哪些踏实做好服务和产品的小企业提供了一个直接接触消费者的好平台。

越来越多的小企业开始重视社会化媒体

根据 Placester and MarketMeSuite.的信息图《小企业的社会化营销指南》显示：

26%的小企业主（营销者）每天至少花费1个小时或者更多在社会化媒体营销上；
58%的小企业主（营销者）每天至少会花10分钟在社会化媒体营销上；
越来越多的小企业主（80%）计划在今年花更多的时间和精力在社会化媒体营销上。对于小企业来说，时间就是最宝贵的资源，愿意在社会化媒体上花费时间，也代表小企业开始重视社会化媒体。

小企业主利用社会化媒体也是有多种目的：

-84%小企业主希望通过社会化媒体等不同的渠道更多的接触到消费者，
-56%的小企业说他们的客户期望他们出现在社交媒体上，这个其实也不难理解，我之前去厦门住一家客栈，老板人很好，但没有开微博，我就鼓励他开微博，希望和他在微博上建立关系
-53%的小企业中期望通过社交媒体和客户进行双向的沟通交流，微信在这方面有这天生的优势，对于小企业主来说，在自己客户少的情况下，就更能通过微信提供一对一的沟通服务。

小企业做好社会化媒体营销的5点建议

社会化媒体是一个绝佳的营销平台，但，对于小企业来说，可以收获什么呢？信息图也说了3点，第一点是为自己的网站或者网店引去流量，第二点是购买意图，71%的消费者更愿意从和自己建立联系的商家那里购买东西。第三点则是产生新客户。要达到自己企业的经营目标，信息图也给出了如下几个建议：

1.提供价值

可以是提供一些专业知识，让消费者能够做出明智的购物决策，比如我最近一直举例的淘宝店铺木智工坊，店主对于木头非常的了解，通过看他的博文，我了解了很多关于木头的知识，虽然我没有购买，但在说起木家具的时候我一定想起他，并想朋友推荐。

2.掌握好时机

关于内容的发布时机，我觉得这个并没有严格的规定，最重要是要了解自己用户群的活跃时间段就可以，并且可以多多尝试来调整优化；

3.善于发问

要想提高互动，提问是一个很好的办法，发问或者向用户求助，关心你的用户一定会来和你互动交流，我看到现在很多卖衣服的淘宝店在上一个新款衣服的时候，都会在微博上询问大家，看看大家是喜欢哪些颜色，款式，这样既可以互动，又可以根据用户的反馈来进货；

4.做好客服

越来越多的用户会通过微博等社交工具来向企业求助抱怨或者投诉，作为小企业，应该主动去关注他们，通过搜索自己的企业名称或者产品名称，及时发现他们并且回应他们。

对于一些差评的用户，更要花精力去和他们交流沟通，找到导致差评的真正原因，对于改进产品和服务是有很大的帮助的。

5.耐心和专注

很多小企业对于微博没有太多的耐心，急于求成，三天看不到效果就想放弃，记住，社会化媒体营销都是慢营销，慢效果，短期时间内，很难和一些付费广告效果相提并论，但，用心积累，一定会有回报。

另外一定是要专注，不要追时髦，在一个平台上深耕比在多个平台上浅尝辄止更为重要，对于小企业来说，你并不是要开设很多社会化媒体账号，而是要实践出一套符合自己企业实际的方法和经验来，工具任何时候来使用都不会晚，并且工具是一茬又一茬，你追也追不上。

6.不断的学习，和同行分享交流

这个就不用多少了，你能看到这篇文章，就说明你是个爱学习的小企业主，加油。信息图中的专家也不错，如果你英文OK，可以去搜索他们的博客看看。

下面推荐一些SocialBeta之前的一些小企业利用社会化媒体方面的文章，供大家学习：

① 5个初创公司有必要避免的社会化媒体营销误区

② 30条助您制定2012年社会化媒体规划的小建议

③ 8大导致社会化媒体营销收效甚微的原因

④ 差评的力量（如何处理好差评？）

⑤ 【How-To】小企业也能玩转社会化营销

也欢迎你来和我们分享你的经营之道。

题图：mashable

信息图全图（点击图片看大图）：

您可能也喜欢：
【How-To】小企业也能玩转社会化营销	[信息图]小企业使用社会化媒体状况报告	[信息图]小企业是如何利用社会化媒体的？	【案例】5个小企业成功利用社会化媒体的故事	【信息图】社会化营销指南
无觅

移动用户体验设计新要素

Wed, 28 Aug 2013 22:19:28 CST

标签： 用户体验移动

无论是在一系列草图间快速切换，还是屏幕与屏幕之间的切换，或者其它类似场景，想要在这些场景切换中加入动效进行完美过渡，并不是一件容易的事情。这是一门需要耐心的艺术，需要用眼睛仔细的观察，人和物体如何在时间和空间两个维度中运动与变化。

这种非常巧妙的动效和动画，正在慢慢成为一种新的、有意思的移动体验设计要素。并值得用户体验从业者去学习，最终学会如何有效率和优雅的使用在自己的设计中。好的动效和过场动画可以传达给用户更加清晰的当前所处场景和层级关系，甚至带给用户一种愉悦和有趣的感受。然而，过多的或者太夸张的动效，则可能毁掉一个完美的移动用户体验。所以想要巧妙的并且艺术的在设计中运用动效的第一步就是要理解动画艺术的原则和原理。

谈到对动画艺术理解，可以说没有人比在沃尔特-迪斯尼工作的两位杰出的动画师Ollie Johnston和Frank Thomas理解的更加深刻。幸运的是，这两位动画师把在迪斯尼动画制作过程中的总结出来的动画的法则写成了一本书，分享给大家《The illusion of life :Disney Animation》。

读到这里你可能想知道到在移动用户体验设计中动画需要扮演什么角色。虽然动画艺术的起源是在电影和电视行业，但从一开始动画艺术就在电脑和数字媒体艺术领域中体现了重大的价值，而现在移动设备中也开始运用动画和动效。不论是屏幕与屏幕之间的过渡，还是UI元素与手势进行交互，动画和动效都已经成为移动设备界面设计的重要元素。设计师可以用动效引导用户沿着自己设计出来的体验路径进行操作。

还是从那两位动画大师说起，后文会从他们出版的书《The illusion of life :Disney Animation》中摘抄一部分来解释动画的12条基本原则。尽管这本书主要阐述的是电影和电视领域的动画，但这些基本原理在当今的移动设备上仍然适用。如果能够把动效精巧的运用在移动设备界面上，不仅能够提升移动设备用户体验，甚至会让用户感受到一点点梦幻的感觉。

《The illusion of Life: Disney Animation》描述了动画的12条基本原则

下面书中描述动画的12条基本原则

挤压和拉伸
预期
展现
连贯动作法和关键动作法
重复与循环动作
慢入和慢出
弧度
次要运动
时机
夸张
可靠的草图
感染力

动画12条基本原则

原则1. 挤压和拉伸

人和物体都有其固有的质量。当物体移动时，其移动时的状态往往反映了物体的刚性。在真实世界中的物体，比如说书架和木椅，属于刚性比较强，灵活性比较大。而柔软的曲面，像衣服和树叶等物体，则刚性比较差，但有更好的灵活性。挤压和拉伸这条动画法则就用来精确的表现一个物体的刚性如何。

像一个盛满水的气球有有机和柔软曲面的物体，就在其外形上就有一定程度的灵活性。挤压和拉伸这一动画原则就恰好能描述这种状态。

上图是用Flipboard 和iBooks作了一个对比，Flipboard表现出的在UI元素是坚硬的像木板似的。与此相反，iBooks的界面的过渡则用挤压和拉伸原则表现了像真实世界书本翻页的那种柔软的效果

原则2. 预期

当我们试图描述一个物体或者人物运动的状态时，为了让这个运动显得更加真实，有三个独立的阶段需要去考虑：

在运动发生前的准备阶段
运动过程本身
运动产生的结果

比如说，一个棒球击球手在击球前准备阶段会把身体弓起来的状态，一个弹簧压缩后弹起前的那个状态。预期这个原则就是描述物体运动前的准备状态，就像是精心策划一个舞台剧场景——灯光、布局、道具和人物的组成等，这一切就是为了给用户一个线索什么即将发生。

一个保龄球手扔出球之前蹲下的状态，这个姿势和动作就是预期原则所应用的一个最好的例证

预期原则在移动用户体验领域中同样适用。预期原则就是让用户有一种预感即将发生什么。举例来说，这个原则可以运用在“闪屏”界面的视觉设计中，也可以用在不同体验的过渡中，还可以用来帮助增加手势的可见性。总得来说，预期可以为元素在界面中将要运动的速度和方向还有哪些手势可以使用提供线索。

这个光圈的动画在很多智能手机中的camera应用中被使用，它描述了用户在进行拍照前准备的那个阶段。

这个Palm的卡片流的UI设计给了用户关于手势运用的可见性

这个windows phone 7锁屏跳动的动画也是用了预期原则，让用户可以提前瞥一眼windows phone 7动感的瓦片UI设计

原则3. 展现

比较善于卖房的的房产经济经常按照一个流程去“展现”各个房间，为的就是让各个房间的使用展现的非常清楚。展现原则在动画里的功能和房产经纪人非常相似，好的展现方式可以让观看动画的人清楚的理解动画想要说明的中心思想。在移动用户体验领域里，在界面过渡和切换时，展现这个原则至关重要。好的交互方式会把高亮，颜色，布局和动效精确的展现并传达到用户的眼中。该原则应用合理的会让移动设备用户感受到流畅和舒适，该原则应用不合理会让用户感觉到杂乱和脱节。

右边这个展现的比较好，清楚的表达出两个人物在进行着对话和讨论。而左边这个展现的比较差，没有描述出两个人物之间的动态，让所要表达的中心思想不明确。

在移动用户体验设计中使用动画和动效时，如何去展现是一个难以描述但又非常重要的要素。在创造natural user interface过程中最大的挑战就是缺少一个概念上的起始点。因此很多新接触 natural UI的用户在体验触屏导航体验时，总是感觉到没有一个稳定的起始点。如果能在移动用户体验设计中把动画和动效合理的展现出来，用户就能够清楚的理解整个界面并愿意与其发生交互。

举例来说，Keynote的iPad 版本动效的展现就比较合理，用户可以清晰的感觉到哪个文件正在编辑,所编辑的文件在所有文件中处在哪个层级。这种动效，让用户可以更清楚感受到当前所处位置并更好的理解整个UI界面

原则 4 连贯动作法和关键动作法

在动画草图绘制过程中经常使用连贯动作法和关键动作法。为了抓取非常快速且不规则的运动，动画师经常使用连贯动作法把整个运动过程中每一帧都抓取出来。而关键动作发则用动作的关键帧和关键帧之间的补间帧来描绘整个运动的过程。

上面这幅插图描述了连贯动作的草图绘制方法，而下面这幅则描述关键动作草图绘制方法

大部分移动端用到的动画和动效都可以用关键动作法进行绘制，关键动作法使用起来工作量较小也能满足大部分移动端动效的表现。针对特别复杂且不常规的运动动效则可以选择连贯动作法进行表现。

植物大战僵尸就是使用的关键动作方法来绘制的

像水果忍者这样运动轨迹比较复杂的游戏，就可以用连贯动作法描述动态运动轨迹

原则5 重复与循环动作

想象一下一只有着比较大的下颌的狗，当这只狗摇头的时候，它的下颌两边的皮肤晃动起来的状态。这就是动画的第五条原则：重复与循环动作。预期这条原则解释的是动作前准备的状态，第五条原则阐述的是动作进行直到结束的过程。大多数动作一般来说不会突然的结束，而是重复渐渐变弱直到终止的一个过程。重复与循环动作描述物体本身(狗的头部)停止运动，物体的一部分像(狗下颌旁边的皮肤)仍然保持运动的一种状态。

重复与循环动作描述了物体的不同部分以不同的速率进行运动的状态(狗的头部下颌两边的皮肤)

现在想像一下上面图片中的大狗和它的主人走在人行道上，狗的整个身体正在移动，但是狗腿移动的频率，狗的尾巴晃动的频率，还有狗的头部晃动的频率各不相同。循环动作原则就是用来描述一个物体的不同部分是如何按照不同的频率进行运动的，即使运动频率差异非常小，如果能精确描述出来，会让动画看起来更加真实。通常来说，在下一个动作开始前，上一个动作都不会完全结束。在移动端体验设计层面来说，需要多个UI元素整体考虑动效的重复和循环的速率，这有助于解释清楚各个UI元素之间的关系。

采用动态tile的windows phone就是一个重复与循环动作的很好的例证。这些动态的tiles并不是按照一个整体运动，不同的tile运动按照不同的速率。

原则6：慢入慢出

无论是一辆车的启动过程还是一个完全压缩的弹簧突然展开的过程，物体运动开始时都需要慢慢加速，物体停止的过程都是慢慢减速停止。而慢入慢出原则就是为了准确的描述人和物体在一个空间中运动的固有的惯性。

在动画中，有一个简单的方法描述这一过程：在物体运动开始和结束加入更多的帧，在运动过程中使用较少的帧。

动画中，描述物体本身的惯性，在运动开始和结束加入更多的帧。

慢入慢出原则适用于描述一个角色在两个状态之间的运动，比如说坐下和站起；也可以描述物体的运动，比如说一个球掉在地上不断弹起的过程。移动端体验设计中是在一个屏幕后面的世界进行设计，如果能够引入一些真实世界中的物理定律，则会让用户感觉到更加真实。无论是一个列表或者数据的滚动，还是一个app打开的动效，慢入和慢出原则会让动效的体验对用户来说更加自然。

很多app的列表滚动都运用了慢入慢出原则，更多的帧在运动的开始和结束时。这也体现真实世界中物体的惯性定律

iPhone和iPad在home进行滚动时也同样使用了慢入慢出的原则

原则7：弧度

一般来说，物体在空间中都是沿着一定的轨迹运动，这个轨迹受到推力、风阻和重力影响，而不是随意运动。此外，物体运动轨迹一般都不可见，除了一些烟火，还有汽车刹车片刹车时的火花，这种情况下，火花的运动轨迹可见。

一般来说物体运动轨迹都是不可见的，除了像上述图中的火花，可以看见运动轨迹

一般来说大部分物体运动轨迹人眼是无法观察到的，但是物体运动轨迹是有一定规律的。刚性和机械性物体像火车、汽车和自行车、它们总是试图沿着直线轨迹进行运动。而一些自然有机形态的物体的运动轨迹总是有一定弧度的。

为了让动画看的更真实，在设计过程中要把这些规律在物体运动过程中要表现出来。

自然中的物体像鱼和水的运动轨迹都是有一定弧度的，如果在移动应用中表现亦应如此

Android系统中的UI元素都是按照直线进行运动的，给人一种机械和现代的感觉

原则8：次要运动

想像一下一个松鼠在草坪上跑动最终跳跃到一棵树上的过程。如果用动画描述，在松鼠的腿部一定会尽量表现敏捷、轻快、活泼的感觉。而至于松鼠的尾巴，也是一种敏捷的，不停起伏的运动。如上文所述，尾巴运动频率肯定与腿部不同。尾巴运动与腿部运动相比可以称作为次要运动，用来辅助表现腿部的主要运动。

松鼠的腿部运动作为主要运动，尾巴运动作为次要运动，两者结合在一起表现让动画看起来更加真实

松鼠的尾巴是一个比较典型的次要运动，它支持着动画中描绘腿部的主要运动，同时并不让观众分心。次要运动就是用来加强主要运动动画的感染力和表现力，但又不抢主要运动的吸引力。再举一个例子，就是在iPhone 的邮件应用中点击一个URL。主要运动是浏览器窗口浮现到屏幕上，而次要运动是邮件应用慢慢消失在屏幕后。两个运动同时发生，但邮件应用消失的次要运动起到的是对浏览器出现的一个辅助说明

。

邮件打开链接弹起浏览器的例子解释主要运动和次要运动

原则 9：时机

在动画中，时机意味着一切，是动画的灵魂。当我们为某些物体或者角色甚至生命本身感到太过缓慢或者太过迅捷的时候，这就反映了时机的重要性。在动画世界里，时机就是当一个运动从开始到结束所使用的帧数，这在影片中就直接表现成动作的速率。时机之所以是动画师必须掌握的技巧，是因为时机帮助反映物体和角色的物理属性如重量、大小和体积，而且时机可以展现物体遵守真实世界的物理定律，此外时机还可以帮助表现一个物体或角色的心情、情感状态和个性。比如，关于时机的微妙调整可以反映出全神贯注的 Wile E. Coyote(北美草原小狼)兴奋的追逐着跑的很轻松和惬意的Road Runner(天生跑的很快一种动物)

无论是一个列表滚动的速度，还是一个不同界面切换时动效的节奏。时机的把握是一个很微妙又非常重要的事情，对于移动端体验来说，时机的把控需要多打磨和练习。在设计过程中，需要花时间想清楚UI元素在不同的速率和节奏的运动中想要说明的是什么，同时需要花时间进行试验找到合适的时机。

iPad自带的图片展开方式类似于一叠卡牌，它的展开时机的设计要超过真实的速率，表现出一种轻松和快速的感觉

原则10：夸张

所有动画原则中最能够让动画变得有趣就是夸张原则。这条原则让所有运动变得更加动态、自然和有趣——比如说经典人物 Ren 和 Stimpy。

加拿大动画师John Kricfalusi 在Ren和 Stimpy 系列动画中大师级的运用了夸张的手法

动画中如果完全没有夸张的元素可能看起来会非常的准确，但会让人感觉非常的机械和呆板。要想掌握夸张在动画中的运用，首先要确认在一个运动中的各个元素，然后确定出哪些元素在运动过程中可以改变形状和大小等等，通过这样的方式给动画加入一些戏剧性和表现力。当然，夸张并不意味着把物体形状进行极度的扭曲。

Disney关于夸张的经典定义是这样的：在保持真实的基础上，展现成一个更具表现力的样式。当夸张的原则运动在移动端体验时，需要在整体上有所控制。比如说一个场景有多个元素，运用夸张原则时需要考虑各个元素之间的平衡，避免某个元素过于夸张反而让用户对整体感到迷惑。

iPad home页面和打开app之间放大的动效也是一种夸张的手法，这让打开app的过程感觉有趣，像一个弹簧蹦床的感觉一样

原则11和12:可靠的草图和展现

Johnston and Thomas 关于动画的12条原则中的最后两条可靠的草图和感染力，是与角色动画最为相关的两条，也是和移动用户体验最不相关的两条。可靠的草图说的是通过体积和尺寸在三维空间中给物体和人物合适的体积和重量。可靠的草图需要动画设计师理解三维构成基础知识，包括解构、重量、平衡还有光和影。

动画中可靠的草图强调三维构成，精确的结构解剖，并且对重量、平衡、光和影都有把控。

动画中一个角色的感染力和一个演员的魅力一样。一个有感染力的角色不一定要令人同情，因为坏蛋和野兽同样可以十分有感染力。最重要的是动画的观看者觉得角色真实和有趣。

在设计中表达动效的方法

Johnston和Thomas总结的12条原则定义了动效表现的基本框架，但我们仍要面临如何把动效结合到产品中这一核心问题。首先，要把动效看作成设计素材的一种。紧接着，尝试把动效融入设计流程中，其中这几个阶段是实现动效魔力的关键点：

草图阶段
线框图阶段
原型阶段

草图

你应该在草图阶段就开始思考动效。就像动画角色通过动作来表达它的性格一样，界面和其中的元素也通过动效来表达你赋予它们的体验特征。早早开始把关于转场和成段动效的想法画出来，这样能够帮助你思考自己想要传达怎样的体验特征，进而思考如何利用动效把它表达出来。

这个手绘动画故事板子描述了打开iTunes的细节过渡动画基本上是用黄色贴纸完成的

线框图

线框图传达界面流程，很自然，转场动效也是界面设计流程的一部分。完全可以利用图片或图示来表达关于动效的想法。线框图可以把设计思路传达给开发人员和决策人员，文档中说明动效的图示能让大家都意识到动效的存在，并且让他们开始谈论这件事。

这个在线框图文档中表现的动效细节文档基本上是用图片和插画进行描述的

原型制作

草图和线框图在动效设计的初始阶段是非常有效的，但是没有什么能够代替真实的效果。使用一些带有动画设计的原型工具是设计师开始熟悉并掌握动效设计的一个非常有效的步骤。像powerpoint和keynote等原型工具可以便捷的制作一些低保真的动效，让设计师对自己的动效设计进行打磨并更好的把想法呈现给团队中的其他成员。

在keynote上使用keynotopia的模版可以轻松用真实的控件模拟各种动效的想法

在移动端项目使用动画原则的时候一些小的建议

1. 有限制的使用动效

在移动端上过多的使用动效会是一件让人很厌烦的事情。虽然好的动效让人感到愉悦，但不要滥用。动效的表现的巧妙和精巧，不然动效会让好的用户体验变差。

2. 互补性原则

无论是动画中的一个场景还是移动端中的动效，上述的动画原则都不是孤立使用的。与此相反，大多数好的动效就像一个交响乐团一样，把上述的这些动效原则融合在一起使用。随着经验的增加，慢慢的设计师就会艺术的把动画的这些原则融汇贯通的使用起来。

3. 动画的辅助性角色

电影中，动画是讲述故事的辅助。在UX领域中也是一样的。动画对移动用户体验是一个支持性的角色。在进行动效设计的时候，确保动效对交互起的是解释说明，而不是让用户感到困扰。

总结

动画原先只是在卡通和电影领域中使用，现在动效已经成为移动用户体验设计领域中一个重要的要素。动效不仅能够聚焦和解释一些交互关系，还能够给移动端体验带来一点性格和魔力。如果能够花一些时间学习动效，必然能够让移动端体验有更多色彩。

原文作者： Rachel Hinman

原文链接： http://uxdesign.smashingmagazine.com/2012/10/30/motion-animation-new-mobile-ux-design-material/

您可能还对下面的文章感兴趣：

移动平台的产品设计世界 [2012-08-02 12:34:00]
面向移动设备的HTML5开发框架梳理 [2012-06-07 23:15:11]
让移动全球化：同步移动化Web和全球化Web策略 [2012-06-07 23:04:37]
移动产品设计之设计 [2011-10-12 00:13:20]
移动用户体验设计中的原型应用 [2011-07-24 14:55:45]
移动界面隐喻设计 [2011-05-25 12:38:42]
多核与移动设备 [2010-12-28 00:19:52]
移动互联网时代谁主沉浮 [2010-10-31 20:20:32]
移动消费的槛：支付 [2010-07-26 23:42:09]
移动网站开发――CSS [2010-07-19 22:44:25]
移动设备的感知设计 [2010-07-19 22:37:31]
移动网站开发――标记语言 [2010-06-07 13:04:59]
优先为移动设计带来的优势 [2010-06-06 21:49:49]
优先为移动设计的理由 [2010-06-01 13:03:27]
移动设备的表单设计 [2010-06-01 13:02:19]
一次租房的移动体验 [2010-06-01 13:01:34]

移动产品信息架构（3）：首页布局

Tue, 24 Sep 2013 22:35:01 CST

首页设计的优劣决定了用户使用的第一印象，其布局直接反应了产品的信息架构。不合理的首页，其产品的信息架构必然是失败的。首页要留住用户，显示符合预期的页面结构，展示用户最需要的内容，还要吸引用户点击更多的页面。网站首页可以排列很多元素，而手机的小屏只能显示最重要的内容或功能，这恰恰反应出用户对于一款应用程序的核心需求。

用户可以通过链接越过首页，直接访问网站的子页面，而手机首页的曝光率几乎是100%。很多用户在首页停留的几秒种时间内，是否继续使用取决于他们能立即找到想要的内容或途径。所以，首页的转化率是觉得应用程序整体转化率的最大因素。

想设计一个优秀的首页，需要了解各种元素在信息架构中占据的作用，并能合理利用。

人工推荐

人工推荐的内容可以来自编辑、运营或市场人员。这种方式来源于媒体，只是互联网和APP转变了呈现方式，但其本质没有改变。人工推荐不只是需要筛选出热门内容，还需要有明锐的眼光在新上线内容中挖掘中优质内容，编辑呈现方式吸引用户，甚至是借用一些手法强推某些内容。

产品的气质，内容的整体质量占据了主要因素，而人工给内容打上的标签、截图或说明性文字等也能成为内容的一部分，这些元素同时会影响点击率。

为了培养用户持续使用的习惯，内容必须持续更新，因而首页的内容更会注重质量和时效性。

专题

专题是某种方式聚合的多条内容。优点是可以一次推荐多条内容，有利于用户查看相似的内容。以时间或事件的专题有时效性，需要编辑人员敏锐的直觉和对内容良好的理解，当内容较少时，需要编辑挑选内容，策划专题，增加更多的信息量，梳理内容之间的关系，获取用户关注。

内容性专题能帮助用户快速地发现某一分类下的优质内容，不但能帮助用户发现单一内容，还可能让用户某一分类感兴趣。产品不只是等待用户发现内容，还可以推荐内容或教育用户。

内容排序

内容排序通常有热门内容、新上线或用户点击次数等。热门内容是根据用户行为的排序，优点是不需要人工维护，缺点可能是更新频率较低。限定一定时间段，可以增加首页内容的更新频率。新上线是曝光新内容的手段，很少有纯粹按照上线时间排序，通常会增加上升速度等维度来把控曝光内容的质量。

算法推荐

算法推荐是根据用户行为推荐的个人化内容。算法有助于帮忙发现可能喜欢的内容，减少用户查找的成本，避免查看重复内容。算法实现的是自动化推荐，适合内容复杂的产品，但其技术成本较高，不成熟的算法效果可能不如编辑推荐。

内容入口

首页有限，无法呈现所有内容，需要入口将用户引导至其他页面。用户目标明确时，引导至分类页面中能更好地满足用户需求，一是用户进入分类时需求比较集中，二是子页面能采用不同的布局呈现这些内容，三是分担首页所承担的压力。

内容分类

用户在首页切换分类，一定程序上可以形成多个首页。这对于用户需求比较分散或者内容分类较多的客户端是比较有效的，同时用利于曝光更多的内容。

另外的做法是用户第一次使用时，定制初始化分类内容，之后首页只显示这些分类内容。这种交互有利于用户定制个性化首页，但有选择成本，也不利于曝光新分类中的内容。

用户行为

用户行为是历史行为记录。对于商品，用户很少会重复购买，而对于视频，用户会继续上一次行为继续播放或者追看最新剧集。首页呈现这些有延续性的行为记录，可以在首页增加转化率，用户也能减少操作步骤。

搜索

查找内容时，搜索是用户目标最明确的。产品满足用户需求的比例，或者未满足的需求，可以直观地从搜索转化率和搜索记录中体现出来。因为用户在操作前带有强烈的目标，所以搜索界面的转化率也是很高的。

大数据下的财务转型

Fri, 20 Sep 2013 06:00:56 CST

拥有更多的财务数据后，CFO如何做好企业的“晴雨表”和“预警器”？

《萨班斯-奥克斯利法案》推出以及全球经济处于长期波动性和不确定性的影响下，企业的风险管控更加复杂。作为与数据打交道、用数据说话的财务高管，如何在大数据时代，收集、分析、挖掘与财务相关的数据，改进工作效率与效益，获得业务发展的洞察？

大数据时代下，CFO的职能已经从财务管理延伸到提升企业整体绩效，从而企业财务也要随之转型，即通过高效的财务流程对企业的现金流、收购兼并、资源配置、风险管控等进行管理，利用大数据等分析工具获得深度洞察，将资源更好配置在增长领域。

据美国最佳实务研究和定量分析顶尖机构CFO 执行委员会(CFO Executive Board)2011 年调查显示，30% 的 CFO 表示其公司的绩效可能由于不达标的企业绩效管理而蒙受损失，一些 CFO 表示这种损失比例高达 80%；财务部门被迫浪费大量的时间在搜集和验证数据(47%)以及管理流程(50%)上，相反，最为核心的增值分析只占据 23% 的比例。

“无论是构建有效的财务共享服务平台，还是提升财务组织卓越运营能力，抑或是加强战略、运营和绩效的关联度，提升预算管理水平，进行有效的风险管控和资金管理，都需要依托强有力的信息化平台。”埃森哲大中华区董事总经理、财务与企业绩效咨询服务主管李忠宝对《商业价值》记者表示，在这个前提之下，对中国大型企业而言，把财务管理的流程统一化和标准化应作为当前财务管理转型的重点。

财务标准化是未来2年重点

在埃森哲2012年针对15个行业的95家企业CFO的《2012年中国企业卓越绩效财务研究》报告中发现，在信息化方面，中国CFO认为实行财务标准化管理以确保财务管理流程在整个企业内保持一致是未来2年财务工作计划的重点。相比而言，国际一流企业的CFO则把实施先进的企业绩效管理工具及财务标准化作为工作重点。

“大数据”就是希望打破存储的壁垒，对企业多年积累的业务、财务、市场和人事等方面的各种信息进行深入的挖掘和分析，从中找出可以帮助和指导业务发展的洞见。“‘大数据’的兴起有可能颠覆既有的企业信息管理体系。”埃森哲大中华区财务与企业绩效管理咨询董事总经理王承卫表示。此前，企业在推进财务管理信息化和标准化时，特别强调在内部建立统一标准，以确保财务信息与业务信息标准的统一。在大数据时代，因为数据挖掘和分析的工具更为先进，即使数据格式不统一，仍然能够进行高效的分析，为信息基础架构原本较差的企业提供了跨越升级的机会。

滞后IT平台带来诸多挑战

大数据为企业管理提升创造了新的机遇，但是也带来诸多挑战。大数据的使用需要企业能够打破业务条线和部门之间的数据区隔，从而全面分析处理企业内部的海量信息。就财务管理而言，当务之急则是需要将财务信息与业务信息高度集成，并在此基础上依托先进的信息处理平台进行分析，以支持决策。

一些企业已经深刻意识到相对滞后的数据管理不利于为决策提供支持。在埃森哲的调研中，有受访企业的CFO表示，所在公司的信息系统目前只能部分满足决策支持的需要，许多财务管理的构想都因滞后的信息化平台而无法完全实施。而有些企业已经开始致力于搭建基础数据平台，下定决心将ERP从传统的会计核算系统改造成为有效的决策支持系统，贯彻大数据分析的思路，充分挖掘和使用一批管理数据和支撑数据。

大数据的兴起为推动企业财务组织转型提供了一个很好的契机。大数据不应仅仅局限在提升企业信息化水平上，更应该成为中国企业CFO整合企业内部数据资源的利器。中国企业CFO需要掌握经营分析和经营管理的权力，将数据的供应、分析和资源的配置都纳入其管理范畴，推动财务组织从会计核算向决策支持的转型。

【资源】9个自制信息图的免费利器

Fri, 16 Aug 2013 08:41:16 CST

信息图是一种具有创意和表现力的信息展示形式，能够快速的抓到阅读者的眼球。大多数信息图是创意乐趣和信息展示的完美结合体。信息图也被很多网络营销者所看重，作为一种传递营销信息的方式。

如下是推荐的9个免费的自制信息图利器，尝试一下吧!

visual.ly	Piktochart	infogr.am

Visual.ly 以丰富的信息图资源而著称，很多用户会把自己制作的信息图上传到网站中与他人分享。	Piktochart体验上有点像做PPT，但是它能做出比PPT更复杂、更漂亮的信息图。	infogr.am 一款可以更方便地制作信息图的制作工具，内置了很多主题供用户们选择。
Hohli Charts	amCharts Visual Editor	Google Chart Tools

HohliCharts是基于Google图标的API的应用。	AmCharts 可以生成HTML5和Flash形式的互动图表。	Google Chart Tools 可以把制作出的实时图表添加到任何网页上。
Wordle	Icon Archive	Pixlr

Wordle可生成文字云，能够突出显示原文本中的高频词。	Icon搜索引擎，搜集了共有35个大类, 超过30万个引擎Icon图标。	Pixlr 是一个在线免费的图片编辑应用。不需在本地电脑安装。

原文链接： infographicsarchive.com

您可能也喜欢：
【信息图】企业品牌如何有效管理社交媒体资产？	【信息图】社会化广告（Social Ads）简明史	【信息图】社会化客服的5项主要优势	[信息图]社会化媒体不是免费的	【How-To】信息图营销的12条小技巧
无觅