运营商是怎么分析出数据通道中特定 App 的数据流量的? - 知乎

标签: | 发表时间:2018-01-26 11:47 | 作者:
出处:https://www.zhihu.com
同意胡腾的答案。主要是通过DPI(Deep Packet Inspection)来实现的,一般称之为「深度报文检测」或「深度包检测」。从字面意思来讲,所谓「深度」是相对于普通的报文检测而言的。

1. DPI 深度报文检测
普通的报文检测仅分析IP包的层4以下5元素:源地址、目的地址、源端口、目的端口及协议类型。而DPI除了对以上5元素进行分析外,增加了应用层分析,用来识别各种应用及其内容。如下图所示:
普通报文检测是通过端口号来识别应用类型的。如端口为80时,则代表为上网应用。这样的情况下会产生很多风险,一些病毒或者垃圾应用会采取假冒的端口号来伪装成合法报文。那么,普通检测方法就没办法识别了。
而深度报文检测是对报文内容和协议特征进行检测的,非法的应用可以隐藏和变换端口号,但是比较难以隐藏应用层的协议特征。

2. DPI 常用识别技术
  • 特征识别
不同的应用通常会采用不同的协议,而各种协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。 基于特征的识别技术,正是通过识别数据报文中的指纹信息来确定业务流所承载的应用。
  • 关联识别
像VoIP/FTP/在线游戏等业务普遍采用控制流与业务流分离的方式,通过控制流完成握手,其业务流没有任何特征。因此首先由应用层网关识别出控制流,并根据控制流协议分析识别出业务流的端口和对端网关地址等信息,然后对业务流进行解析,从而识别出相应的业务流。
  • 行为识别
基于终端已经实施的行为进行分析,判读用户正在进行的动作或即将实施的动作。行为识别技术通常用于无法根据协议判断的业务识别。如垃圾邮件等。

3. DPI 部署方式
目前有3种部署方式:
  • DPI内置在GGSN(Gateway GPRS Support Node,GPRS网关支持节点 )中,这种属于全球的主流方案,也是3GPP的标准;
  • DPI外置于以上图中的Gn或Gi口中,这种方式流程比较复杂,计费困难,运维难度大,方案也不是很成熟;
  • 外置+内置的折中方案。

4. DPI实现的功能
  • 应用分析——网络流量构成分析、性能分析、流向分析等;
  • 用户分析——用户群区分、行为分析、终端分析、趋势分析等;
  • 网元分析——根据区域属性(市、区、街道等)、基站负载情况进行分析等;
  • 流量管控——P2P限速、保证QoS、带宽保障、网络资源优化等;
  • 安全保障——DDoS攻击、数据广播风暴、防范恶意病毒攻击等。

5. DPI如何识别App数据
判断DPI能力如何,首先看协议识别的数量,就是能够识别多少种网络中运行的应用协议。能够识别的越多,则DPI的控制就越精确,控制范围就越广;其次是从新的协议出现到能够识别响应速度。
DPI的技术核心点在于如何维护一个高准确性、高实时性的应用特征库,进而才能保障检测的准确性和实时性。所以,当前误报及漏报率还是比较高的,也不能涵盖所有应用协议。
以微信举例,主要是做了针对性的协议监控, 通过算法对特征数据和字符串进行匹配, 对微信的私有协议解析进行识别。


6. 总结
现在很多厂商都宣称自己可以通过智能流量建模,自动发现业务特征及云端识别(以上两点有点类似杀毒软件),通过全网的分布式部署来进行检测和管控,目前还做不到完全准确的、实时的检测和识别。但对于流量的可视、可管和可控对运营商保障业务,降低安全风险有很大的意义。
--------------------------------------------------------------------------------------------------------------------------
20130328 update:
很多人提到GGSN内置DPI性能会下降,实际上现在2G/3G/4G都向「融合」的分组网SAE(System Architecture Evolvement)演进,统一的分组网进行智能化的深度报文解析以及计费策略的控制。性能在技术上不是问题。
另外,如上图所示,可以在Gn口或IuPS口使用分光器做镜像,部署探针来采集数据并上报相应管理平台,进行端到端的信令数据分析。

相关 [分析 数据 通道] 推荐:

运营商是怎么分析出数据通道中特定 App 的数据流量的? - 知乎

- -
主要是通过DPI(Deep Packet Inspection)来实现的,一般称之为「深度报文检测」或「深度包检测」. 从字面意思来讲,所谓「深度」是相对于普通的报文检测而言的. 普通的报文检测仅分析IP包的层4以下5元素:源地址、目的地址、源端口、目的端口及协议类型. 而DPI除了对以上5元素进行分析外,增加了应用层分析,用来识别各种应用及其内容.

Excel 数据分析

- - ITeye博客
用Excel做数据分析——直方图. 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

扯扯数据分析

- - 互联网分析
在别人的眼里数据分析既是很深奥的职业,也是被人挑战的职业,更是让你又恨又爱的职业. 其实这些都不重要的,重要的是对此行感兴趣,骨子里有量化一切的 意识. 很多人首先脑海中出现的是1、2、3……等等,为何有这样的印象. 其实是我们数据分析师为了更好的运用“统计学”所以要将许多 数据想尽办法来转化为1、2、3这样的数据形式,从而更深入、科学的分析data,不扯这个了,这个没什么意思,看图:.

数据分析那些事

- - 小蚊子乐园
今早突然有个想法,就是经常有网友会对数据分析方面有一些困惑,并且咨询我该怎么办. 并且经常是同样的问题,所以觉得有必要对一些经典共性的问题进行整理,与大家分享,这里并非标准答案,仅作参考. 欢迎提出自己对数据方面的疑问,将在此篇将持续更新,敬请关注. ----------------------------------------我不是完美的分割线--------------------------------------- .

谈大数据分析

- - 人月神话的BLOG
对于数据分析层,我们可以看到,其核心重点是针对海量数据形成一个分布式可弹性伸缩的,高查询性能的,支持标准sql语法的一个ODS库. 我们看到对于Hive,impala,InfoBright更多的都是解决这个层面的问题,即解决数据采集问题,解决采集后数据行列混合存储和压缩的问题,然后形成一个支撑标准sql预防的数据分析库.

数据分析之如何用数据?

- - 互联网分析沙龙
光知道怎么看数据,还是不成,你得熟悉这些数据拿到手上之后怎么去用它,怎么让数据显示出来它本身的威力来. 第一个部分,是看历史数据,发现规律. 以社区中的活动和电商中的促销为例,这些都是常见的活动,活动做得好的话有意想不到的效果. 在做这样的活动,最好是拿到前一个月或者两个月的历史数据. 对电商来说,从这里面要去分析各个品类的销售情况,那个品类销量最大,那个品类销量最小,每月或者每周的平均增长率和符合增长率是多少.

Twitter收购数据分析公司BackType

- zou guangxian - 36氪
Twitter刚刚宣布已经收购BackType,一家帮助公司和品牌衡量社交媒体影响力的数据分析公司. BackType在博客上宣布这一消息时称团队将集中精力为Twitter发布商合作伙伴开发工具. 总部位于旧金山的BackType是一家由YC孵化的创业公司,自2008年以来已获得130万美元投资. 作为交易的一部分,BackType将停止BackTweets(帮助内容发布商了解推讯是如何转化为网站流量和销售额)的新用户注册.

数据分析中遇到的“圆”

- simple - 所有文章 - UCD大社区
与十年前不同,当今令数据分析师迷茫的,可能不再是数据很少,而是数据很多;今天不是不知道玩好数据的重要性,而是不知道玩错数据的危害性,即所谓甜蜜的烦恼. 一个数据分析师,如果能体会到,当下数据存在的核心问题,并且能清楚解决办法,就可以精益求精了. 这次想跟大家讲的是一个由受、想、行、识四个部份所组成生生不息的圈(Feedback Loop),彼此互相推进.

数据分析师的基本素质

- AWard - 小蚊子乐园
摘自《谁说菜鸟不会数据分析》第一章.     Mr.林看到小白斗志昂扬的样子非常高兴:别光说不做啊,要成为一名优秀的数据分析师,并非一件容易的事. 虽然所学的专业与数据分析不相关,但你可以通过工作中的实践学习数据分析,需要付出大量的时间和精力,不经一番寒彻骨,怎得梅花扑鼻香.     下面,我给你介绍一名合格的数据分析师需要具备的五大基本能力和素质.