AIOps 核心技术和算法要点

标签: dev | 发表时间:2018-09-19 00:00 | 作者:
出处:http://itindex.net/relian

前言

AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用。

异常点检测

  • 正态分布异常检测

  • 马氏距离异常检测

  • KNN异常检测

  • 密度异常检测

  • 独立森林异常检测

故障分析

  • 关联规则相关性分析

  • 决策树分析

分类预测

  • 贝叶斯

  • 神经网络

  • 决策树

  • knn

  • svm

  • 提升

聚类

  • kmeans

  • knn

  • 基于层次聚类

  • 基于密度聚类

趋势预测

  • ARIMA模型建模

  • 移动平均法

  • 指数平滑法

  • 卷积神经网络

  • 循环神经网络

客户端采集

  • filebeat

  • logstash

  • scribe

  • flume

队列

  • zeromq

  • activemq

  • rocketmq

  • kafka

数据存储

  • mysql

  • hdfs

  • redis

  • druid

  • clickhouse

  • elasticsearch

  • hbase

时序数据库

  • graphite

  • rrd tool

  • influxdb

  • opentsdb

  • prometheus

  • druid(支持时序)

  • elasticsearch(支持时序)

  • clickhouse(支持时序)

离线计算

  • linux sed awk

  • python pandas

  • mapreduce hadoop

  • hive

实时计算

  • spark streaming

  • flink

  • jstrom

数据同步

  • sqoop

  • datax

机器学习

  • spark mllib

  • scikitlearn

  • pattern

  • TensorFlow

  • keras

  • pytorch



--------------------------------------

跟我交流:

-------------推荐阅读------------

我的开源项目汇总(机器&深度学习、NLP、网络IO、AIML、mysql协议、chatbot)

为什么写《Tomcat内核设计剖析》

2017文章汇总——机器学习篇

2017文章汇总——Java及中间件

2017文章汇总——深度学习篇

2017文章汇总——JDK源码篇

2017文章汇总——自然语言处理篇

2017文章汇总——Java并发篇



相关 [aiops 核心 技术] 推荐:

AIOps 核心技术和算法要点

- - IT瘾-dev
AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用. elasticsearch(支持时序). clickhouse(支持时序). -------------推荐阅读------------.

AIOps 中的四大金刚

- - IT瘾-dev
在传统的自动化运维体系中,重复性运维工作的人力成本和效率问题得到了有效解决. 但在 复杂场景下的故障处理、变更管理、容量管理、服务资源过程中,仍需要人来掌控决策的过程,这阻碍了运维效率的进一步提升. 而AI方法的引入,使得机器能够代替人来做出决策,从而让真正意义上的实现完全自动化成为了可能. 在AIOps的落地实施过程中,最关键的因素还是 人,即AIOps的建设者们.

AIOps 需要翻越的「三座大山」

- - OneAPM 博客
最近 AIOps 火热的就像8月里的盛夏,运维圈子里的每一个人都在讨论着 AIOps,仿佛不聊点AIOps的东西,就透着那么out. 原来做运维产品的一众厂商也像打了鸡血似的,纷纷推出花样繁多的AIOps产品,仿佛AIOps是什么传说中的灵丹妙药,一试就灵、包治百病一样. Gartner 更是推波助澜,颇为大胆的预测到2022年,将有超过40%的企业会采用 AIOps 平台技术.

Elasticsearch对垒8大竞品技术,孰优孰劣? - 运维 - dbaplus社群:围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙。

- -
Elasticsearch当前热度排名很高. 入行Elastic-Stack技术栈很久很久,为了免于知识匮乏眼光局限,有必要到外面的世界看看,丰富自己的世界观. 本篇内容从Elastic的竞争产品角度分析探讨. 哪些应用场景下使用Elasticsearch最佳. 哪些应用场景下不使用Elasticsearch最好.

Redis高可用详解:持久化技术及方案选择 - Redis - dbaplus社群:围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙。

- -
本文将先说明上述几种技术分别解决了Redis高可用的什么问题,然后详细介绍Redis的持久化技术,主要是RDB和AOF两种持久化方案. 在介绍RDB和AOF方案时,不仅介绍其作用及操作方法,同时还会介绍持久化实现的一些原理细节及需要注意的问题. 最后,介绍在实际使用中持久化方案的选择以及经常遇到的问题等内容.

ES既是搜索引擎又是数据库?真的有那么全能吗? - 更多 - dbaplus社群:围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙。

- -
经常遇到很多朋友询问,如何学好Elasticsearch. 这个问题本质上很不好回答,但我一直又很想好好回答,所以本文就以我个人的经验视角,跟大家探讨一下如何正确的拥抱Elasticsearch. Elasticsearch是什么,不同的人有不同的理解定位,之前写过Elasticsearch对比其它数据产品的文章.

超3亿活跃用户的多活架构,数据同步与流量调度怎么做? - 架构 - dbaplus社群:围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙。

- -
1、OPPO多活架构原则   . 多活成本比较高的,双活是两倍,三活可能成本会低一些,但三活的难度更大. 因此没有办法对所有业务进行多活,只能对主线做多活. 举个例子,系统有个充值的功能,充值功能本身是强一致的,完全不能允许任何的延迟或者是副本的读. 但是多活切换之后,只有少数用户在切换的前几分钟有充值的,这部分用户余额可能没有通过过去,只需要对这部分用户进行服务降级,其他绝大多数用户是可以使用完整的服务的.

微软亚研院的AIOps底层算法: KPI快速聚类

- - 运维派
智能运维中存在海量时序数据(KPI)需要监控、检测异常、关联, 而AIOps的一个底层算法就是把大规模时序数据快速准确地聚类成有限的若干类别,从而大大降低后续数据分析与挖掘工作的开销.  其应用场景包括自动适配异常检测算法、辅助标注、辅助构建故障传播链等.  本文介绍的案例是由微软亚洲研究院发表在数据库领域顶级会议VLDB 2015的文章《 Yading: Fast Clustering of Large-Scale Time Series Data》.

AIOps在美团的探索与实践——故障发现篇

- - DockOne.io
【编者的话】AIOps,最初的定义是Algorithm IT Operations,是利用运维算法来实现运维的自动化,最终走向无人化运维. 随着技术成熟,逐步确定为Artificial Intelligence for IT Operations——智能运维,将人工智能应用于运维领域,基于已有的运维数据(日志、监控信息、应用信息等),通过机器学习的方式来进一步解决自动化运维无法解决的问题.

在数字化转型中挖掘AIOps的应用潜力

- - 机器之心
「AIOps」是IT的AI增强版,利用AI优化IT运营. 基于IT团队管理开发环境中的数据和信息训练AI,由此重构运营模式. AIOps可以为宕机和IT故障提供敏捷解决方案,从而缓解IT部门面临的问题,并降低解决问题的成本. AIOps平台利用大数据,机器学习和数据分析功能,使用多种数据源和数据收集方法,通过AI信息流监控和自动化服务平台,为决策者提供可行性建议,主动增强IT运营,AIOps的应用优势也正在加速这种技术落地企业.