AIOps 核心技术和算法要点

标签: dev | 发表时间:2018-09-19 00:00 | 作者:
出处:http://itindex.net/relian

前言

AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用。

异常点检测

  • 正态分布异常检测

  • 马氏距离异常检测

  • KNN异常检测

  • 密度异常检测

  • 独立森林异常检测

故障分析

  • 关联规则相关性分析

  • 决策树分析

分类预测

  • 贝叶斯

  • 神经网络

  • 决策树

  • knn

  • svm

  • 提升

聚类

  • kmeans

  • knn

  • 基于层次聚类

  • 基于密度聚类

趋势预测

  • ARIMA模型建模

  • 移动平均法

  • 指数平滑法

  • 卷积神经网络

  • 循环神经网络

客户端采集

  • filebeat

  • logstash

  • scribe

  • flume

队列

  • zeromq

  • activemq

  • rocketmq

  • kafka

数据存储

  • mysql

  • hdfs

  • redis

  • druid

  • clickhouse

  • elasticsearch

  • hbase

时序数据库

  • graphite

  • rrd tool

  • influxdb

  • opentsdb

  • prometheus

  • druid(支持时序)

  • elasticsearch(支持时序)

  • clickhouse(支持时序)

离线计算

  • linux sed awk

  • python pandas

  • mapreduce hadoop

  • hive

实时计算

  • spark streaming

  • flink

  • jstrom

数据同步

  • sqoop

  • datax

机器学习

  • spark mllib

  • scikitlearn

  • pattern

  • TensorFlow

  • keras

  • pytorch



--------------------------------------

跟我交流:

-------------推荐阅读------------

我的开源项目汇总(机器&深度学习、NLP、网络IO、AIML、mysql协议、chatbot)

为什么写《Tomcat内核设计剖析》

2017文章汇总——机器学习篇

2017文章汇总——Java及中间件

2017文章汇总——深度学习篇

2017文章汇总——JDK源码篇

2017文章汇总——自然语言处理篇

2017文章汇总——Java并发篇



相关 [aiops 核心 技术] 推荐:

AIOps 核心技术和算法要点

- - IT瘾-dev
AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用. elasticsearch(支持时序). clickhouse(支持时序). -------------推荐阅读------------.

AIOps 中的四大金刚

- - IT瘾-dev
在传统的自动化运维体系中,重复性运维工作的人力成本和效率问题得到了有效解决. 但在 复杂场景下的故障处理、变更管理、容量管理、服务资源过程中,仍需要人来掌控决策的过程,这阻碍了运维效率的进一步提升. 而AI方法的引入,使得机器能够代替人来做出决策,从而让真正意义上的实现完全自动化成为了可能. 在AIOps的落地实施过程中,最关键的因素还是 人,即AIOps的建设者们.

AIOps 需要翻越的「三座大山」

- - OneAPM 博客
最近 AIOps 火热的就像8月里的盛夏,运维圈子里的每一个人都在讨论着 AIOps,仿佛不聊点AIOps的东西,就透着那么out. 原来做运维产品的一众厂商也像打了鸡血似的,纷纷推出花样繁多的AIOps产品,仿佛AIOps是什么传说中的灵丹妙药,一试就灵、包治百病一样. Gartner 更是推波助澜,颇为大胆的预测到2022年,将有超过40%的企业会采用 AIOps 平台技术.

微软亚研院的AIOps底层算法: KPI快速聚类

- - 运维派
智能运维中存在海量时序数据(KPI)需要监控、检测异常、关联, 而AIOps的一个底层算法就是把大规模时序数据快速准确地聚类成有限的若干类别,从而大大降低后续数据分析与挖掘工作的开销.  其应用场景包括自动适配异常检测算法、辅助标注、辅助构建故障传播链等.  本文介绍的案例是由微软亚洲研究院发表在数据库领域顶级会议VLDB 2015的文章《 Yading: Fast Clustering of Large-Scale Time Series Data》.

《云计算核心技术剖析》参考文献

- yu - 人云亦云
为了帮助大家阅读《云计算核心技术剖析》,在这里列出本书所有的参考文献. (1) 云计算,助推产业大发展. (2) 尼古拉斯·卡尔.《IT不再重要》.http://book.douban.com/subject/3215423/. (3) 《虚拟化与云计算》小组.《虚拟化与云计算》. (6) Google Storage for Developers初体验.

最近关注的一些核心技术问题

- - 人月神话的BLOG
最近关注的一些核心技术问题,有相关资料的可以帮忙推荐. 关心MySQL读写分离集群和Cluster集群的选择策略,Cluster集群虽然具有完整的热备份能力,但是由于数据shading将导致很多问题,特别是跨数据节点的多表关联查询性能,在该问题解决后又出现的问题是对于数据集成和BI需求的满足上,是否一定要基于Hive模式来实现相应的需求.

谈企业私有云PaaS层核心技术

- - 人月神话的BLOG
在这里简单谈下企业私有云paas平台所涉及到的核心技术内容. 首先谈下数据库,首先要意识到数据库的集中包括了两个方面的内容,一个是数据库服务器硬件的集中化,一个是数据本身的集中化. 对于类似oralce rac集群数据库实现的是数据库硬件,软件和数据的全部集中,但是数据库集群算不上真正的分布式数据库.

云计算8项核心技术全解读

- - 极客521 | 极客521
云计算的“横空出世”让很多人将其视为一项全新的技术,但事实上它的雏形已出现多年,只是最近几年才开始取得相对较快的发展. 确切地说,云计算是大规模分布式计算技术及其配套商业模式演进的产物,它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展. 近些年来,托管、后向收费、按需交付等商业模式的演进也加速了云计算市场的转折.

物联网核心协议,消息推送技术演进

- - 博客 - 伯乐在线
消息触达能力是物联网(internet ofthings, IOT)的重要支撑,而物联网很多技术都源于移动互联网. 本文阐述移动互联网消息推送技术在物联网中的应用和演进. 从开发的角度,无线接入是物联网设备端的核心技术,身份设备管理和消息推送技术是物联网云端的核心技术. 而从场景体验的角度,除了前者,还要包括手机的前端开发技术.

京东亿级商品搜索核心技术解密

- - 运维派
作者:王春明,现任京东搜索平台部负责人,2011年加入京东搜索团队,期间一直负责京东搜索引擎研发工作,主导了多次搜索架构升级工作保障其满足京东发展需求,擅长搜索引擎、高性能服务开发、分布式系统架构. 招聘: 京东搜索平台部木有有高级/资深搜索引擎研发工程师(C/C++)  、高级/资深算法工程师(C/C++)、高级/资深数据系统工程师(java)等职位,期待您的加入,一起打造弹性搜索平台.