使用elasticsearch+simple_flow搭建实时日志搜索系统

标签: elasticsearch simple flow | 发表时间:2014-11-29 16:03 | 作者:
出处:http://www.iteye.com

    在实际的系统中,我们经常会进行分布式的系统部署,但是这样会导致一个问题,系统日志也被分散开了,导致根据日志进行错误定位不太方便,所以,利用simple_flow实时流的特点,再配合elasticsearch建立索引,搭配构建一个实时日志搜索系统.具体流程图如下:



 

具体实现如下:

1.启动elasticsearch, 这个参考官方文档  http://www.elasticsearch.org/

2.编译安装simple_flow/生成log_index(将日志转化为索引程序)

  2.1 git clone git@github.com:hongliuliao/simple_flow.git

  2.2 make && make example

3.执行 ./bin/log_index, 之后可以看到日志向elasticsearch传输,并返还创建成功的结果

4.通过RESTful接口查看日志情况,

curl -XGET 'http://localhost:9200/mytest/accesslog/_search?q=log_content:chrome&pretty=true'

 



 

 

 具体代码参考:  https://github.com/hongliuliao/simple_flow/blob/master/example/log_index.cpp

 

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [elasticsearch simple flow] 推荐:

SOAP的S是Simple

- Jo - 酷壳 - CoolShell.cn
曾经有一个争论,一边是站在SOAP这边的人,另一边则是其它人. 站在SOAP这边人,当他们在争论SOAP和Web Service框架的复杂度时,SOAP这边的人说,在引入那些WS-*东东之前,SOAP的确是简单的,这就是为什么SOAP的第一个字母S就是Simple. 在2000年的时候,有一个苦恼的程序员,.

Git flow 開發流程

- DBLobster - ihower { blogging }
Update: 2011/3/19 受邀有場分享 Git介紹,使用與開發流程 at Facebook 軟體開發團隊工具心得分享. 大家都知道 Git 開 branch 很方便,非常鼓勵 topic branch,但有沒有一套模型流程告訴我們應該怎麼管理 branch 呢. 有人便整理出一套最佳實踐慣例 A successful Git branching model,我們團隊就採用了這套流程.

VXLAN 来了,Open Flow 前景如何?

- imnewer - 弯曲评论
眼看思科们采用传统的multicast+tunnel的伎俩在Vswitch层开创了一片天地,不知Nicira 等openflow startup会如何应对.

Art of Optical Flow 光流的藝術

- Jeshuang - CG Taiwaner 台灣人玩動畫
Optical Flow是從觀察者的角度(2D), 物體上面的特徵點所產生的運動向量. 這些向量可以由每個frame推算出來. 得到這些向量的資訊, 用在影片格式方面, 可以用來壓縮影片. 在電影特效的領域裡:可以用來追蹤畫面, 自動去背, 自動ROTO, 重建3D場景, 製作慢動作特效, 計算景深資訊.

Simple LightDM Manager : 登录背景修改器

- Jerry - Wow! Ubuntu
通告:问答社区重新上线,已经与 WordPress 整合,如果你之前在本 Blog 上注册过的话,就可用该帐号直接登录. 从 Ubuntu 11.10 开始,Ubuntu 采用 LightDM 作为登录管理器. 现在有开发者制作了一款名为 Simple LightDM Manager  的 tweaking 工具,用户可以通过 GUI 界面来简单快速的改变 LightDM 登录窗口的背景图片及 Logo.

[译]elasticsearch mapping

- - an74520的专栏
es的mapping设置很关键,mapping设置不到位可能导致索引重建. 请看下面各个类型介绍^_^. 每一个JSON字段可以被映射到一个特定的核心类型. JSON本身已经为我们提供了一些输入,支持 string,  integer/ long,  float/ double,  boolean, and  null..

Elasticsearch as Database - taowen - SegmentFault

- -
【北京上地】滴滴出行基础平台部招聘 Elasticsearch 与 Mysql binlog databus 开发工程师. 内推简历投递给: taowen@didichuxing.com. 推销Elasticsearch. 时间序列数据库的秘密(1)—— 介绍. 时间序列数据库的秘密(2)——索引.

nodejs web开发入门: Simple-TODO Nodejs 实现版

- Aleafs - CNode社区
看到simple todo的各种python版本实现, 我也来凑凑热闹…. 既然已经有这么多python版本了, 我就对比实现了一个Simple-TODO的nodejs版本: Node TODO, 模版和樣式全部copy自web.py版本.. 源代码: https://github.com/fengmk2/todo.

Simple Grid:轻量级的响应式 CSS 网格系统

- - 我爱水煮鱼
使用网格进行网页设计已经是潮流,但是现在有很多 CSS 框架都提供网格功能,用来控制网页上每个元素的位置,但是这些 CSS 框架都是太多功能,而有时我们仅仅需要一个简单的网格系统. Simple Grid 就是一个这样的简洁的 CSS 框架,并且它还是基于响应式布局设计. 基于响应式设计的 Simple Grid,让你可以快速创建适应于手机和平板电脑的网站.

simple – 基于 Github 的极简博客系统

- - 极客范 - GeekFan.net
simple是简单的静态博客生成器,基于 Github Pages,静态页面,完全在线操作,不需要服务器,只需一个 Github 账号即可. 传统的独立博客玩法,需要域名、服务器、程序等等一系列服务才玩得转,当然功能也丰富的多. simple 需要 GitHub 账号,然后创建一个 username.github.io 的 project,注意要勾选生成 README.