开源实时流处理小结-转载
- - 人月神话的BLOG美国很多资深技术派人士如Jim Kaskade的眼中，2013年以下技术组件是必须的：. Real-time stream processing 实时流处理；. Ad-hoc near real-time analytics特别接近实时分析（
基于NoSQL和NewSQL的数据存储）；. Batch Analytics 批量处理与分析；.
开源实时流处理小结-转载
标签：
转载文章
| 发表时间：2013-04-13 13:52 | 作者：人月神话
出处：http://blog.sina.com.cn/cmmi
在转载前，先转一段话。美国很多资深技术派人士如Jim Kaskade的眼中，2013年以下技术组件是必须的：
Real-time stream processing 实时流处理；
Ad-hoc near real-time analytics特别接近实时分析（ 基于NoSQL和NewSQL的数据存储）；
Batch Analytics 批量处理与分析；
最重要的是，不是一个，而是要同时满足三个方面，才是大数据真谛所在。
原文: http://www.cnblogs.com/panfeng412/archive/2013/02/21/open-source-real-time-stream-processing-systems.html
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。
S4
S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用，开发语言为Java。
项目链接： http://incubator.apache.org/s4/（注：S4 0.5.0已支持TCP链接及状态恢复等特性）
S4分布式流处理1：http://wenku.baidu.com/view/875790c25fbfc77da269b1ba.html
S4分布式流处理2：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html
S4分布流处理分析总结：http://www.open-open.com/lib/view/open1328255157234.html
Storm
Storm是Twitter开源的分布式实时计算系统，Storm通过简单的API使开发者可以可靠地处理无界持续的流数据，进行实时计算，开发语言为Clojure和Java，非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多：实时 分析、在线机器学习、持续计算、分布式RPC、ETL处理，等等。
项目链接： http://storm-project.net
Storm 实时数据处理框架分析 : http://www.open-open.com/lib/view/open1328286398374.html
流处理框架Storm简介 :http://blog.csdn.net/colorknight/article/details/8711404
Storm数据流模型的分析及讨论:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html
S4和Storm的粗略比较：http://www.blogjava.net/killme2008/archive/2011/11/08/363238.html
StreamBase
StreamBase是一个关于复杂事件处理（CEP）、事件流处理的平台。其本身是商业应用软件，但提供了Developer Edition，开发语言为Java。
项目链接： http://www.streambase.com
HStreaming
HStreaming构建在Hadoop之上，可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大数据，开发语言为Java。
项目链接： http://www.hstreaming.com
Esper & NEsper
Esper是专门进行复杂事件处理（CEP）的流处理平台，Java版本为Esper，.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统，不论是历史的还是实时的消息。
项目链接： http://esper.codehaus.org
Kafka
Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统，主要用于处理活跃的流式数据，开发语言为Scala。
项目链接： http://incubator.apache.org/kafka
Scribe
Scribe是Facebook开源的日志收集系统，开发语言为C，通过Thrift可以支持多种常用客户端语言，在Facebook内部已经得到 大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分 布式收集，统一处理”提供了一个可扩展的，高容错的方案。Scribe通常与Hadoop结合使用，Scribe用于向HDFS中push日志，而 Hadoop通过MapReduce作业进行定期处理。
项目链接： http://github.com/facebook/scribe
Flume
Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统，用于收集、聚合以及移动大量日志数据，开发语言为Java。 Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。
项目链接： http://incubator.apache.org/flume
青春就应该这样绽放 游戏测试：三国时期谁是你最好的兄弟！！ 你不得不信的星座秘密 
Real-time stream processing 实时流处理；
Ad-hoc near real-time analytics特别接近实时分析（ 基于NoSQL和NewSQL的数据存储）；
Batch Analytics 批量处理与分析；
最重要的是，不是一个，而是要同时满足三个方面，才是大数据真谛所在。
原文: http://www.cnblogs.com/panfeng412/archive/2013/02/21/open-source-real-time-stream-processing-systems.html
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。
S4
S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用，开发语言为Java。
项目链接： http://incubator.apache.org/s4/（注：S4 0.5.0已支持TCP链接及状态恢复等特性）
S4分布式流处理1：http://wenku.baidu.com/view/875790c25fbfc77da269b1ba.html
S4分布式流处理2：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html
S4分布流处理分析总结：http://www.open-open.com/lib/view/open1328255157234.html
Storm
Storm是Twitter开源的分布式实时计算系统，Storm通过简单的API使开发者可以可靠地处理无界持续的流数据，进行实时计算，开发语言为Clojure和Java，非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多：实时 分析、在线机器学习、持续计算、分布式RPC、ETL处理，等等。
项目链接： http://storm-project.net
Storm 实时数据处理框架分析 : http://www.open-open.com/lib/view/open1328286398374.html
流处理框架Storm简介 :http://blog.csdn.net/colorknight/article/details/8711404
Storm数据流模型的分析及讨论:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html
S4和Storm的粗略比较：http://www.blogjava.net/killme2008/archive/2011/11/08/363238.html
StreamBase
StreamBase是一个关于复杂事件处理（CEP）、事件流处理的平台。其本身是商业应用软件，但提供了Developer Edition，开发语言为Java。
项目链接： http://www.streambase.com
HStreaming
HStreaming构建在Hadoop之上，可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大数据，开发语言为Java。
项目链接： http://www.hstreaming.com
Esper & NEsper
Esper是专门进行复杂事件处理（CEP）的流处理平台，Java版本为Esper，.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统，不论是历史的还是实时的消息。
项目链接： http://esper.codehaus.org
Kafka
Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统，主要用于处理活跃的流式数据，开发语言为Scala。
项目链接： http://incubator.apache.org/kafka
Scribe
Scribe是Facebook开源的日志收集系统，开发语言为C，通过Thrift可以支持多种常用客户端语言，在Facebook内部已经得到 大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分 布式收集，统一处理”提供了一个可扩展的，高容错的方案。Scribe通常与Hadoop结合使用，Scribe用于向HDFS中push日志，而 Hadoop通过MapReduce作业进行定期处理。
项目链接： http://github.com/facebook/scribe
Flume
Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统，用于收集、聚合以及移动大量日志数据，开发语言为Java。 Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。
项目链接： http://incubator.apache.org/flume
青春就应该这样绽放 游戏测试：三国时期谁是你最好的兄弟！！ 你不得不信的星座秘密 相关 [开源 实时] 推荐：
LinkedIn实时低延迟数据抓取系统Databus开源
- - InfoQ cn去年的架构师峰会上，来自LinkedIn的高级软件工程师 Lei Gao做了一场名为 《LinkedIn的数据处理架构》的演讲，着重介绍LinkedIn内部的数据基础设施的演变，其中提到Databus数据总线项目，当时就引起大家诸多好奇. 前不久，LinkedIn工程团队官方博客 发布消息：Databus项目开源.
开源实时数据同步工具NiFi
- - 标点符Apache NiFi 是一个强大的数据流管理和自动化工具，旨在简化数据的采集、传输、处理和分发. 它特别适合于构建和管理复杂的数据流管道，支持从各种数据源到不同目标系统的数据传输. Apache NiFi主要功能. Apache NiFi 是一个用于自动化数据流的强大工具，具有广泛的功能集，旨在支持从各种数据源到不同目标的复杂数据流管道.
开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)+Redis+Syslog-ng实现日志实时搜索
- - C1G军火库ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎. 设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便. 支持通过HTTP使用JSON进行数据索引. logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台. 你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计.
MySQL如何实时同步数据到ES？试试这款阿里开源的神器！
- - 掘金后端本月最热SpringBoot实战电商项目mall（40k+star）地址：. mall项目中的商品搜索功能，一直都没有做实时数据同步. 最近发现阿里巴巴开源的 canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题. 今天我们来讲讲 canal的使用，希望对大家有所帮助.
Google开源LevelDB
- 酿泉 - SolidotGoogle宣布在BSD许可证下开源其键值存储引擎LevelDB. LevelDB C++库可用于多种不同环境，如被浏览器用于存储最近访问的网页缓存，或者被操作系统使用去储存安装的软件包和依赖包清单，或被应用程序用于存储用户设置. Google称，即将发布的新版Chrome浏览器，就包含了基于LevelDB的IndexedDB HTML5 API实现.
再论开源
- - 谢益辉几年前我写过一些关于开源的 想法，如今再来看开源，我觉得问题已经不在说教上，而是在趋势上. 倒退十年或更久，那时候程序员相对还比较稀缺，软件闭源开发出来之后别人模仿的成本高，而这些年计算机教育的普及让码农数量变得越来越多，更多人懂编程了，模仿的成本大幅下降. 写软件作为谋生的目的已经在弱化，更多的是为了自己的实际需求，或社区名声：你不开源.
SoftEther VPN开源
- - Solidot日本筑波大学的全球分布式公共VPN中继服务器软件SoftEther VPN正式在GPLv2许可证下开源，源代码托管在Github、SourceForge和Google Code上. SoftEther VPN是VPN Gate的底层VPN引擎，在开源之后用户将可以编译出自己定制的二进制包. SoftEther VPN提供了一种分布式的免费公共VPN中继服务，服务器由志愿者托管，因此很少能提供长时间的VPN连接，但代理服务器的不断变化也增加了封杀难度.
Facebook 开源 Detectron
- - 最新更新 – SolidotFacebook 在 Apache 2.0 许可证下 开源了它的目标识别平台 Detectron， 源代码托管在 GitHub 上. Detectron 用 Python 开发，基于 Caffe2 深度学习框架. Facebook 同时公开了超过 70 个预先训练的模型. Detectron 项目始于 2016 年，实现了一系列最新的目标识别算法如 Mask R-CNN，该软件平台在社交巨人的视觉感知系统的进步上扮演了重要角色.
ios代码开源
- - CSDN博客移动开发推荐文章本人从10年开始搞ios开发,从菜鸟到现在的入门,期间遇到了许多困难,也总结了一些东西,本着开源精神,希望大家共同成长的目的把这个工程开源出来.. 这个工程是从11年到13年之前完成的.主要是我平时用到的一些基础功能模块.其中有其他开源的代码和我自己写的一些.代码结构基本乱,12年以后的代码结构还可以,不是很乱,之前水平有限,如果不怎么样就别喷我了.