Tom Storm – 拍攝泡泡裏的世界

人人都喜歡拍攝名勝景點，來自美國費城的攝影師 Tom Storm，卻能夠把景點濃縮在泡泡之中，浪漫之餘，亦帶點夢幻，很有意思. 例如上圖就是他在波蘭的海王星噴泉的自拍照. 據攝影師所說，要拍攝一張理想的照片，往往要製造至少百個，甚至數千個泡泡才能成功，的確好照片是得來不易，但其實道具不難找，亦便宜，如果大家想試試製作自己的作品，可以參考我們以前寫過的「泡泡攝影小貼士」.

伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高. 举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了.

Storm支持的三种语义：. 至少一次语义的Topology写法. 参考资料： Storm消息的可靠性保障 Storm提供了Acker的机制来保证数据至少被处理一次，是由编程人员决定是否使用这一特性，要使用这一特性需要：. 在Spout emit时添加一个MsgID，那么ack和fail方法将会被调用当Tuple被正确地处理了或发生了错误.

 在全面介绍Storm之前，我们先通过一个简单的Demo让大家整体感受一下什么是Storm. 本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解）  运行在本地机器的单一JVM上，这个模式主要用来开发、调试. 远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都是线程安全的，因为它们都会运行在不同的Jvm或物理机器上，这个模式就是正式的生产模式.

    最近有朋友给我邮件问一些storm的问题，集中解答在这里. 一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算. 你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算. 怎么实现spout可以参考官方的kestrel spout实现：.

都说Storm是一个实时流处理系统，但Storm的实时性体现在什么方面呢. 首先有一个前提：这里的实时性和我们通常所说的实时系统（芯片+汇编或C编写的实时处理软件）的实时性肯定是没法比的，也不是同一个概念. 这里的实时性应该是一个相对的实时性（相对于Hadoop之类 ）. 总结一下，Storm的实时性可能主要体现在：.

转载请声明出处：http://blackwing.iteye.com/blog/2147633. 在使用storm的过程中，感觉它还是不如hadoop那么成熟. 当然，它的流式处理能力挺让人眼前一亮，以前做的个性化推荐都是离线计算，现在总算把实时部分也加上了. 总结一下storm使用的些心得：. 1.尽量把大量数据处理行为分拆成多个处理component.

1 应用背景： 需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上.         1） 客户端产生数据---.         2） kafka-生产者实时采集数据（保留7天）-----.         3） storm实时消费数据，处理数据.         4）把实时数据统计结果缓存到memcached 中.

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解. 这个的话出来应该有几年时间了，阿里巴巴也重写了一套JStorm，核心的类名都是服用的Storm的，他是一套实时数据处理系统，容错行好，然后足够稳定，目前很多数据实时分析的场景，选择Storm的越来越多了.

原文地址： http://shiyanjun.cn/archives/934.html. 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的 需求Hive就不合适了. 实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理.