storm常见问题解答
- - BlogJava-庄周梦蝶 最近有朋友给我邮件问一些storm的问题，集中解答在这里. 一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算. 你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算. 怎么实现spout可以参考官方的kestrel spout实现：.
storm常见问题解答
标签：
storm
常见问题
| 发表时间：2011-12-19 15:25 | 作者：dennis
出处：http://www.blogjava.net/killme2008/
最近有朋友给我邮件问一些storm的问题，集中解答在这里。
一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算？
你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算。怎么实现spout可以参考官方的kestrel spout实现：
https://github.com/nathanmarz/storm-kestrel
如果你的数据源不支持事务性消费，那么就无法得到storm提供的可靠处理的保证，也没必要实现ISpout接口中的ack和fail方法。
二、Storm为了保证tuple的可靠处理，需要保存tuple信息，这会不会导致内存OOM？
Storm为了保证tuple的可靠处理，acker会保存该节点创建的tuple id的xor值，这称为ack value，那么每ack一次，就将tuple id和ack value做异或(xor)。当所有产生的tuple都被ack的时候， ack value一定为0。这是个很简单的策略，对于每一个tuple也只要占用约20个字节的内存。对于100万tuple，也才20M左右。关于可靠处理看这个：
https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processing
三、Storm计算后的结果保存在哪里？可以保存在外部存储吗？
Storm不处理计算结果的保存，这是应用代码需要负责的事情，如果数据不大，你可以简单地保存在内存里，也可以每次都更新数据库，也可以采用NoSQL存储。storm并没有像s4那样提供一个Persist API，根据时间或者容量来做存储输出。这部分事情完全交给用户。
数据存储之后的展现，也是你需要自己处理的，storm UI只提供对topology的监控和统计。
四、Storm怎么处理重复的tuple？
因为Storm要保证tuple的可靠处理，当tuple处理失败或者超时的时候，spout会fail并重新发送该tuple，那么就会有tuple重复计算的问题。这个问题是很难解决的，storm也没有提供机制帮助你解决。一些可行的策略：
（1）不处理，这也算是种策略。因为实时计算通常并不要求很高的精确度，后续的批处理计算会更正实时计算的误差。
（2）使用第三方集中存储来过滤，比如利用mysql,memcached或者redis根据逻辑主键来去重。
（3）使用bloom filter做过滤，简单高效。
五、Storm的动态增删节点
我在storm和s4里比较里谈到的动态增删节点，是指storm可以动态地添加和减少supervisor节点。对于减少节点来说，被移除的supervisor上的worker会被nimbus重新负载均衡到其他supervisor节点上。在storm 0.6.1以前的版本，增加supervisor节点不会影响现有的topology，也就是现有的topology不会重新负载均衡到新的节点上，在扩展集群的时候很不方便，需要重新提交topology。因此我在storm的邮件列表里提了这个问题，storm的开发者nathanmarz创建了一个issue 54并在0.6.1提供了rebalance命令来让正在运行的topology重新负载均衡，具体见：
https://github.com/nathanmarz/storm/issues/54
和0.6.1的变更：
http://groups.google.com/group/storm-user/browse_thread/thread/24a8fce0b2e53246
storm并不提供机制来动态调整worker和task数目。
一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算？
你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算。怎么实现spout可以参考官方的kestrel spout实现：
https://github.com/nathanmarz/storm-kestrel
如果你的数据源不支持事务性消费，那么就无法得到storm提供的可靠处理的保证，也没必要实现ISpout接口中的ack和fail方法。
二、Storm为了保证tuple的可靠处理，需要保存tuple信息，这会不会导致内存OOM？
Storm为了保证tuple的可靠处理，acker会保存该节点创建的tuple id的xor值，这称为ack value，那么每ack一次，就将tuple id和ack value做异或(xor)。当所有产生的tuple都被ack的时候， ack value一定为0。这是个很简单的策略，对于每一个tuple也只要占用约20个字节的内存。对于100万tuple，也才20M左右。关于可靠处理看这个：
https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processing
三、Storm计算后的结果保存在哪里？可以保存在外部存储吗？
Storm不处理计算结果的保存，这是应用代码需要负责的事情，如果数据不大，你可以简单地保存在内存里，也可以每次都更新数据库，也可以采用NoSQL存储。storm并没有像s4那样提供一个Persist API，根据时间或者容量来做存储输出。这部分事情完全交给用户。
数据存储之后的展现，也是你需要自己处理的，storm UI只提供对topology的监控和统计。
四、Storm怎么处理重复的tuple？
因为Storm要保证tuple的可靠处理，当tuple处理失败或者超时的时候，spout会fail并重新发送该tuple，那么就会有tuple重复计算的问题。这个问题是很难解决的，storm也没有提供机制帮助你解决。一些可行的策略：
（1）不处理，这也算是种策略。因为实时计算通常并不要求很高的精确度，后续的批处理计算会更正实时计算的误差。
（2）使用第三方集中存储来过滤，比如利用mysql,memcached或者redis根据逻辑主键来去重。
（3）使用bloom filter做过滤，简单高效。
五、Storm的动态增删节点
我在storm和s4里比较里谈到的动态增删节点，是指storm可以动态地添加和减少supervisor节点。对于减少节点来说，被移除的supervisor上的worker会被nimbus重新负载均衡到其他supervisor节点上。在storm 0.6.1以前的版本，增加supervisor节点不会影响现有的topology，也就是现有的topology不会重新负载均衡到新的节点上，在扩展集群的时候很不方便，需要重新提交topology。因此我在storm的邮件列表里提了这个问题，storm的开发者nathanmarz创建了一个issue 54并在0.6.1提供了rebalance命令来让正在运行的topology重新负载均衡，具体见：
https://github.com/nathanmarz/storm/issues/54
和0.6.1的变更：
http://groups.google.com/group/storm-user/browse_thread/thread/24a8fce0b2e53246
storm并不提供机制来动态调整worker和task数目。
相关 [storm 常见问题] 推荐：
storm简介
- - 搜索技术博客－淘宝伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高. 举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了.
Storm Trident 学习
- - 小火箭Storm支持的三种语义：. 至少一次语义的Topology写法. 参考资料： Storm消息的可靠性保障
Storm提供了Acker的机制来保证数据至少被处理一次，是由编程人员决定是否使用这一特性，要使用这一特性需要：. 在Spout emit时添加一个MsgID，那么ack和fail方法将会被调用当Tuple被正确地处理了或发生了错误.
linux xampp常见问题
- We_Get - 博客园-首页原创精华区1.安装xampp4linux后，只能本机（http://localhost）访问，局域网内其他机器无法访问. 解答：在/opt/lampp/etc中修改httpd.conf，将Listen 80修改为Listen 本机ip地址:80 本机ip地址使用ifconfig 查看. 2.我按照1修改之后，局域网内的机器还是无法访问.
MariaDB常见问题FAQ
- - OurMySQLMariaDB常见问题，同样适用于MySQL. 老版本MariaDB服务的相关旧信息. via似乎是个关键字，但是至少在MySQL5.1文档中找不到. 在MySQL5.1中执行成功，但是会出现1064错误 (毫无疑问，用avia替代via就可以). 答 elenst. 这个bug(https://bugs.launchpad.net/maria/+bug/1010351)被修复.
hadoop配置常见问题
- - 企业架构 - ITeye博客收集记录一些Hadoop配置部署过程中遇到的问题. 这种方法解决了运行中的hadoop的safe mode问题，但是下次重启hadoop，还会出现这个问题. 其实这个问题，我猜测可能是由于目录/app/hadoop/tmp/mapred/system被破坏造成. 永久解决，可以删除掉/app/hadoop/tmp/，重新创建，重新format，重启hadoop——如果条件允许的话.
Zookeeper常见问题整理
- - CSDN博客推荐文章当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态. Zk的选举算法使用ZAB协议：. 选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；.
Storm实战之WordCount
- - 编程语言 - ITeye博客 在全面介绍Storm之前，我们先通过一个简单的Demo让大家整体感受一下什么是Storm. 本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解） 运行在本地机器的单一JVM上，这个模式主要用来开发、调试. 远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都是线程安全的，因为它们都会运行在不同的Jvm或物理机器上，这个模式就是正式的生产模式.
关于链接的常见问题
- - Google China Blog发表者：谷歌中文搜索质量团队. 转载自： 谷歌中文网站管理员博客. 发布时间：2012年9月29日 下午 03:08:00. 在我们的 网站管理员帮助论坛里，站长们问的最多的就是关于链接的问题. 很多站长询问一旦网站因为链接的原因被处理，应该怎样申请重新审核. 也有很多站长询问关于买卖链接方面的问题.
Java String 的十大常见问题
- - ITeye博客Java字符串经常被问到的排名前十的问题. 1、如何比较字符串. 使用 “==” 还是 “equals()”. 简单来讲，“==”比较的是引用（对象的内存地址），“equals()” 比较值是否相等. 除非你想检测两个字符串是否是同一对象，否则都用equals(). 当然了解字符串池的概念更好.