Ge.tt – 实时文件分享的免费网盘 | 小众软件 > 在线应用

FedEx, GE和Google的文化在打架

- danefy - 王建硕

昨天和一位朋友聊天，提及几家比较了解的公司的文化，觉得把这三家公司放在一起对比很有意思，这三家有着迥异文化，却都非常成功的公司是FedEx，通用电气，和Google. FedEx的创始人Smith在越战的三年奠定了之后他创建的公司的文化，他理解FedEx的核心是第一线的装卸工人，他深刻理解社会中劳动阶层的需要.

GE押注工业互联网

- - Solidot

GE过去一年半里雇佣了250多名计算机科学家和软件工程师，它还计划增加到400人，并在2015年之前投入10亿美元资金. 该计划属于GE对“工业互联网”押下的大赌注的一部分，这个项目会给实体层面的工业世界带来前所未有的数字智能化. 物联网这个概念已经存在了好几年，指的是网络连接的、可搜集数据和进行通讯的机器.

Facebook的实时Hadoop系统

- wangjia - Solrex Shuffling

Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 (pdf)，介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技. 由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文.

Storm 实时性分析

- - CSDN博客架构设计推荐文章

都说Storm是一个实时流处理系统，但Storm的实时性体现在什么方面呢. 首先有一个前提：这里的实时性和我们通常所说的实时系统（芯片+汇编或C编写的实时处理软件）的实时性肯定是没法比的，也不是同一个概念. 这里的实时性应该是一个相对的实时性（相对于Hadoop之类）. 总结一下，Storm的实时性可能主要体现在：.

storm准实时应用

- - CSDN博客推荐文章

1 应用背景：需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上. 1）客户端产生数据---. 2） kafka-生产者实时采集数据（保留7天）-----. 3） storm实时消费数据，处理数据. 4）把实时数据统计结果缓存到memcached 中.

实时传输协议（RTP）和实时控制协议（RTCP）

- - CSDN博客推荐文章

RTP是一种提供端对端传输服务的实时传输. 协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据，而实时数据的传输则由RTCP. 使用RTP协议的应用程序运行在RTP之上，而执行RTP的程序运行在UDP的上层，目的是为了使用UDP的端口号和检查和. 如图16-12所示，RTP可以看成是传输层的子层.

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

- - lxw的大数据田地

本文想记录和表达的东西挺多的，一时想不到什么好的标题，所以就用上面的关键字作为标题了. 在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once. 本文以Kafka–>Spark Streaming–>Redis为例，一方面说明一下如何做到Exactly-once，另一方面说明一下我是如何计算实时去重指标的.

首先，我们定义一下定向抓取，定向抓取是一种特定的抓取需求，目标站点是已知的，站点的页面是已知的. 本文的介绍里面，主要是侧重于如何快速构建一个实时的抓取系统，并不包含通用意义上的比如链接分析，站点发现等等特性. 在本文提到的实例系统里面，主要用到linux+mysql+redis+django+scrapy+webkit，其中scrapy+webkit作为抓取端，redis作为链接库存储，mysql作为网页信息存储，django作为爬虫管理界面，快速实现分布式抓取系统的原型.

论文：Hadoop在Facebook的实时应用

- Adam - NoSQLFan

Facebook在其最新的消息系统中使用了HBase，这已经不是什么新闻了，而HBase与其基础设施HDFS也因此越来越受追捧，下面是Facebook在SIGMOD 2011大会上发表的论文，描述了Hadoop系列工具在Facebook中的应用情况. Facebook为何选择了Hadoop和HBase.