10 分钟了解 Apache Nifi 在物联网的使用

标签: dev | 发表时间:2018-12-25 00:00 | 作者:
出处:http://itindex.net/relian

微信公众号: 深广大数据Club
关注可了解更多大数据相关的资讯。问题或建议,请公众号留言;
如果你觉得深广大数据Club对你有帮助,欢迎转发朋友圈

多年来,物联网(IoT)一直存在于技术领域。有许多有趣的技术正被投射为“物联网的解决方案”。在本文中,将讨论IoT和NiFi实验。

什么是物联网?

根据维基百科的定义 -
物联网(Internet of Things,缩写IoT)
物联网(英语:Internet of Things,缩写IoT)是互联网、传统电信网等信息承载体,让所有能行使独立功能的普通物体实现互联互通的网络。

物联网一般为无线网,而由于每个人周围的设备可以达到一千至五千个,所以物联网可能要包含500兆至一千兆个物体。在物联网上,每个人都可以应用电子标签将真实的物体上网联结,在物联网上都可以查出它们的具体位置。通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制,也可以对家庭设备、汽车进行遥控,以及搜索位置、防止物品被盗等,类似自动化操控系统,同时透过收集这些小事的数据,最后可以聚集成大数据,包含重新设计道路以减少车祸、都市更新、灾害预测与犯罪防治、流行病控制等等社会的重大改变,实现物和物相联。

物联网将现实世界数字化,应用范围十分广泛。物联网拉近分散的信息,统整物与物的数字信息,物联网的应用领域主要包括以下方面:运输和物流领域、工业制造[2]、健康医疗领域范围、智能环境(家庭、办公、工厂)领域、个人和社会领域等,[3]具有十分广阔的市场和应用前景。

由于最终端连接的‘物’有千百种,因此极难制定一种统一性的规格适合所有的应用,这是所有物联网系统面对的难题.目前无论是 MQTT、CoAP 还是 AMQP 这类物联网标准都尝试着将终端应用抽象化,集成进一个固定的通信格式之内.

什么是MQTT?

它是一种非常简单,轻量级的基于发布 - 订阅消息的协议。引用维基百科  -  它专为连接远程位置而设计,其中需要“小代码占用”或网络带宽有限。

好了,说的够多了,我们开始行动吧。

我们在本教程中尝试做什么?

我们将使用来自https://www.hivemq.com/的服务,该服务将充当MQTT代理,模拟温度传感器之类的数据生成器。它是一个免费使用的服务.

先决条件

要执行本教程,我们需要以下内容

  • Windows/Mac/Linux机器与Java

  • Apache Nifi -可以从https://nifi.apache.org/download.html下载

  • 服务联网。

什么是NiFi?

NiFi是一种易于使用,功能强大且可靠的系统,用于处理和分发数据。它基于之前由NSA(What?)开发的“ NiagaraFiles ”软件,并作为2014年技术转让计划的一部分开源。

启动NiFi

下载完成后,我们需要在文件conf/nifi.properties中进行一些快速配置。设置突出显示的属性并保存文件。你们都准备好了。在Windows上只需转到bin文件夹并运行-nifi.bat,在非Windows上运行nifi.sh.

如果一切顺利,您应该能够在http://localhost:8585/nifi上看到NiFi UI

准备传感器模拟器

使用传感器非常容易 - MQTT Broker模拟器。以下是步骤。

1.访问http://www.hivemq.com/demos/websocket-client/
2.使用默认设置,然后按“连接”按钮。
3.如下图所示,你的borker就准备好了

4.接下来,设置您选择的Topic名称,您就可以将消息发送给任何通过MQTT监听的消费者。

创建NiFi数据流

转到NiFi并创建数据流。我们需要以下处理器

ConsumeMQTT

这有助于从传感器流中收集数据。此处理器的配置如下所示

PUTFILE

这有助于我们将收集的数据存储到本地计算机上的文件中。相同的配置如下所示

一旦配置完成,只需启动流程,您应该看到在指定文件夹中收集的数据。
对于更高级别的实验,您可以考虑使用Hadoop而不是本地计算机。
数据可用后,您可以按照自己的方式进行处理。

注 - 如果您使用NiFi 1.7.1,您可能还需要执行以下附加活动 -
为Consume MMQT设置Max Queue Size属性
为PutFile定义自动终止关系设置

关注公众号

相关 [apache nifi 物联网] 推荐:

10 分钟了解 Apache Nifi 在物联网的使用

- - IT瘾-dev
微信公众号: 深广大数据Club. 关注可了解更多大数据相关的资讯. 问题或建议,请公众号留言;. 如果你觉得深广大数据Club对你有帮助,欢迎转发朋友圈. 多年来,物联网(IoT)一直存在于技术领域. 有许多有趣的技术正被投射为“物联网的解决方案”. 在本文中,将讨论IoT和NiFi实验. 物联网(Internet of Things,缩写IoT).

使用NiFi简单的从网站获取数据写入到mysql数据库

- - 开源软件 - ITeye博客
      首先我们在官网上面下载nifi,我这里使用的版本是1.9.2,解压nifi后,我们就可以进入该文件夹下面的bin目录,点击run-nifi.bat启动nifi,可能nifi启动毕竟慢的原因,我关闭后重新启动一两次才能打开nifi的网页,默认端口是8080,可以在conf文件夹下面的nifi.properties修改端口号nifi.web.http.port.

Apache Shiro 介绍

- - CSDN博客推荐文章
什么是Apache Shiro?. Apache shiro 是一个强大而灵活的开源安全框架,可清晰地处理身份认证、授权、会话(session)和加密. Apache Shiro最主要的初衷是为了易用和易理解,处理安全问题可能非常复杂甚至非常痛苦,但并非一定要如此. 一个框架应该尽可能地将复杂的问题隐藏起来,提供清晰直观的API使开发者可以很轻松地开发自己的程序安全代码.

Apache防止攻击

- - 小彰
为了防止恶意用户对Apache进行攻击,我们需要安装mod_security这个安全模块. mod_security 1.9.x模块的下载与安装. 下载地址: http://www.modsecurity.org/download/index.html. 建议使用1.9.x,因为2.x的配置指令与1.x完全不同,解压后进入解压目录,执行:.

Apache OpenOffice 3.4发布

- - Solidot
Apache OpenOffice的第一个版本v3.4正式发布. 主要新特性包括:改进ODF支持,包括ODF 1.2加密选项和新电子表格功能;改进Calc组件的数据透视表(Pivot Table)支持;原生支持SVG,增强图形如线帽和剪切变形;简体和繁体中文等原生语言支持;改进性能等. 在甲骨文将OpenOffice.org捐给Apache软件基金会后,OOo的命运曾存在许多争议.

Apache PDFBox 1.8.0 发布

- - 开源中国社区最新新闻
Apache PDFBox 1.8.0 发布了,该版本除了修复大量 bug 之外,还包含如下新特性:. PDFBox是Java实现的PDF文档协作类库,提供PDF文档的创建、处理以及文档内容提取功能,也包含了一些命令行实用工具. PDF 文档加密与解密. 与 Lucene搜索引擎的集成. 填充PDF/XFDF表单数据.

Apache Log4j 2.0介绍

- - CSDN博客推荐文章
Apache Log4j 2.0介绍. 作者:chszs,转载需注明. 作者博客主页:http://blog.csdn.net/chszs. Apache Log4j是著名的Java日志框架之一,在早些年应用最广. 但近两年来,随着SLF4J和LogBack的兴起,很多流行的开源框架在日志模块方面逐步转移到SLF4J+LogBack上,Log4j日渐衰落.

Apache 的 MaxClients 與 MaxRequestsPerChild

- - SSORC.tw
對於 Apache 架設的伺服器,在遇到連線數問題上,以下參數是會考慮微調的. 不過遇到多個 VirtualHost 與連線變多時,需要適時調整. ServerLimit 與 MaxClients 是針對同時間最大連線數為多少,也等於是 Apache 程序數量,ps 一下就會有多少個 /usr/sbin/httpd 等.

apache 工作模式

- - 互联网 - ITeye博客
如果httpd -l列出prefork.c. 则表示是 prefork 工作方式. 这表明当前apache2的工作方式是 prefork. prefork的工作原理是,控制进程在最初建立“StartServers”个子进程后,为了满足MinSpareServers设置的需要创建一个进程,等待一秒钟,继续创建两个,再等待一秒钟,继续创建四个……如此按指数级增加创建的进程数,最多达到每秒32个,直到满足MinSpareServers设置的值为止.

Apache投票接受OpenOffice.org

- 灰灰 - Solidot
甲骨文已宣布将开源办公软件项目OpenOffice.org捐赠给Apache基金会. 6月13日,Apache基金会进行了投票表决,以压倒性多数同意接受OpenOffice.org成为Apache的一个孵化器项目. OpenOffice.org将转交给Apache基金会管理,它可能需要数个月时间才能变成Apache的新顶级项目.