更新于:09-21 09:10

有关[博客]分类推荐

Android APP必备高级功能,消息推送之MQTT - CSDN博客

于09-20 09:45 - -
本文已授权微信公众号《鸿洋》原创首发,转载请务必注明出处. Android端实现消息推送的几种方式. 轮询:客户端定时向服务器请求数据. 服务器需要向客户端发通知时,发送一条短信,客户端收到特定短信之后,先获取信息,然后拦截短信. 缺点:贵而且短信可能被安全软件拦截. 持久连接(Push)方式:客户端和服务器之间建立长久连接.

基于paho在android平台上实现MQTT Client间的简单通信 - CSDN博客

于09-15 11:21 - -
在之前的博文中,对MQTT和paho进行了简单的描述. paho为实现MQTT通信提供了接口. 本篇将在android平台上,基于paho实现MQTT Client间的简单通信. broker选择公共的mosquitto broker.. paho通过MqttConnectOptions类,对broker与client间的连接进行需求设置.

Kylin 大数据时代的OLAP利器 - CSDN博客

于09-14 21:15 - -
Olap全称为在线联机分析应用,是一种对于多维数据分析查询的解决方案. 典型的Olap应用场景包括销售、市场、管理等商务报表,预算决算,经济报表等等. 最早的Olap查询工具是发布于1970年的Express,然而完整的Olap概念是在1993年由关系数据库之父 Edgar F.Codd 提出,伴随而来的是著名的“twelve laws of online analytical processing”.

在Redis Sentinel环境下,jedis该如何配置 - iVictor - 博客园

于09-14 13:57 - -
在Redis主从复制架构中,如果master出现了故障,则需要人工将slave提升为master,同时,通知应用侧更新master的地址. 这样方式比较低效,对应用侧影响较大. 为了解决这个问题,Redis 2.8中推出了自己的高可用方案Redis Sentinel. Redis Sentinel架构图如下:.

MQTT--topic(主题通配符)设计 - CSDN博客

于09-10 17:32 - -
 主题的设计是非常重要的,首先需要了解的就是MQTT主题过滤规则.  定阅与发布必须要有主题,只有当定阅了某个主题后,才能收到相应主题的payload,才能进行通信.  主题层级分隔符使得主题名结构化. 如果存在分隔符,它将主题名分割为多个主题层级. 斜杠(‘/’ U+002F)用于分割主题的每个层级,为主题名提供一个分层结构.

MQTT简介Mosquitto桥接及集群环境搭建 - CSDN博客

于09-08 18:12 - -
MQTT v5.0草案中文翻译:. 原创文章如转载,请注明出处(http://blog.csdn.net/hui6075/). MQTT是IBM为物联网等环境定义的一套应用层即时通信协议,通过消息中间件,提供订阅/发布方式通过“主题”为不同设备之间的通信提供解耦. 类似的协议还有XMPP、COAP等,但MQTT协议由于信令种类少、控制信息少、信息承载率高,因而对设备的处理能力和网络环境要求比较低.

Mosquitto搭建Android推送服务(三)Mosquitto集群搭建 - 梧桐雨的笑容 - 博客园

于09-08 18:02 - -
一、Mosquitto的分布式集群部署. 如果需要做并发量很大的时候就需要考虑做集群处理,但是我在查找资料的时候发现并不多,所以整理了一下,搭建简单的Mosquitto集群模式. 首先集群需要2台以上的Mosquitto服务器. 先了解下Mosquitto集群模式的逻辑图,如下:. 可以看出,无论在那台服务器中订阅了信息,无论在那台服务器上发布信息,订阅者都可以收到发布的信息.

杜绝假死,Tomcat容器做到自我保护,设置最大连接数(服务限流:tomcat请求数限制) - Ruthless - 博客园

于09-07 06:30 - -
为了确保服务不会被过多的http长连接压垮,我们需要对tomcat设定个最大连接数,超过这个连接数的请求会拒绝,让其负载到其它机器. 达到保护自己的同时起到连接数负载均衡的作用. 一、解决方案:修改tomcat配置文件,修改最大连接数(增大). 修改server.xml配置文件,Connector节点中增加acceptCount和maxThreads这两个属性的值,并且使acceptCount大于等于maxThreads:.

基于DPI(深度报文解析)的应用识别 - CSDN博客

于09-05 20:48 - -
1.DPI(Deep packet inspection,深度报文解析).         所谓“深度”是和普通的报文分析层次相比较而言的,“普通报文检测”仅分析IP包4 层以下的内容,包括源地址、目的地址、源端口、目的端口以及协议类型,而DPI 除了对前面的层次分析外,还增加了应用层分析,识别各种应用及其内容,主要实现一下功能:.

PMML模型文件在机器学习的实践经验 - CSDN博客

于08-30 15:34 - -
算法工程师和业务开发工程师,所掌握的技能容易在长期的工作中出现比较深的鸿沟,算法工程师辛辛苦苦调参的成果,业务工程师可能不清楚如何使用,如何为线上决策给予支持. 本文介绍一种基于PMML的模型上线方法. 这种方案,在本次参加 QCon 大会时,Paypal的机器学习平台中也有所提及:. 预测模型标记语言(Predictive Model Markup Language,PMML)是一种可以呈现预测分析模型的事实标准语言.

各大公司广泛使用的在线学习算法FTRL详解 - EE_NovRain - 博客园

于08-30 15:22 - -
 转载请注明本文链接:http://www.cnblogs.com/EE-NovRain/p/3810737.html .   现在做在线学习和CTR常常会用到逻辑回归( Logistic Regression),而传统的批量(batch)算法无法有效地处理超大规模的数据集和在线数据流,google先后三年时间(2010年-2013年)从理论研究到实际工程化实现的.

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结 - 大圆那些事 - 博客园

于08-30 13:52 - -
大圆那些事| 文章可以转载,请以超链接形式标明文章原始出处和作者信息. GZIP、LZO、Zippy/Snappy是常用的几种压缩算法,各自有其特点,因此适用的应用场景也不尽相同. 这里结合相关工程实践的情况,做一次小结. 以下是Google几年前发布的一组测试数据(数据有些老了,有人近期做过测试的话希望能共享出来):.

金融数据分析与挖掘具体实现方法 -1 - 汪凡 - 博客园

于08-29 07:07 - -
有人让我写一下关于数据挖掘在金融方面的应用,再加上现在金融对数据方面的要求不断提高,准备用两篇随笔来做个入门总结. 首先,在看这篇随笔以前稍微补充一点金融方面的知识,因为我不是金融专业的,以下补充知识来自互联网与个人整理,欢迎批评指正并补充说明. 1 先来了解一下什么是金融市场呢. 通常狭义的金融市场特指有价证券(股票、债券)发行和流通的场所.

手机淘宝推荐中的排序学习-博客-云栖社区-阿里云

于08-20 16:38 - -
周梁:淘宝推荐机器学习技术专家,中国科学院自动化研究所机器学习博士,主要研究工作方向是机器学习、大规模并行算法优化. 先后从事过广告CTR预估,MPI机器学习平台搭建,手淘个性化推荐等多方面工作. 排序学习是推荐、搜索、广告的核心问题. 在手机淘宝的推荐场景中,受制于展示空间的限制,排序学习显得尤为重要.

Spark-mllib 文本特征提取算法 - CSDN博客

于08-13 13:59 - -
Spark MLlib 提供三种文本特征提取方法,分别为TF-IDF、Word2Vec以及CountVectorizer,. 词频-逆向文件频率(TF-IDF)是一种在文本挖掘中广泛使用的特征向量化方法,它可以体现一个文档中词语在语料库中的重要程度. 词语由t表示,文档由d表示,语料库由D表示. 词频TF(t,,d)是词语t在文档d中出现的次数.

Python提取数字图片特征向量 | kTWO-个人博客

于08-13 13:51 - -
在机器学习中有一种学习叫做手写数字识别,其主要功能就是让机器识别出图片中的数字,其步骤主要包括:图片特征提取、将特征值点阵转化为特征向量、进行模型训练. 第一步便是提取图片中的特征提取. 数据的预处理关系着后面模型的构建情况,所以,数据的处理也是机器学习中非常重要的一部分. 下面我就说一下如何提取图片中的特征向量.

Latent Semantic Analysis(LSA) - CSDN博客

于08-11 19:03 - -
Latent Semantic Analysis(LSA)中文翻译为潜语义分析,也被叫做Latent Semantic Indexing ( LSI ). 意思是指通过分析一堆(不止一个)文档去发现这些文档中潜在的意思和概念,什么叫潜在的意思. 我第一次看到这个解释,直接懵逼. 假设每个词仅表示一个概念,并且每个概念仅仅被一个词所描述,LSA将非常简单(从词到概念存在一个简单的映射关系).

word2vec词向量训练及中文文本相似度计算 - CSDN博客

于08-08 16:22 - -
本文是讲述如何使用word2vec的基础教程,文章比较基础,希望对你有所帮助. 参考:《Word2vec的核心架构及其应用 · 熊富林,邓怡豪,唐晓晟 · 北邮2015年》.           《Word2vec的工作原理及应用探究 · 周练 · 西安电子科技大学2014年》.           《Word2vec对中文词进行聚类的研究 · 郑文超,徐鹏 · 北京邮电大学2013年》.

【实践】Spark 协同过滤ALS之Item2Item相似度计算优化 - CSDN博客

于08-03 15:29 - -
CF召回优化,自之前第一版自己实现的基于item的协同过滤算法. http://blog.csdn.net/dengxing1234/article/details/76122465,考虑到用户隐型评分的. 稀疏性问题,所以尝试用Spark ml包(非mllib)中的ALS算法的中间产物item的隐性向量,进行进一步item到item的余弦相似度计算.

高可用Hadoop平台-Flume NG实战图解篇 - 哥不是小萝莉 - 博客园

于07-30 14:26 - -
  今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容:. 单点Flume NG搭建、运行. 高可用Flume NG搭建.   Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中. 轻量,配置简单,适用于各种日志收集,并支持Failover和负载均衡.

Kafka无消息丢失配置 - huxihx - 博客园

于07-26 10:05 - -
Kafka到底会不会丢数据(data loss). 通常不会,但有些情况下的确有可能会发生. 下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off,牺牲了吞吐量). 笔者会在该列表之后对列表中的每一项进行讨论,有兴趣的同学可以看下后面的分析. 使用KafkaProducer.send(record, callback).

记一次kafka数据丢失问题的排查 - CSDN博客

于07-25 18:19 - -
数据丢失为大事,针对数据丢失的问题我们排查结果如下. 第二:是在什么地方丢失的数据,是否是YDB的问题.     数据丢失是在导入阶段,数据并没有写入到Kafka里面,所以YDB也就不会从Kafka里面消费到缺失的数据,数据丢失与延云YDB无关.     1.测试数据会一共创建365个分区,每个分区均是9亿数据,如果最终每个分区还是9亿(多一条少一条均不行),则数据完整.

【译】调优Apache Kafka集群 - huxihx - 博客园

于07-25 14:49 - -
  今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细. 该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https://www.confluent.io/blog/optimizing-apache-kafka-deployment/.

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用 - CSDN博客

于07-24 11:16 - -
  KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便.   最简单的使用方式是从Github上下载一个最新的. KafkaOffsetMonitor-assembly-0.2.1.jar,上传到某服务器上,然后执行一句命令就可以运行起来.

Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践 - CSDN博客

于07-22 19:55 - -
Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案. 其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费. 用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步.

Kafka MirrorMaker实践 - (a != b) ? b : a - ITeye博客

于07-22 17:37 - -
最近准备使用Kafka Mirrormaker做两个数据中心的数据同步,以下是一些要点:. mirrormaker必须提供一个或多个consumer配置,一个producer配置,一个whitelist或一个blacklist(支持java正则表达式). 启动多个mirrormaker进程,单个进程启动多个consuemr streams, 可以提高吞吐量和提高性能.

异地多活(异地双活)实践经验 - CSDN博客

于07-20 09:08 - -
异地多活(异地双活)是最近业界讨论比较多的话题,特别是前一阵子支付宝机房光纤故障和携程网数据库丢失之后,更加唤起了技术人员们对异地容灾的考虑. 而异地多活比异地容灾更高一级,因为异地容灾仅仅是一个冷备的概念,而异地多活却是指有两个或者多个可以同时对外服务的节点,任意一个点挂了,也可以迅速切换到其他节点对外服务,节点之间的数据做到准实时同步.

H5视频直播扫盲 | 吕小鸣前端博客

于07-19 18:37 - -
视频直播这么火,再不学就out了. 为了紧跟潮流,本文将向大家介绍一下视频直播中的基本流程和主要的技术点,包括但不限于前端技术. 1 H5到底能不能做视频直播. 当然可以, H5火了这么久,涵盖了各个方面的技术. 对于视频录制,可以使用强大的webRTC(Web Real-Time Communication)是一个支持网页浏览器进行实时语音对话或视频对话的技术,缺点是只在PC的chrome上支持较好,移动端支持不太理想.

Oracle - Spool导出数据到TXT文件 - CSDN博客

于07-18 18:12 - -
spool的作用可以用一句话来描述:在sqlplus中用来保存或打印查询结果. 即,可以将sql查询的结果保存问文件. set termout off;   //不显示脚本中的命令的执行结果,缺省为on set trimout on;   //去除标准输出每行的拖尾空格,缺省为off set trimspool on;  //去除重定向(spool)输出每行的拖尾空格,缺省为off set term off;.

如何使用TensorFlow mobile部署模型到移动设备 - CSDN博客

于07-16 15:24 - -
截止到今年,已经有超过 20 亿活跃的安卓设备. 安卓手机的迅速普及很大程度上是因为各式各样的智能 app,从地图到图片编辑器应有尽有. 随着深度学习的出现,我们的手机 app 将变得更加智能. 下一代由深度学习驱动的手机 app 将可以学习并为你定制功能. 一个很显著的例子是「Microsoft Swiftkey」,这是一个键盘 app, 能通过学习你常用的单词和词组来帮助你快速打字.