更新于:07-09 10:57

有关[数据]分类推荐

Oracle - Spool导出数据到TXT文件 - CSDN博客

于07-18 18:12 - -
spool的作用可以用一句话来描述:在sqlplus中用来保存或打印查询结果. 即,可以将sql查询的结果保存问文件. set termout off;   //不显示脚本中的命令的执行结果,缺省为on set trimout on;   //去除标准输出每行的拖尾空格,缺省为off set trimspool on;  //去除重定向(spool)输出每行的拖尾空格,缺省为off set term off;.

唯品金融大数据团队的图数据库实践

于07-13 10:35 - -
在大数据时代,社交关系趋于复杂化,越来越多的互联网项目都和社交关系联系起来. 而对社交关系的良好契合,使得图数据库(Graph Database)在互联网领域迅速崛起. 通过图数据库可以高效地进行社交关系查询、分析和数据挖掘,以发现有价值的信息. 近几年互联网金融发展火热,用户对消费分期、现金贷等需求也越来越高.

MySQL多数据源笔记3-分库分表理论和各种中间件 - 狂小白 - 博客园

于07-11 17:28 - -
  使用中间件对于主读写分离新增一个从数据库节点来说,可以不用修改代码,达到新增节点数据库而不影响到代码的修改. 因为如果不用中间件,那么在代码中自己是先读写分离,如果新增节点,. 你进行写操作时,你的轮询求模的数据量就要修改.   1.MYSQL官方的mysqlProxy,它可以实现读写分离,但是它使用率很低,搞笑的是MySQL官方都不推荐使用.

MySQL多数据源笔记2-Spring多数据源一主多从读写分离(手写) - 狂小白 - 博客园

于07-11 17:13 - -
一.为什么要进行读写分离呢.   因为数据库的“写操作”操作是比较耗时的(写上万条条数据到Mysql可能要1分钟分钟). 但是数据库的“读操作”却比“写操作”耗时要少的多(从Mysql读几万条数据条数据可能只要十秒钟). 所以读写分离解决的是,数据库的“写操作”影响了查询的效率问题. 读写分离: 大多数站点的数据库读操作比写操作更加密集,而且查询条件相对复杂,数据库的大部分性能消耗在查询操作上了.

数据仓库数据质量管理【转】 - CSDN博客

于07-08 19:46 - -
 一个完善的数据仓库必须含有一个完整的. 元数据管理系统,但是目前国内的数据仓库对数据质量管理这块都不是那么重视,我个人觉得这是一个很大的误区,一个数据仓库如果连数据质量都无法保证,还如何基于做出有效的分析来给决策者做决策的依据.        从个人理解的角度看,数据质量管理系统应该包含. 数据质量检测、脏数据的处理与修正这两块.

微服务下无侵入式动态路由数据库

于06-27 00:00 - - dev
本文可全文转载,但需要保留原作者和出处. 项目主要采用 springboot + dubbo + mybatis框架,大体分为 web和 service两层. web提供api接口给 sdk客户端使用, service则提供mysql数据库表等操作,为 web提供 dubbo服务支持.

从定制到开放,四维图新 MineData 大数据平台的又一年

于06-15 20:03 - 吴鹏飞 - 董车会 MineData 2.0 大数据平台 四维图新
「数据要盘活才有新的价值,数据要跨界才有新的故事」,在四维图新发展了一年 MineData 大数据平台后,四维图新高级副总裁、世纪高通总经理梁永杰得到了这样的感悟. 时隔一年,MineData 2.0 正式发布,在过去的一年里,MineData 位置大数据平台横跨了很多个行业,已经在交警、公安、规划、电信、保险、物流、车厂等领域开展了很多项目.

构建企业级数据仓库的五步法

于06-04 17:03 - kingding -
       即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑..         确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供有用的信息.

今天,我想和你聊聊儿童数据泄露 | 六一特辑

于06-01 22:47 - - 网络安全
今天一早起来,宅宅的朋友圈就被一群天(zhuang)真(nen)的中年儿童刷屏了,纷纷表示这个节日是自己的,为了堵住质疑人士的嘴,还弄出一张严肃的过节证. (即使测试的年龄结果是这样的). 总之,这些二三十的“儿童们”对于过节这件事情非常上心,热情一点不比小朋友低~. 但其实,这个充满欢声笑语的节日,还有一层颜色是凝重的灰色.

实时数据产品实践——美团大交通战场沙盘

于05-24 22:08 - 美团点评技术团队 -
大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新、用户体验个性化、实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大. 如何通过数据快速分析出用户的行为,以便做出准确的决策,越来越体现一个公司的价值. 现阶段对于实时数据的建设比较单一,主要存在以下问题:.

互联网企业数据安全体系建设

于05-24 22:08 - 美团点评技术团队 -
Facebook数据泄露事件一度成为互联网行业的焦点,几百亿美元市值瞬间蒸发,这个代价足以在地球上养活一支绝对庞大的安全团队,甚至可以直接收购几家规模比较大的安全公司了. 虽然媒体上发表了很多谴责的言论,但实事求是地讲,Facebook面临是一个业界难题,任何一家千亿美元的互联网公司面对这种问题,可能都没有太大的抵抗力,仅仅是因为全球区域的法律和国情不同,暂时不被顶上舆论的浪尖罢了.

微服务下的数据架构

于05-23 00:00 - - dev
微服务是一个软件架构模式,对微服务的讨论大多集中在容器或其他技术是否能很好的实施微服务,而本文将从以下几个角度来和大家分享在微服务架构下进行数据设计需要关注的地方,旨在帮助大家在构建微服务架构时,提供一个从数据方面的视角:. 按照 Martin Fowler 的定义,微服务是一个软件架构模式,通过开发一系列的小型服务的方式来实现一个应用.

Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式 - CSDN博客

于05-17 15:36 - -
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据了. 一、基于Receiver的方式. 这种方式使用Receiver来获取数据.

spring boot 2.0.1版本,多数据源支持

于05-12 09:30 - breezylee -
有时候我们需要在程序中加载多个数据源,用spring jpa可以实现,网上有许多资料,要指定哪个包下面的类使用哪个数据源,个人觉得这种方式不够灵活,不是我想要的. 我是想通过多个jdbcTemplate的实例,不同实例操作不同的数据源,甚至不同的实例操作同一类路径的实体对象. 下面记录下,实现加载读写分离两个数据源的过程.

最火实时大数据OLAP技术原理和实践

于05-09 15:28 - -
Druid在大数据领域已经不是新人了,因此可能很多读者都已经听说过Druid,甚至用过Druid,但是未必每个人都真正清晰地了解Druid到底是什么,以及在什么情况下可以用Druid. 同时,为了避免大家听了半天,却一直陷在各种细节中但仍然不知道到底在听什么东西,我们还是有必要在开始的时候先总体谈一谈Druid到底是什么.

使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地

于05-09 15:24 - -
关键字:elasticsearch、olap. 一直想找一个用于大数据平台实时OLAP(甚至是实时计算)的框架,之前调研的Druid(druid.io)太过复杂,整个Druid由5、6个服务组成,而且加载数据也不太方便,性能一般,亦或是我还不太会用它. 后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求.

[原]Facebook如何运用机器学习进行亿级用户数据处理

于01-23 14:33 - qq_40027052 -
编译 | 刘畅、尚岩奇、林椿眄. 2017年末,Facebook应用机器学习组发布最新论文,对整个Facebook的机器学习软硬件架构进行了介绍. 纵览全文,我们也可以从中对Facebook各产品的机器学习策略一窥究竟. 论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战,并给出了Facebook的应对策略和解决思路,对相关行业和研究极其有意义.

微服务化的数据库设计与读写分离

于04-28 09:29 - aoyouzi -
数据库永远是应用最关键的一环,同时越到高并发阶段,数据库往往成为瓶颈,如果数据库表和索引不在一开始就进行良好的设计,则后期数据库横向扩展,分库分表都会遇到困难. 对于互联网公司来讲,一般都会使用My SQL数据库. 我们首先来看Mysql数据的总体架构如下:. 这是一张非常经典的Mysql的系统架构图,通过这个图可以看出Mysql各个部分的功能.

大数据-Hadoop小文件问题解决方案

于04-20 00:00 - - geek
HDFS中小文件是指文件size小于HDFS上block(. dfs.block.size)大小的文件. 大量的小文件会给Hadoop的扩展性和性能带来严重的影响. 动态分区插入数据,产生大量的小文件,从而导致map数量剧增. reduce数量越多,小文件也越多,reduce的个数和输出文件个数一致.

Oracle 移动数据文件的操作方法 - CSDN博客

于04-14 16:26 - -
将表空间和数据文件从一个位置移动到另一个位置的操作方法. OFFLINE 分为ALTER DATABASE 与 ALTER TABLESPACE OFFLINE,. 1.先将相应的数据文件 offline  . 2.把数据文件 copy 到新位置. 4. 介质恢复(offline 数据文件必须要介质恢复).

在数据库中存储一棵树,实现无限级分类

于04-10 14:57 - Kaciras - mybatis mysql java
在一些系统中,对内容进行分类是必需的功能. 比如电商就需要对商品做分类处理,以便于客户搜索;论坛也会分为很多板块;门户网站、也得对网站的内容做各种分类. 分类对于一个内容展示系统来说是不可缺少的,本博客也需要这么一个功能. 众所周知,分类往往具有从属关系,比如铅笔盒钢笔属于笔,笔又是文具的一种,当然钢笔还可以按品牌来细分,每个品牌下面还有各种系列....

Centos 更改MySQL5.7数据库目录位置 - CSDN博客

于04-10 15:23 - -
Centos7.3 安装Mysql5.7并修改初始密码. 基于 CentOS Mysql 安装与主从同步配置详解. yum安装(RPM分发进行安装)MySQL的几个人默认目录如下:. 假如要把目录移到/home/data下需要进行下面几步:. 1、home目录下建立data目录. /var/lib/mysql整个目录移到.

在这个连开源标注数据集都没有的领域,AI该如何落地?

于03-29 21:39 - 微胖 -
对于法律科技领域来说,2014 年元旦是一个重要分水岭. 这一天,最高人民法院《关于人民法院在互联网公布裁判文书的规定》生效实施. 即日起, 全国四级法院的生效裁判文书, 除涉及国家秘密、个人隐私、未成年人违法犯罪等特殊情形外, 应当在生效后七日内统一上传至中国裁判文书网. 」北京法意科技有限公司常务副总经理陈浩告诉我们.

数据库面试常问的一些基本概念

于03-28 00:00 - - geek
点击上方“Java知音”,选择“置顶公众号”. 链接:https://blog.csdn.net/u013142781. Javaweb练手项目源码下载. 1、超键、候选键、主键、外键. 超键:在关系中能唯一标识元组的属性集称为关系模式的超键. 一个属性可以为作为一个超键,多个属性组合在一起也可以作为一个超键.

DataMan-美团旅行数据质量监管平台实践

于03-21 21:27 - 美团点评技术团队 -
数据,已经成为互联网企业非常依赖的新型重要资产. 数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力. Michael Hammer(《Reengineering the Corporation》一书的作者)曾说过,看起来不起眼的数据质量问题,实际上是拆散业务流程的重要标志. 数据质量管理是测度、提高和验证质量,以及整合组织数据的方法等一套处理准则,而体量大、速度快和多样性的特点,决定了大数据质量所需的处理,有别于传统信息治理计划的质量管理方式.

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势

于02-28 09:02 - - Spark big data 大数据 分布式 big data
原创文章,转载请务必将下面这段话置于文章开头处. 技术世界, 原文链接  http://www.jasongj.com/spark/skew/. 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partitioner,使用Map侧Join代替Reduce侧Join,给倾斜Key加上随机前缀等.

微服务开发中的数据架构设计

于03-20 10:03 - -
GitChat 作者:陈伟荣. 原文: 微服务开发中的数据架构设计. 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术. 微服务是当前非常流行的技术框架,通过服务的小型化、原子化以及分布式架构的弹性伸缩和高可用性,可以实现业务之间的松耦合、业务的灵活调整组合以及系统的高可用性. 为业务创新和业务持续提供了一个良好的基础平台.

浅谈大数据平台基建的逻辑

于03-16 13:04 - -
这篇文章主要目的是面向初接触大数据的朋友简单介绍大数据平台基础建设所需要的各个模块以及缘由. 按照 Ralph Hughes的观点,企业数据仓库参考架构由下列几层构成:. 接入层(Landing):以和源系统相同的结构暂存原始数据. 整合层(Integration):持久存储整合后的企业数据,针对企业信息实体和业务事件建模,代表组织的“唯一真相来源”.

数据可视化的开源方案: Superset vs Redash vs Metabase

于01-10 17:29 - ronin47 -
人是视觉动物,要用数据把一个故事讲活,图表是必不可少的. 如果你经常看到做数据分析同事,在SQL客户端里执行完查询,把结果复制/粘贴到Excel里再做成图表,那说明你的公司缺少一个可靠的数据可视化平台. 数据可视化是Business Intelligence(简称BI)中的核心功能,有许多成熟的商用解决方案,如老牌的Tableau, Qilk,新生代的Looker,国内的FineBI等等.

批处理ETL已经消亡,Apache Kafka才是数据处理的未来吗?

于02-24 09:35 - -
最近的一些数据发展趋势推动传统的批处理抽取-转换-加载(ETL)架构发生了巨大的变化:数据平台要在整个企业范围内运行;数据源的类型变得更多;流数据得到了普遍性增长. 在实时ETL方面,早期采用的方式是企业应用集成(EAI),但是这里所用的技术通常是不可扩展的. 这给传统的数据集成带来了两难的选择:实时但不可扩展,或者可扩展但采用的是批处理方案.