ClickHouse 权限控制与资源隔离

标签: dev | 发表时间:2020-09-07 00:00 | 作者:
出处:http://itindex.net/relian

使用clickhouse多半应用在实时数仓项目来支持adhoc查询,为了确保企业数据安全高效的使用,那么权限控制与资源隔离是必不可少的

clickhouse在20.4之后的版本开始支持基于RBAC的访问控制管理;主要包括的功能有:用户创建、角色创建、权限管理以及资源隔离;接下来我们将演示如何使用这些功能

配置管理员账户

管理员账户主要用来进行权限分配和管理用的;需要在user.xml中进行如下配置:

  <users>
      <admin>  ## clickhouse自带default用户,但是该用户拥有所有权限且没有设置登陆密码和开启RBAC
        <password>pwd</password>

        <access_management>1</access_management>

        <networks incl="networks" replace="replace">
                <ip>::/0</ip>
        </networks>

        <profile>default</profile>

        <quota>default</quota>

      </admin>
</users>
  • access_management 默认为0,设置为1标识开启RBAC权限控制。
  • admin 配置的用户名
  • password 用户对应的密码
  • networks 运行访问的客户端ip、host
  • profile clickhouse角色
  • quota 配额,分配给该用户的资源

配置config.xml新增如下配置:

  ## 用来存储创建的用户和角色
<access_control_path>/data/work/clickhouse/access/</access_control_path>

## 此配置必须有 否则会报
## DB::Exception: Not found a storage to insert user

创建普通用户

普通用户是权限作用的实体,可以设置独立的密码和操作范围,业务人员通过登陆不同的账户来行使不同的数据权限。

  • create user
  ## 创建用户u1 并限制ip只能在本地登陆数据库
## 通过明文或加密方式配置密码
## 创建时赋予了除role1、role2外的所有角色
CREATE USER u1 HOST IP '127.0.0.1' IDENTIFIED WITH PLAINTEXT_PASSWORD BY '123' DEFAULT ROLE ALL EXCEPT role1, role2


VM_10_14_centos :) show users;

SHOW USERS

┌─name────┐
│ admin   │
│ default │
│ u1      │
└─────────┘
  • alter user
  ## 将用户名u1修改成u2  
ALTER USER u1 RENAME TO u2
  • drop user
  DROP USER [IF EXISTS] name [,...] [ON CLUSTER cluster_name]
  • show create user
    查看用户创建语句

创建角色

角色是权限的集合,用来定义用户行使权限的范围。
如果表被删除,和这张表关联的权限不会被删除。这意味着如果你创建一张同名的表,所有的特权仍旧有效。如果想删除这张表关联的特权,你可以执行 REVOKE ALL PRIVILEGES ON db.table FROM ALL 查询。

  • create role
  CREATE ROLE [IF NOT EXISTS | OR REPLACE] name WRITABLE|READONLY
  • alter role
  ## 修改角色名r1为r2
alter role r1 rename to r2
  • drop role
  DROP ROLE [IF EXISTS] name [,...] [ON CLUSTER cluster_name]

权限管理

  • 授权
  ##将查询权限付给角色role1,然后把角色分配给用户u1

GRANT SELECT(x,y) ON db.* TO role1;

SET ROLE role1, ... TO u1
  • 解除授权
  REVOKE SELECT(wage) ON accounts.staff FROM mira;
## or
REVOKE role1 ON accounts.* FROM mira;
  • 行级权限
  ## 授权给角色
CREATE ROW POLICY filter ON mydb.mytable FOR SELECT USING a<1000 TO r1, r2

## 授权给用户
CREATE ROW POLICY filter ON mydb.mytable FOR SELECT USING a<1000 TO ALL EXCEPT u1

资源限制

  • cpu & memory
  CREATE SETTINGS PROFILE max_memory_usage_profile SETTINGS max_memory_usage = 102400 ,max_threads = 3  TO r1/u1
  • 限制单位时间内查询次数
  ## 允许用户u1一天内最大只能发起20次查询
CREATE QUOTA qA FOR INTERVAL 1 DAY MAX QUERIES 20 TO r1/u1

总结

细粒度的权限控制和资源隔离将极大提升大数据人员的开发效率,通过开放数据和工具的方式赋能上层业务,上层业务不用在排队烧香和数据团队对需求了,整个流程得到了极大简化;每一个优秀的工程师都将有机会成为优秀的数据分析师

相关 [clickhouse 控制 资源] 推荐:

ClickHouse 权限控制与资源隔离

- - IT瘾-dev
使用clickhouse多半应用在实时数仓项目来支持adhoc查询,为了确保企业数据安全高效的使用,那么权限控制与资源隔离是必不可少的. clickhouse在20.4之后的版本开始支持基于RBAC的访问控制管理;主要包括的功能有:用户创建、角色创建、权限管理以及资源隔离;接下来我们将演示如何使用这些功能.

blong/clickhouse .md at master · xingxing9688/blong · GitHub

- -
https://clickhouse.yandex/tutorial.html快速搭建集群参考. https://clickhouse.yandex/reference_en.html官网文档. https://habrahabr.ru/company/smi2/blog/317682/关于集群配置参考.

开源OLAP引擎综评:HAWQ、Presto、ClickHouse

- - InfoQ推荐
谈到大数据就会联想到Hadoop、Spark整个生态的技术栈. 大家都知道开源大数据组件种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等. 当前企业对大数据的研究与应用日趋理性,那么,如何根据业务特点,选择一个适合自身场景的查询引擎呢.

ClickHouse 在实时场景的应用和优化

- - InfoQ推荐
在介绍实时场景之前,我先简单讲一下早期的离线数据是如何支持的:. 在第一场分享中,技术负责人陈星介绍了 ClickHouse 在字节跳动内部最早支持的两个业务场景,用户行为分析平台和敏捷 BI 平台. 这两个平台的数据主要由分析师或者数仓同学产出,以 T+1 的离线指标为主. 考虑到 ClickHouse 并不支持事务,为了保障数据的一致性,我们在 ClickHouse 系统外实现了一套外部事务:.

clickhouse入门基础知识了解 - 简书

- -
随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件. 能够拥有如此惊人的体量,在它背后提供支撑的ClickHouse功不可没. ClickHouse已经为Yandex.Metrica存储了超过20万亿行的数据,90%的自定义查询能够在1秒内返回,其集群规模也超过了400台服务器.

Clickhouse替代ES后,日志查询速度提升了38倍!

- -
ElasticSearch是一种基于Lucene的分布式全文搜索引擎,携程用ES处理日志,目前服务器规模500+,日均日志接入量大约200TB. 随着日志量不断增加,一些问题逐渐暴露出来:一方面ES服务器越来越多,投入的成本越来越高;另一方面用户的满意度不高,日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户;而从运维人员的角度看,ES的运维成本较高,运维的压力越来越大.

性能提升400%,ClickHouse在携程酒店数仓的实践

- - InfoQ推荐
随着时间推移和业务的快速发展,携程酒店数据累积越来越多. 目前流量日数据在3T左右,再加上各种订单、价、量、态等数据更是庞大. 现有Hive(Spark引擎)执行速度虽然相对较快,但在国际化发展背景下,一些海外业务由于时差问题,数据需要比国内提前数小时完成,性能提升迫在眉睫. 2020年初,我们开始研究ClickHouse在数据仓库领域应用.

ClickHouse在手淘流量分析业务实践

- - InfoQ推荐
导读:本文主要介绍手淘流量分析业务发展过程中,实时性业务分析需求的产生,实时分析目标的设定,如何进行技术的选型,以及如何基于ClickHouse构建系统架构和未来的业务预期. 流量分析与业务背景:什么是流量分析,以及我们的业务背景"大数据"带来的难题:当你的数据量是守恒的时候,需要怎么处理你的数据技术选型与产品考虑:在以上背景下,我们在技术选择和产品考虑时,都做了哪些考虑,以及为什么最终选择ClickHouse,并给大家介绍一些技术解决方案.

支撑700亿数据量的ClickHouse高可用架构实践

- - InfoQ推荐
讲师介绍:蔡岳毅,携程旅行网酒店研发中心高级研发经理,资深架构师,负责酒店大住宿数据智能平台,商户端数据中心以及大数据的创新工作. 大家好,我是来自携程的蔡岳毅,今天给大家分享ClickHouse在我们大数据平台的应用,主要从应用的角度来介绍我们的高可用架构. 其实这个百亿,我没太纠结,来之前我查了一下,现在我的平台上面是将近700亿数据,压缩前是8T,存储是压缩后1.8T.

趣头条基于Flink+ClickHouse打造实时数据分析平台

- -
趣头条一直致力于使用大数据分析指导业务发展. 目前在实时化领域主要使用 Flink+ClickHouse 解决方案,覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略,整体响应 80% 在 1 秒内完成,大大提升了用户实时取数体验,推动业务更快迭代发展. Flink to Hive 的小时级场景.