ClickHouse 权限控制与资源隔离

标签: dev | 发表时间:2020-09-07 00:00 | 作者:
出处:http://itindex.net/relian

使用clickhouse多半应用在实时数仓项目来支持adhoc查询,为了确保企业数据安全高效的使用,那么权限控制与资源隔离是必不可少的

clickhouse在20.4之后的版本开始支持基于RBAC的访问控制管理;主要包括的功能有:用户创建、角色创建、权限管理以及资源隔离;接下来我们将演示如何使用这些功能

配置管理员账户

管理员账户主要用来进行权限分配和管理用的;需要在user.xml中进行如下配置:

  <users>
      <admin>  ## clickhouse自带default用户,但是该用户拥有所有权限且没有设置登陆密码和开启RBAC
        <password>pwd</password>

        <access_management>1</access_management>

        <networks incl="networks" replace="replace">
                <ip>::/0</ip>
        </networks>

        <profile>default</profile>

        <quota>default</quota>

      </admin>
</users>
  • access_management 默认为0,设置为1标识开启RBAC权限控制。
  • admin 配置的用户名
  • password 用户对应的密码
  • networks 运行访问的客户端ip、host
  • profile clickhouse角色
  • quota 配额,分配给该用户的资源

配置config.xml新增如下配置:

  ## 用来存储创建的用户和角色
<access_control_path>/data/work/clickhouse/access/</access_control_path>

## 此配置必须有 否则会报
## DB::Exception: Not found a storage to insert user

创建普通用户

普通用户是权限作用的实体,可以设置独立的密码和操作范围,业务人员通过登陆不同的账户来行使不同的数据权限。

  • create user
  ## 创建用户u1 并限制ip只能在本地登陆数据库
## 通过明文或加密方式配置密码
## 创建时赋予了除role1、role2外的所有角色
CREATE USER u1 HOST IP '127.0.0.1' IDENTIFIED WITH PLAINTEXT_PASSWORD BY '123' DEFAULT ROLE ALL EXCEPT role1, role2


VM_10_14_centos :) show users;

SHOW USERS

┌─name────┐
│ admin   │
│ default │
│ u1      │
└─────────┘
  • alter user
  ## 将用户名u1修改成u2  
ALTER USER u1 RENAME TO u2
  • drop user
  DROP USER [IF EXISTS] name [,...] [ON CLUSTER cluster_name]
  • show create user
    查看用户创建语句

创建角色

角色是权限的集合,用来定义用户行使权限的范围。
如果表被删除,和这张表关联的权限不会被删除。这意味着如果你创建一张同名的表,所有的特权仍旧有效。如果想删除这张表关联的特权,你可以执行 REVOKE ALL PRIVILEGES ON db.table FROM ALL 查询。

  • create role
  CREATE ROLE [IF NOT EXISTS | OR REPLACE] name WRITABLE|READONLY
  • alter role
  ## 修改角色名r1为r2
alter role r1 rename to r2
  • drop role
  DROP ROLE [IF EXISTS] name [,...] [ON CLUSTER cluster_name]

权限管理

  • 授权
  ##将查询权限付给角色role1,然后把角色分配给用户u1

GRANT SELECT(x,y) ON db.* TO role1;

SET ROLE role1, ... TO u1
  • 解除授权
  REVOKE SELECT(wage) ON accounts.staff FROM mira;
## or
REVOKE role1 ON accounts.* FROM mira;
  • 行级权限
  ## 授权给角色
CREATE ROW POLICY filter ON mydb.mytable FOR SELECT USING a<1000 TO r1, r2

## 授权给用户
CREATE ROW POLICY filter ON mydb.mytable FOR SELECT USING a<1000 TO ALL EXCEPT u1

资源限制

  • cpu & memory
  CREATE SETTINGS PROFILE max_memory_usage_profile SETTINGS max_memory_usage = 102400 ,max_threads = 3  TO r1/u1
  • 限制单位时间内查询次数
  ## 允许用户u1一天内最大只能发起20次查询
CREATE QUOTA qA FOR INTERVAL 1 DAY MAX QUERIES 20 TO r1/u1

总结

细粒度的权限控制和资源隔离将极大提升大数据人员的开发效率,通过开放数据和工具的方式赋能上层业务,上层业务不用在排队烧香和数据团队对需求了,整个流程得到了极大简化;每一个优秀的工程师都将有机会成为优秀的数据分析师

相关 [clickhouse 控制 资源] 推荐:

ClickHouse 权限控制与资源隔离

- - IT瘾-dev
使用clickhouse多半应用在实时数仓项目来支持adhoc查询,为了确保企业数据安全高效的使用,那么权限控制与资源隔离是必不可少的. clickhouse在20.4之后的版本开始支持基于RBAC的访问控制管理;主要包括的功能有:用户创建、角色创建、权限管理以及资源隔离;接下来我们将演示如何使用这些功能.

ClickHouse Better Practices

- - 简书首页
经过一个月的调研和快速试错,我们的ClickHouse集群已经正式投入生产环境,在此过程中总结出了部分有用的经验,现记录如下. 看官可去粗取精,按照自己项目中的实际情况采纳之. (版本为19.16.14.65). 因为我们引入ClickHouse的时间并不算长,还有很多要探索的,因此不敢妄称“最佳实践”,还是叫做“更佳实践”比较好吧.

blong/clickhouse .md at master · xingxing9688/blong · GitHub

- -
https://clickhouse.yandex/tutorial.html快速搭建集群参考. https://clickhouse.yandex/reference_en.html官网文档. https://habrahabr.ru/company/smi2/blog/317682/关于集群配置参考.

开源OLAP引擎综评:HAWQ、Presto、ClickHouse

- - InfoQ推荐
谈到大数据就会联想到Hadoop、Spark整个生态的技术栈. 大家都知道开源大数据组件种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等. 当前企业对大数据的研究与应用日趋理性,那么,如何根据业务特点,选择一个适合自身场景的查询引擎呢.

Greenplum VS ClickHouse (单表11亿数据)

- -
公司的一个报表业务,数据量比较大,用户使用频繁. 为了更好的用户体验,我们之前尝试过多种技术:MongoDB、ElasticSearch、Greenplum 等,但是一直没办法做到大部分查询秒级响应. 前段时间探索了很多大数据产品,无意中发现 ClickHouse,很快就被其极致的性能所吸引. 在一番实验和研究后,我们决定用 ClickHouse 解决这个历史债务.

ClickHouse使用实践与规范

- - IT瘾-dev
ClickHouse作为一款开源列式数据库管理系统(DBMS)近年来备受关注,主要用于数据分析(OLAP)领域. 作者根据以往经验和遇到的问题,总结出一些基本的开发和使用规范,以供使用者参考. 随着公司业务数据量日益增长,数据处理场景日趋复杂,急需一种具有高可用性和高性能的数据库来支持业务发展,ClickHouse是俄罗斯的搜索公司Yandex开源的MPP架构的分析引擎,号称比事务数据库快100-1000倍,最大的特色是高性能的向量化执行引擎,而且功能丰富、可靠性高.

ClickHouse 在实时场景的应用和优化

- - InfoQ推荐
在介绍实时场景之前,我先简单讲一下早期的离线数据是如何支持的:. 在第一场分享中,技术负责人陈星介绍了 ClickHouse 在字节跳动内部最早支持的两个业务场景,用户行为分析平台和敏捷 BI 平台. 这两个平台的数据主要由分析师或者数仓同学产出,以 T+1 的离线指标为主. 考虑到 ClickHouse 并不支持事务,为了保障数据的一致性,我们在 ClickHouse 系统外实现了一套外部事务:.

clickhouse入门基础知识了解 - 简书

- -
随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件. 能够拥有如此惊人的体量,在它背后提供支撑的ClickHouse功不可没. ClickHouse已经为Yandex.Metrica存储了超过20万亿行的数据,90%的自定义查询能够在1秒内返回,其集群规模也超过了400台服务器.

Clickhouse替代ES后,日志查询速度提升了38倍!

- -
ElasticSearch是一种基于Lucene的分布式全文搜索引擎,携程用ES处理日志,目前服务器规模500+,日均日志接入量大约200TB. 随着日志量不断增加,一些问题逐渐暴露出来:一方面ES服务器越来越多,投入的成本越来越高;另一方面用户的满意度不高,日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户;而从运维人员的角度看,ES的运维成本较高,运维的压力越来越大.

性能提升400%,ClickHouse在携程酒店数仓的实践

- - InfoQ推荐
随着时间推移和业务的快速发展,携程酒店数据累积越来越多. 目前流量日数据在3T左右,再加上各种订单、价、量、态等数据更是庞大. 现有Hive(Spark引擎)执行速度虽然相对较快,但在国际化发展背景下,一些海外业务由于时差问题,数据需要比国内提前数小时完成,性能提升迫在眉睫. 2020年初,我们开始研究ClickHouse在数据仓库领域应用.