大数据平台业务全流程

客服9005发表于:2018年07月05日 16:00:17更新于:2018年12月26日 14:08:00

大数据平台全流程使用指南    

I. 服务购买

1.1 登录系统

访问中信云首页,地址https://www.c.citic/citic-web-ui/

image.png

点击右上角“登录”,系统自动跳转至统一用户登录页面,键入用户名、密码、验证码,进行登录;

若无登录账号,可联系右侧“在线客服”,申请新增中信云登录账号。

1.2 服务列表

方式1:登录成功后,点击左侧列表中“大数据”,可查看大数据平台提供的服务列表,目前,大数据平台提供的服务有:

²  大数据实施服务

²  基础服务:Greenplum、Hbase、Hive、HDFS、Spark、MapReduce、kafka

²  套餐:大数据平台套餐、数据仓库组件套餐、EMR

²  数据ETL及调度:大数据开发套件,即DACP

²  数据分析及可视化:tableau、数说工厂、数据大屏(即将上线)

²  数据应用:企画师、日志云、数据洞察

方式2:也可点击最上面导航里的“大数据”

image.png

页面自动跳转至大数据平台,查看服务列表如下图所示:

image.png


 

1.3 购买服务

以购买hive服务为例,成功登录后,点击左侧列表中“大数据”,点选Hive

image.png

页面跳转至购买Hive服务页面

image.png

参数列表说明如下:

*  付费类型:目前支持2种模式,按量收费和包年包月;

*  存储:database空间大小,单位G;

*  内存:对应分配的yarn队列内存大小,单位G;

*  实例用途:分为开发、测试、准生产、生产、灾备五种;

*  成本中心:承担费用的租户,即公司。若目标租户不存在,可联系右侧“在线客服”,申请新增中信云租户。

*  应用基线:项目名称。若目标基线不存在,可联系右侧“在线客服”,申请新增应用基线。

*  实例个数:默认1,且不支持编辑

1.4 订单提交

租户根据实际需要填写购买页面参数后,可提交订单。页面右侧【加入订单】按钮类似购物车功能,便于用户多个资源的组合下单;【立即购买】按钮则是直接下单功能

image.png

点击“立即购买”后,系统跳转到“用户中心 > 费用中心 > 订单列表”界面,如下图所示。点击“提交订单”,订单创建成功后。 image.png

订单创建成功后,进入“订单审批”状态。

image.png

1.5 订单审批

目前,只有租户管理员角色有订单审批权限。用户提交订单后,可线下通知租户管理员,由租户管理员进行订单审批。租户管理员登录后,点击中信云首页右上角“控制台”,系统跳转至控制台页面。image.png

点击控制台页面“用户中心 > 费用中心 > 订单审核列表”,可查看待审批的订单列表。

image.png

点击“查看详情”可查看待审批订单的具体信息,若合规则点击“通过审批”;否则,“驳回审批”。注意驳回时需填写驳回意见。

image.png

1.6 订单查看

订单审批通过后,用户可点击控制台页面“用户中心 > 费用中心 > 订单列表”,查看自己提交的订单信息。

image.png

注意:只有当实例成功个数为1时,才说明服务实例创建成功。也可点击“查看详情”,可查看服务实例状态。

image.png

此外,资源订单审批完成且服务实例创建成功后,中信云根据订单总额生成账单明细。用户可在“中信云 > 用户中心 > 费用中心”进行相关的账单查询。

II. 服务使用

2.1 配置环境

2.1.1 组件网络配置

使用服务前提是网络连通大数据平台服务支持的应用开发方式有以下两种:

  API:使用Java/scala/python API进行应用开发

  Shell :在HDP Client使用 shell命令进行操作

无论是API还是shell方式,使用大数据平台服务时,都需开通网络,具体需求信息如下所示:

源IP: ECS IP或HDP client IP

目标IP和port:

组件

IP

端口

Kerberos

10.247.32.218, 10.247.32.219 

88

HDFS

10.247.11.29, 10.247.11.30  

8020

  

10.247.11.31---10.247.11.38

1019

Hive

10.247.11.37

10000

  

10.247.11.29

10015

  

10.247.11.38

9083

Hbase

10.247.11.29, 10.247.11.30

16000

  

10.247.11.31---10.247.11.38

16020

  

10.247.11.31---10.247.11.33

2181

spark

10.247.11.18--26,10.247.11.31--38

8050

kafka

10.247.11.31--33

2181

  

10.247.11.34--36

6667

MapReduce

10.247.11.18--26,10.247.11.31--38

8050

附:可申请通过堡垒机访问接口机的权限,接口机主要支持各用户无需单独搭建HDP client 及网络环境,直接使用大数据平台HDP相关服务。

2.1.2 DACP网络配置

DACP,即大数据开发套件。若上线调度作业,连接用户自定义的数据源时,需提前申请网络开通。源地址具体信息如下:

服务器

ip

DACP web

10.247.32.1, 10.247.32.3

DACP agent

10.247.11.3, 10.247.11.4

目标地址信息则按照数据源的ip和port进行配置;

注意:DACP可同步用户购买的大数据平台服务GP和hive,这两类服务无需单独申请开通网络环境。

2.2 服务授权

用户首次购买服务成功后,提供姓名,中信云登录邮箱,联系中信云首页在线客服申请多租户平台用户服务授权;也可登录ITSM提工单,申请授权;也可邮件联系多租户管理(p-songyw@tech.citic)申请多租户平台用户服务授权。一般情况,下单购买的用户默认授予多租户平台 “项目管理员”角色。

2.3 服务查看

成功登录中信云后,点击上面导航栏列表中“大数据”

image.png

系统跳转至中信云大数据页面,点击右上角“控制台”,跳转至下图页面, 点击“多租户及资源管理”

image.png

跳转至下图页面, 点击“多租户管理平台”

image.png

跳转至下图页面, 进入多租户管控平台。点选左侧租户>应用基线>服务列表,即可查看对应的应用基线下购买的服务信息,配额信息,点击右侧“访问信息”,可在弹出窗查看该服务具体的访问信息,如hdfs path, hive database,spark yarn

image.png

image.png 

2.4 用户授权

项目管理员可根据实际情况,在多租户平台添加用户,并对其授予服务使用权限。

2.4.1 添加用户

点击用户管理>添加用户

image.png

 

弹出窗口如下图所示,可通过用户邮箱和手机号码查找到待添加的用户。

Notice: 因用户源只支持统一用户认证中心,故新添加的用户必须具有中信云登录账号。

 

image.png

2.4.2 授权用户

点选左侧待授权的应用基线,点击租户管理>用户列表>用户授权

image.png

弹出窗口如下图所示,点击右侧下拉按钮,选择用户;然后给用户设置相应的角色,核验无误后点击“确认”按钮,完成用户授权操作。

image.png

2.4.3 修改权限

点击“修改”按钮,可在弹出对话框中实现用户权限(项目管理员或成员)修改操作

image.png

 

image.png

2.4.4 删除权限

项目管理员可对已授权的用户进行权限回收,点击“删除”按钮,弹出窗口点击“确认”即可。

image.png

image.png

 


附件:大数据平台业务支撑全流程.docx • 3.12MB • 下载

中信云服务团队