• 1.如何操作数据沙箱中的作业发布管理模块?
  • 2.如何操作数据沙箱中的作业进程管理模块?
  • 3.如何操作数据沙箱中的作业空间管理模块?
  • 4.如何操作数据沙箱中的通知管理模块?
  • 5.如何查看创新开放平台?
  • 6.如何查看大数据合作?
  • 7.如何查看服务机构案例?

演示视频

作业发布管理

1.点击作业管理->作业发布管理进入如图1作业管理界面。



2.点击新建作业出现如图2创建作业界面。该界面是以画布的形式呈现,以控件拖拽并连线实现作业流程。



3.控件状态:

(1)、黑色边框为初始状态。



(2)、蓝色边框为选中状态。



(3)、如hive和shell之间的连线为黑色时,hive无论执行成功或失败都会执行后边的shell。



(4)、如hive和shell之间的连线为绿色时,hive执行成功后才会执行后边的shell。



(5)、如hive和shell之间的连线为红色时,hive执行失败后才会执行后边的shell。



4.画图方法

(1)、添加控件,在左侧控件工具栏中单击不松拖动控件至右侧画布任意位置松开,即可将控件添加至画布,控件初始状态,注意边框颜色, 边框较细为初始状态,

(2)、拖动控件,在控件上保持单击不松即可拖动控件。

(3)、为控件添加依赖文件,双击控件,如图3属性栏界面里会出现控件对应的属性,这里可以自定义作业节点控件的名字。


图为属性栏界面

(4)、在依赖文件一行单击会出现如图4选择依赖文件界面,勾选文件后(注意:要勾选),点击确定即可完成,文件来源于用户作业空间。



依赖文件界面

(4)、连线。 ①选中一个节点,按下shift键点击另一个节点可连线。线条初始状态为绿色。 ②在线上单击,即可改变连线颜色,共有黑,绿,红三种颜色。

(5)、删除控件。 在控件上右击,点击删除即可删除,无快捷键操作。

(6)、作业执行可串行,并行化运行,提高作业运行效率。


图为作业串行

图为 作业并行

(7)、单节点运行按钮,在作业调试过程中,如果需要对某个特定节点进行功能调试,但又不想让其它的节点逻辑运行,那么就可以通过点击运行节点功能按钮,让程序只运行这一个节点,节俭等待时间,提高运行和调试效率。


图为 单节点运行

5、在画布上双击节点时,如图8属性栏界面里会出现控件对应的属性,这些属性时作业的静态参数。


如图8 属性栏界面

6、作业参数,点击新建作业界面右上角作业参数图标,打开如图9作业参数管理界面,在这里可以通过JavaScript脚本定义作业的动态参数,脚本格式要符合javascript书写规范,在验证栏里输入参数名, 多个参数以逗号隔开即可测试参数配置是否正确,在此处定义的参数可以被作业使用。


图9 作业参数管理界面

7、作业定时调度,点击右上角作业调度图标,打开如图7作业调度定时设置界面,在改界面可以设置作业是否重复调度,及作业调度的时间间隔。


图7作业调度定时设置界面

8、发布作业,在如图8发布作业界面中点击发布作业即可发布。


图8 发布作业界面

9、发布完成后,可进入该页面中,在该页面上部有如图12作业调试界面,点击开始运行可以让作业运行,并查看作业运行日志,若出错可及时调整修改。


图12 作业调试界面

10、作业发布完成后在如图13作业列表界面。


图13 作业列表界面

在该界面中有以下功能按钮:其中
点击可以运行一次作业;

点击开始调度,根据作业的配置来让作业运行。;

点击进行编辑;

点击切换版本;

点击还原版本;

点击查看作业进程;

点击删除作业。

作业进程管理

1.选择菜单栏中作业调度管理->作业进程管理,显示如图1作业进程列表界面。


图1作业进程列表界面

删除 查看 强制停止 重跑

2.点击查看即可进入如图2进程详情界面。


图2进程详情界面

3.下拉页面即可查看如图3日志显示界面,即可查看运行日志。


图3日志显示界面

4.点击右上角箭头查看进程状态



点击下载作业日志即可下载作业日志。

作业空间管理

用户工作空间中保存了用户需要运行的脚本、jar、以及所有引用的文件。

1.新建目录及文件

①、新建目录,点击工作空间管理->管理空间进入如图1用户作业空间界面。


图1 用户作业空间界面

②、点击新建目录弹出如图2新建目录界面


图2 新建目录界面

③、输入文件夹名字点击 即可创建,若文件夹已经存在则不可以重建,点击 则取消。新建文件和新建目录类似,在根目录或进入某个目录后即可创建文件。

2.上传文件

①、点击进入如图3目录详情界面


图3 目录详情界面

②、点击右上角的上传文件弹出如图4文件上传界面,选择文件上传即可。



3.文件及文件夹管理

将鼠标移至目录上出现如图5目录管理界面。


图5 目录管理界面

图标详解:


复制到

移动到

下载

重命名

删除

编辑(操作对象:文件)

通知管理

1.选择菜单栏中信息管理->通知管理,显示如图1通知配置列表界面。


图1 通知配置列表界面

2.点击新建进入如图2新增短信配置界面,完善填写符合规则的信息点击提交即可添加。其中可以选择监控级别,选择租户级别时, 只要是该租户下的的作业出问题都会通知,选择作业级别时,在填写完租户名后选择作业,当该作业出问题时会进行短信通知。


图2 新增短信配置界面

3.在新增服务器信息后,进入服务器列表页。其中,点击可对短信配置进行重新编辑; 点击可删除该条配置

创新开放平台

平台为广大大数据开发者提供一站式、标准化、规模化的大数据应用开发能力服务。

平台能力开放功能:对Open API方式对平台的计算能力(支持Mapreduce、Spark能力调用)、存储能力(支持HDFS/ ODPS、本地文件系统调用)、数据分析挖掘能力(支持机器学习库、统计分析库的接口调用)进行开放。

平台数据开放功能:对平台内的各类数据,根据开放数据清单进行服务API封装,形成数据集,提供数据集的下载、API接口、数据集说明、数据集更新、数据访问量统计等功能。

平台应用开放功能:提供微服务环境,支持开发者将基于平台开发的应用程序在平台上进行发布部署和运行监控。

1.开发者帮助



(1).未注册用户优先根据第一步提示注册平台账号并登陆,若已有账号则直接登陆。

(2).根据第二步的提示申请租户权限,如若审批通过后会采用短信、邮件等方式通知。

(3).待租户权限开通后可登陆大数据沙箱测试环境使用工具及数据。

(4).沙箱的具体操作可通过下载帮助手册查阅其中的具体操作流程进行相关操作。

2.数据开放


知识产权、企业信息、项目信息、科技成果这四项鼠标移至图标后会出现两个选项,点击“下载样例数据”可以下载到对应的样例数据;点击“查看详情”可以查看其详细介绍及样本数据。 其余数据开放皆可以通过“下载数据”获得。

3.能力开放

点击不同的工具集,根据提示输入相关的信息后可以申请获得。


4.数据沙箱测试环境

点击后跳转对应的登录链接,需要优先申请租户权限。

大数据合作

1.申请合作

点击“申请合作”根据相应的提示输出相关信息后等待管理员审核后会主动联系。



服务机构案例

1.展示各服务机构的经典案例。



可通过左侧菜单切换不同的服务机构进行查看其相关的案例。

Baidu
map