第二章 HDP 3.1.5 自定义服务之集成Flink 1.14.3
文章目录
第二章 HDP 3.1.5 自定义服务之集成Flink 1.14.3前言前期环境准备一、创建Flink用户二、重启ambari-server三、web页面安装Flink1.ambari web选择添加Flink服务
四、问题处理1.安装失败
总结
前言
Ambari2.7.5 + HDP 3.1.5 自定义集成服务 Flink1.14.3
前期环境准备
创建Flink源
创建Flink源 将flink-1.14.3-bin-scala_2.11.tgz 包，上传至 /var/www/html/flink 目录下 没有则创建 如果需要自动配置，并支持flink sql on hudi,phoenix,cdc等功能则配置,不需要可后续手动配置： 将下列包上传至 /var/www/html/flink/lib 目录下 没有则创建
-rw-r--r-- 1 root root 53820 Jul 6 16:58 commons-cli-1.4.jar
-rw-r--r-- 1 root root 74149 Jul 6 16:58 dlink-client-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root 176000 Jul 6 16:58 dlink-connector-phoenix-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root 250201 Jul 6 16:58 flink-connector-jdbc_2.11-1.14.3.jar
-rw-r--r-- 1 root root 58991556 Jul 6 15:24 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0-undo-servlet.jar
-rw-r--r-- 1 root root 48743527 Jul 6 16:58 flink-sql-connector-hive-3.1.2_2.11-1.14.3.jar
-rw-r--r-- 1 root root 22093914 Jul 6 16:58 flink-sql-connector-mysql-cdc-2.2.0.jar
-rw-r--r-- 1 root root 89539160 Jul 6 16:58 hudi-flink1.14-bundle_2.11-0.11.0.jar
-rw-r--r-- 1 root root 872303 Jul 6 16:58 mysql-connector-java.jar
-rw-r----- 1 root root 108181864 Jul 6 16:58 phoenix-4.14.2-HBase-1.4-client.jar
-rw-r----- 1 root root 4400254 Jul 6 16:58 phoenix-core-4.14.2-HBase-1.4.jar
其中lib 包可以从资源中获取
一、创建Flink用户
#创建 kylin linux用户和组
pssh -h /node.list -i 'groupadd flink'
pssh -h /node.list -i 'useradd -d /home/flink -g hadoop'
pssh -h /node.list -i 'echo "Flink@123" | passwd --stdin flink'
二、重启ambari-server
[root@node001 ~]# ambari-server restart
三、web页面安装Flink
1.ambari web选择添加Flink服务
配置 Flink on yarn 故障转移方式
四、问题处理
1.安装失败
cd /var/lib/ambari-server/resources/scripts
执行如下脚本：
python configs.py -u admin -p admin -n ZXYL_CLUSTER -l hd01 -t 8080 -a set -c cluster-env -k ignore_groupsusers_create -v ture
ZXYL_CLUSTER 为集群名称 8080 为web端口 admin 为用户密码
ps: 就是将ignore_groupsusers_create 配置设置为true
总结
由于需求 上述安装，只会安装Flink，不会进行启动，相当于只是安装flink的环境。 如果要执行进入flink目录执行相关命令即可