基于云服務MRS如何構建DolphinScheduler2調度系統

這篇文章主要介紹“基于云服務MRS如何構建DolphinScheduler2調度系統”，在日常操作中，相信很多人在基于云服務MRS如何構建DolphinScheduler2調度系統問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”基于云服務MRS如何構建DolphinScheduler2調度系統”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

為什么寫這篇文章？

• 網上關于DolphinScheduler的介紹很多但是都缺少了與實際大數據平臺結合的案例指導。

• DolphinScheduler1.x版本，2.x重構了內核實現，性能提升20倍！但是因為重構導致2.x與1.x部署過程存在差異，按照1.x部署2.x版本存在不少坑。

• 選擇輕量化、免運維、低成本的大數據云服務是業界趨勢，如果搭建DolphinScheduler再同步自建一套Hadoop生態成本太高！因此我們通過結合華為云MRS服務構建數據中臺。

環境準備

• dolphinscheduler2.0.3安裝包

• MRS 3.1.0普通集群

• Mysql安裝包 5.7.35

• ECS centos7.6

安裝MRS 客戶端

MRS客戶端提供java、python開發環境，也提供開通集群中各組件的環境變量：Hadoop、hive、hbase、flink等。

參見登錄ECS安裝集群外客戶端

安裝MySQL服務

1. 創建ECS用戶

為了方便數據庫管理，對于安裝的MySQL數據庫，生產上建立了一個mysql用戶和mysql用戶組：

# 添加mysql用戶組 
groupadd mysql 
# 添加mysql用戶 
useradd -g mysql mysql -d /home/mysql 
# 修改mysql用戶的登陸密碼 
passwd ****

2.解壓安裝包

```
cd /usr/local/ 
tar -xzvf  mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz
# 改名為mysql 
mv mysql-5.7.13-linux-glibc2.5-x86_64 mysql
```

賦予用戶讀寫權限

chown -R mysql:mysql mysql/

3. 配置文件初始化

1. 創建配置文件my.cnf

```
vim /etc/my.cnf
[client] 
port = 3306 
socket = /tmp/mysql.sock 
[mysqld] 
character_set_server=utf8 
init_connect='SET NAMES utf8' 
basedir=/usr/local/mysql 
datadir=/usr/local/mysql/data 
socket=/tmp/mysql.sock 
log-error=/var/log/mysqld.log 
pid-file=/var/run/mysqld/mysqld.pid 
#不區分大小寫 
lower_case_table_names = 1 
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 
max_connections=5000 
default-time_zone = '+8:00'
```

2. 初始化log文件，防止沒有權限

```
#手動編輯一下日志文件，什么也不用寫，直接保存退出 
cd /var/log/ 
vim mysqld.log 
:wq 退出保存
chmod 777 mysqld.log 
chown mysql:mysql mysqld.log
```

3. 初始化pid文件，防止沒有權限

```
cd /var/run/ 
mkdir mysqld 
cd mysqld 
vi mysqld.pid 
:wq保存退出 
# 賦權 
cd .. 
chmod 777 mysqld 
chown -R mysql:mysql /mysqld
```

4. 初始化數據庫

初始化數據庫，并指定啟動mysql的用戶，否則就會在啟動MySQL時出現權限不足的問題

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --lc_messages_dir=/usr/local/mysql/share --lc_messages=en_US

初始化完成后，在my.cnf中配置的datadir目錄（/var/log/mysqld.log）下生成一個error.log文件，里面記錄了root用戶的隨機密碼。

cat /var/log/mysqld.log

執行后記錄最后一行：root@localhost: xxxxx 。 這里的xxxxx就是初始密碼。后面登入數據庫要用到。

4. 啟動數據庫

#源目錄啟動：
/usr/local/mysql/support-files/mysql.server start

設置開機自啟動服務

# 復制啟動腳本到資源目錄 
cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld 
# 增加mysqld服務控制腳本執行權限 
chmod +x /etc/rc.d/init.d/mysqld 
# 將mysqld服務加入到系統服務 
chkconfig --add mysqld 
# 檢查mysqld服務是否已經生效 
chkconfig --list mysqld 
# 切換至mysql用戶，啟動mysql，或者稍后下一步再啟動。 
service mysqld start 
# 從此就可以使用service mysqld命令啟動/停止服務
su mysql 
service mysqld start 
service mysqld stop 
service mysqld restart

5.登陸，修改密碼，預置dolphinscheduler的用戶

1. 修改密碼

```
# 系統默認會查找/usr/bin下的命令;建立一個鏈接文件。 
ln -s /usr/local/mysql/bin/mysql /usr/bin 
# 登陸mysql的root用戶 
mysql -uroot -p 
# 輸入上面的默認初始密碼（root@localhost: xxxxx） 
# 修改root用戶密碼為XXXXXX 
set password for root@localhost=password("XXXXXX"); 
```

2. 預置dolphinscheduler的用戶

```
mysql -uroot -p 
mysql>CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 
# 修改 {user} 和 {password} 為你希望的用戶名和密碼,192.168.56.201是我的主機ID 
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler'; 
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler'; 
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'192.168.56.201' IDENTIFIED BY 'dolphinscheduler'; 
#刷新權限 
mysql> flush privileges; 
#檢查是否創建用戶成功 
mysql> show databases; 
#出現dolphinscheduler,查看創建的用戶 
mysql> use mysql; 
mysql> select User,authentication_string,Host from user;
```

安裝dolphinscheduler服務

1. 建立本機id免密

在任意文件夾下進行這一步均可，為防止誤會，我在dolphinscheduler203進行這一步，創建用戶dolphinscheduler,后面所有操作都是再這個用戶下做的。設置root免密登錄該用戶：

# 創建用戶需使用 root 登錄
useradd dolphinscheduler 
# 添加密碼 
echo "dolphinscheduler" | passwd --stdin dolphinscheduler 
# 配置 sudo 免密 
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers 
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers 
# 修改目錄權限,在這一步前將jdbcDriver(我的mysql版本5.6.1,driver版本8.0.16)放入lib里,一并修改權限 
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler203 
#進入新用戶 
su dolphinscheduler 

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 600 ~/.ssh/authorized_keys

2. 修改配置參數

修改install-config.conf文件

[dolphinscheduler@km1 dolphinscheduler203]$ vi conf/config/install-config.conf 
修改： 
ips="192.168.56.201" 
masters="192.168.56.201" 
workers="192.168.56.201:default" 
alertServer="192.168.56.201" 
apiServers="192.168.56.201" 
pythonGatewayServers="192.168.56.201" 
# DolphinScheduler安裝路徑，如果不存在會創建,這里不能放你解壓后的ds路徑，放置后在運行代碼時同名文件、文件夾會沖突導致消失 
installPath="/opt/dolphinscheduler203" 
# 部署用戶，填寫在 **配置用戶免密及權限** 中創建的用戶 
deployUser="dolphinscheduler" 
# --------------------------------------------------------- 
# DolphinScheduler ENV 
# --------------------------------------------------------- 
# 安裝的JDK中 JAVA_HOME 所在的位置 
javaHome="/opt/hadoopclient/JDK/jdk1.8.0_272" 
# --------------------------------------------------------- 
# Database 
# --------------------------------------------------------- 
# 數據庫的類型，用戶名，密碼，IP，端口，元數據庫db。其中 DATABASE_TYPE 目前支持 mysql, postgresql, H2 
# 請確保配置的值使用雙引號引用，否則配置可能不生效 
DATABASE_TYPE="mysql" 
SPRING_DATASOURCE_URL="jdbc:mysql://192.168.56.201:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8" 
# 如果你不是以 dolphinscheduler/dolphinscheduler 作為用戶名和密碼的，需要進行修改 
SPRING_DATASOURCE_USERNAME="dolphinscheduler" 
SPRING_DATASOURCE_PASSWORD="dolphinscheduler" 
# --------------------------------------------------------- 
# Registry Server 
# --------------------------------------------------------- 
# 注冊中心地址，zookeeper服務的地址 
registryServers="192.168.56.201:2181"

zk地址獲取方式：

登錄manager，訪問zookeeper服務，copy管理ip即可（前提ECS與MRS集群網絡已打通）：

2. 修改 conf/env 目錄下的 dolphinscheduler_env.sh
以相關用到的軟件都安裝在/opt/Bigdata/client下為例：

?    export HADOOP_HOME=/opt/Bigdata/client/HDFS/Hadoop
?    export HADOOP_CONF_DIR=/opt/Bigdata/client/HDFS/Hadoop
?    export SPARK_HOME2=/opt/Bigdata/client/Spark2x/spark
?    export PYTHON_HOME=/usr/bin/pytho
?    export JAVA_HOME=/opt/Bigdata/client/JDK/jdk1.8.0_272
?    export HIVE_HOME=/opt/Bigdata/client/Hive/Beeline
?    export FLINK_HOME=/opt/Bigdata/client/Flink/flink
?    export DATAX_HOME=/xxx/datax/bin/datax.py
?    export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH

說明

• 這一步非常重要,例如 JAVA_HOME 和 PATH 是必須要配置的，沒有用到的可以忽略或者注釋掉

• 環境變量查找方式說明：假設MRS客戶端安裝在/opt/Bigdata/client

source /opt/client/bigdata_env
HADOOP_HOME環境地址：通過echo $HADOOP_HOME獲得 /opt/Bigdata/client/HDFS/Hadoop
HADOOP_CONF_DIR：/opt/Bigdata/client/HDFS/Hadoop
SPARK_HOME: 通過echo $SPARK_HOME獲得/opt/Bigdata/client/Spark2x/spark
JAVA_HOME: 通過echo $JAVA_HOME獲得/opt/Bigdata/client/JDK/jdk1.8.0_272
HIVE_HOME：通過echo $HIVE_HOME獲得/opt/Bigdata/client/Hive/Beeline
FLINK_HOME：通過echo $FLINK_HOME 獲得/opt/Bigdata/client/Flink/flink

3. 將mysql 驅動包放入lib下

tar -zxvf mysql-connector-java-5.1.47.tar.gz

cp mysql-connector-java-5.1.47.jar /opt/dolphinscheduler203/lib/

執行sh script/create-dolphinscheduler.sh

5. 服務安裝、啟停

每次啟停都可以重新部署一次：sh install.sh

啟停命令

# 一鍵停止集群所有服務 
sh ./bin/stop-all.sh 

# 一鍵開啟集群所有服務 
sh ./bin/start-all.sh 

# 啟停 Master 
sh ./bin/dolphinscheduler-daemon.sh stop master-server 
sh ./bin/dolphinscheduler-daemon.sh start master-server 

# 啟停 Worker 
sh ./bin/dolphinscheduler-daemon.sh start worker-server 
sh ./bin/dolphinscheduler-daemon.sh stop worker-server 

# 啟停 Api 
sh ./bin/dolphinscheduler-daemon.sh start api-server 
sh ./bin/dolphinscheduler-daemon.sh stop api-server 

# 啟停 Logger 
sh ./bin/dolphinscheduler-daemon.sh start logger-server 
sh ./bin/dolphinscheduler-daemon.sh stop logger-server 

# 啟停 Alert 
sh ./bin/dolphinscheduler-daemon.sh start alert-server 
sh ./bin/dolphinscheduler-daemon.sh stop alert-server 

# 啟停 Python Gateway 
sh ./bin/dolphinscheduler-daemon.sh start python-gateway-server 
sh ./bin/dolphinscheduler-daemon.sh stop python-gateway-server

6. 登錄系統

訪問前端頁面地址：http://xxx:12345/dolphinscheduler
用戶名密碼：admin/dolphinscheduler123

提交MRS任務1.登錄進入dolphinscheduler webui

2. 配置MRS-hive連接

登錄mrs manager查看hiveserver ip:

創建Hive數據連接，普通集群沒有權限可以使用默認用戶hive，如有需要可以使用在MRS里面已經創建的用戶:

3. 創建任務

1、創建項目

2、創建工作流

3、在工作流編輯任務

4、任務上線

5、啟動任務流之后可以查詢工作流實例和任務實例

6、登錄Manager頁面，選擇“集群 > 服務 > Yarn > 概覽”

7、單擊“ResourceManager WebUI”后面對應的鏈接，進入Yarn的WebUI頁面，查看Spark任務是否運行

到此，關于“基于云服務MRS如何構建DolphinScheduler2調度系統”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！