|
Linux 系統(tǒng) |
版本 |
|
CentOS |
7.1 及以上 |
|
Ubuntu |
16.04 及以上 |
幫助中心
這里有最新的使用文檔和教程
Doris的單機部署與安裝
一、Doris概述
Doris 作為一款開源的 MPP 架構 OLAP 數(shù)據(jù)庫，能夠運行在絕大多數(shù)主流的商用服務器上。為了能夠充分運用 MPP 架構的并發(fā)優(yōu)勢，以及 Doris 的高可用特性，我們建議 Doris 的部署遵循以下需求：
Linux 操作系統(tǒng)版本需求：
軟件需求：
時鐘同步
Doris 的元數(shù)據(jù)要求時間精度要小于5000ms，所以所有集群所有機器要進行時鐘同步，避免因為時鐘問題引發(fā)的元數(shù)據(jù)不一致導致服務出現(xiàn)異常。
關閉交換分區(qū)（swap）
Linux交換分區(qū)會給Doris帶來很嚴重的性能問題，需要在安裝之前禁用交換分區(qū)
Linux文件系統(tǒng)
ext4和xfs文件系統(tǒng)均支持。
Doris整體架構如下圖所示，Doris架構非常簡單，只有兩類進程
Frontend（FE）：主要負責用戶請求的接入、查詢解析規(guī)劃、元數(shù)據(jù)的管理、節(jié)點管理相關工作。
Backend（BE）：主要負責數(shù)據(jù)存儲、查詢計劃的執(zhí)行。
注1：
- FE 的磁盤空間主要用于存儲元數(shù)據(jù)，包括日志和 image。通常從幾百 MB 到幾個 GB 不等。
- BE 的磁盤空間主要用于存放用戶數(shù)據(jù)，總磁盤空間按用戶總數(shù)據(jù)量 * 3（3副本）計算，然后再預留額外 40% 的空間用作后臺 compaction 以及一些中間數(shù)據(jù)的存放。
- 一臺機器上雖然可以部署多個 BE，但只建議部署一個實例，同時只能部署一個 FE。如果需要 3 副本數(shù)據(jù)，那么至少需要 3 臺機器各部署一個 BE 實例（而不是1臺機器部署3個BE實例）。多個FE所在服務器的時鐘必須保持一致（允許最多5秒的時鐘偏差）
- 測試環(huán)境也可以僅適用一個 BE 進行測試。
- 實際生產(chǎn)環(huán)境，BE 實例數(shù)量直接決定了整體查詢延遲。
- 所有部署節(jié)點關閉 Swap。
注2：
- FE 節(jié)點的數(shù)量FE 角色分為 Follower 和 Observer，（Leader 為 Follower 組中選舉出來的一種角色，以下統(tǒng)稱 Follower）。
- FE 節(jié)點數(shù)據(jù)至少為1（1 個 Follower）。當部署 1 個 Follower 和 1 個 Observer 時，可以實現(xiàn)讀高可用。當部署 3 個 Follower 時，可以實現(xiàn)讀寫高可用（HA）。
- Follower 的數(shù)量必須為奇數(shù)，Observer 數(shù)量隨意。
- 根據(jù)以往經(jīng)驗，當集群可用性要求很高時（比如提供在線業(yè)務），可以部署 3 個 Follower 和 1-3 個 Observer。如果是離線業(yè)務，建議部署 1 個 Follower 和 1-3 個 Observer。
- 通常我們建議 10 ~ 100 臺左右的機器，來充分發(fā)揮 Doris 的性能（其中 3 臺部署 FE（HA），剩余的部署 BE）
- 當然，Doris的性能與節(jié)點數(shù)量及配置正相關。在最少4臺機器（一臺 FE，三臺 BE，其中一臺 BE 混部一個 Observer FE 提供元數(shù)據(jù)備份），以及較低配置的情況下，依然可以平穩(wěn)的運行 Doris。
- 如果 FE 和 BE 混部，需注意資源競爭問題，并保證元數(shù)據(jù)目錄和數(shù)據(jù)目錄分屬不同磁盤。
二、安裝部署
1、環(huán)境需要準備mysql、JDK以及Doris安裝包。
JDK官網(wǎng)下載地址Java Downloads | Oracle
[root@node1 tmp]# wget https://download.oracle.com/otn/java/jdk/11.0.22+9/8662aac2120442c2a89b1ee9c67d7069/jdk-11.0.22_linux-x64_bin.tar.gz?AuthParam=1708332186_1be3fdf931328e94bc691cbf6fe71eb1
[root@node1 tmp]# tar xf jdk-11.0.22_linux-x64_bin.tar.gz?AuthParam=1708332186_1be3fdf931328e94bc691cbf6fe71eb1 -C /usr/java/
export JAVA_HOME=/usr/java/jdk-11.0.22/
export PATH=$PATH:$JAVA_HOME/bin
[root@node1 tmp]# source /etc/profile ---使配置生效
[root@node1 tmp]# java --version ---查看Java版本，驗證配置是否生效
2、下載安裝包
官網(wǎng)下載地址Download - Apache Doris
[root@node1 tmp]# wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.0-bin-x64.tar.gz
3、修改limits文件
[root@node1 ~]# vi /etc/security/limits.conf
- soft nofile 65536
- hard nofile 65536
- soft nproc 65536
- hard nproc 65536
[root@node1 ~]# vi /etc/sysctl.conf
添加
fs.file-max = 6553560
vm.max_map_count = 2000000
[root@node1 ~]# sysctl -p ---執(zhí)行生效
[root@node1 ~]# swapoff -a --關閉交換分區(qū)
4、解壓安裝包
[root@node1 tmp]# mkdir -p /data/doris
[root@node1 tmp]# tar xf apache-doris-2.0.0-bin-x64.tar.gz -C /data/doris/
5、配置啟動FE
[root@node1 tmp]# vi /data/doris/apache-doris-2.0.0-bin-x64/fe/conf/fe.conf
priority_networks = 192.168.12.0/24
meta_dir = /data/doris/doris-meta
priority_networks 是 FE 和 BE 都有的一個配置，配置項需寫在 fe.conf 和 be.conf 中。該配置項用于在 FE 或 BE 啟動時，告訴進程應該綁定哪個IP。
注意：
這里你可以不配置，默認是在你的Doris FE 安裝目錄下的 doris-meta，單獨配置元數(shù)據(jù)目錄，需要你提前創(chuàng)建好你指定的目錄。
生產(chǎn)環(huán)境強烈建議單獨指定目錄不要放在Doris安裝目錄下，最好是單獨的磁盤（如果有SSD最好），測試開發(fā)環(huán)境可以使用默認配置。
[root@node1 ~]# mkdir /data/doris/doris-meta ---創(chuàng)建元數(shù)據(jù)目錄
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/fe/bin/start_fe.sh --daemon ---后臺啟動FE
前臺啟動（建議首次啟動使用前臺，便于查看運行信息，檢測是否正常啟動）
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/fe/bin/start_fe.sh
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/fe/bin/stop_fe.sh ---停止FE節(jié)點
檢查 Doris 是否啟動成功
[root@node1 ~]# curl http://127.0.0.1:8030/api/bootstrap
如果返回結果中帶有
"msg":"success" 字樣，則說明啟動成功。
6、配置啟動BE
[root@node1 tmp]# vi /data/doris/apache-doris-2.0.0-bin-x64/be/conf/be.conf
export JAVA_HOM=/usr/local/jdk/ ---配置 JAVA_HOME 環(huán)境變量
priority_networks = 192.168.12.0/24
storage_root_path = /data/doris/doris-storage/
由于從 1.2 版本開始支持 Java UDF 函數(shù)，BE 依賴于 Java 環(huán)境。所以要預先配置 `JAVA_HOME` 環(huán)境變量，也可以在 `start_be.sh` 啟動腳本第一行添加 `export JAVA_HOME=your_java_home_path` 來添加環(huán)境變量。
[root@node1 tmp]# mkdir /data/doris/doris-storage/ ---創(chuàng)建BE 數(shù)據(jù)存儲目錄
注意：
- 默認目錄在 BE安裝目錄的 storage 目錄下。
- BE 配置的存儲目錄必須先創(chuàng)建好
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/be/bin/start_be.sh --daemon ----后臺啟動BE
前臺啟動（建議首次啟動使用前臺，便于查看運行信息，檢測是否正常啟動）
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/be/bin/start_be.sh
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/be/bin/stop_be.sh --停止BE節(jié)點
問題1：在啟動BE時報下面錯誤
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/be/bin/start_be.sh --daemon
Please set the maximum number of open file descriptors larger than 60000, eg: 'ulimit -n 60000'.
解決方法：
[root@node1 tmp]# ulimit -n 60000
問題2：在啟動BE時報下面錯誤
[root@node1 tmp]# sh /data/doris/apache-doris-2.0.0-bin-x64/be/bin/start_be.sh --daemon
Please disable swap memory before installation, eg: 'swapoff -a'.
解決方法：
[root@node1 tmp]# swapoff -a
7、檢查FE和BE是否啟動成功
[root@node1 tmp]# jps
8、web測試
http:// fe_ip:8030 （賬號 root 密碼默認為空）
http://192.168.12.100:8030/login
注意：
- 這里我們使用 Doris 內置的默認用戶 root 進行登錄，密碼是空
- 這是一個 Doris 的管理界面，只能擁有管理權限的用戶才能登錄，普通用戶不能登錄。
[root@node1 tmp]# mysql -uroot -P9030 -h 192.168.12.100
mysql> show frontends\G;
如果 IsMaster、Join 和 Alive 三列均為true，則表示節(jié)點正常
注意：
- 這里使用的 root 用戶是 doris 內置的默認用戶，也是超級管理員用戶，具體的用戶權限查看 權限管理
- -P ：這里是我們連接 Doris 的查詢端口，默認端口是 9030，對應的是fe.conf里的 query_port
- -h ： 這里是我們連接的 FE IP地址，如果你的客戶端和 FE 安裝在同一個節(jié)點可以使用192.168.12.100。