建站
咨詢
售后
建站咨詢
新聞中心
在 KubeSphere 中開啟新一代云原生數(shù)倉 Databend
作者：Databend 2023-03-09 22:00:25
云計算
云原生 Databend 是一款完全面向云對象存儲的新一代云原生數(shù)據(jù)倉庫，專為彈性和高效設計，為您的大規(guī)模分析需求保駕護航。Databend 同時是一款符合 Apache-2.0 協(xié)議的開源軟件，除了訪問云服務（https://app.databend.com/）之外，用戶還可以自己部署 Databend 生產(chǎn)集群以滿足工作負載需要。
創(chuàng)新互聯(lián)公司于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目做網(wǎng)站、網(wǎng)站建設網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元偏關做網(wǎng)站,已為上家服務,為偏關各地企業(yè)和個人服務,聯(lián)系電話:18982081108
?前言
Databend 是一款完全面向云對象存儲的新一代云原生數(shù)據(jù)倉庫，專為彈性和高效設計，為您的大規(guī)模分析需求保駕護航。Databend 同時是一款符合 Apache-2.0 協(xié)議的開源軟件，除了訪問云服務（https://app.databend.com/）之外，用戶還可以自己部署 Databend 生產(chǎn)集群以滿足工作負載需要。
Databend 的典型使用場景包括：
- 實時分析平臺，日志的快速查詢與可視化。
- 云數(shù)據(jù)倉庫，歷史訂單數(shù)據(jù)的多維度分析和報表生成。
- 混合云架構，統(tǒng)一管理和處理不同來源和格式的數(shù)據(jù)。
- 成本和性能敏感的 OLAP 場景，動態(tài)調整存儲和計算資源。
KubeSphere 是在 Kubernetes 之上構建的以應用為中心的多租戶容器平臺，提供全棧的 IT 自動化運維的能力，可以管理多個節(jié)點上的容器化應用，提供高可用性、彈性擴縮容、服務發(fā)現(xiàn)、負載均衡等功能。
利用 KubeSphere 部署和管理 Databend 具有以下優(yōu)點：
- 使用 Helm Charts 部署 Databend 集群，簡化應用管理、部署過程和參數(shù)設置。
- 利用 Kubernetes 的特性來實現(xiàn) Databend 集群的自動恢復、水平擴展、負載均衡等。
- 與 Kubernetes 上的其他服務或應用輕松集成和交互，如 MinIO、Prometheus、Grafana 等。
本文將會介紹如何使用 KubeSphere 創(chuàng)建和部署 Databend 高可用集群，并使用 QingStor 作為底層存儲服務。
配置對象存儲
對象存儲是一種存儲模型，它把數(shù)據(jù)作為對象來管理和訪問，而不是文件或塊。對象存儲的優(yōu)點包括：可擴展性、低成本、高可用性等。
Databend 完全面向對象存儲而設計，在減少復雜性和成本的同時提高靈活性和效率。Databend 支持多種對象存儲服務，如 AWS S3、Azure Blob、Google Cloud Storage、HDFS、Alibaba Cloud OSS、Tencent Cloud COS 等。您可以根據(jù)業(yè)務的需求和偏好選擇合適的服務來存放你的數(shù)據(jù)。
這里我們以青云 QingStor 為例，介紹與 S3 兼容的對象存儲相關配置的預先準備工作。
創(chuàng)建 Bucket
對象存儲服務（QingStor）提供了一個無限容量的在線文件存儲和訪問平臺。每個用戶可創(chuàng)建多個存儲空間（Bucket）；您可以將任意類型文件通過控制臺或 QingStor API 上傳至一個存儲空間（Bucket）中；存儲空間（Bucket）支持訪問控制，您可以將自己的存儲空間（Bucket）開放給指定的用戶，或所有用戶。
登錄青云控制臺，選中對象存儲服務，新建用于驗證的 bucket 。
需要關注的是 bucket 的名字
由于這里使用 s3 兼容服務，所以最后連接的 endpoint_url 是 s3.
創(chuàng)建 API 密鑰
API 密鑰（Access Key）可以讓您通過發(fā)送 API 指令來訪問青云的服務。API 密鑰 ID 須作為參數(shù)包含在每一個請求中發(fā)送；而 API 密鑰的私鑰負責生成 API 請求串的簽名，私鑰需要被妥善保管，切勿外傳。默認所有 IP 地址都可使用此密鑰調用 API，設置 IP 白名單后只有白名單范圍內的 IP 地址才可使用此密鑰。
點擊右上方菜單，選中 API 密鑰，創(chuàng)建新的密鑰用于 API 訪問。
下載文件中的 qy_access_key_id? 對應 access_key_id? ，qy_secret_access_key? 對應 secret_access_key 。
準備 KubeSphere 環(huán)境
KubeSphere[1]（https://kubesphere.io）是在 Kubernetes 之上構建的開源容器平臺，提供全棧的 IT 自動化運維的能力，簡化企業(yè)的 DevOps 工作流。KubeSphere 已被海內外數(shù)萬家企業(yè)采用。此外， KubeSphere 還擁有極為開放的生態(tài)，KubeSphere 在 OpenPitrix 的基礎上，為用戶提供了一個基于 Helm 的應用商店，用于應用生命周期管理。KubeSphere 應用商店讓 ISV、開發(fā)者和用戶能夠在一站式服務中只需點擊幾下就可以上傳、測試、安裝和發(fā)布應用。目前 Databend 已入駐 KubeSphere 應用商店。
KubeSphere 環(huán)境搭建
All-in-One 模式部署測試環(huán)境
參考官方文檔[2] 。
在 Azure 上 Spot 一臺機器：
Welcome to Ubuntu 18.04.6 LTS (GNU/Linux 5.4.0-1089-azure x86_64)
* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage
System information as of Tue Sep 6 02:09:16 UTC 2022
System load: 0.15 Processes: 376
Usage of /: 4.8% of 28.89GB Users logged in: 0
Memory usage: 0% IP address for eth0: 10.0.0.4
Swap usage: 0%
以 All-In-One 模式部署：
注意，需要在 root 下運行。
apt install socat conntrack containerd
systemctl daemon-reload
systemctl enable --now containerd
curl -sfL https://get-kk.kubesphere.io | VERSION=v3.0.2 sh -
chmod +x kk
./kk create cluster --with-kubernetes v1.22.12 --with-kubesphere v3.3.1
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+
| name | sudo | curl | openssl | ebtables | socat | ipset | ipvsadm | conntrack | chrony | docker | containerd | nfs client | ceph client | glusterfs client | time |
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+
| ks | y | y | y | y | y | | | y | y | | 1.5.9-0ubuntu3.1 | | | | UTC 02:53:56 |
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+
如果提示依賴缺失，可以根據(jù)需要安裝，sudo apt install
|
Kubernetes Version ≥ 1.18 | |
|
socat |
Required |
|
conntrack |
Required |
|
ebtables |
Optional but recommended |
|
ipset |
Optional but recommended |
|
ipvsadm |
Optional but recommended |
訪問 KubeSphere 控制面板。
執(zhí)行下面命令查看關于登錄的信息：
Collecting installation results ...
#####################################################
### Welcome to KubeSphere! ###
#####################################################
Console: http://10.0.0.4:30880
Account: admin
Password: P@88w0rd
NOTES：
1. After you log into the console, please check the
monitoring status of service components in
"Cluster Management". If any service is not
ready, please wait patiently until all components
are up and running.
2. Please change the default password after login.
#####################################################
https://kubesphere.io 2022-09-06 15:41:44
#####################################################
訪問 30880 端口，并使用用戶名密碼登錄，就可以訪問 KubeSphere 。為確保能夠訪問 KubeSphere 和其他服務，請根據(jù)實際情況在云平臺控制面板為相應端口添加入站出站規(guī)則。
KubeSphere Cloud 創(chuàng)建演示環(huán)境
創(chuàng)建輕量集群服務：
注冊并登錄 https://kubesphere.cloud[3] 之后，可以輕松創(chuàng)建輕量集群服務。
使用默認配置創(chuàng)建免費版集群即可嘗鮮體驗，個人用戶每月有 10 小時免費額度。
訪問 KubeSphere 控制面板。
點擊進入 KubeSphere，使用臨時帳號密碼登錄。
插件啟用
登錄后的界面，如下圖所示：
如需使用應用商店，可以參考 KubeSphere 文檔 - 在安裝后啟用應用商店[4] 啟用。
開啟后可以在應用商店中搜索找到 Databend ，結果類似下圖。
企業(yè)空間與項目管理
點擊平臺管理?進入訪問控制?頁面，選中企業(yè)空間?，點擊創(chuàng)建?，在名稱?一欄填寫你想使用的名稱，比如 databend。
在側邊欄選中項目?，點擊創(chuàng)建?，分別創(chuàng)建為 databend-meta? 和 databend-query 準備的項目。創(chuàng)建后效果如圖所示：
部署 Databend
應用模板載入
雖然應用商店中已經(jīng)有 Databend 可供選用，但版本較舊（v0.8.122-nightly），新的 PR[5]（v1.0.3-nightly）需要等合并之后才可用，所以建議添加 Databend 官方維護的 helm-charts 作為應用模板。
Databend 官方提供了 Helm Charts ，而 KubeSphere 也支持使用 Helm Charts 應用模板。
應用模板是用戶上傳、交付和管理應用的一種方式。一般來說，根據(jù)一個應用的功能以及與外部環(huán)境通信的方式，它可以由一個或多個 Kubernetes 工作負載（例如部署[6]、有狀態(tài)副本集[7]和守護進程集[8]）和服務[9]組成。作為應用模板上傳的應用基于 Helm[10] 包構建。可以將 Helm Chart 交付至 KubeSphere 的公共倉庫，或者導入私有應用倉庫來提供應用模板。https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/[11]
在企業(yè)空間側邊欄選中 應用管理 ，點擊 應用倉庫 ，添加 Databend 官方維護的 Helm Charts[12] 。
待狀態(tài)變?yōu)槌晒?，就可以基于模板安裝部署新的 Databend 應用。
Databend 部署模型
參考 Databend 官方文檔 - Understanding Deployment Modes 文檔[13]。
典型的 Databend 集群架構如下圖所示，需要分別部署多個 Meta 和 Query 節(jié)點：
在集群模式下部署 Databend 時，首先需要啟動一個 Meta 節(jié)點，然后設置并啟動其他 Meta 節(jié)點以加入第一個 Meta 節(jié)點，形成集群。在成功啟動所有 Meta 節(jié)點后，逐個啟動 Query 節(jié)點。每個 Query 節(jié)點在啟動后自動注冊到 Meta 節(jié)點以形成集群。
Meta 高可用集群部署
選中 databend-meta? 項目。點擊側邊欄應用負載?，選中應用?。點擊創(chuàng)建?，并選中從應用模板。下拉欄中選中之前添加的 Databend ，效果如圖：
選中 databend-meta?，點擊安裝，設定應用名稱及版本，我們推薦總是使用最新版本，以獲得更好的體驗。
使用示例設置，創(chuàng)建 3 副本的 databend-meta 節(jié)點形成集群。生產(chǎn)環(huán)境下推薦至少使用 3 副本高可用集群，可以參考 Databend 官方文檔進行配置。
bootstrap: true
replicaCount: 3
persistence:
size: 5Gi # 考慮到宿主機資源有限，僅供示范
serviceMonitor:
enabled: true
Query 集群部署
在 Meta 節(jié)點的所有副本就緒之后，就可以開始部署 Query 集群。
Query 節(jié)點部署的前置步驟與 Meta 節(jié)點類似。進入 databend-query 項目，仿照之前的步驟選中 databend-query 應用模板進行創(chuàng)建即可。
配置中需要關注的部分是：
- databend-meta 連接：這里的地址取決于之前部署的 Meta 集群的相關信息。
- 存儲方式：本示例連接的是 QingStor ，使用 S3 兼容協(xié)議，所以需要特別關注 endpoint_url 。
- 內置用戶創(chuàng)建：創(chuàng)建一個名為 databend? 密碼為 databend 的內置用戶，以方便在非 localhost 情況下訪問。
這里啟動的是一個單副本的 Query 集群，實際情況下可以根據(jù)工作負載規(guī)模靈活調整。
replicaCount: 1
config:
query:
clsuterId: default
# add builtin user
users:
- name: databend
# available type: sha256_password, double_sha1_password, no_password, jwt
authType: double_sha1_password
# echo -n "databend" | sha1sum | cut -d' ' -f1 | xxd -r -p | sha1sum
authString: 3081f32caef285c232d066033c89a78d88a6d8a5
meta:
# Set endpoints to use remote meta service
# depends on previous deployed meta service、namespace and nodes
endpoints:
- "databend-meta-0.databend-meta.databend-meta.svc:9191"
- "databend-meta-1.databend-meta.databend-meta.svc:9191"
- "databend-meta-2.databend-meta.databend-meta.svc:9191"
storage:
# s3, oss
type: s3
s3:
bucket: ""
endpoint_url: "https://s3..qingstor.com" # for qingstor
access_key_id: ""
secret_access_key: ""
# [recommended] enable monitoring service
serviceMonitor:
enabled: true
# [recommended] enable access from outside cluster
service:
type: LoadBalancer
KubeSphere 監(jiān)控
KubeSphere 觀測工作負載
待狀態(tài)變?yōu)檫\行中即可，這時可以很方便使用 KubeSphere 觀測工作負載。
資源狀態(tài)
- databend-meta
- databend-query
監(jiān)控
- databend-meta
- databend-query
可訪問性測試
節(jié)點狀態(tài)檢測
如果是在 All-in-One 模式下部署，我們可以輕松使用容器組 IP 地址來測試節(jié)點狀態(tài)。
psiace@ks:~$ curl 10.233.107.113:8080/v1/health
{"status":"pass"}
而使用 KubeSphere Cloud 部署時，可以在 KubeSphere Cloud 控制面板，選擇網(wǎng)絡以創(chuàng)建訪問規(guī)則。
這里以 8080（Admin API）和 8000（Query HTTP Handler）端口為例：
創(chuàng)建后的結果如下圖所示：
同樣我們可以使用 curl 來檢查節(jié)點狀態(tài)。
psiace@ks:~$ curl https://admin-gfkyzxaz.c.kubesphere.cloud:30443/v1/health
{"status":"pass"}
執(zhí)行查詢
bendsql 是一個十分方便的命令行界面工具，可以幫助您順暢高效地使用 Databend 。bendsql 也支持連接 Databend Cloud ，管理計算集群和運行 SQL 查詢。
安裝 bendsql
$ go install github.com/databendcloud/bendsql/cmd/bendsql@latest
連接 databend 集群（以 KubeSphere Cloud 為例）
$ bendsql connect -H query-gfkyzxaz.c.kubesphere.cloud -P 30443 -u databend -p databend --ssl
Connected to Databend on Host: query-gfkyzxaz.c.kubesphere.cloud
Version: DatabendQuery v0.9.57-nightly-df858a1(rust-1.68.0-nightly-2023-03-01T01:23:11.56066902Z)
嘗試執(zhí)行查詢
$ bendsql query
Connected with driver databend (DatabendQuery v0.9.57-nightly-df858a1(rust-1.68.0-nightly-2023-03-01T01:23:11.56066902Z))
Type "help" for help.
dd:databend@query-gfkyzxaz/default=> SELECT avg(number) FROM numbers(1000);
+-------------+
| avg(number) |
+-------------+
| 499.5 |
+-------------+
(1 row)
總結
本文介紹了如何使用 KubeSphere 創(chuàng)建和部署 Databend 高可用集群，后端存儲服務采用 QingStor ，最后使用 bendsql 演示連接集群和執(zhí)行查詢。
引用鏈接
[1]KubeSphere: https://github.com/kubesphere/kubesphere
[2]官方文檔: https://kubesphere.io/zh/docs/v3.3/quick-start/all-in-one-on-linux/
[3]https://kubesphere.cloud: https://kubesphere.cloud/
[4]KubeSphere 文檔 - 在安裝后啟用應用商店: https://kubesphere.io/zh/docs/v3.3/pluggable-components/app-store/#%E5%9C%A8%E5%AE%89%E8%A3%85%E5%90%8E%E5%90%AF%E7%94%A8%E5%BA%94%E7%94%A8%E5%95%86%E5%BA%97
[5]PR: https://github.com/kubesphere/helm-charts/pull/288
[6]部署: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/deployments/
[7]有狀態(tài)副本集: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/statefulsets/
[8]守護進程集: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/daemonsets/
[9]服務: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/services/
[10]Helm: https://helm.sh/
[11]https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/: https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/
[12]Helm Charts: https://charts.databend.rs/
[13] https://databend.rs/doc/deploy/understanding-deployment-modes
文章名稱：在 KubeSphere 中開啟新一代云原生數(shù)倉 Databend
網(wǎng)址分享：http://www.fisionsoft.com.cn/article/djdicjh.html
