使用Proxmox搭建私有云平台
企業目前上云,有多種選擇,那么對于中小企業,從成本和規模考慮,如何搭建自己的私有云環境,筆者這里根據自己的一個實踐環境,嘗試搭建一套小型私有云環境,功能并不完善,但基本能滿足中小企業的需求。
硬件環境準備
環境的搭建,硬件成本是必須的,沒有物理設備,那么巧婦難為無米之炊~~
服務器設備:
建議采購3臺以上X86兩路服務器,CPU配置根據需求,建議5218金牌。內存配置256G以上。配置SSD卡(32G以上、2塊RAID-1)、SSD硬盤(512G以上、2塊以上)、大容量4T的SATA硬盤(根據預算,配置8塊以上,同時也考慮實際使用情況擴容)。配置萬兆網卡2口2塊(實現冗余)、配置千兆網卡4口2塊(實現冗余)。
這樣的硬件設備,配置較好的CPU、SSD硬盤、大容量SATA硬盤,可以實現計算和存儲節點在一塊,也有一些超融合的概念。
配套網絡設備
萬兆網絡交換機
千兆網絡交換機
軟件準備
相信很多企業都在使用VMware的Exsi,VMware的價格還是比較高的,那么再新建一套虛擬化環境,從成本考慮采用開源的免費軟件,這里選擇了Proxmox,目前版本是6.0.(下載地址:https://pve.proxmox.com/wiki/Downloads)
Proxmox集成了Ceph功能,配合上述說的計算存儲統一部署,那么選擇Proxmox節省了很多部署上的問題,使得整個部署更簡單。
有了虛擬化軟件,那么還需要一套云管平臺,統一來納管資源,包括VMware和新的虛擬化資源池。
支持Vmware的云管平臺很多,但是同時支持VMware和Proxmox的云管平臺比較少,有些云管平臺支持早期的Proxmox版本,但是最新的都需要自定義開發,這里選擇了某廠商的一個云管平臺,對Proxmox6.0支持并不完全。
遷移,如果需要遷移一部分VMware虛擬機到Proxmox,這里可以參考VMware導出OVA模板,在導出模板后加一個Ios后綴,上傳至Proxmox,解壓-導入。具體可參考:https://blog.csdn.net/zebra2011/article/details/83046841
安裝配置
系統安裝
Proxmox目前網絡上有很多安裝文檔,大致雷同,這里就不在重復累贅,截取需要注意的幾部分:
使用U盤或者刻盤安裝都可以,基本都是下一步點擊,這里注意:
選擇系統安裝硬盤,因為服務器中有多個盤,這里記得選擇下。
網卡配置,記得這里有多塊網卡,要區分做管理網段的網卡、業務網段網卡、Ceph集群網卡。
接下來按部就班完成安裝即可。
假設目前環境中已經有ntp服務器,那么上訴服務器能鏈接外網,強烈建議
apt-get install ntp
如果設備你在內網那么ntp安裝稍微麻煩一點,首先Proxmox基于Debian,那么要去Debian官網去下載相關軟件包進行安裝。https://www.debian.org/distrib/packages 搜索安裝包離線安裝,同時會有一些依賴,依次下載安裝。
地址配置
每臺設備安裝完成后,根據需求,一般正式環境有管理網段、生產網段、Ceph網段。使用nano命令打開文件進行配置。
nano /etc/network/interface
配置網卡eth0的IP地址
auto eth0 表示網卡隨系統自動請
iface eth0 inet static 表示網卡為靜態ip地址
address 192.168.2.147 表示設置ip地址
netmask 255.255.255.0 表示子網掩碼
gateway 192.168.2.1 表示網關。
配置多塊網卡,記得根據接入的交換機,網關地址不設置。
理論上多塊網卡配置業務網卡bond綁定,Ceph網絡bond綁定,管理網卡可考慮單口
考慮Ceph模塊的在線下載,那么編輯 /etc/resolv.conf 配置DNS
完成后重啟網絡服務即可。systemctl restart networking
注意:這里沒有ifconfig命令,查看IP請用ip addr
集群配置
在每天設備的/etc/hosts配置好相應的IP和主機名,通過瀏覽器登錄:https://IP:8006 登錄名為:root密碼為安裝時候設置的密碼。
選擇其中一臺主機來創建集群,這些都可以在頁面上操作完成,然后把其余的幾臺設備添加進來,這時候建議ssh登錄服務器,執行:
pvecm add IP
yes
查看輸出,成功即可
輸入:
pvecm status 查看集群狀態
登錄之前的瀏覽器頁面
這時候Proxmox集群就完成了。
Ceph模塊安裝
Ceph模塊安裝還是建議先把設備連接至外網,點擊之前瀏覽器頁面中每臺主機的ceph選項,在外網通訊正常情況下會自動安裝。
之前先進行網絡配置或者檢查網絡配置
配置Ceph網卡,Proxmox其實是一個定制化的Debian。
nano /etc/network/interface
中選擇萬兆網卡,其實寫入配置文件。
配置網卡eth0的IP地址
auto eth0 表示網卡隨系統自動請
iface eth0 inet static 表示網卡為靜態ip地址
address IP地址 表示設置ip地址
netmask 255.255.255.0 表示子網掩碼
gateway 網關地址不需要,因為之前業務網卡已經配置過網關,這里選擇另外網段的地址來作為ceph的網絡
如果設備鏈接在外網,那么Proxmox6版本中,點擊左側ceph,自動會進行安裝,4臺機器都安裝ceph。
另外一種方式,通過登錄服務器命令行去安裝:
pveceph install --version 需要的版本 --每個節點安裝ceph軟件包
pveceph init --network 192.168.10.0/24 初始化ceph的網絡
pveceph createmon --創建mon
配置ntp服務,對于Ceph來說,ntp服務是必須的,如果有內網ntp可以通過設置ntpdate來進行時間同步,不然會一直報錯。
之后登錄網頁管理控制臺,在其余三個節點都創建mon。
之后再創建OSD,把目前系統上識別出來的硬盤,逐步添加:
注意:Ceph配置完成后記得創建pool,這也只需要頁面點擊即可,命名,size=3表示是三副本(正常),min_size表示最小數據副本,這里需要注意pg_num,一般要保證每一個硬盤上不少于30個,不然整個ceph集群中會有警告,那么根據自身的硬盤數量來設置,后期也可以改,那么就需要去重平衡,這個時間會比較久~
創建RBD存儲池,點擊左側存儲,添加即可,選擇之前的節點即可。
云管平臺納管
選擇一款云管平臺,接入納管VMware和Proxmox,編輯工單實現資源的分配、擴容、銷毀等功能。
新建用戶:
設計相關流程和工單:
虛擬機新建
熟悉VMware的,其實用Proxmox很容易上手,點擊主機,右鍵選擇新建即可:
選擇Ceph存儲,其他選項下一步根據實際情況來選擇。
整個集群狀態
虛擬機狀態
常用命令
整個搭建過程并不復雜,登錄服務器,常用命令如下:
qm是最重要的命令:
USAGE: qm [ARGS] [OPTIONS]
??? qm cloudinit dump
??? qm guest cmd
??? qm guest exec-status
??? qm guest passwd [OPTIONS]
??? qm guest exec [] [OPTIONS]
??? qm clone [OPTIONS]
??? qm config [OPTIONS]
??? qm create [OPTIONS]
??? qm delsnapshot [OPTIONS]
??? qm destroy [OPTIONS]
??? qm list [OPTIONS]
??? qm listsnapshot
??? qm migrate [OPTIONS]
??? qm move_disk [OPTIONS]
??? qm pending
??? qm reset [OPTIONS]
??? qm resize [OPTIONS]
??? qm resume [OPTIONS]
??? qm rollback
??? qm sendkey [OPTIONS]
??? qm set [OPTIONS]
??? qm shutdown [OPTIONS]
??? qm snapshot [OPTIONS]
??? qm start [OPTIONS]
??? qm stop [OPTIONS]
??? qm suspend [OPTIONS]
??? qm template [OPTIONS]
??? qm unlink --idlist [OPTIONS]
??? qm cleanup
??? qm importdisk [OPTIONS]
??? qm importovf [OPTIONS]
??? qm monitor
??? qm mtunnel
??? qm nbdstop
??? qm rescan [OPTIONS]
??? qm showcmd [OPTIONS]
??? qm status [OPTIONS]
??? qm terminal [OPTIONS]
??? qm unlock
??? qm vncproxy
??? qm wait [OPTIONS]
查看當前主機的虛擬機
??? root@pve1:~# qm list
??? VMID NAME STATUS MEM(MB) BOOTDISK(GB) PID
??? 103 redhat6o11g stopped 16384 150.00 0
ceph命令,熟悉ceph的同學,ceph的命令在這邊都是適用的。
如查看集群狀態:
??? root@pve1:~# ceph -s
??? cluster:
??? id: 580f4d51-b80e-4842-b394-484cbd3ad0b6
??? health: HEALTH_OK
??? services:
??? mon: 4 daemons, quorum pve1,pve2,pve3,pve4 (age 4d)
??? mgr: pve1(active, since 3d)
??? osd: 40 osds: 40 up (since 3d), 40 in (since 4d)
??? data:
??? pools: 2 pools, 640 pgs
??? objects: 105.74k objects, 410 GiB
??? usage: 237 GiB used, 130 TiB / 130 TiB avail
??? pgs: 640 active+clean
注意事項:
1.Proxmox中新建的虛擬機需要添加到HA集群。
2.云管平臺納管,需要有相應的自定義開發,Proxmox接入自動化實現目前還有問題。
3.Ceph集群偶爾會報節點不可用,這個時候只能重啟故障節點,出現概率不高。
4.Proxmox遷移虛擬機的速度比VMware要慢不少。
————————————————
版權聲明:本文為CSDN博主「投河自盡的魚」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/sxjinmingjie/article/details/101694507
總結
以上是生活随笔為你收集整理的使用Proxmox搭建私有云平台的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 蛮力法/01背包问题
- 下一篇: 最优化:一维搜索的Wolfe条件与Gol