Proxmox 8 cluster HA + Ceph
Un mémo sur la mise en place d’un cluster en haute disponibilité d’hyperviseurs Proxmox avec un stockage distribuée et redondant Ceph. Cet article traite uniquement de la mise en cluster des noeuds Proxmox ainsi que l’installation et de la configuration de Ceph.
Configuration Réseau des noeuds Proxmox
Chaque réseau sera cablé en topologie MESH et les interfaces réseaux créés dans Proxmox seront des aggrégations en mode Broadcast.
Pour plus d’infos voir cet article : https://memo-linux.com/proxmox-creer-un-cluster-sur-un-reseau-prive-sans-switch/
- Adresse IP public des noeuds Proxmox :
- pve01 : 10.x.x.1
- pve01 : 10.x.x.2
- pve01 : 10.x.x.3
- Réseau Corosync (cluster Proxmox) : 192.168.254.0/24
- pve01 : 192.168.254.1
- pve02 : 192.168.254.2
- pve03 : 192.168.254.3
- Réseau Ceph :
- Ceph Public 192.168.252.0/24
- pve01 : 192.168.252.1
- pve02 : 192.168.252.2
- pve03 : 192.168.252.3
- Ceph Cluster 192.168.253.0/24
- pve01 : 192.168.253.1
- pve02 : 192.168.253.2
- pve03 : 192.168.253.3
- Ceph Public 192.168.252.0/24
Mise en cluster des noeuds Proxmox
Avant la mise en cluster, il faut s’assurer absolument que chaque noeud soit à l’heure et synchronisé sur un serveur NTP.
chronyc tracking
- Initialisation du cluster sur un noeud aux choix :
pvecm create nom_cluster --link0 192.168.254.1
- Sur pve02 :
pvecm add 10.x.x.1 --link0 192.168.254.2
pvecm add 10.x.x.1 --link0 192.168.254.3
Installation de Ceph
L’installation et la configuration du Ceph sera réalisée via l’interface web de Proxmox.
- Sélectionner un noeud, dans le menu cliquer sur Ceph puis cliquer sur « Install Ceph » :
- Une nouvelle fenêtre s’ouvre, sélectionner la dernière version de Ceph (Reef) et le dépôt No-Subscription puis cliquer sur « Start reef installation » :
- Répondre « Y » puis la touche « Enter » du clavier :
- Une fois l’installation terminée, cliquer sur « Next » :
- Configuration réseau du cluster de Ceph :
- Sélectionner les adresses IP configurées pour chaque réseau Public et Cluster du Ceph :
- Installation et configuration du Ceph terminée :
Cependant, il faut refaire l’étape d’installation du Ceph sur les autres noeuds (sans la partie réseau).
Mise en place du Ceph sur le cluster Proxmox
- Sur chaque noeud, créer le Ceph Monitors :
- Sur chaque noeud, créer le Ceph Manager :
- Création des OSD :
- Pré-requis, il faut que les disques soient configurés en NON-RAID et visible dans le menu « Disks » :
- Opération à réaliser sur chaque noeud, dans le menu Ceph, cliquer sur OSD puis sur « Create: OSD » :
- Sélectionner le premier disque puis cliquer sur « Create » :
- Répéter l’opération pour l’ensemble des disques :
- Création du pool Ceph pour le stockage :
Mise en place de la HA pour les VMs
nb: Lors de la création d’une machine virtuelle, ne pas oublier de choisir le stockage correspondant au pool Ceph:
Encore à ce jour pour la gestion HA des machines virtuelles, j’utilise cette méthode -> https://memo-linux.com/proxmox-cluster-ha-repartition-de-charge-des-machines-virtuelles/