Un mémo sur la mise en place d’un cluster en haute disponibilité d’hyperviseurs Proxmox avec un stockage distribuée et redondant Ceph. Cet article traite uniquement de la mise en cluster des noeuds Proxmox ainsi que l’installation et de la configuration de Ceph.

Configuration Réseau des noeuds Proxmox

Chaque réseau sera cablé en topologie MESH et les interfaces réseaux créés dans Proxmox seront des aggrégations en mode Broadcast.
Pour plus d’infos voir cet article : https://memo-linux.com/proxmox-creer-un-cluster-sur-un-reseau-prive-sans-switch/

• Adresse IP public des noeuds Proxmox :
  • pve01 : 10.x.x.1
  • pve01 : 10.x.x.2
  • pve01 : 10.x.x.3
• Réseau Corosync (cluster Proxmox) : 192.168.254.0/24
  • pve01 : 192.168.254.1
  • pve02 : 192.168.254.2
  • pve03 : 192.168.254.3
• Réseau Ceph :
  • Ceph Public 192.168.252.0/24
    • pve01 : 192.168.252.1
    • pve02 : 192.168.252.2
    • pve03 : 192.168.252.3
  • Ceph Cluster 192.168.253.0/24
    • pve01 : 192.168.253.1
    • pve02 : 192.168.253.2
    • pve03 : 192.168.253.3

Mise en cluster des noeuds Proxmox

Avant la mise en cluster, il faut s’assurer absolument que chaque noeud soit à l’heure et synchronisé sur un serveur NTP.

chronyc tracking

• Initialisation du cluster sur un noeud aux choix :

pvecm create nom_cluster --link0 192.168.254.1

pvecm add 10.x.x.1 --link0 192.168.254.2

pvecm add 10.x.x.1 --link0 192.168.254.3

Installation de Ceph

L’installation et la configuration du Ceph sera réalisée via l’interface web de Proxmox.

• Sélectionner un noeud, dans le menu cliquer sur Ceph puis cliquer sur « Install Ceph » :



• Une nouvelle fenêtre s’ouvre, sélectionner la dernière version de Ceph (Reef) et le dépôt No-Subscription puis cliquer sur « Start reef installation » :



• Répondre « Y » puis la touche « Enter » du clavier :



• Une fois l’installation terminée, cliquer sur « Next » :



• Configuration réseau du cluster de Ceph :



• Sélectionner les adresses IP configurées pour chaque réseau Public et Cluster du Ceph :



• Installation et configuration du Ceph terminée :

Cependant, il faut refaire l’étape d’installation du Ceph sur les autres noeuds (sans la partie réseau).

Mise en place du Ceph sur le cluster Proxmox

• Sur chaque noeud, créer le Ceph Monitors :
  • Cliquer dans le menu Ceph, puis cliquer sur Monitor :

  

  • Cliquer cur « Create » :

  

  • Sélectionner le noeud :

  

  • Répéter l’opération sur l’autre noeud afin d’avoir l’ensemble des monitors :

  

• Sur chaque noeud, créer le Ceph Manager :
  • Toujours dans le menu Monitor, au niveau de Manager cliquer sur « Create » :

  

  • Sélectioner le noeud :

  

  • Répéter l’opération sur l’autre noeud afin d’avoir tous les Managers (à savoir, un seul est actif) :

  

• Création des OSD :
  • Pré-requis, il faut que les disques soient configurés en NON-RAID et visible dans le menu « Disks » :

  

  • Opération à réaliser sur chaque noeud, dans le menu Ceph, cliquer sur OSD puis sur « Create: OSD » :

  

  • Sélectionner le premier disque puis cliquer sur « Create » :

  

  • Répéter l’opération pour l’ensemble des disques :

  

• Création du pool Ceph pour le stockage :
  • Toujours dans le menu Ceph, cliquer sur « Pools » puis sur « Create » :

  

  • Donner un nom au pool Ceph puis cliquer sur « Create » :

  

  • Une fois le pool Ceph créé, le stockage est automatiquement créé et partagé aux membres du cluster Proxmox :

  

Mise en place de la HA pour les VMs

nb: Lors de la création d’une machine virtuelle, ne pas oublier de choisir le stockage correspondant au pool Ceph:

Encore à ce jour pour la gestion HA des machines virtuelles, j’utilise cette méthode -> https://memo-linux.com/proxmox-cluster-ha-repartition-de-charge-des-machines-virtuelles/

Un petit mémo sur comment corriger le message nginx: [warn] the « listen … http2 » directive is deprecated pour une configuration https d’un server block.

En effet, si un de des servers block est configuré en https comme ceci: listen 443 ssl http2; Nginx refusera de valider la configuration.

Pour que la configuration soit valide :

• changer la ligne :

listen 443 ssl http2;

listen 443 ssl;
http2 on;

nginx -t

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

systemctl restart nginx

• Ressource : https://nginx.org/en/docs/http/ngx_http_v2_module.html