BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster

• BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster
  • Contenu du Module
  • Pré-requis
    • Matériel
    • Logiciels
    • Internet
  • Utilisation de l'Infrastructure
    • Connexion au Serveur Cloud
      • Linux, MacOS et Windows 10 muni du client ssh
      • Windows 7 et Windows 10 sans client ssh
    • Créer le Réseau Privé Hôte 192.168.56.0/24
    • Vérifier/Editer le contenu du fichier /etc/hosts
    • Démarrage des Machines Virtuelles
    • Connexion aux Machines Virtuelles
  • Se connecter en mode graphique au serverXX.ittraining.network
  • Utiliser la console Ambari
    • Get Started
    • Install Options
    • Confirm Hosts
    • Choose Services
    • Assign Masters
    • Assign Slaves and Clients
    • Customize Services
    • Review
    • Install, Start and Test

• Un poste (MacOS, Linux, Windows™ ou Solaris™),
• Clavier AZERTY FR ou QWERTY US,
• 4 Go de RAM minimum,
• Processeur 2 cœurs minimum,
• Un casque ou des écouteurs,
• Un micro (optionnel).

• Si Windows™ - Putty et WinSCP,
• Navigateur Web Chrome ou Firefox.

• Un accès à Internet rapide (4G minimum) sans passer par un proxy,
• Accès débloqué aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.

Pendant la durée de la formation, vous disposez d'un serveur dédié XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID, pré-installé, pré-configuré et hébergé dans le cloud.

Ce serveur est muni de VirtualBox. Six machines virtuelles CentOS 7 ont été configurées selon le tableau ci-dessous :

Les noms d'utilisateurs et les mots de passe sont :

Commencez donc par vous connecter en ssh à votre serveur dédié :

Ouvrez un terminal ou CMD et tapez la commande suivante :

$ ssh -l desktop serverXX.ittraining.network

> ssh -l desktop serverXX.ittraining.network

où XX représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.

Ouvrez putty et utilisez les informations suivantes pour vous connecter à votre serveur dédié :

• Host Name –> serverXX.ittraining.network
• Port –> 22

Au prompt, connectez-vous en tant que desktop avec le mot de passe qui vous a été fourni.

Créez le Réseau Privé Hôte 192.168.56.0/24 qui permettra la communication entre les machines virtuelles :

desktop@serverXX:~$ VBoxManage hostonlyif create
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Interface 'vboxnet0' was successfully created

Si besoin est, éditez le fichiers /etc/hosts ainsi :

desktop@serverXX:~$ sudo su -
[sudo] password for desktop: 
root@serverXX:~# vi /etc/hosts
root@serverXX:~# cat /etc/hosts
127.0.0.1	localhost
127.0.1.1	serverXX.ittraining.network	serverXX

# The following lines are desirable for IPv6 capable hosts
::1	localhost	ip6-localhost ip6-loopback
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
XXX.XXX.XXX.XXX	serverXX.ittraining.network	serverXX
192.168.56.2   master1.ittraining.loc  master1
192.168.56.3   master2.ittraining.loc  master2
192.168.56.4   master3.ittraining.loc  master3
192.168.56.5   worker1.ittraining.loc  worker1
192.168.56.6   worker2.ittraining.loc  worker2
192.168.56.7   worker3.ittraining.loc  worker3
root@serverXX:~# exit
logout

Importez les VMs :

desktop@serverXX:~$ cd Downloads
desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept

Démarrez les VMs :

desktop@serverXX:~/Downloads$ cd ~
desktop@serverXX:~$ VBoxManage startvm master1 --type headless
desktop@serverXX:~$ VBoxManage startvm master2 --type headless
desktop@serverXX:~$ VBoxManage startvm master3 --type headless
desktop@serverXX:~$ VBoxManage startvm worker1 --type headless
desktop@serverXX:~$ VBoxManage startvm worker2 --type headless
desktop@serverXX:~$ VBoxManage startvm worker3 --type headless

En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine master1 :

desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc

En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine master2 :

desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc

En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine master3 :

desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc

En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker1 :

desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc

En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker2 :

desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc

En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker3 :

desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc

Téléchargez le client X2Go ( https://wiki.x2go.org/doku.php/download:start ) et installez-le. Créez une nouvelle connexion XFCE pour votre serveur :

Connectez-vous au serverXX :

Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur admin et le mot de passe admin et cliquez sur le bouton SIGN IN :

Vous êtes maintenant dans la console d'Ambari :

Cliquez sur le bouton LAUNCH INSTALL WIZARD :

Saisissez le nom HDP_ittraining en tant que CLUSTER NAME et cliquez sur le bouton NEXT :

Dans la liste des systèmes d'exploitation, supprimez tous les OS sauf redhat7 :

Ouvrez ensuite le fichier /root/repositories dans la VM master1 :

[root@master1 ~]# cat repositories
http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118

Copiez ensuite les URLs à partir du fichier repositories et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton NEXT:

Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière [1-3] :

Choisissez l'option Perform manual registration and do not use SSH :

Validez la boîte d'avertissement et cliquez sur le bouton REGISTER AND CONFIRM. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton OK :

Cliquez sur le bouton OK de la boîte d'avertissement Before You Proceed :

L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :

Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien Click here to see the check results :

Fermez la fenêtre Host checks et cliquez sur le bouton NEXT. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que HDFS, YARN + MapReduce2 et ZooKeeper puis cliquez sur le bouton NEXT :

Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :

Cliquez sur le bouton OK. L'assistant vous affiche une fenêtre Limited Functionality Warning pour vous avertir des fonctionalités limitées dues au fait qu'Apache Ranger et Apache Atlas n'ont pas été sélectionnés. Cliquez simplement sur le bouton PROCEED ANYWAY chaque fois :

L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du Metrics Collector à master3.ittraining.loc puis cliquez sur le bouton NEXT :

L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez Client pour chaque hôte puis cliquez sur le bouton NEXT :

Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour Grafana et Activity Explorer. Saisissez le mot de passe fenestros dans chaque cas puis cliquez sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :

Cliquez donc sur la cloche en rouge :

Puis sur le bouton EDIT. entrez le mot de passe fenestros puis cliquez sur le bouton NEXT :

L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton GENERATE BLUEPRINT :

Téléchargez le template puis cliquez sur le bouton DEPLOY :

A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :

En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :

Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :

Cette fois, le résumé ne doit pas montrer d'erreurs :

En validant le déploiement, vous arrivez sur le console de gestion :

<html> <DIV ALIGN=“CENTER”> Copyright © 2020 Hugh Norris<BR><BR> Document non-contractuel. Le programme peut être modifié sans préavis. </div> </html>