Version : 2020.01

Dernière mise-à-jour :

BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster

Contenu du Module

BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster

Contenu du Module

Pré-requis

Matériel

Logiciels

Internet

Utilisation de l'Infrastructure

Connexion au Serveur Cloud

Linux, MacOS et Windows 10 muni du client ssh

Windows 7 et Windows 10 sans client ssh

Créer le Réseau Privé Hôte 192.168.56.0/24

Vérifier/Editer le contenu du fichier /etc/hosts

Démarrage des Machines Virtuelles

Connexion aux Machines Virtuelles

Se connecter en mode graphique au serverXX.ittraining.network

Utiliser la console Ambari

Get Started

Install Options

Confirm Hosts

Choose Services

Assign Masters

Assign Slaves and Clients

Customize Services

Review

Install, Start and Test

Prérequis

Matériel

Un poste (MacOS, Linux, Windows™ ou Solaris™),

Clavier AZERTY FR ou QWERTY US,

4 Go de RAM minimum,

Processeur 2 cœurs minimum,

Un casque ou des écouteurs,

Un micro (optionnel).

Logiciels

Si Windows™ - Putty et WinSCP,

Navigateur Web Chrome ou Firefox.

Internet

Un accès à Internet rapide (4G minimum) sans passer par un proxy,

Accès débloqué aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.

Utilisation de l'Infrastructure

Connexion au Serveur Cloud

Pendant la durée de la formation, vous disposez d'un serveur dédié XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID, pré-installé, pré-configuré et hébergé dans le cloud.

Ce serveur est muni de VirtualBox. Six machines virtuelles CentOS 7 ont été configurées selon le tableau ci-dessous :

Machine Virtuelle	Nom d'hôte	Interface 1	Interface 2
master1	master1.ittraining.loc	10.0.2.15	192.168.56.2
master2	master2.ittraining.loc	10.0.2.15	192.168.56.3
master3	master3.ittraining.loc	10.0.2.15	192.168.56.4
worker1	worker1.ittraining.loc	10.0.2.15	192.168.56.5
worker2	worker2.ittraining.loc	10.0.2.15	192.168.56.6
worker3	worker3.ittraining.loc	10.0.2.15	192.168.56.7

Les noms d'utilisateurs et les mots de passe sont :

Utilisateur	Mot de Passe
trainee	trainee
root	fenestros

Commencez donc par vous connecter en ssh à votre serveur dédié :

Linux, MacOS et Windows 10 muni du client ssh

Ouvrez un terminal ou CMD et tapez la commande suivante :

$ ssh -l desktop serverXX.ittraining.network

> ssh -l desktop serverXX.ittraining.network

où XX représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.

Windows 7 et Windows 10 sans client ssh

Ouvrez putty et utilisez les informations suivantes pour vous connecter à votre serveur dédié :

Host Name –> serverXX.ittraining.network

Port –> 22

Au prompt, connectez-vous en tant que desktop avec le mot de passe qui vous a été fourni.

Créer le Réseau Privé Hôte 192.168.56.0/24

Créez le Réseau Privé Hôte 192.168.56.0/24 qui permettra la communication entre les machines virtuelles :

desktop@serverXX:~$ VBoxManage hostonlyif create
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Interface 'vboxnet0' was successfully created

Vérifier/Editer le contenu du fichier /etc/hosts

Si besoin est, éditez le fichiers /etc/hosts ainsi :

desktop@serverXX:~$ sudo su -
[sudo] password for desktop:
root@serverXX:~# vi /etc/hosts
root@serverXX:~# cat /etc/hosts
127.0.0.1	localhost
127.0.1.1	serverXX.ittraining.network	serverXX
# The following lines are desirable for IPv6 capable hosts
::1	localhost	ip6-localhost ip6-loopback
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
XXX.XXX.XXX.XXX	serverXX.ittraining.network	serverXX
192.168.56.2 master1.ittraining.loc master1
192.168.56.3 master2.ittraining.loc master2
192.168.56.4 master3.ittraining.loc master3
192.168.56.5 worker1.ittraining.loc worker1
192.168.56.6 worker2.ittraining.loc worker2
192.168.56.7 worker3.ittraining.loc worker3
root@serverXX:~# exit
logout

Démarrer les Machines Virtuelles

Importez les VMs :

desktop@serverXX:~$ cd Downloads
desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept

Démarrez les VMs :

desktop@serverXX:~/Downloads$ cd ~
desktop@serverXX:~$ VBoxManage startvm master1 --type headless
desktop@serverXX:~$ VBoxManage startvm master2 --type headless
desktop@serverXX:~$ VBoxManage startvm master3 --type headless
desktop@serverXX:~$ VBoxManage startvm worker1 --type headless
desktop@serverXX:~$ VBoxManage startvm worker2 --type headless
desktop@serverXX:~$ VBoxManage startvm worker3 --type headless

Connexion aux Machines Virtuelles

En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine master1 :

desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc

En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine master2 :

desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc

En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine master3 :

desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc

En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker1 :

desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc

En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker2 :

desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc

En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker3 :

desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc

Se connecter en mode graphique au serverXX.ittraining.network

Téléchargez le client X2Go ( https://wiki.x2go.org/doku.php/download:start ) et installez-le. Créez une nouvelle connexion XFCE pour votre serveur :

Connectez-vous au serverXX :

Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur admin et le mot de passe admin et cliquez sur le bouton SIGN IN :

Vous êtes maintenant dans la console d'Ambari :

Utiliser la console Ambari

Cliquez sur le bouton LAUNCH INSTALL WIZARD :

Get Started

Saisissez le nom HDP_ittraining en tant que CLUSTER NAME et cliquez sur le bouton NEXT :

Dans la liste des systèmes d'exploitation, supprimez tous les OS sauf redhat7 :

Ouvrez ensuite le fichier /root/repositories dans la VM master1 :

[root@master1 ~]# cat repositories
http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118

Copiez ensuite les URLs à partir du fichier repositories et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton NEXT:

Install Options

Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière [1-3] :

Choisissez l'option Perform manual registration and do not use SSH :

Confirm Hosts

Validez la boîte d'avertissement et cliquez sur le bouton REGISTER AND CONFIRM. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton OK :

Cliquez sur le bouton OK de la boîte d'avertissement Before You Proceed :

L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :

Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien Click here to see the check results :

Choose Services

Fermez la fenêtre Host checks et cliquez sur le bouton NEXT. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que HDFS, YARN + MapReduce2 et ZooKeeper puis cliquez sur le bouton NEXT :

Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :

Cliquez sur le bouton OK. L'assistant vous affiche une fenêtre Limited Functionality Warning pour vous avertir des fonctionalités limitées dues au fait qu'Apache Ranger et Apache Atlas n'ont pas été sélectionnés. Cliquez simplement sur le bouton PROCEED ANYWAY chaque fois :

Assign Masters

L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du Metrics Collector à master3.ittraining.loc puis cliquez sur le bouton NEXT :

Assign Slaves and Clients

L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez Client pour chaque hôte puis cliquez sur le bouton NEXT :

Customize Services

Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour Grafana et Activity Explorer. Saisissez le mot de passe fenestros dans chaque cas puis cliquez sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :

Cliquez donc sur la cloche en rouge :

Puis sur le bouton EDIT. entrez le mot de passe fenestros puis cliquez sur le bouton NEXT :

Review

L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton GENERATE BLUEPRINT :

Install, Start and Test

Téléchargez le template puis cliquez sur le bouton DEPLOY :

A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :

En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :

Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :

Cette fois, le résumé ne doit pas montrer d'erreurs :

En validant le déploiement, vous arrivez sur le console de gestion :

<html> <DIV ALIGN=“CENTER”> Copyright © 2020 Hugh Norris<BR><BR> Document non-contractuel. Le programme peut être modifié sans préavis. </div> </html>