Vous êtes ici : Formations en Ligne Gratuites » Catalogue » workbooks » BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure » BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
elearning:workbooks:hdp:l101 [2020/09/12 10:46] – adminelearning:workbooks:hdp:l101 [2020/09/17 04:56] (Version actuelle) – admin
Ligne 5: Ligne 5:
 Dernière mise-à-jour : ~~LASTMOD~~ Dernière mise-à-jour : ~~LASTMOD~~
  
-======BGF100 - HortonWorks Data Platform Administration======+======BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster======
  
 +=====Contenu du Module=====
  
 +  * **BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster**
 +    * Contenu du Module
 +    * Pré-requis
 +      * Matériel
 +      * Logiciels
 +      * Internet
 +    * Utilisation de l'Infrastructure
 +      * Connexion au Serveur Cloud
 +        * Linux, MacOS et Windows 10 muni du client ssh
 +        * Windows 7 et Windows 10 sans client ssh
 +      * Créer le Réseau Privé Hôte 192.168.56.0/24
 +      * Vérifier/Editer le contenu du fichier /etc/hosts
 +      * Démarrage des Machines Virtuelles
 +      * Connexion aux Machines Virtuelles
 +    * Se connecter en mode graphique au serverXX.ittraining.network
 +    * Utiliser la console Ambari
 +      * Get Started
 +      * Install Options
 +      * Confirm Hosts
 +      * Choose Services
 +      * Assign Masters
 +      * Assign Slaves and Clients
 +      * Customize Services
 +      * Review
 +      * Install, Start and Test
 +
 +=====Prérequis=====
 +
 +==== Matériel====
 +
 +  * Un poste (MacOS, Linux, Windows(tm) ou Solaris(tm)),
 +  * Clavier AZERTY FR ou QWERTY US,
 +  * 4 Go de RAM minimum,
 +  * Processeur 2 cœurs minimum,
 +  * Un casque ou des écouteurs,
 +  * Un micro (optionnel).
 +
 +====Logiciels====
 +
 +  * Si Windows(tm) - Putty et WinSCP,
 +  * Navigateur Web Chrome ou Firefox.
 +
 +====Internet====
 +
 +  * Un accès à Internet **rapide** (4G minimum) **sans** passer par un proxy,
 +  * Accès **débloqué** aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.
 +
 +=====Utilisation de l'Infrastructure=====
 +
 +====Connexion au Serveur Cloud====
 +
 +**Pendant la durée de la formation**, vous disposez d'un serveur dédié **XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID**, pré-installé, pré-configuré et hébergé dans le cloud. 
 +
 +Ce serveur est muni de VirtualBox. Six machines virtuelles **CentOS 7** ont été configurées selon le tableau ci-dessous :
 +
 +^ Machine Virtuelle ^ Nom d'hôte ^ Interface 1 ^  Interface 2 ^
 +| master1 | master1.ittraining.loc | 10.0.2.15 | 192.168.56.2 |
 +| master2 | master2.ittraining.loc | 10.0.2.15 | 192.168.56.3 |
 +| master3 | master3.ittraining.loc | 10.0.2.15 | 192.168.56.4 |
 +| worker1 | worker1.ittraining.loc | 10.0.2.15 | 192.168.56.5 |
 +| worker2 | worker2.ittraining.loc | 10.0.2.15 | 192.168.56.6 |
 +| worker3 | worker3.ittraining.loc | 10.0.2.15 | 192.168.56.7 |
 +
 +Les noms d'utilisateurs et les mots de passe sont :
 +
 +^ Utilisateur ^ Mot de Passe ^
 +| trainee | trainee |
 +| root | fenestros |
 +
 +Commencez donc par vous connecter en ssh à votre serveur dédié :
 +
 +===Linux, MacOS et Windows 10 muni du client ssh===
 +
 +Ouvrez un terminal ou CMD et tapez la commande suivante :
 +
 +<code>
 +$ ssh -l desktop serverXX.ittraining.network
 +</code>
 +
 +<code>
 +> ssh -l desktop serverXX.ittraining.network
 +</code>
 +
 +où **XX** représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.
 +
 +===Windows 7 et Windows 10 sans client ssh===
 +
 +Ouvrez **putty** et utilisez les informations suivantes pour vous connecter à votre serveur dédié :
 +
 +  * Host Name --> serverXX.ittraining.network
 +  * Port --> 22
 +
 +Au prompt, connectez-vous en tant que **desktop** avec le mot de passe qui vous a été fourni.
 +
 +====Créer le Réseau Privé Hôte 192.168.56.0/24==== 
 +
 +Créez le Réseau Privé Hôte **192.168.56.0/24** qui permettra la communication entre les machines virtuelles :
 +
 +<code>
 +desktop@serverXX:~$ VBoxManage hostonlyif create
 +0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 +Interface 'vboxnet0' was successfully created
 +</code>
 +
 +====Vérifier/Editer le contenu du fichier /etc/hosts====
 +
 +Si besoin est, éditez le fichiers /etc/hosts ainsi :
 +
 +<code>
 +desktop@serverXX:~$ sudo su -
 +[sudo] password for desktop: 
 +root@serverXX:~# vi /etc/hosts
 +root@serverXX:~# cat /etc/hosts
 +127.0.0.1 localhost
 +127.0.1.1 serverXX.ittraining.network serverXX
 +
 +# The following lines are desirable for IPv6 capable hosts
 +::1 localhost ip6-localhost ip6-loopback
 +ff02::1 ip6-allnodes
 +ff02::2 ip6-allrouters
 +XXX.XXX.XXX.XXX serverXX.ittraining.network serverXX
 +192.168.56.2   master1.ittraining.loc  master1
 +192.168.56.3   master2.ittraining.loc  master2
 +192.168.56.4   master3.ittraining.loc  master3
 +192.168.56.5   worker1.ittraining.loc  worker1
 +192.168.56.6   worker2.ittraining.loc  worker2
 +192.168.56.7   worker3.ittraining.loc  worker3
 +root@serverXX:~# exit
 +logout
 +</code>
 +
 +====Démarrer les Machines Virtuelles====
 +
 +Importez les VMs :
 +
 +<code>
 +desktop@serverXX:~$ cd Downloads
 +desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept
 +desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept
 +desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept
 +desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept
 +desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept
 +desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept
 +</code>
 +
 +Démarrez les VMs :
 +
 +<code>
 +desktop@serverXX:~/Downloads$ cd ~
 +desktop@serverXX:~$ VBoxManage startvm master1 --type headless
 +desktop@serverXX:~$ VBoxManage startvm master2 --type headless
 +desktop@serverXX:~$ VBoxManage startvm master3 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker1 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker2 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker3 --type headless
 +</code>
 +
 +====Connexion aux Machines Virtuelles====
 +
 +En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine **master1** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc
 +</code>
 +
 +En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master2** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc
 +</code>
 +
 +En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master3** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc
 +</code>
 +
 +En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker1** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc
 +</code>
 +
 +En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker2** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc
 +</code>
 +
 +En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker3** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc
 +</code>
 +
 +=====Se connecter en mode graphique au serverXX.ittraining.network=====
 +
 +Téléchargez le client **X2Go** ( [[https://wiki.x2go.org/doku.php/download:start]] ) et installez-le. Créez une nouvelle connexion **XFCE** pour votre serveur :
 +
 +{{ :elearning:workbooks:hdp:x2go1.png?direct&600 |}}
 +
 +Connectez-vous au serverXX :
 +
 +{{ :elearning:workbooks:hdp:x2go.png?direct&600 |}}
 +
 +Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** et cliquez sur le bouton **SIGN IN** :
 +
 +{{ :elearning:workbooks:hdp:hdp.png?&600 |}}
 +
 +Vous êtes maintenant dans la console d'Ambari :
 +
 +{{ :elearning:workbooks:hdp:hdp1.png?direct&600 |}}
 +
 +=====Utiliser la console Ambari=====
 +
 +Cliquez sur le bouton **LAUNCH INSTALL WIZARD** :
 +
 +{{ :elearning:workbooks:hdp:hdp2.png?direct&600 |}}
 +
 +====Get Started====
 +
 +Saisissez le nom **HDP_ittraining** en tant que CLUSTER NAME et cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp3.png?direct&600 |}}
 +
 +Dans la liste des systèmes d'exploitation, supprimez tous les OS **sauf** redhat7 :
 +
 +{{ :elearning:workbooks:hdp:hdp4.png?direct&600 |}}
 +
 +Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** :
 +
 +<code>
 +[root@master1 ~]# cat repositories
 +http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
 +http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
 +</code>
 +
 +Copiez ensuite les URLs à partir du fichier **repositories** et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton **NEXT**:
 +
 +{{ :elearning:workbooks:hdp:hdp5.png?direct&600 |}}
 +
 +====Install Options====
 +
 +Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière **[1-3]** :
 +
 +{{ :elearning:workbooks:hdp:hdp6.png?direct&600 |}}
 +
 +Choisissez l'option **Perform manual registration and do not use SSH** :
 +
 +{{ :elearning:workbooks:hdp:hdp7.png?direct&600 |}}
 +
 +====Confirm Hosts====
 +
 +Validez la boîte d'avertissement et cliquez sur le bouton **REGISTER AND CONFIRM**. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton **OK** :
 +
 +{{ :elearning:workbooks:hdp:hdp8.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK** de la boîte d'avertissement **Before You Proceed** :
 +
 +{{ :elearning:workbooks:hdp:hdp9.png?direct&600 |}}
 +
 +L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :
 +
 +{{ :elearning:workbooks:hdp:hdp10.png?direct&600 |}}
 +
 +Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** :
 +
 +{{ :elearning:workbooks:hdp:hdp11.png?direct&600 |}}
 +
 +====Choose Services====
 +
 +Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp12.png?direct&600 |}}
 +
 +Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :
 +
 +{{ :elearning:workbooks:hdp:hdp14.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK**. L'assistant vous affiche une fenêtre **Limited Functionality Warning** pour vous avertir des fonctionalités limitées dues au fait qu'**Apache Ranger** et **Apache Atlas** n'ont pas été sélectionnés. Cliquez simplement sur le bouton **PROCEED ANYWAY** chaque fois :
 +
 +{{ :elearning:workbooks:hdp:hdp15.png?direct&600 |}}
 +
 +====Assign Masters====
 +
 +L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du **Metrics Collector** à **master3.ittraining.loc** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp16.png?direct&600 |}}
 +
 +====Assign Slaves and Clients====
 +
 +L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez **Client** pour chaque hôte puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp17.png?direct&600 |}}
 +
 +====Customize Services====
 +
 +Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour **Grafana** et **Activity Explorer**. Saisissez le mot de passe **fenestros** dans chaque cas puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp18.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp19.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp20.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :
 +
 +{{ :elearning:workbooks:hdp:hdp21.png?direct&600 |}}
 +
 +Cliquez donc sur la cloche en rouge :
 +
 +{{ :elearning:workbooks:hdp:hdp22.png?direct&600 |}}
 +
 +Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp23.png?direct&600 |}}
 +
 +====Review====
 +
 +L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton **GENERATE BLUEPRINT** : 
 +
 +{{ :elearning:workbooks:hdp:hdp24.png?direct&600 |}}
 +
 +====Install, Start and Test====
 +
 +Téléchargez le template puis cliquez sur le bouton **DEPLOY** :
 +
 +{{ :elearning:workbooks:hdp:hdp25.png?direct&600 |}}
 +
 +A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp26.png?direct&600 |}}
 +
 +En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :
 +
 +{{ :elearning:workbooks:hdp:hdp27.png?direct&600 |}}
 +\\
 +\\
 +{{ :elearning:workbooks:hdp:hdp28.png?direct&600 |}}
 +
 +Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :
 +
 +{{ :elearning:workbooks:hdp:hdp30.png?direct&600 |}}
 +
 +Cette fois, le résumé ne doit pas montrer d'erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp31.png?direct&600 |}}
 +
 +En validant le déploiement, vous arrivez sur le console de gestion :
 +
 +{{ :elearning:workbooks:hdp:hdp32.png?direct&600 |}}
 +\\
 +\\
  
 ----- -----
 +
 <html> <html>
-<div align="center"> +<DIV ALIGN="CENTER"> 
-Copyright © 2020 Hugh Norris+Copyright © 2020 Hugh Norris<BR><BR> 
 +Document non-contractuel. Le programme peut être modifié sans préavis.
 </div> </div>
 </html> </html>
 +

Piste : • SER807 - Optimisation • LDF300 - Debian 8 Linux : System Administrator • LRF404 - Balayage des Ports • Configuration réseau avancée • LRF401 - Droits Unix • SER705 - Gestion de l'Authentification d'Apache avec OpenLDAP • CentOS 8 • Utilisation de l'Infrastructure - Team IT Training • Préparation à l'Examen LPIC-1 101 v500 - 35h • Team IT Training

Menu