| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente |
| elearning:workbooks:hdp:l108 [2020/09/11 10:36] – admin | elearning:workbooks:hdp:l108 [2020/09/17 14:14] (Version actuelle) – created admin |
|---|
| Dernière mise-à-jour : ~~LASTMOD~~ | Dernière mise-à-jour : ~~LASTMOD~~ |
| |
| ======Installation du Cluster HDP====== | ======BDF106 - Configurer le Capacity Scheduler====== |
| |
| Se connecter au serverXX en utilisant ssh : | =====Contenu du Module===== |
| |
| <code> | |
| $ ssh -l desktop serverXX.ittraining.network | |
| </code> | |
| |
| Si vous avez construit vous-même les VMs master1, master2, master3, worker1, worker2 et worker 3 sur serverXX.ittraining.network, passez à la section **Utiliser la console Ambari**, sinon : | ----- |
| |
| Créez et activez le réseau NAT NatNetwork : | |
| |
| <code> | |
| desktop@serverXX:~$ VBoxManage natnetwork add --netname NatNetwork --network "10.0.2.0/24" --enable | |
| desktop@serverXX:~$ VBoxManage natnetwork modify --netname NatNetwork --dhcp on | |
| desktop@serverXX:~$ VBoxManage natnetwork start --netname NatNetwork | |
| </code> | |
| |
| Importez ensuite les VMs : | |
| |
| <code> | |
| desktop@serverXX:~$ cd Downloads | |
| desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept | |
| desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept | |
| desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept | |
| desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept | |
| desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept | |
| desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept | |
| </code> | |
| |
| Démarrez les VMs : | |
| |
| <code> | |
| desktop@serverXX:~/Downloads$ cd ~ | |
| desktop@serverXX:~$ VBoxManage startvm master1 --type headless | |
| desktop@serverXX:~$ VBoxManage startvm master2 --type headless | |
| desktop@serverXX:~$ VBoxManage startvm master3 --type headless | |
| desktop@serverXX:~$ VBoxManage startvm worker1 --type headless | |
| desktop@serverXX:~$ VBoxManage startvm worker2 --type headless | |
| desktop@serverXX:~$ VBoxManage startvm worker3 --type headless | |
| </code> | |
| |
| =====Se connecter en mode graphique au serverXX.ittraining.network===== | |
| |
| Ouvrez X2Go Client ( [[https://wiki.x2go.org/doku.php/download:start]] ) et connectez-vous au serverXX : | |
| |
| {{ :elearning:workbooks:hdp:x2go.png?nolink&600 |}} | |
| |
| Ouvrez le navigateur Firefox et saisissez l'URL http://localhost:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** puis cliquez sur le bouton **SIGN IN** : | |
| |
| {{ :elearning:workbooks:hdp:hdp.png?nolink&600 |}} | |
| |
| Vous êtes maintenant dans la console d'Ambari : | |
| |
| {{ :elearning:workbooks:hdp:hdp1.png?nolink&600 |}} | |
| |
| =====Utiliser la console Ambari===== | |
| |
| Cliquez sur le bouton **LAUNCH INSTALL WIZARD** : | |
| |
| {{ :elearning:workbooks:hdp:hdp2.png?nolink&600 |}} | |
| |
| ====Get Started==== | |
| |
| Saisissez le nom **HDP_ittraining** en tant que CLUSTER NAME et cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp3.png?nolink&600 |}} | |
| |
| Dans la liste des systèmes d'exploitation, supprimez tous les OS **sauf** redhat7 : | |
| |
| {{ :elearning:workbooks:hdp:hdp4.png?nolink&600 |}} | |
| |
| Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** : | |
| |
| <code> | |
| [root@master1 ~]# cat repositories | |
| http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/ | |
| http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/ | |
| http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/ | |
| http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118 | |
| </code> | |
| |
| Copiez ensuite les URLs à partir du fichier **repositories** et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton **NEXT**: | |
| |
| {{ :elearning:workbooks:hdp:hdp5.png?nolink&600 |}} | |
| |
| ====Install Options==== | |
| |
| Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière **[1-3]** : | |
| |
| {{ :elearning:workbooks:hdp:hdp6.png?nolink&600 |}} | |
| |
| Choisissez l'option **Perform manual registration and do not use SSH** : | |
| |
| {{ :elearning:workbooks:hdp:hdp7.png?nolink&600 |}} | |
| |
| ====Confirm Hosts==== | |
| |
| Validez la boîte d'avertissement et cliquez sur le bouton **REGISTER AND CONFIRM**. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton **OK** : | |
| |
| {{ :elearning:workbooks:hdp:hdp8.png?nolink&600 |}} | |
| |
| Cliquez sur le bouton **OK** de la boîte d'avertissement **Before You Proceed** : | |
| |
| {{ :elearning:workbooks:hdp:hdp9.png?nolink&600 |}} | |
| |
| L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits : | |
| |
| {{ :elearning:workbooks:hdp:hdp10.png?nolink&600 |}} | |
| |
| Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** : | |
| |
| {{ :elearning:workbooks:hdp:hdp11.png?nolink&600 |}} | |
| |
| ====Choose Services==== | |
| |
| Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp12.png?nolink&600 |}} | |
| |
| Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle : | |
| |
| {{ :elearning:workbooks:hdp:hdp14.png?nolink&600 |}} | |
| |
| Cliquez sur le bouton **OK**. L'assistant vous affiche une fenêtre **Limited Functionality Warning** pour vous avertir des fonctionalités limitées dues au fait qu'**Apache Ranger** et **Apache Atlas** n'ont pas été sélectionnés. Cliquez simplement sur le bouton **PROCEED ANYWAY** chaque fois : | |
| |
| {{ :elearning:workbooks:hdp:hdp15.png?nolink&600 |}} | |
| |
| ====Assign Masters==== | |
| |
| L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du **Metrics Collector** à **master3.ittraining.loc** puis cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp16.png?nolink&600 |}} | |
| |
| ====Assign Slaves and Clients==== | |
| |
| L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez **Client** pour chaque hôte puis cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp17.png?nolink&600 |}} | |
| |
| ====Customize Services==== | |
| |
| Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour **Grafana** et **Activity Explorer**. Saisissez le mot de passe **fenestros** dans chaque cas puis cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp18.png?nolink&600 |}} | |
| |
| L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp19.png?nolink&600 |}} | |
| |
| L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp20.png?nolink&600 |}} | |
| |
| L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée : | |
| |
| {{ :elearning:workbooks:hdp:hdp21.png?nolink&600 |}} | |
| |
| Cliquez donc sur la cloche en rouge : | |
| |
| {{ :elearning:workbooks:hdp:hdp22.png?nolink&600 |}} | |
| |
| Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp23.png?nolink&600 |}} | |
| |
| ====Review==== | |
| |
| L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton **GENERATE BLUEPRINT** : | |
| |
| {{ :elearning:workbooks:hdp:hdp24.png?nolink&600 |}} | |
| |
| ====Install, Start and Test==== | |
| |
| Téléchargez le template puis cliquez sur le bouton **DEPLOY** : | |
| |
| {{ :elearning:workbooks:hdp:hdp25.png?nolink&600 |}} | |
| |
| |
| ----- | |
| <html> | <html> |
| <div align="center"> | <DIV ALIGN="CENTER"> |
| Copyright © 2020 Hugh Norris | Copyright © 2020 Hugh Norris<BR><BR> |
| | Document non-contractuel. Le programme peut être modifié sans préavis. |
| </div> | </div> |
| </html> | </html> |
| | |
| | |
| | |
| | |
| | |
