Vous êtes ici : Formations en Ligne Gratuites » Catalogue » workbooks » BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure » BDF100 - Hortonworks Data Platform - Lancement d'un Cluster

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
elearning:workbooks:hdp:l102 [2020/09/12 16:16] – adminelearning:workbooks:hdp:l102 [2020/09/17 10:57] (Version actuelle) – admin
Ligne 5: Ligne 5:
 Dernière mise-à-jour : ~~LASTMOD~~ Dernière mise-à-jour : ~~LASTMOD~~
  
-======BDF101 - Installation du Cluster HDP======+======BDF100 - Hortonworks Data Platform - Lancement d'un Cluster======
  
 =====Contenu du Module===== =====Contenu du Module=====
  
-  * **BDF101 - Installation du Cluster HDP**+  * **BDF100 - Hortonworks Data Platform Administration - Lancement d'un Cluster**
     * Contenu du Module     * Contenu du Module
-    * Se connecter en mode graphique au serverXX.ittraining.network +    * Pré-requis 
-    * Utiliser la console Ambari +      * Matériel 
-      * Get Started +      * Logiciels 
-      * Install Options +      * Internet 
-      * Confirm Hosts +    * Utilisation de l'Infrastructure 
-      * Choose Services +      * Connexion au Serveur Cloud 
-      * Assign Masters +        * Linux, MacOS et Windows 10 muni du client ssh 
-      * Assign Slaves and Clients +        * Windows 7 et Windows 10 sans client ssh 
-      * Customize Services +      * Créer le Réseau Privé Hôte 192.168.56.0/24 
-      * Review +      * Vérifier/Editer le contenu du fichier /etc/hosts 
-      * Install, Start and Test+      * Démarrage des Machines Virtuelles 
 +      * Connexion aux Machines Virtuelles 
 +      * Se connecter en mode graphique au serverXX.ittraining.network
  
-=====Se connecter en mode graphique au serverXX.ittraining.network=====+=====Prérequis=====
  
-Ouvrez X2Go Client ( [[https://wiki.x2go.org/doku.php/download:start]] ) et connectez-vous au serverXX :+==== Matériel====
  
-{{ :elearning:workbooks:hdp:x2go.png?direct&600 |}}+  * Un poste (MacOS, Linux, Windows(tm) ou Solaris(tm)), 
 +  * Clavier AZERTY FR ou QWERTY US, 
 +  * 4 Go de RAM minimum, 
 +  * Processeur 2 cœurs minimum, 
 +  * Un casque ou des écouteurs, 
 +  * Un micro (optionnel).
  
-Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** et cliquez sur le bouton **SIGN IN** :+====Logiciels====
  
-{{ :elearning:workbooks:hdp:hdp.png?&600 |}}+  * Si Windows(tm) - Putty et WinSCP, 
 +  * Navigateur Web Chrome ou Firefox.
  
-Vous êtes maintenant dans la console d'Ambari :+====Internet====
  
-{{ :elearning:workbooks:hdp:hdp1.png?direct&600 |}}+  * Un accès à Internet **rapide** (4G minimum) **sans** passer par un proxy, 
 +  * Accès **débloqué** aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.
  
-=====Utiliser la console Ambari=====+=====Utilisation de l'Infrastructure=====
  
-Cliquez sur le bouton **LAUNCH INSTALL WIZARD** :+====Connexion au Serveur Cloud====
  
-{{ :elearning:workbooks:hdp:hdp2.png?direct&600 |}}+**Pendant la durée de la formation**, vous disposez d'un serveur dédié **XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID**, pré-installé, pré-configuré et hébergé dans le cloud. 
  
-====Get Started====+Ce serveur est muni de VirtualBox. Six machines virtuelles **CentOS 7** ont été configurées selon le tableau ci-dessous :
  
-Saisissez le nom **HDP_ittraining** en tant que CLUSTER NAME et cliquez sur le bouton **NEXT** :+^ Machine Virtuelle ^ Nom d'hôte ^ Interface 1 ^  Interface 2 ^ 
 +| master1 | master1.ittraining.loc | 10.0.2.15 | 192.168.56.2 | 
 +| master2 | master2.ittraining.loc | 10.0.2.15 | 192.168.56.3 | 
 +| master3 | master3.ittraining.loc | 10.0.2.15 | 192.168.56.4 | 
 +| worker1 | worker1.ittraining.loc | 10.0.2.15 | 192.168.56.5 | 
 +| worker2 | worker2.ittraining.loc | 10.0.2.15 | 192.168.56.6 | 
 +| worker3 | worker3.ittraining.loc | 10.0.2.15 | 192.168.56.7 |
  
-{{ :elearning:workbooks:hdp:hdp3.png?direct&600 |}}+Les noms d'utilisateurs et les mots de passe sont :
  
-Dans la liste des systèmes d'exploitation, supprimez tous les OS **sauf** redhat7 :+^ Utilisateur ^ Mot de Passe ^ 
 +| trainee | trainee | 
 +| root | fenestros |
  
-{{ :elearning:workbooks:hdp:hdp4.png?direct&600 |}}+Commencez donc par vous connecter en ssh à votre serveur dédié :
  
-Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** :+===Linux, MacOS et Windows 10 muni du client ssh=== 
 + 
 +Ouvrez un terminal ou CMD et tapez la commande suivante :
  
 <code> <code>
-[root@master1 ~]# cat repositories +$ ssh -l desktop serverXX.ittraining.network
-http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/ +
-http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/ +
-http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/ +
-http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118+
 </code> </code>
  
-Copiez ensuite les URLs à partir du fichier **repositories** et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton **NEXT**:+<code> 
 +> ssh -l desktop serverXX.ittraining.network 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp5.png?direct&600 |}}+où **XX** représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.
  
-====Install Options====+===Windows 7 et Windows 10 sans client ssh===
  
-Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière **[1-3]** :+Ouvrez **putty** et utilisez les informations suivantes pour vous connecter à votre serveur dédié :
  
-{{ :elearning:workbooks:hdp:hdp6.png?direct&600 |}}+  * Host Name --> serverXX.ittraining.network 
 +  * Port --> 22
  
-Choisissez l'option **Perform manual registration and do not use SSH** :+Au prompt, connectez-vous en tant que **desktop** avec le mot de passe qui vous a été fourni.
  
-{{ :elearning:workbooks:hdp:hdp7.png?direct&600 |}}+====Créer le Réseau Privé Hôte 192.168.56.0/24==== 
  
-====Confirm Hosts====+Créez le Réseau Privé Hôte **192.168.56.0/24** qui permettra la communication entre les machines virtuelles :
  
-Validez la boîte d'avertissement et cliquez sur le bouton **REGISTER AND CONFIRM**. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton **OK** :+<code> 
 +desktop@serverXX:~$ VBoxManage hostonlyif create 
 +0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 
 +Interface 'vboxnet0' was successfully created 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp8.png?direct&600 |}}+====Vérifier/Editer le contenu du fichier /etc/hosts====
  
-Cliquez sur le bouton **OK** de la boîte d'avertissement **Before You Proceed** :+Si besoin est, éditez le fichiers /etc/hosts ainsi :
  
-{{ :elearning:workbooks:hdp:hdp9.png?direct&600 |}}+<code> 
 +desktop@serverXX:~$ sudo su - 
 +[sudo] password for desktop:  
 +root@serverXX:~# vi /etc/hosts 
 +root@serverXX:~# cat /etc/hosts 
 +127.0.0.1 localhost 
 +127.0.1.1 serverXX.ittraining.network serverXX
  
-L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :+# The following lines are desirable for IPv6 capable hosts 
 +::1 localhost ip6-localhost ip6-loopback 
 +ff02::1 ip6-allnodes 
 +ff02::2 ip6-allrouters 
 +XXX.XXX.XXX.XXX serverXX.ittraining.network serverXX 
 +192.168.56.2   master1.ittraining.loc  master1 
 +192.168.56.3   master2.ittraining.loc  master2 
 +192.168.56.4   master3.ittraining.loc  master3 
 +192.168.56.5   worker1.ittraining.loc  worker1 
 +192.168.56.6   worker2.ittraining.loc  worker2 
 +192.168.56.7   worker3.ittraining.loc  worker3 
 +root@serverXX:~# exit 
 +logout 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp10.png?direct&600 |}}+====Démarrer les Machines Virtuelles====
  
-Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** :+Importez les VMs :
  
-{{ :elearning:workbooks:hdp:hdp11.png?direct&600 |}}+<code> 
 +desktop@serverXX:~$ cd Downloads 
 +desktop@serverXX:~/Downloads$ VBoxManage import master1_clustered.ova --vsys 0 --eula accept 
 +desktop@serverXX:~/Downloads$ VBoxManage import master2_clustered.ova --vsys 0 --eula accept 
 +desktop@serverXX:~/Downloads$ VBoxManage import master3_clustered.ova --vsys 0 --eula accept 
 +desktop@serverXX:~/Downloads$ VBoxManage import worker1_clustered.ova --vsys 0 --eula accept 
 +desktop@serverXX:~/Downloads$ VBoxManage import worker2_clustered.ova --vsys 0 --eula accept 
 +desktop@serverXX:~/Downloads$ VBoxManage import worker3_clustered.ova --vsys 0 --eula accept 
 +</code>
  
-====Choose Services====+Démarrez les VMs :
  
-Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** :+<code> 
 +desktop@serverXX:~/Downloads$ cd ~ 
 +desktop@serverXX:~$ VBoxManage startvm master1_clustered --type headless 
 +desktop@serverXX:~$ VBoxManage startvm master2_clustered --type headless 
 +desktop@serverXX:~$ VBoxManage startvm master3_clustered --type headless 
 +desktop@serverXX:~$ VBoxManage startvm worker1_clustered --type headless 
 +desktop@serverXX:~$ VBoxManage startvm worker2_clustered --type headless 
 +desktop@serverXX:~$ VBoxManage startvm worker3_clustered --type headless 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp12.png?direct&600 |}}+====Connexion aux Machines Virtuelles====
  
-Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :+En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine **master1** :
  
-{{ :elearning:workbooks:hdp:hdp14.png?direct&600 |}}+<code> 
 +desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc 
 +</code>
  
-Cliquez sur le bouton **OK**. L'assistant vous affiche une fenêtre **Limited Functionality Warning** pour vous avertir des fonctionalités limitées dues au fait qu'**Apache Ranger** et **Apache Atlas** n'ont pas été sélectionnés. Cliquez simplement sur le bouton **PROCEED ANYWAY** chaque fois :+En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master2** :
  
-{{ :elearning:workbooks:hdp:hdp15.png?direct&600 |}}+<code> 
 +desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc 
 +</code>
  
-====Assign Masters====+En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master3** :
  
-L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du **Metrics Collector** à **master3.ittraining.loc** puis cliquez sur le bouton **NEXT** :+<code> 
 +desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp16.png?direct&600 |}}+En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker1** :
  
-====Assign Slaves and Clients====+<code> 
 +desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc 
 +</code>
  
-L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez **Client** pour chaque hôte puis cliquez sur le bouton **NEXT** :+En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker2** :
  
-{{ :elearning:workbooks:hdp:hdp17.png?direct&600 |}}+<code> 
 +desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc 
 +</code>
  
-====Customize Services====+En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker3** :
  
-Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour **Grafana** et **Activity Explorer**. Saisissez le mot de passe **fenestros** dans chaque cas puis cliquez sur le bouton **NEXT** :+<code> 
 +desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc 
 +</code>
  
-{{ :elearning:workbooks:hdp:hdp18.png?direct&600 |}}+=====Se connecter en mode graphique au serverXX.ittraining.network=====
  
-L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :+Téléchargez le client **X2Go** ( [[https://wiki.x2go.org/doku.php/download:start]] ) et installez-le. Créez une nouvelle connexion **XFCE** pour votre serveur :
  
-{{ :elearning:workbooks:hdp:hdp19.png?direct&600 |}}+{{ :elearning:workbooks:hdp:x2go1.png?direct&600 |}}
  
-L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :+Connectez-vous au serverXX :
  
-{{ :elearning:workbooks:hdp:hdp20.png?direct&600 |}} +{{ :elearning:workbooks:hdp:x2go.png?direct&600 |}}
- +
-L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée : +
- +
-{{ :elearning:workbooks:hdp:hdp21.png?direct&600 |}} +
- +
-Cliquez donc sur la cloche en rouge : +
- +
-{{ :elearning:workbooks:hdp:hdp22.png?direct&600 |}} +
- +
-Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** : +
- +
-{{ :elearning:workbooks:hdp:hdp23.png?direct&600 |}} +
- +
-====Review==== +
- +
-L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton **GENERATE BLUEPRINT** :  +
- +
-{{ :elearning:workbooks:hdp:hdp24.png?direct&600 |}} +
- +
-====Install, Start and Test==== +
- +
-Téléchargez le template puis cliquez sur le bouton **DEPLOY** : +
- +
-{{ :elearning:workbooks:hdp:hdp25.png?direct&600 |}}+
  
 +Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** et cliquez sur le bouton **SIGN IN** :
  
 +{{ :elearning:workbooks:hdp:hdp.png?&600 |}}
  
 +Vous êtes maintenant dans la console d'Ambari :
  
 +{{ :elearning:workbooks:hdp:hdp33.png?direct&600 |}}
  
 +-----
  
------ 
 <html> <html>
-<div align="center"> +<DIV ALIGN="CENTER"> 
-Copyright © 2020 Hugh Norris+Copyright © 2020 Hugh Norris<BR><BR> 
 +Document non-contractuel. Le programme peut être modifié sans préavis.
 </div> </div>
 </html> </html>
- 
- 
- 
- 
- 
  

Piste : • SER507 - Validation de la Formation • SER400 - Administration des serveurs MySQL-MariaDB • ib groupe Cegos - Session de Formation à Distance par IT Training • Docker • CentOS • SER802 - SQL, Champs, Moteurs et Jointures • LCF604 - Gestion des Paramètres du matériel et les Ressources • CC300 - Cloud - Synthèse des outils et solutions • SER402 - SQL, Champs, Moteurs et Jointures • Infrastructure - Team IT Training

Menu