Vous êtes ici : Formations en Ligne Gratuites » Catalogue » workbooks » BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
elearning:workbooks:hdp:start [2020/09/15 11:09] – adminelearning:workbooks:hdp:start [2020/09/17 08:26] (Version actuelle) – admin
Ligne 5: Ligne 5:
 Dernière mise-à-jour : ~~LASTMOD~~ Dernière mise-à-jour : ~~LASTMOD~~
  
-======BD100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure======+======BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure======
  
 =====Contenu du Module===== =====Contenu du Module=====
  
-  * **BGF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure**+ **BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure**
     * Contenu du Module     * Contenu du Module
     * Pré-requis     * Pré-requis
Ligne 15: Ligne 15:
       * Logiciels       * Logiciels
       * Internet       * Internet
-    * Utilisation de l'Infrastructure+    * Mise en Place de l'Infrastructure
       * Connexion au Serveur Cloud       * Connexion au Serveur Cloud
         * Linux, MacOS et Windows 10 muni du client ssh         * Linux, MacOS et Windows 10 muni du client ssh
         * Windows 7 et Windows 10 sans client ssh         * Windows 7 et Windows 10 sans client ssh
-      * Créer le Réseau Privé Hôte 192.168.56.0/24 +      * Configuration de Votre Serveur 
-      * Vérifier/Editer le contenu du fichier /etc/hosts +        * Téléchargement de la VM de base 
-      * Démarrage des Machines Virtuelles +        * Importer la VM CentOS_7_8.ova 
-      * Connexion aux Machines Virtuelles+        * Configurer le transfert de port pour la VM sur nic1 
 +        * Créer le Réseau Privé Hôte 192.168.56.0/24 
 +        * Configurer nic2 en Réseau Privé Hôte 
 +        * Augmenter le nombre de vcpus sur la VM 
 +        * Augmenter la RAM de la VM 
 +        * Désactiver EHCI sur la VM 
 +        * Démarrer la VM 
 +        * Editer le fichier /etc/hosts 
 +        * Se connecter à la VM 
 +        * Devenir root 
 +        * Editer le fichier /etc/hosts 
 +        * Augmenter le nombre de fichiers qui peuvent être ouverts en même temps 
 +        * Désactiver et arrêter le pare-feu 
 +        * Désactiver SELinux 
 +        * Changer la valeur de VM Swappiness à 10 
 +        * Installer NTP puis Activer et démarrer le serveur NTP 
 +        * Désactiver Transparent Huge Page 
 +        * Configurer le réseau 
 +        * Arreter la VM 
 +        * Supprimer la redirection de port de la VM 
 +        * Se placer dans le répertoire /home/desktop/VirtualBox\ VMs/ 
 +        * Cloner 6 fois la VM CentOS_7_8 
 +        * Déplacer les VMs dans /home/desktop/Downloads 
 +        * Importer les VMs 
 +        * Modifier les noms de clones 
 +        * Configurer la redirection de ports sur chaque VM 
 +      * Configurer la VM master1 
 +      * Configurer la VM master2 
 +      * Configurer la VM master3 
 +      * Configurer la VM worker1 
 +      * Configurer la VM worker2 
 +      * Configurer la VM worker3 
 +      * Prendre des Snapshots 
 +      * Démarrer les Machines Virtuelles 
 +      * Se Connecter aux Machines Virtuelles 
 +    * Se connecter en mode graphique au serverXX.ittraining.network 
 +    * Utiliser la console Ambari 
 +      * Get Started 
 +      * Install Options 
 +      * Confirm Hosts 
 +      * Choose Services 
 +      * Assign Masters 
 +      * Assign Slaves and Clients 
 +      * Customize Services 
 +      * Review 
 +      * Install, Start and Test
  
 =====Prérequis===== =====Prérequis=====
Ligne 45: Ligne 90:
   * Accès **débloqué** aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.   * Accès **débloqué** aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.
  
-=====Utilisation de l'Infrastructure=====+=====Mise en Place de l'Infrastructure=====
  
 ====Connexion au Serveur Cloud==== ====Connexion au Serveur Cloud====
  
-**Pendant la durée de la formation**, vous disposez d'un serveur dédié, pré-installé, pré-configuré et hébergé dans le cloud. +**Pendant la durée de la formation**, vous disposez d'un serveur dédié **XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID**, pré-installé, pré-configuré et hébergé dans le cloud. Ce serveur est muni de VirtualBox.  
 + 
 +Vous allez commencer par créer six machines virtuelles **CentOS 7** et les configurer selon le tableau ci-dessous : 
 + 
 +^ Machine Virtuelle ^ Nom d'hôte ^ Interface 1 ^  Interface 2 ^ 
 +| master1 | master1.ittraining.loc | 10.0.2.15 | 192.168.56.2 | 
 +| master2 | master2.ittraining.loc | 10.0.2.15 | 192.168.56.3 | 
 +| master3 | master3.ittraining.loc | 10.0.2.15 | 192.168.56.4 | 
 +| worker1 | worker1.ittraining.loc | 10.0.2.15 | 192.168.56.5 | 
 +| worker2 | worker2.ittraining.loc | 10.0.2.15 | 192.168.56.6 | 
 +| worker3 | worker3.ittraining.loc | 10.0.2.15 | 192.168.56.7 | 
 + 
 +Les noms d'utilisateurs et les mots de passe seront : 
 + 
 +^ Utilisateur ^ Mot de Passe ^ 
 +| trainee | trainee | 
 +| root | fenestros |
  
 ===Linux, MacOS et Windows 10 muni du client ssh=== ===Linux, MacOS et Windows 10 muni du client ssh===
Ligne 75: Ligne 136:
  
 =====Configuration de Votre Serveur===== =====Configuration de Votre Serveur=====
- 
-Cette infrastructure doit être mise en place sur des serveurs bare metal avec les caractéristiques suivantes : 
- 
-  * XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID 
- 
-Dans le parc, les serveurs numéros 41 et plus sont compatibles.  
- 
-Le serveur 40 est le serveur de référence. Remplacez XX par le numéro de votre serveur. 
  
 ====Téléchargement de la VM de base==== ====Téléchargement de la VM de base====
Ligne 260: Ligne 313:
 <code> <code>
 [root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2 [root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2
-Connection 'ip_fixe' (0e8456ba-23c9-4fb4-a6fd-58d2f7af5048) successfully added.+Connection 'ip_enp0s8' (0e8456ba-23c9-4fb4-a6fd-58d2f7af5048) successfully added.
 [root@centos7 ~]# nmcli connection up ip_enp0s8 [root@centos7 ~]# nmcli connection up ip_enp0s8
 </code> </code>
Ligne 1548: Ligne 1601:
 desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc
 </code> </code>
 +
 +=====Se connecter en mode graphique au serverXX.ittraining.network=====
 +
 +Téléchargez le client **X2Go** ( [[https://wiki.x2go.org/doku.php/download:start]] ) et installez-le. Créez une nouvelle connexion **XFCE** pour votre serveur :
 +
 +{{ :elearning:workbooks:hdp:x2go1.png?direct&600 |}}
 +
 +Connectez-vous au serverXX :
 +
 +{{ :elearning:workbooks:hdp:x2go.png?direct&600 |}}
 +
 +Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** et cliquez sur le bouton **SIGN IN** :
 +
 +{{ :elearning:workbooks:hdp:hdp.png?&600 |}}
 +
 +Vous êtes maintenant dans la console d'Ambari :
 +
 +{{ :elearning:workbooks:hdp:hdp1.png?direct&600 |}}
 +
 +=====Utiliser la console Ambari=====
 +
 +Cliquez sur le bouton **LAUNCH INSTALL WIZARD** :
 +
 +{{ :elearning:workbooks:hdp:hdp2.png?direct&600 |}}
 +
 +====Get Started====
 +
 +Saisissez le nom **HDP_ittraining** en tant que CLUSTER NAME et cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp3.png?direct&600 |}}
 +
 +Dans la liste des systèmes d'exploitation, supprimez tous les OS **sauf** redhat7 :
 +
 +{{ :elearning:workbooks:hdp:hdp4.png?direct&600 |}}
 +
 +Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** :
 +
 +<code>
 +[root@master1 ~]# cat repositories
 +http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
 +http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
 +</code>
 +
 +Copiez ensuite les URLs à partir du fichier **repositories** et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton **NEXT**:
 +
 +{{ :elearning:workbooks:hdp:hdp5.png?direct&600 |}}
 +
 +====Install Options====
 +
 +Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière **[1-3]** :
 +
 +{{ :elearning:workbooks:hdp:hdp6.png?direct&600 |}}
 +
 +Choisissez l'option **Perform manual registration and do not use SSH** :
 +
 +{{ :elearning:workbooks:hdp:hdp7.png?direct&600 |}}
 +
 +====Confirm Hosts====
 +
 +Validez la boîte d'avertissement et cliquez sur le bouton **REGISTER AND CONFIRM**. L'assistant résout les expressions régulières dans les nom d'hôtes et vous demande de confirmer. Cliquez donc sur le bouton **OK** :
 +
 +{{ :elearning:workbooks:hdp:hdp8.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK** de la boîte d'avertissement **Before You Proceed** :
 +
 +{{ :elearning:workbooks:hdp:hdp9.png?direct&600 |}}
 +
 +L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :
 +
 +{{ :elearning:workbooks:hdp:hdp10.png?direct&600 |}}
 +
 +Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** :
 +
 +{{ :elearning:workbooks:hdp:hdp11.png?direct&600 |}}
 +
 +====Choose Services====
 +
 +Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp12.png?direct&600 |}}
 +
 +Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :
 +
 +{{ :elearning:workbooks:hdp:hdp14.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK**. L'assistant vous affiche une fenêtre **Limited Functionality Warning** pour vous avertir des fonctionalités limitées dues au fait qu'**Apache Ranger** et **Apache Atlas** n'ont pas été sélectionnés. Cliquez simplement sur le bouton **PROCEED ANYWAY** chaque fois :
 +
 +{{ :elearning:workbooks:hdp:hdp15.png?direct&600 |}}
 +
 +====Assign Masters====
 +
 +L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du **Metrics Collector** à **master3.ittraining.loc** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp16.png?direct&600 |}}
 +
 +====Assign Slaves and Clients====
 +
 +L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez **Client** pour chaque hôte puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp17.png?direct&600 |}}
 +
 +====Customize Services====
 +
 +Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour **Grafana** et **Activity Explorer**. Saisissez le mot de passe **fenestros** dans chaque cas puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp18.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp19.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp20.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :
 +
 +{{ :elearning:workbooks:hdp:hdp21.png?direct&600 |}}
 +
 +Cliquez donc sur la cloche en rouge :
 +
 +{{ :elearning:workbooks:hdp:hdp22.png?direct&600 |}}
 +
 +Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp23.png?direct&600 |}}
 +
 +====Review====
 +
 +L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton **GENERATE BLUEPRINT** : 
 +
 +{{ :elearning:workbooks:hdp:hdp24.png?direct&600 |}}
 +
 +====Install, Start and Test====
 +
 +Téléchargez le template puis cliquez sur le bouton **DEPLOY** :
 +
 +{{ :elearning:workbooks:hdp:hdp25.png?direct&600 |}}
 +
 +A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp26.png?direct&600 |}}
 +
 +En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :
 +
 +{{ :elearning:workbooks:hdp:hdp27.png?direct&600 |}}
 +\\
 +\\
 +{{ :elearning:workbooks:hdp:hdp28.png?direct&600 |}}
 +
 +Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :
 +
 +{{ :elearning:workbooks:hdp:hdp30.png?direct&600 |}}
 +
 +Cette fois, le résumé ne doit pas montrer d'erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp31.png?direct&600 |}}
 +
 +En validant le déploiement, vous arrivez sur le console de gestion :
 +
 +{{ :elearning:workbooks:hdp:hdp32.png?direct&600 |}}
 +\\
 +\\
  
  

Piste : • LDF300 - Debian 8 Linux : System Administrator • LCF504 - Gestion des Disques, des Systèmes de Fichiers et du Swap • Tarifs HT • GRA600 - Le brief créatif • LRF402 - Netfilter et Firewalld • SER704 - La Sauvegarde, la Restauration et la Réplication • SER800 - Administration des serveurs MariaDB • GRA100 - Adobe Photoshop • LCF507 - Gestion des Processus

Menu