Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
elearning:workbooks:hdp:l101 [2020/09/12 10:20] – admin | elearning:workbooks:hdp:l101 [2020/09/17 04:56] (Version actuelle) – admin | ||
---|---|---|---|
Ligne 5: | Ligne 5: | ||
Dernière mise-à-jour : ~~LASTMOD~~ | Dernière mise-à-jour : ~~LASTMOD~~ | ||
- | ======Configurer le serverXX.ittraining.network====== | + | ======BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster====== |
- | Se connecter au serverXX en utilisant ssh : | + | =====Contenu du Module===== |
- | < | + | * **BDF100 - Hortonworks Data Platform Administration - Création d'un Cluster** |
- | $ ssh desktop@serverXX.ittraining.network | + | * Contenu du Module |
- | desktop@serverXX.ittraining.network's password: | + | * Pré-requis |
- | </ | + | * Matériel |
+ | * Logiciels | ||
+ | * Internet | ||
+ | * Utilisation de l' | ||
+ | * Connexion au Serveur Cloud | ||
+ | * Linux, MacOS et Windows 10 muni du client | ||
+ | * Windows 7 et Windows 10 sans client ssh | ||
+ | * Créer le Réseau Privé Hôte 192.168.56.0/24 | ||
+ | * Vérifier/ | ||
+ | * Démarrage des Machines Virtuelles | ||
+ | * Connexion aux Machines Virtuelles | ||
+ | * Se connecter en mode graphique au serverXX.ittraining.network | ||
+ | * Utiliser la console Ambari | ||
+ | * Get Started | ||
+ | * Install Options | ||
+ | * Confirm Hosts | ||
+ | * Choose Services | ||
+ | * Assign Masters | ||
+ | * Assign Slaves and Clients | ||
+ | * Customize Services | ||
+ | * Review | ||
+ | * Install, Start and Test | ||
- | ====Importer la VM CentOS_7_8.ova==== | + | =====Prérequis===== |
- | < | + | ==== Matériel==== |
- | desktop@serverXX: | + | |
- | desktop@serverXX: | + | |
- | desktop@serverXX: | + | |
- | </ | + | |
- | ====Configurer le transfert | + | * Un poste (MacOS, Linux, Windows(tm) ou Solaris(tm)), |
+ | * Clavier AZERTY FR ou QWERTY US, | ||
+ | * 4 Go de RAM minimum, | ||
+ | * Processeur 2 cœurs minimum, | ||
+ | * Un casque ou des écouteurs, | ||
+ | * Un micro (optionnel). | ||
- | < | + | ====Logiciels==== |
- | desktop@serverXX: | + | |
- | </ | + | |
- | ====Créer le Réseau Privé Hôte 192.168.56.0/ | + | * Si Windows(tm) - Putty et WinSCP, |
+ | * Navigateur Web Chrome ou Firefox. | ||
- | Créez le Réseau Privé Hôte **192.168.56.0/ | + | ====Internet==== |
- | < | + | * Un accès à Internet **rapide** (4G minimum) **sans** passer par un proxy, |
- | desktop@serverXX:~$ VBoxManage hostonlyif create | + | * Accès **débloqué** aux domaines suivants |
- | 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% | + | |
- | Interface ' | + | |
- | </ | + | |
- | ====Configurer nic2 en Réseau Privé Hôte==== | + | =====Utilisation de l' |
- | < | + | ====Connexion au Serveur Cloud==== |
- | desktop@serverXX: | + | |
- | </ | + | |
- | ====Augmenter le nombre | + | **Pendant la durée |
+ | |||
+ | Ce serveur est muni de VirtualBox. Six machines virtuelles **CentOS 7** ont été configurées selon le tableau ci-dessous : | ||
+ | |||
+ | ^ Machine Virtuelle ^ Nom d' | ||
+ | | master1 | master1.ittraining.loc | 10.0.2.15 | 192.168.56.2 | | ||
+ | | master2 | master2.ittraining.loc | 10.0.2.15 | 192.168.56.3 | | ||
+ | | master3 | master3.ittraining.loc | 10.0.2.15 | 192.168.56.4 | | ||
+ | | worker1 | worker1.ittraining.loc | 10.0.2.15 | 192.168.56.5 | | ||
+ | | worker2 | worker2.ittraining.loc | 10.0.2.15 | 192.168.56.6 | | ||
+ | | worker3 | worker3.ittraining.loc | 10.0.2.15 | 192.168.56.7 | | ||
+ | |||
+ | Les noms d' | ||
+ | |||
+ | ^ Utilisateur ^ Mot de Passe ^ | ||
+ | | trainee | trainee | | ||
+ | | root | fenestros | | ||
+ | |||
+ | Commencez donc par vous connecter en ssh à votre serveur dédié : | ||
+ | |||
+ | ===Linux, MacOS et Windows 10 muni du client ssh=== | ||
+ | |||
+ | Ouvrez un terminal ou CMD et tapez la commande suivante : | ||
< | < | ||
- | desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --cpus 2 | + | $ ssh -l desktop serverXX.ittraining.network |
</ | </ | ||
- | |||
- | ====Désactiver EHCI sur la VM==== | ||
< | < | ||
- | desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --usbehci off | + | > ssh -l desktop serverXX.ittraining.network |
</ | </ | ||
- | ====Démarrer la VM==== | + | où **XX** représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni. |
+ | |||
+ | ===Windows 7 et Windows 10 sans client ssh=== | ||
+ | |||
+ | Ouvrez **putty** et utilisez les informations suivantes pour vous connecter à votre serveur dédié : | ||
+ | |||
+ | * Host Name --> serverXX.ittraining.network | ||
+ | * Port --> 22 | ||
+ | |||
+ | Au prompt, connectez-vous en tant que **desktop** avec le mot de passe qui vous a été fourni. | ||
+ | |||
+ | ====Créer le Réseau Privé Hôte 192.168.56.0/ | ||
+ | |||
+ | Créez le Réseau Privé Hôte **192.168.56.0/ | ||
< | < | ||
- | desktop@serverXX: | + | desktop@serverXX: |
+ | 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% | ||
+ | Interface ' | ||
</ | </ | ||
- | ====Editer le fichier / | + | ====Vérifier/Editer le contenu du fichier / |
+ | |||
+ | Si besoin est, éditez le fichiers /etc/hosts ainsi : | ||
< | < | ||
Ligne 70: | Ligne 123: | ||
root@serverXX: | root@serverXX: | ||
127.0.0.1 localhost | 127.0.0.1 localhost | ||
- | 127.0.1.1 server16.ittraining.network serverXX | + | 127.0.1.1 serverXX.ittraining.network serverXX |
# The following lines are desirable for IPv6 capable hosts | # The following lines are desirable for IPv6 capable hosts | ||
Ligne 85: | Ligne 138: | ||
root@serverXX: | root@serverXX: | ||
logout | logout | ||
- | desktop@server16: | ||
</ | </ | ||
- | ====Se connecter à la VM==== | + | ====Démarrer les Machines Virtuelles==== |
+ | |||
+ | Importez les VMs : | ||
< | < | ||
- | desktop@serverXX: | + | desktop@serverXX: |
+ | desktop@serverXX: | ||
+ | desktop@serverXX: | ||
+ | desktop@serverXX: | ||
+ | desktop@serverXX: | ||
+ | desktop@serverXX: | ||
+ | desktop@serverXX: | ||
</ | </ | ||
- | ====Devenir root==== | + | Démarrez les VMs : |
< | < | ||
- | [trainee@centos7 | + | desktop@serverXX:~/Downloads$ cd ~ |
- | Password: fenestros | + | desktop@serverXX: |
- | Last login: Wed Sep 9 17:36:25 CEST 2020 on tty1 | + | desktop@serverXX:~$ VBoxManage startvm master2 --type headless |
+ | desktop@serverXX:~$ VBoxManage startvm master3 --type headless | ||
+ | desktop@serverXX:~$ VBoxManage startvm worker1 --type headless | ||
+ | desktop@serverXX:~$ VBoxManage startvm worker2 --type headless | ||
+ | desktop@serverXX: | ||
</ | </ | ||
- | ====Augmenter le nombre de fichiers qui peuvent être ouverts en même temps==== | + | ====Connexion aux Machines Virtuelles==== |
+ | |||
+ | En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine **master1** : | ||
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc |
</ | </ | ||
- | ====Désactiver et arrêter le pare-feu==== | + | En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master2** : |
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc |
- | Removed symlink / | + | |
- | Removed symlink / | + | |
- | [root@centos7 ~]# systemctl stop firewalld | + | |
</ | </ | ||
- | ====Désactiver SELinux==== | + | En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master3** : |
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc |
- | [root@centos7 ~]# sed -i ' | + | |
</ | </ | ||
- | ====Changer | + | En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter |
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc |
</ | </ | ||
- | ====Installer NTP puis Activer et démarrer le serveur NTP==== | + | En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker2** : |
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc |
- | [root@centos7 ~]# yum makecache | + | |
- | [root@centos7 ~]# yum -y install ntp | + | |
- | [root@centos7 ~]# systemctl enable ntpd | + | |
- | Created symlink from / | + | |
- | [root@centos7 ~]# systemctl start ntpd | + | |
</ | </ | ||
- | ====Désactiver Transparent Huge Page==== | + | En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker3** : |
< | < | ||
- | [root@centos7 | + | desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc |
- | [root@centos7 ~]# echo "echo \" | + | |
</ | </ | ||
- | ====Configurer le réseau==== | + | =====Se connecter en mode graphique au serverXX.ittraining.network===== |
- | Configurez | + | Téléchargez le client |
- | < | + | {{ : |
- | [root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2 | + | |
- | Connection ' | + | |
- | [root@centos7 ~]# nmcli connection up ip_enp0s8 | + | |
- | </ | + | |
- | Fermez le terminal. Ouvrez un nouveau terminal et connectez-vous à votre serveur | + | Connectez-vous au serverXX |
- | < | + | {{ :elearning: |
- | $ ssh desktop@serverXX.ittraining.network | + | |
- | desktop@serverX.ittraining.network' | + | |
- | </ | + | |
- | Reconnectez-vous à la VM en utilisant | + | Ouvrez le navigateur Firefox et saisissez |
- | < | + | {{ :elearning:workbooks:hdp:hdp.png?& |
- | desktop@serverXX:~$ ssh -l trainee 192.168.56.2 | + | |
- | trainee@192.168.56.2' | + | |
- | Last login: Sat Sep 12 09:17:49 2020 from gateway | + | |
- | </ | + | |
- | Configurez **enp0s3** en IP fixe : | + | Vous êtes maintenant dans la console d' |
- | < | + | {{ :elearning:workbooks:hdp:hdp1.png? |
- | [trainee@centos7 ~]$ su - | + | |
- | Password: fenestros | + | |
- | Last login: Sat Sep 12 09:18:12 CEST 2020 on pts/0 | + | |
- | [root@centos7 ~]# nmcli connection add con-name ip_enp0s3 ifname enp0s3 type ethernet ip4 10.0.2.15/24 gw4 10.0.2.2 | + | |
- | Connection ' | + | |
- | [root@centos7 ~]# nmcli connection mod ip_enp0s3 ipv4.dns 8.8.8.8 | + | |
- | [root@centos7 ~]# nmcli connection up ip_enp0s3 | + | |
- | Connection successfully activated (D-Bus active path: / | + | |
- | </ | + | |
- | ====Arreter | + | =====Utiliser |
- | < | + | Cliquez sur le bouton **LAUNCH INSTALL WIZARD** |
- | [root@centos7 ~]# exit | + | |
- | logout | + | |
- | [trainee@centos7 ~]$ exit | + | |
- | logout | + | |
- | Connection to localhost closed. | + | |
- | desktop@serverXX:~$ VBoxManage controlvm CentOS_7_8 poweroff | + | |
- | 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% | + | |
- | </ | + | |
- | ====Supprimer la redirection de port de la VM==== | + | {{ : |
- | < | + | ====Get Started==== |
- | desktop@serverXX: | + | |
- | </ | + | |
- | ====Se placer dans le répertoire / | + | Saisissez |
- | < | + | {{ :elearning: |
- | desktop@serverXX:~$ cd / | + | |
- | </ | + | |
- | ====Cloner 6 fois la VM CentOS_7_8==== | + | Dans la liste des systèmes d' |
- | < | + | {{ :elearning:workbooks:hdp:hdp4.png? |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX: | + | |
- | desktop@serverXX: | + | |
- | desktop@serverXX:~/ | + | |
- | </ | + | |
- | ====Déplacer les VMs dans /home/desktop/ | + | Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** : |
< | < | ||
- | desktop@serverXX:~/VirtualBox VMs$ mv *.ova ../Downloads/ | + | [root@master1 |
- | desktop@serverXX:~/VirtualBox VMs$ cd ../Downloads | + | http://master1.ittraining.loc/ |
+ | http:// | ||
+ | http://master1.ittraining.loc/HDP-UTILS/ | ||
+ | http:// | ||
</ | </ | ||
- | ====Importer | + | Copiez ensuite |
- | < | + | {{ :elearning:workbooks:hdp:hdp5.png? |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX: | + | |
- | desktop@serverXX: | + | |
- | desktop@serverXX:~/ | + | |
- | </ | + | |
- | ====Modifier les noms de clones==== | + | ====Install Options==== |
- | < | + | Entrez la liste des serveurs dans l' |
- | desktop@serverXX: | + | |
- | desktop@serverXX:~/ | + | {{ :elearning: |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | Choisissez l' |
- | desktop@serverXX:~/ | + | |
- | desktop@serverXX:~/ | + | {{ : |
- | </ | + | |
+ | ====Confirm Hosts==== | ||
+ | |||
+ | Validez la boîte d' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Cliquez sur le bouton **OK** de la boîte d' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ :elearning: | ||
+ | |||
+ | Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | ====Choose Services==== | ||
+ | |||
+ | Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Notez qu'en cas de dépendance manquante, l' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Cliquez sur le bouton **OK**. L' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | ====Assign Masters==== | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ :elearning: | ||
+ | |||
+ | ====Assign Slaves and Clients==== | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | ====Customize Services==== | ||
+ | |||
+ | Ensuite l' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Cliquez donc sur la cloche en rouge : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | ====Review==== | ||
+ | |||
+ | L' | ||
+ | |||
+ | {{ :elearning: | ||
+ | |||
+ | ====Install, | ||
+ | |||
+ | Téléchargez le template puis cliquez sur le bouton **DEPLOY** : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | A l'issu du déploiement, | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | En cas d' | ||
+ | |||
+ | {{ : | ||
+ | \\ | ||
+ | \\ | ||
+ | {{ : | ||
+ | |||
+ | Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster : | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Cette fois, le résumé ne doit pas montrer d' | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | En validant le déploiement, | ||
+ | |||
+ | {{ : | ||
+ | \\ | ||
+ | \\ | ||
----- | ----- | ||
+ | |||
< | < | ||
- | <div align="center"> | + | <DIV ALIGN="CENTER"> |
- | Copyright © 2020 Hugh Norris | + | Copyright © 2020 Hugh Norris< |
+ | Document non-contractuel. Le programme peut être modifié sans préavis. | ||
</ | </ | ||
</ | </ | ||
+ |