Ceci est une ancienne révision du document !
Table des matières
Version : 2020.01
Dernière mise-à-jour : 2020/09/11 15:26
Installation du Cluster HDP
Se connecter au serverXX en utilisant ssh :
$ ssh -l desktop serverXX.ittraining.network
Si vous avez construit vous-même les VMs master1, master2, master3, worker1, worker2 et worker 3 sur serverXX.ittraining.network, passez à la section Utiliser la console Ambari, sinon :
Créez le Réseau Privé Hôte 192.168.56.0/24 qui permettra la communication entre les machines virtuelles :
desktop@serverXX:~$ VBoxManage hostonlyif create 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% Interface 'vboxnet0' was successfully created
Importez ensuite les VMs :
desktop@serverXX:~$ cd Downloads desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept
Démarrez les VMs :
desktop@serverXX:~/Downloads$ cd ~ desktop@serverXX:~$ VBoxManage startvm master1 --type headless desktop@serverXX:~$ VBoxManage startvm master2 --type headless desktop@serverXX:~$ VBoxManage startvm master3 --type headless desktop@serverXX:~$ VBoxManage startvm worker1 --type headless desktop@serverXX:~$ VBoxManage startvm worker2 --type headless desktop@serverXX:~$ VBoxManage startvm worker3 --type headless
Se connecter en mode graphique au serverXX.ittraining.network
Ouvrez X2Go Client ( https://wiki.x2go.org/doku.php/download:start ) et connectez-vous au serverXX :
Ouvrez le navigateur Firefox et saisissez l'URL http://localhost:8080. Entrez l'utilisateur admin et le mot de passe admin puis cliquez sur le bouton SIGN IN :
Vous êtes maintenant dans la console d'Ambari :
Utiliser la console Ambari
Cliquez sur le bouton LAUNCH INSTALL WIZARD :
Get Started
Saisissez le nom HDP_ittraining en tant que CLUSTER NAME et cliquez sur le bouton NEXT :
Dans la liste des systèmes d'exploitation, supprimez tous les OS sauf redhat7 :
Ouvrez ensuite le fichier /root/repositories dans la VM master1 :
[root@master1 ~]# cat repositories http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/ http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/ http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/ http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
Copiez ensuite les URLs à partir du fichier repositories et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton NEXT:
Install Options
Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière [1-3] :
Choisissez l'option Perform manual registration and do not use SSH :
Confirm Hosts
Validez la boîte d'avertissement et cliquez sur le bouton REGISTER AND CONFIRM. L'assistant résoud les expressions régulières dans les nom d'hôtes et vous damande de confirmer. Cliquez donc sur le bouton OK :
Cliquez sur le bouton OK de la boîte d'avertissement Before You Proceed :
L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :
Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien Click here to see the check results :
Choose Services
Fermez la fenêtre Host checks et cliquez sur le bouton NEXT. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que HDFS, YARN + MapReduce2 et ZooKeeper puis cliquez sur le bouton NEXT :
Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :
Cliquez sur le bouton OK. L'assistant vous affiche une fenêtre Limited Functionality Warning pour vous avertir des fonctionalités limitées dues au fait qu'Apache Ranger et Apache Atlas n'ont pas été sélectionnés. Cliquez simplement sur le bouton PROCEED ANYWAY chaque fois :
Assign Masters
L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du Metrics Collector à master3.ittraining.loc puis cliquez sur le bouton NEXT :
Assign Slaves and Clients
L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez Client pour chaque hôte puis cliquez sur le bouton NEXT :
Customize Services
Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour Grafana et Activity Explorer. Saisissez le mot de passe fenestros dans chaque cas puis cliquez sur le bouton NEXT :
L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :
L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :
L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :
Cliquez donc sur la cloche en rouge :
Puis sur le bouton EDIT. entrez le mot de passe fenestros puis cliquez sur le bouton NEXT :
Review
L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton GENERATE BLUEPRINT :
Install, Start and Test
Téléchargez le template puis cliquez sur le bouton DEPLOY :
<html>
Copyright © 2020 Hugh Norris
</html>
