Version : 2020.01

Dernière mise-à-jour :

BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure

Contenu du Module

BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure

Contenu du Module

Pré-requis

Matériel

Logiciels

Internet

Mise en Place de l'Infrastructure

Connexion au Serveur Cloud

Linux, MacOS et Windows 10 muni du client ssh

Windows 7 et Windows 10 sans client ssh

Configuration de Votre Serveur

Téléchargement de la VM de base

Importer la VM CentOS_7_8.ova

Configurer le transfert de port pour la VM sur nic1

Créer le Réseau Privé Hôte 192.168.56.0/24

Configurer nic2 en Réseau Privé Hôte

Augmenter le nombre de vcpus sur la VM

Augmenter la RAM de la VM

Désactiver EHCI sur la VM

Démarrer la VM

Editer le fichier /etc/hosts

Se connecter à la VM

Devenir root

Editer le fichier /etc/hosts

Augmenter le nombre de fichiers qui peuvent être ouverts en même temps

Désactiver et arrêter le pare-feu

Désactiver SELinux

Changer la valeur de VM Swappiness à 10

Installer NTP puis Activer et démarrer le serveur NTP

Désactiver Transparent Huge Page

Configurer le réseau

Arreter la VM

Supprimer la redirection de port de la VM

Se placer dans le répertoire /home/desktop/VirtualBox\ VMs/

Cloner 6 fois la VM CentOS_7_8

Déplacer les VMs dans /home/desktop/Downloads

Importer les VMs

Modifier les noms de clones

Configurer la redirection de ports sur chaque VM

Configurer la VM master1

Configurer la VM master2

Configurer la VM master3

Configurer la VM worker1

Configurer la VM worker2

Configurer la VM worker3

Prendre des Snapshots

Démarrer les Machines Virtuelles

Se Connecter aux Machines Virtuelles

Se connecter en mode graphique au serverXX.ittraining.network

Utiliser la console Ambari

Get Started

Install Options

Confirm Hosts

Choose Services

Assign Masters

Assign Slaves and Clients

Customize Services

Review

Install, Start and Test

Prérequis

Matériel

Un poste (MacOS, Linux, Windows™ ou Solaris™),

Clavier AZERTY FR ou QWERTY US,

4 Go de RAM minimum,

Processeur 2 cœurs minimum,

Un casque ou des écouteurs,

Un micro (optionnel).

Logiciels

Si Windows™ - Putty et WinSCP,

Navigateur Web Chrome ou Firefox.

Internet

Un accès à Internet rapide (4G minimum) sans passer par un proxy,

Accès débloqué aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support.

Mise en Place de l'Infrastructure

Connexion au Serveur Cloud

Pendant la durée de la formation, vous disposez d'un serveur dédié XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID, pré-installé, pré-configuré et hébergé dans le cloud. Ce serveur est muni de VirtualBox.

Vous allez commencer par créer six machines virtuelles CentOS 7 et les configurer selon le tableau ci-dessous :

Machine Virtuelle	Nom d'hôte	Interface 1	Interface 2
master1	master1.ittraining.loc	10.0.2.15	192.168.56.2
master2	master2.ittraining.loc	10.0.2.15	192.168.56.3
master3	master3.ittraining.loc	10.0.2.15	192.168.56.4
worker1	worker1.ittraining.loc	10.0.2.15	192.168.56.5
worker2	worker2.ittraining.loc	10.0.2.15	192.168.56.6
worker3	worker3.ittraining.loc	10.0.2.15	192.168.56.7

Les noms d'utilisateurs et les mots de passe seront :

Utilisateur	Mot de Passe
trainee	trainee
root	fenestros

Linux, MacOS et Windows 10 muni du client ssh

Ouvrez un terminal ou CMD et tapez la commande suivante :

$ ssh -l desktop serverXX.ittraining.network

> ssh -l desktop serverXX.ittraining.network

où XX représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.

Windows 7 et Windows 10 sans client ssh

Ouvrez putty et utilisez les informations suivantes pour vous connecter à votre serveur dédié :

Host Name –> serverXX.ittraining.network

Port –> 22

Au prompt, connectez-vous en tant que desktop avec le mot de passe qui vous a été fourni.

Configuration de Votre Serveur

Téléchargement de la VM de base

Téléchargez la VM CentOS_7_8.ova :

desktop@serverXX:~$ cd Downloads
desktop@serverXX:~/Downloads$ scp desktop@server40.ittraining.network:/home/desktop/Downloads/CentOS_7_8.ova .

Le mot de passe est Tk9ARhq48RQN

Importer la VM CentOS_7_8.ova

desktop@serverXX:~/Downloads$ VBoxManage import CentOS_7_8.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ cd ~

Configurer le transfert de port pour la VM sur nic1

desktop@serverXX:~$ VBoxManage modifyvm "CentOS_7_8" --natpf1 "centos_7_8,tcp,,3022,,22"

Créer le Réseau Privé Hôte 192.168.56.0/24

Créez le Réseau Privé Hôte 192.168.56.0/24 qui permettra la communication entre les machines virtuelles :

desktop@serverXX:~$ VBoxManage hostonlyif create
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Interface 'vboxnet0' was successfully created

Configurer nic2 en Réseau Privé Hôte

desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --nic2 hostonly --hostonlyadapter2 vboxnet0

Augmenter le nombre de vcpus sur la VM

desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --cpus 2

Augmenter la RAM de la VM

desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --memory 8192

Désactiver EHCI sur la VM

desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --usbehci off

Démarrer la VM

desktop@serverXX:~$ VBoxManage startvm CentOS_7_8 --type headless

Editer le fichier /etc/hosts

desktop@serverXX:~$ sudo su -
[sudo] password for desktop:
root@serverXX:~# vi /etc/hosts
root@serverXX:~# cat /etc/hosts
127.0.0.1	localhost
127.0.1.1	serverXX.ittraining.network	serverXX
# The following lines are desirable for IPv6 capable hosts
::1	localhost	ip6-localhost ip6-loopback
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
XXX.XXX.XXX.XXX	serverXX.ittraining.network	serverXX
192.168.56.2 master1.ittraining.loc master1
192.168.56.3 master2.ittraining.loc master2
192.168.56.4 master3.ittraining.loc master3
192.168.56.5 worker1.ittraining.loc worker1
192.168.56.6 worker2.ittraining.loc worker2
192.168.56.7 worker3.ittraining.loc worker3
root@serverXX:~# exit
logout

Se connecter à la VM

desktop@serverXX:~$ ssh -l trainee localhost -p 3022
The authenticity of host '[localhost]:3022 ([127.0.0.1]:3022)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '[localhost]:3022' (ECDSA) to the list of known hosts.
trainee@localhost's password: trainee
[trainee@centos7 ~]$

Devenir root

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Wed Sep 9 17:36:25 CEST 2020 on tty1

Editer le fichier /etc/hosts

[root@centos7 ~]# vi /etc/hosts
[root@centos7 ~]# cat /etc/hosts
127.0.0.1	localhost.localdomain localhost
::1	localhost6.localdomain6 localhost6
192.168.56.2 master1.ittraining.loc master1
192.168.56.3 master2.ittraining.loc master2
192.168.56.4 master3.ittraining.loc master3
192.168.56.5 worker1.ittraining.loc worker1
192.168.56.6 worker2.ittraining.loc worker2
192.168.56.7 worker3.ittraining.loc worker3

Augmenter le nombre de fichiers qui peuvent être ouverts en même temps

[root@centos7 ~]# ulimit -n 10000

Désactiver et arrêter le pare-feu

[root@centos7 ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.
[root@centos7 ~]# systemctl stop firewalld

Désactiver SELinux

[root@centos7 ~]# setenforce 0
[root@centos7 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

Changer la valeur de VM Swappiness à 10

[root@centos7 ~]# echo "vm.swappiness = 10" >> /etc/sysctl.conf

Installer NTP puis Activer et démarrer le serveur NTP

[root@centos7 ~]# yum clean all
[root@centos7 ~]# yum makecache
[root@centos7 ~]# yum -y install ntp
[root@centos7 ~]# systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@centos7 ~]# systemctl start ntpd

Désactiver Transparent Huge Page

[root@centos7 ~]# echo "echo \"never\" > /sys/kernel/mm/transparent_hugepage/enabled " >> /etc/rc.local
[root@centos7 ~]# echo "echo \"never\" > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local

Configurer le réseau

Configurez enp0s8 en IP fixe :

[root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2
Connection 'ip_enp0s8' (0e8456ba-23c9-4fb4-a6fd-58d2f7af5048) successfully added.
[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal. Ouvrez un nouveau terminal et connectez-vous à votre serveur :

$ ssh desktop@serverXX.ittraining.network
desktop@serverX.ittraining.network's password:

Reconnectez-vous à la VM en utilisant l'adresse 192.168.56.2 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
The authenticity of host '192.168.56.2 (192.168.56.2)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.2' (ECDSA) to the list of known hosts.
trainee@192.168.56.2's password: trainee
Last login: Tue Sep 15 06:49:40 2020 from gateway
[trainee@centos7 ~]$

Configurez enp0s3 en IP fixe :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Sat Sep 12 09:18:12 CEST 2020 on pts/0
[root@centos7 ~]# nmcli connection add con-name ip_enp0s3 ifname enp0s3 type ethernet ip4 10.0.2.15/24 gw4 10.0.2.2
Connection 'ip_enp0s3' (e709246c-417a-4be1-8194-64824d6e7d09) successfully added.
[root@centos7 ~]# nmcli connection mod ip_enp0s3 ipv4.dns 8.8.8.8
[root@centos7 ~]# nmcli connection up ip_enp0s3
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/4)

Arreter la VM

[root@centos7 ~]# exit
logout
[trainee@centos7 ~]$ exit
logout
Connection to localhost closed.
desktop@serverXX:~$ VBoxManage controlvm CentOS_7_8 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Supprimer la redirection de port de la VM

desktop@serverXX:~$ VBoxManage modifyvm CentOS_7_8 --natpf1 delete centos_7_8

Se placer dans le répertoire /home/desktop/VirtualBox\ VMs/

desktop@serverXX:~$ cd /home/desktop/VirtualBox\ VMs/

Cloner 6 fois la VM CentOS_7_8

desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output master1.ova
desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output master2.ova
desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output master3.ova
desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output worker1.ova
desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output worker2.ova
desktop@serverXX:~/VirtualBox VMs$ VBoxManage export CentOS_7_8 --output worker3.ova

Déplacer les VMs dans /home/desktop/Downloads

desktop@serverXX:~/VirtualBox VMs$ mv *.ova ../Downloads/
desktop@serverXX:~/VirtualBox VMs$ cd ../Downloads

Importer les VMs

desktop@serverXX:~/Downloads$ VBoxManage import master1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import master3.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker1.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker2.ova --vsys 0 --eula accept
desktop@serverXX:~/Downloads$ VBoxManage import worker3.ova --vsys 0 --eula accept

Modifier les noms de clones

desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 1" --name master1
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 2" --name master2
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 3" --name master3
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 4" --name worker1
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 5" --name worker2
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "CentOS_7_8 6" --name worker3

Configurer la redirection de ports sur chaque VM

desktop@serverXX:~/Downloads$ VBoxManage modifyvm "master1" --natpf1 "master1,tcp,,2222,,22"
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "master2" --natpf1 "master2,tcp,,2322,,22"
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "master3" --natpf1 "master3,tcp,,2422,,22"
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "worker1" --natpf1 "worker1,tcp,,2522,,22"
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "worker2" --natpf1 "worker2,tcp,,2622,,22"
desktop@serverXX:~/Downloads$ VBoxManage modifyvm "worker3" --natpf1 "worker3,tcp,,2722,,22"

Configurer la VM master1

Ouvrez un autre terminal et connectez-vous au serverXX.ittraining.network :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrer la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM master1 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password:
Last login: Tue Sep 15 06:53:32 2020 from 192.168.56.1

Changer le hostname de la machine :

[root@centos7 ~]# su -
Password: fenestros
[root@centos7 ~]# nmcli general hostname master1.ittraining.loc
[root@centos7 ~]# exit
logout
[trainee@centos7 ~]$ exit
logout
Connection to localhost closed.

Connectez-vous à la VM master1 :

desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc
The authenticity of host 'master1.ittraining.loc (192.168.56.2)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'master1.ittraining.loc' (ECDSA) to the list of known hosts.
trainee@master1.ittraining.loc's password: trainee
Last login: Tue Sep 15 07:47:21 2020 from 192.168.56.1
[trainee@master1 ~]$

Devenez root :

[trainee@master1 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 08:20:53 CEST 2020 on tty1

Editer /etc/sysconfig/network :

[root@master1 ~]# vi /etc/sysconfig/network
[root@master1 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=master1.ittraining.loc

Installez, activez et démarrez le serveur Apache :

[root@master1 ~]# yum clean all
[root@master1 ~]# yum -y install httpd wget
[root@master1 ~]# systemctl enable httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
[root@master1 ~]# systemctl start httpd

Téléchargez Ambari, HDP, HDP-UTILS et HDP-GPL :

[root@master1 ~]# wget https://www.dropbox.com/s/ze6iv91jnkti0o6/ambari-2.7.4.0-centos7.tar.gz
[root@master1 ~]# wget https://www.dropbox.com/s/a64kmict0ptmjd3/HDP-3.1.4.0-centos7-rpm.tar.gz
[root@master1 ~]# wget https://www.dropbox.com/s/v1c3mhigwalv54c/HDP-UTILS-1.1.0.22-centos7.tar.gz
[root@master1 ~]# wget https://www.dropbox.com/s/u5pisvh3va4l9ms/HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

Installez les dépôts locaux des RPM :

[root@master1 ~]# tar zxvf ambari-2.7.4.0-centos7.tar.gz -C /var/www/html
[root@master1 ~]# tar zxvf HDP-3.1.4.0-centos7-rpm.tar.gz -C /var/www/html
[root@master1 ~]# tar zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html
[root@master1 ~]# tar zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz -C /var/www/html

Créez le fichier repositories :

[root@master1 ~]# vi repositories
[root@master1 ~]# cat repositories
http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118 <--------------PAS de / à la fin

Créez le repository ambari dans yum :

[root@master1 ~]# vi /etc/yum.repos.d/ambari.repo
[root@master1 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@master1 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@master1 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirrors.ircam.fr
* extras: centos.mirrors.proxad.net
* updates: mirrors.ircam.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/other_db | 1.4 kB 00:00:00
(3/13): ambari/primary_db | 25 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:00
(6/13): base/7/x86_64/other_db | 2.6 MB 00:00:00
(7/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:00
(10/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:00
(11/13): base/7/x86_64/primary_db | 6.1 MB 00:00:02
(12/13): updates/7/x86_64/other_db | 316 kB 00:00:01
(13/13): extras/7/x86_64/primary_db | 206 kB 00:00:03
Metadata Cache Created

Installez ambari server et agent :

[root@master1 ~]# yum -y install ambari-server ambari-agent

Configurez le serveur ambari :

[root@master1 ~]# ambari-server setup
Using python /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1):
To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.
Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y
Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
jdk-8u112-linux-x64.tar.gz... 100% (174.7 MB of 174.7 MB)
Successfully downloaded JDK distribution to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
Installing JDK to /usr/jdk64/
Successfully installed JDK to /usr/jdk64/
Downloading JCE Policy archive from http://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip to /var/lib/ambari-server/resources/jce_policy-8.zip
Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? n
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK
About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.7.4.0.118.jar
....
Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

Démarrez le serveur ambari :

[root@master1 ~]# ambari-server start
...
[root@master1 ~]# ambari-server status
Using python /usr/bin/python
Ambari-server status
Ambari Server running
Found Ambari Server PID: 1494 at: /var/run/ambari-server/ambari-server.pid

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@master1 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
[root@master1 ~]# cat /etc/ambari-agent/conf/ambari-agent.ini
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
url_port=8440
secured_url_port=8441
connect_retry_delay=10
max_reconnect_retry_delay=30

Démarrez le service ambari-agent :

[root@master1 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM master1 :

[root@master1 ~]# shutdown -h now
Connection to 192.168.56.2 closed by remote host.
Connection to 192.168.56.2 closed.

Configurer la VM master2

Démarrer la VM master2 :

desktop@serverXX:~$ VBoxManage startvm master2 --type headless

Connectez-vous à la VM master2 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password: trainee
Last login: Sat Sep 12 09:36:26 2020 from 192.168.56.1

Changer le hostname de la machine et modifiez l'adresse IP fixe de l'interface enp0s8 :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 16:53:17 CEST 2020 on pts/0
[root@centos7 ~]# nmcli general hostname master2.ittraining.loc
[root@centos7 ~]# nmcli con mod ip_enp0s8 ipv4.addresses 192.168.56.3/24

Editer /etc/sysconfig/network :

[root@centos7 ~]# vi /etc/sysconfig/network
[root@centos7 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=master2.ittraining.loc

Activez l'adresse IP 192.168.56.3 :

[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal courant et ouvrez un autre terminal. Connectez-vous au serverXX :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrez la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM master2 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.3
The authenticity of host '192.168.56.3 (192.168.56.3)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.3' (ECDSA) to the list of known hosts.
trainee@192.168.56.3's password:
Last login: Tue Sep 15 08:35:43 2020 from 192.168.56.1
[trainee@master2 ~]$

Créez le repository ambari dans yum :

[trainee@master2 ~]$ su -
Password: fenestros
Last login: Tue Sep 15 08:36:04 CEST 2020 on pts/0
[root@master2 ~]# vi /etc/yum.repos.d/ambari.repo
[root@master2 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@master2 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@master2 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirroir.wptheme.fr
* extras: ftp.rezopole.net
* updates: mirroir.wptheme.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/primary_db | 25 kB 00:00:00
(3/13): ambari/other_db | 1.4 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:01
(6/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(7/13): extras/7/x86_64/primary_db | 206 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/other_db | 316 kB 00:00:00
(10/13): base/7/x86_64/other_db | 2.6 MB 00:00:01
(11/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:01
(12/13): base/7/x86_64/primary_db | 6.1 MB 00:00:03
(13/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:07
Metadata Cache Created

Installez ambari agent :

[root@master2 ~]# yum -y install ambari-agent

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@master2 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
...
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
...

Démarrez le service ambari-agent :

[root@master2 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM master2 :

[root@master2 ~]# shutdown -h now
Connection to 192.168.56.3 closed by remote host.
Connection to 192.168.56.3 closed.

Arrêtez la VM master1 :

desktop@serverXX:~$ VBoxManage controlvm master1 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Configurer la VM master3

Démarrer la VM master3 :

desktop@serverXX:~$ VBoxManage startvm master3 --type headless

Connectez-vous à la VM master3 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password: fenestros
Last login: Tue Sep 15 06:53:32 2020 from 192.168.56.1

Changer le hostname de la machine et modifiez l'adresse IP fixe de l'interface enp0s8 :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 16:53:17 CEST 2020 on pts/0
[root@centos7 ~]# nmcli general hostname master3.ittraining.loc
[root@centos7 ~]# nmcli con mod ip_enp0s8 ipv4.addresses 192.168.56.4/24

Editer /etc/sysconfig/network :

[root@centos7 ~]# vi /etc/sysconfig/network
[root@centos7 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=master3.ittraining.loc

Activez l'adresse IP 192.168.56.4 :

[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal courant et ouvrez un autre terminal. Connectez-vous au serverXX :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrez la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM master3 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.4
The authenticity of host '192.168.56.4 (192.168.56.4)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.4' (ECDSA) to the list of known hosts.
trainee@192.168.56.4's password: trainee
Last login: Tue Sep 15 09:20:09 2020 from 192.168.56.1
[trainee@master3 ~]$

Créez le repository ambari dans yum :

[trainee@master3 ~]$ su -
Password: fenestros
Last login: Tue Sep 15 09:20:43 CEST 2020 on pts/0
[root@master3 ~]# vi /etc/yum.repos.d/ambari.repo
[root@master3 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@master3 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@master3 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirroir.wptheme.fr
* extras: ftp.rezopole.net
* updates: mirroir.wptheme.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/primary_db | 25 kB 00:00:00
(3/13): ambari/other_db | 1.4 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:01
(6/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(7/13): extras/7/x86_64/primary_db | 206 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/other_db | 316 kB 00:00:00
(10/13): base/7/x86_64/other_db | 2.6 MB 00:00:01
(11/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:01
(12/13): base/7/x86_64/primary_db | 6.1 MB 00:00:03
(13/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:07
Metadata Cache Created

Installez ambari agent :

[root@master3 ~]# yum -y install ambari-agent

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@master3 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
...
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
...

Démarrez le service ambari-agent :

[root@master3 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM master3 :

[root@master3 ~]# shutdown -h now
Connection to 192.168.56.4 closed by remote host.
Connection to 192.168.56.4 closed.

Arrêtez la VM master1 :

desktop@serverXX:~$ VBoxManage controlvm master1 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Configurer la VM worker1

Démarrer la VM worker1 :

desktop@serverXX:~$ VBoxManage startvm worker1 --type headless

Connectez-vous à la VM worker1 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password: trainee
Last login: Tue Sep 15 06:53:32 2020 from 192.168.56.1

Changer le hostname de la machine et modifiez l'adresse IP fixe de l'interface enp0s8 :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 16:53:17 CEST 2020 on pts/0
[root@centos7 ~]# nmcli general hostname worker1.ittraining.loc
[root@centos7 ~]# nmcli con mod ip_enp0s8 ipv4.addresses 192.168.56.5/24

Editer /etc/sysconfig/network :

[root@centos7 ~]# vi /etc/sysconfig/network
[root@centos7 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=worker1.ittraining.loc

Activez l'adresse IP 192.168.56.5 :

[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal courant et ouvrez un autre terminal. Connectez-vous au serverXX :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrez la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM worker1 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.5
The authenticity of host '192.168.56.5 (192.168.56.5)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.5' (ECDSA) to the list of known hosts.
trainee@192.168.56.5's password: trainee
Last login: Tue Sep 15 09:32:41 2020 from 192.168.56.1
[trainee@worker1 ~]$

Créez le repository ambari dans yum :

[trainee@worker1 ~]$ su -
Password: fenestros
[root@worker1 ~]# vi /etc/yum.repos.d/ambari.repo
[root@worker1 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@worker1 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@worker1 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirroir.wptheme.fr
* extras: ftp.rezopole.net
* updates: mirroir.wptheme.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/primary_db | 25 kB 00:00:00
(3/13): ambari/other_db | 1.4 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:01
(6/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(7/13): extras/7/x86_64/primary_db | 206 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/other_db | 316 kB 00:00:00
(10/13): base/7/x86_64/other_db | 2.6 MB 00:00:01
(11/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:01
(12/13): base/7/x86_64/primary_db | 6.1 MB 00:00:03
(13/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:07
Metadata Cache Created

Installez ambari agent :

[root@worker1 ~]# yum -y install ambari-agent

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@worker1 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
...
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
...

Démarrez le service ambari-agent :

[root@worker1 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM worker1 :

[root@worker1 ~]# shutdown -h now
Connection to 192.168.56.5 closed by remote host.
Connection to 192.168.56.5 closed.

Arrêtez la VM master1 :

desktop@serverXX:~$ VBoxManage controlvm master1 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Configurer la VM worker2

Démarrer la VM worker2 :

desktop@serverXX:~$ VBoxManage startvm worker2 --type headless

Connectez-vous à la VM worker2 :

desktop@server40:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password: trainee
Last login: Tue Sep 15 06:53:32 2020 from 192.168.56.1

Changer le hostname de la machine et modifiez l'adresse IP fixe de l'interface enp0s8 :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 16:53:17 CEST 2020 on pts/0
[root@centos7 ~]# nmcli general hostname worker2.ittraining.loc
[root@centos7 ~]# nmcli con mod ip_enp0s8 ipv4.addresses 192.168.56.6/24

Editer /etc/sysconfig/network :

[root@centos7 ~]# vi /etc/sysconfig/network
[root@centos7 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=worker2.ittraining.loc

Activez l'adresse IP 192.168.56.6 :

[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal courant et ouvrez un autre terminal. Connectez-vous au serverXX :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrez la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM worker2 :

desktop@server40:~$ ssh -l trainee 192.168.56.6
The authenticity of host '192.168.56.6 (192.168.56.6)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.6' (ECDSA) to the list of known hosts.
trainee@192.168.56.6's password: trainee
Last login: Tue Sep 15 09:44:25 2020 from 192.168.56.1

Créez le repository ambari dans yum :

[trainee@worker2 ~]$ su -
Password: fenestros
[root@worker2 ~]# vi /etc/yum.repos.d/ambari.repo
[root@worker2 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@worker2 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@worker2 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirroir.wptheme.fr
* extras: ftp.rezopole.net
* updates: mirroir.wptheme.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/primary_db | 25 kB 00:00:00
(3/13): ambari/other_db | 1.4 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:01
(6/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(7/13): extras/7/x86_64/primary_db | 206 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/other_db | 316 kB 00:00:00
(10/13): base/7/x86_64/other_db | 2.6 MB 00:00:01
(11/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:01
(12/13): base/7/x86_64/primary_db | 6.1 MB 00:00:03
(13/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:07
Metadata Cache Created

Installez ambari agent :

[root@worker2 ~]# yum -y install ambari-agent

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@worker2 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
...
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
...

Démarrez le service ambari-agent :

[root@worker2 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM worker2 :

[root@worker2 ~]# shutdown -h now
Connection to 192.168.56.6 closed by remote host.
Connection to 192.168.56.6 closed.

Arrêtez la VM master1 :

desktop@serverXX:~$ VBoxManage controlvm master1 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Configurer la VM worker3

Démarrer la VM worker3 :

desktop@serverXX:~$ VBoxManage startvm worker3 --type headless

Connectez-vous à la VM worker3 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.2
trainee@192.168.56.2's password: trainee
Last login: Tue Sep 15 06:53:32 2020 from 192.168.56.1

Changer le hostname de la machine et modifiez l'adresse IP fixe de l'interface enp0s8 :

[trainee@centos7 ~]$ su -
Password: fenestros
Last login: Thu Sep 10 16:53:17 CEST 2020 on pts/0
[root@centos7 ~]# nmcli general hostname worker3.ittraining.loc
[root@centos7 ~]# nmcli con mod ip_enp0s8 ipv4.addresses 192.168.56.7/24

Editer /etc/sysconfig/network :

[root@centos7 ~]# vi /etc/sysconfig/network
[root@centos7 ~]# cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=worker3.ittraining.loc

Activez l'adresse IP 192.168.56.7 :

[root@centos7 ~]# nmcli connection up ip_enp0s8

Fermez le terminal courant et ouvrez un autre terminal. Connectez-vous au serverXX :

$ ssh desktop@serverXX.ittraining.network
desktop@serverXX.ittraining.network's password:

Démarrez la VM master1 :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless

Connectez-vous à la VM worker3 :

desktop@serverXX:~$ ssh -l trainee 192.168.56.7
The authenticity of host '192.168.56.7 (192.168.56.7)' can't be established.
ECDSA key fingerprint is SHA256:p5z2DKHnUDZcE3RKKo5AbZiVHEe4MPj0qMRug9tAq7M.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.56.7' (ECDSA) to the list of known hosts.
trainee@192.168.56.7's password: trainee
Last login: Tue Sep 15 10:42:01 2020 from 192.168.56.1
[trainee@worker3 ~]$

Créez le repository ambari dans yum :

[trainee@worker3 ~]$ su -
Password: fenestros
[root@worker3 ~]# vi /etc/yum.repos.d/ambari.repo
[root@worker3 ~]# cat /etc/yum.repos.d/ambari.repo
[ambari]
name = Ambari Repo
baseurl = http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
gpgcheck = 0

Mettez à jour la base de données des dépôts dans yum :

[root@worker3 ~]# yum clean all
Loaded plugins: fastestmirror
Cleaning repos: ambari base extras updates
Cleaning up list of fastest mirrors
[root@worker3 ~]# yum makecache
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirroir.wptheme.fr
* extras: ftp.rezopole.net
* updates: mirroir.wptheme.fr
ambari | 2.9 kB 00:00:00
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/13): ambari/filelists_db | 104 kB 00:00:00
(2/13): ambari/primary_db | 25 kB 00:00:00
(3/13): ambari/other_db | 1.4 kB 00:00:00
(4/13): base/7/x86_64/group_gz | 153 kB 00:00:00
(5/13): base/7/x86_64/filelists_db | 7.1 MB 00:00:01
(6/13): extras/7/x86_64/filelists_db | 217 kB 00:00:00
(7/13): extras/7/x86_64/primary_db | 206 kB 00:00:00
(8/13): extras/7/x86_64/other_db | 124 kB 00:00:00
(9/13): updates/7/x86_64/other_db | 316 kB 00:00:00
(10/13): base/7/x86_64/other_db | 2.6 MB 00:00:01
(11/13): updates/7/x86_64/filelists_db | 2.4 MB 00:00:01
(12/13): base/7/x86_64/primary_db | 6.1 MB 00:00:03
(13/13): updates/7/x86_64/primary_db | 4.5 MB 00:00:07
Metadata Cache Created

Installez ambari agent :

[root@worker3 ~]# yum -y install ambari-agent

Modifiez le fichier /etc/ambari-agent/conf/ambari-agent.ini :

[root@worker3 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
...
[server]
hostname=master1.ittraining.loc <-----------------------modifier de localhost à master1.ittraining.loc
...

Démarrez le service ambari-agent :

[root@worker3 ~]# ambari-agent start
Verifying Python version compatibility...
Using python /usr/bin/python
Checking for previously running Ambari Agent...
Checking ambari-common dir...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

Arrêtez la VM worker3 :

[root@worker3 ~]# shutdown -h now
Connection to 192.168.56.7 closed by remote host.
Connection to 192.168.56.7 closed.

Arrêtez la VM master1 :

desktop@serverXX:~$ VBoxManage controlvm master1 poweroff
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Prendre des Snapshots

Avant de poursuivre, prenez une instantanée de chaque VM :

desktop@serverXX:~$ VBoxManage snapshot master1 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: 24bcd65c-b648-4e30-a46a-7f41e47a33e3
desktop@serverXX:~$ VBoxManage snapshot master2 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: a6442d0e-828f-4db4-9a99-42819e131271
desktop@serverXX:~$ VBoxManage snapshot master3 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: a4370cc7-96db-478a-b46f-ebf8e86d22b9
desktop@serverXX:~$ VBoxManage snapshot worker1 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: 13b665ff-d808-4c7c-9f1d-11dbe0df61bc
desktop@serverXX:~$ VBoxManage snapshot worker2 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: 832b0513-48c9-449f-845d-facd9b1b2298
desktop@serverXX:~$ VBoxManage snapshot worker3 take "snapshot1" --description "Fresh install"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Snapshot taken. UUID: b219559d-ecc9-4938-815e-6da06d762b7a

Démarrer les Machines Virtuelles

Démarrez les VMs :

desktop@serverXX:~$ VBoxManage startvm master1 --type headless
desktop@serverXX:~$ VBoxManage startvm master2 --type headless
desktop@serverXX:~$ VBoxManage startvm master3 --type headless
desktop@serverXX:~$ VBoxManage startvm worker1 --type headless
desktop@serverXX:~$ VBoxManage startvm worker2 --type headless
desktop@serverXX:~$ VBoxManage startvm worker3 --type headless

Se Connecter aux Machines Virtuelles

En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine master1 :

desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc

En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine master2 :

desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc

En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine master3 :

desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc

En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker1 :

desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc

En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker2 :

desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc

En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine worker3 :

desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc

Se connecter en mode graphique au serverXX.ittraining.network

Téléchargez le client X2Go ( https://wiki.x2go.org/doku.php/download:start ) et installez-le. Créez une nouvelle connexion XFCE pour votre serveur :

Connectez-vous au serverXX :

Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur admin et le mot de passe admin et cliquez sur le bouton SIGN IN :

Vous êtes maintenant dans la console d'Ambari :

Utiliser la console Ambari

Cliquez sur le bouton LAUNCH INSTALL WIZARD :

Get Started

Saisissez le nom HDP_ittraining en tant que CLUSTER NAME et cliquez sur le bouton NEXT :

Dans la liste des systèmes d'exploitation, supprimez tous les OS sauf redhat7 :

Ouvrez ensuite le fichier /root/repositories dans la VM master1 :

[root@master1 ~]# cat repositories
http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118

Copiez ensuite les URLs à partir du fichier repositories et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton NEXT:

Install Options

Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière [1-3] :

Choisissez l'option Perform manual registration and do not use SSH :

Confirm Hosts

Validez la boîte d'avertissement et cliquez sur le bouton REGISTER AND CONFIRM. L'assistant résout les expressions régulières dans les nom d'hôtes et vous demande de confirmer. Cliquez donc sur le bouton OK :

Cliquez sur le bouton OK de la boîte d'avertissement Before You Proceed :

L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :

Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien Click here to see the check results :

Choose Services

Fermez la fenêtre Host checks et cliquez sur le bouton NEXT. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que HDFS, YARN + MapReduce2 et ZooKeeper puis cliquez sur le bouton NEXT :

Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :

Cliquez sur le bouton OK. L'assistant vous affiche une fenêtre Limited Functionality Warning pour vous avertir des fonctionalités limitées dues au fait qu'Apache Ranger et Apache Atlas n'ont pas été sélectionnés. Cliquez simplement sur le bouton PROCEED ANYWAY chaque fois :

Assign Masters

L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du Metrics Collector à master3.ittraining.loc puis cliquez sur le bouton NEXT :

Assign Slaves and Clients

L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez Client pour chaque hôte puis cliquez sur le bouton NEXT :

Customize Services

Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour Grafana et Activity Explorer. Saisissez le mot de passe fenestros dans chaque cas puis cliquez sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton NEXT :

L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :

Cliquez donc sur la cloche en rouge :

Puis sur le bouton EDIT. entrez le mot de passe fenestros puis cliquez sur le bouton NEXT :

Review

L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton GENERATE BLUEPRINT :

Install, Start and Test

Téléchargez le template puis cliquez sur le bouton DEPLOY :

A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :

En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :

Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :

Cette fois, le résumé ne doit pas montrer d'erreurs :

En validant le déploiement, vous arrivez sur le console de gestion :

<html>

Copyright © 2020 Hugh Norris

</html>