我们需要搭建3台Centos7的服务器,用来部署Hadoop,在安装Hadoop之前需要配置服务器环境,我使用VMware虚拟机软件进行搭建。

# 1.设置静态IP

1.VMware顶部菜单栏,编辑➡虚拟网络编辑器,查看子网地址用来设置centos的ip地址

虚拟网络

2.查看DNS用来设置centos的网关和DNS

网关IP

3.修改网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33,注意:加了注释的地方都是更改或后来加上去的

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" #将dhcp修改为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="ccd70596-916f-4933-9a15-fedb32f5cd5c"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.133.102 #192.168.133是根据步骤一查看的子网地址,102自己命名在1-255之间即可
GATEWAY=192.168.133.2 #GATEWAY和DNS相同,设置为步骤二获取的DNS值一样即可
DNS1=192.168.133.2 #加了注释的地方都是更改或后来加上去的
4.重新加载网络配置并禁用NetworkManager服务
  • 执行 service network restart
  • systemctl stop NetworkManager
  • systemctl disable NetworkManager

# 2.设置Linux名称hostname

查看名称:hostname
临时修改:hostname 名称
永久修改: vi /etc/hostname 然后在里面输入你要修改的名称即可

# 3.Linux防火墙设置

作为开发人员学习Linux可以直接关闭防火墙,因为涉及到多台机器通信,运维的同学不要学习哦~~

  • 临时关闭:systemctl stop firewalld
  • 查看状态:systemctl status firewalld
  • 永久关闭:systemctl disable firewalld

# 4.配置SSH免密操作

集群之间需要配置SSH免密才能正常通信,即使只用一台机器做“伪集群”也是需要的,不信你用centos自己远程连接自己,也是需要密码的,Hadoop就是使用SSH连接的。

输入`ssh-keygen -t rsa`命令,然后一直回车
[root@bigdata01 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:TWldJiWEt76Zn1CW8i/TCpRlL544GH28Odr11WeeNMA root@bigdata01
The key's randomart image is:
+---[RSA 2048]----+
|           o+.+  |
|          .o.=   |
|          +...o  |
|         + .o= o |
|        S o.=EB .|
|           +.O.=.|
|          . =+B+*|
|            +*+BB|
|            ..==+|
+----[SHA256]-----+

执行以后会在~/.ssh目录下生产对应的公钥和秘钥文件,下一步是把公钥拷贝到需要免密码登录的机器上面

[root@bigdata01 ~]# ssh bigdata01 #先测试一下SSH登录,发现需要密码
[root@bigdata01 ~]# ll ~/.ssh/ #查看公钥文件
总用量 12
-rw-------. 1 root root 1679 1010 19:32 id_rsa
-rw-r--r--. 1 root root  396 1010 19:32 id_rsa.pub
-rw-r--r--. 1 root root  201 109 21:42 known_hosts
[root@bigdata01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥复制到指定文件
[root@bigdata01 ~]# ssh bigdata01 #免密登录当前机器

# 5.配置ip与名称映射关系

[root@bigdata04 hadoop]# vi /etc/hosts
[root@bigdata04 hadoop]# cat /etc/hosts
192.168.133.103 bigdata03
192.168.133.104 bigdata04
192.168.133.105 bigdata05

# 6.yum相关

  • yum update
  • yum install -y epel- release