唐山建网站,中国建筑网官网视频,哪个网站上做ppt比较好看的图片,有没有可以在网站上做试卷的1 Hadoop集群环境搭建概述
所谓集群#xff0c;就是一组通过网络互联的计算机#xff0c;集群中的每一台计算机称作一个节点#xff0c;Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件#xff0c;然后对外提供大数据存储和分析等相关服务。 一个前提…1 Hadoop集群环境搭建概述
所谓集群就是一组通过网络互联的计算机集群中的每一台计算机称作一个节点Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件然后对外提供大数据存储和分析等相关服务。 一个前提Hadoop是为了在Linux平台上使用而开发的 一个现实我们的电脑不是Linux系统 如何解决搭建虚拟机在虚拟机上安装Linux操作系统 虚拟机是什么 虚拟的计算机功能和真实计算机几乎完全一样 如何搭建虚拟机 在真实电脑上安装虚拟化软件来实现虚拟机的搭建 虚拟化软件有哪些 VMware workstation和Virtualbox 版本选择及注意事项 1213,14,15,1617都可以但是要注意输入对应版本的序列号 Linux运行环境的部署 搭建一个虚拟机然后再在这个虚拟机上直接安装部署Linux操作系统 来实现Linux运行环境。 2 Hadoop分布式环境搭建 0准备模板虚拟机 配置依情况而定太小跑程序会有问题例如 主机名称hadoop100可以自己起仅仅在Vmware中显示 内存2G 硬盘20G IP 地址192.168.10.100 作用安装分布式节点所需的软件并进行配置 1hadoop100 虚拟机配置要求如下 ➢ yum 安装需要虚拟机可以正常上网首先 确保虚拟机能够联网 yum就是去找服务器把你要的资源拉下来 ➢ 安装epel-release 注1Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包适用于RHEL、CentOS 和 Scientific Linux。相当于 是一个软件仓库大多数rpm 包在官方repository 中是找不到的 注2如果Linux 安装的是最小系统版还需要手动安装net-tools、vim 等工具最好不要最小化安装 2关闭防火墙关闭防火墙开机自启动 [roothadoop100 ~]# systemctl stop firewalld [roothadoop100 ~]# systemctl disable firewalld [roothadoop100 ~]# systemctl status firewalld 为什么要关掉防火墙因为他们之间要进行互通关闭防火墙是为了他们之间在构建集群的时候不会因为防火墙和端口的限制 3创建hadoop 用户并修改hadoop 用户的密码 [roothadoop100 ~]# useradd hadoop [roothadoop100 ~]# passwd hadoop 4配置hadoop 用户具有root 权限方便后期加sudo 执行root 权限的命令 [roothadoop100 ~]# vim /etc/sudoers ## Allow root to run any commands anywhere root ALL(ALL) ALL hadoop ALL(ALL) ALL 注意基本配置用hadoop安装软件启动服务都用hadoop 5在/opt目录下创建文件夹并修改所属主和所属组 1在/opt目录下创建 module、software文件夹 2修改 module、software文件夹的所有者和所属组均为hadoop用户 3查看 module、software文件夹的所有者和所属组 [roothadoop100 ~]# chown hadoop:hadoop /opt/module [roothadoop100 ~]# chown hadoop:hadoop /opt/software 为什么要创建这些文件夹为了使目录结构更加规整 /opt是第三方管理软件为什么要修改文件夹和所属组为root用户这涉及到权限问题要求有写的权限 你没有就自己创建我用我自己创建的普通用户 6卸载自带jdk最小化安装不需要 [roothadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps ➢ rpm -qa 查询所安装的所有 rpm 软件包 ➢ grep -i 忽略大小写 ➢ xargs -n1 表示每次只传递一个参数 ➢ rpm -e –nodeps 强制卸载软件 这个步骤很重要以后如果涉及到开发运维这些都是最基本的 为什么要强制卸载java呢因为可能版本不兼容所以要卸载因为可能有依赖关系所以强制卸 7配置静态ip 1)配置虚拟机IP 这里我写的比较简略因为我已经很熟练了这个是我当时学配置静态ip的博客会改就行 虚拟机配置静态IPNAT模式_nat子网的准入_阿祖收手吧的博客-CSDN博客 [roothadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 [roothadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
OWSER_ONLYno
BOOTPROTOstatic
……
NAMEens33
UUID9473daea-1240-40a7-ada1-a2aa06f7b09d
DEVICEens33
ONBOOTyes
IPADDR192.168.133.100
PREFIX24
GATEWAY192.168.133.2
DNS1192.168.133.2 上面是我之前的ip地址下面这个是我配置的ip地址 重启一下网络发现ip变成自己改的ip 8修改主机名称 1)修改主机名称 [roothadoop100 ~]# vim /etc/hostname hadoop100 里面的内容删了就行这里建议直接改配置文件因为fhostname hadoop100只会维护一段时间 2修改主机名称 [roothadoop100 ~]# vim /etc/hosts 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 9重启虚拟机hadoop100 [roothadoop100 ~]# reboot 10修改windows主机的hosts文件添加以下内容 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 经过上述步骤系统相关设置基本完成。接下来需要安装软件 1JDK 2Hadoop 上述系统配置使用root用户完成比较方便。以下软件安装步骤统一使用上 述创建的 hadoop用户完成 伪分布式的配置 伪分布式我配了五六遍了发现老师给的ppt里面配置文件写错了 Web端查看HDFS的NameNode,浏览器输入http://hadoop102:9870 Web端查看YARN的ResourceManager,在浏览器输入http://hadoop102:8088
