Hadoop集群系列2:机器信息分布表的讲解
在众多学习中,文章也许不起眼,但是重要的下面我们就来讲解一下!!
1、分布式环境搭建
采用4台安装Linux环境的机器来构建一个小规模的分布式集群。
图1 集群的架构
其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。
2、集群机器详细信息
2.1 Master服务器oracle视频教程
名称 | 详细信息 |
机器名称 | Master.Hadoop |
机器IP地址 | 192.168.1.2 |
最高用户名称(Name) | root |
最用用户密码(PWD) | hadoop(全小写) |
一般用户名称(Name) | hadoop(全小写) |
一般用户密码(PWD) | hadoop(全小写) |
2.2 Slave1服务器
名称 | 详细信息 |
机器名称 | Slave1.Hadoop |
机器IP地址 | 192.168.1.3 |
最高用户名称(Name) | root |
最用用户密码(PWD) | hadoop(全小写) |
一般用户名称(Name) | hadoop(全小写) |
一般用户密码(PWD) | hadoop(全小写) |
2.3 Slave2服务器
Oracle培训
名称 | 详细信息 |
机器名称 | Slave2.Hadoop |
机器IP地址 | 192.168.1.4 |
最高用户名称(Name) | root |
最用用户密码(PWD) | hadoop(全小写) |
一般用户名称(Name) | hadoop(全小写) |
一般用户密码(PWD) | hadoop(全小写) |
2.4 Slave3服务器oracle教程
名称 | 详细信息 |
机器名称 | Slave3.Hadoop |
机器IP地址 | 192.168.1.5
高尔夫球的数据分析 |
最高用户名称(Name) | root |
最用用户密码(PWD) | hadoop(全小写) |
一般用户名称(Name) | hadoop(全小写) |
一般用户密码(PWD) | hadoop(全小写) |
备注:
添加新用户命令:useradd;修改新用户密码:passwd 用户名
退出当前用户:exit; 登录root用户:su –
3、集群机器实际布局
下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。
3.1 Hadoop工作集群
该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。
图3.1-1 Hadoop工作集群部署图(1)oracle数据库教程
趋势一:数据的资源化
何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。
趋势二:与云计算的深度结合
大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
趋势三:科学理论的突破
随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。
趋势四:数据科学和数据联盟的成立
未来,数据科学将成为一门专门的学科,被越来越多的人所认知。各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,也将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。
趋势五:数据泄露泛滥
未来几年数据泄露事件的增长率也许会达到100%,除非数据在其源头就能够得到安全保障。可以说,在未来,每个财富500强企业都会面临数据攻击,无论他们是否已经做好安全防范。而所有企业,无论规模大小,都需要重新审视今天的安全定义。在财富500强企业中,超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据,所有数据在创建之初便需要获得安全保障,而并非在数据保存的最后一个环节,仅仅加强后者的安全措施已被证明于事无补。
#p#分页标题#e#
图3.1-2 Hadoop工作集群部署图(2)
上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的新Dell,而三台Slave机器则是实验室淘汰的旧Lenovo,用一个小路由器他们组成了一个局域网。
图3.1-3 路由器特写
3.2 Hadoop实验集群
为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个”主——TMaster”;一个”辅——TSlave”。
图3.2-1 Hadoop实验集群部署
上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。
更多视频课程文章的课程,可到课课家官网查看。我在等你哟!!!