基础简介
版本:Cloudera Manager:6.2.1 CDH:6.2.1
CDH优点:可视化自动部署与配置,一键集成多种组件
CDH简介:CDH是Cloudera维护的稳定Hadoop技术栈发行版,其灵活,安全,可扩展性高,高可用,兼容性好。
CM简介:Cloudra Manager是一个web操作平台,可以借助CDH极简安装多种Hadoop框架。
基础环境准备
1.配置三台机器hostname和映射关系
修改hostname
1 | # 查看当前hostname主机名 |
添加映射关系
1 | # 编辑文件 |
2.配置SSH免密登录
1 | # 分别在三台机器上执行如下命令 |
3.关闭一些配置
1 | #关闭防火墙 |
附:如果是云服务器,则还需要在安全组内添加白名单,如果机器安装了一些Linux管理面板,也有可能需要在Liunx面板中的安全组关闭一次。
Cloudra Manager环境安装
0.Linux机器安装基础依赖包
1 | yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse |
1.下载CDH和CM相关安装包
下载地址:
1 | # 6.3.3版本后开始收费,现在下载都需要订阅了,所以测试时就无法从此链接下载了,需要找其他路径去下载 |
2.搭建本地yum源
启动httpd服务并上传rpm文件
1 | # 启动apache httpd服务 |
生成repodata目录
1 | cd /var/www/html/cm6/6.2.1/redhat7/yum |
配置yum源
1 | vim /etc/yum.repos.d/cloudera-manager.repo |
如果在yum源中添加了新包,需要删除之前的repodata文件后重新生成,并重启httpd服务,再执行yum clean all
清除缓存。
3.创建用于管理集群的用户
1 | # 增加用户 |
4.安装MySQL服务
安装执行过程如下
1 | # 卸载自带 |
密码配置与账号配置
1 | -- 输入密码登录MySQL |
安装Cloudera Server服务
1.通过搭建好的yum源安装服务
1 | yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64 |
2.配置元数据库,执行预备脚本
1 | # 先将MySQL驱动拷贝到cm的lib目录下 |
3.启动cm server进程
1 | # 启动命令 |
4.配置本地parcel包
1 | # 在数据库初始化后,将parcel文件放到/opt/cloudera/parcel-repo中 |
5.配置swappiness和透明化
透明化配置
1 | # 查看透明页面是否开启 |
swappiness配置,内核参数为vm.swappiness,值范围是0-100,表示系统何时开始交换物理内存与虚拟内存。举例:系统内存为100G,vm.swappiness为10,则表示系统内存在使用到 100G * [ (100 - 10) / 100 ] = 90G
的时候才进行物理内存和虚拟内存的交换,这个会影响性能,所以建议区间是1-10。
1 | # 临时生效 |
访问WEB-UI界面进行安装操作
1. 进入界面
访问地址:http://hadoop001:7180/cmf/login
账号密码: admin
登录后进入欢迎界面,点击Continue下一步
2. 点击yes同意,再点击Continue下一步
3. 测试环境选择Cloudera Express Free免费版本,然后再点击Continue下一步
4. 给我们的集群取一个名字
5. 在Hostname中填入主机名搜索,然后勾选搜索到的结果再点击Continue下一步
6. 配置本地仓库
此处Custom Repository选默认,为: http://hadoop001/cm6/6.2.1,CDH Version此时是没有扫描到的,所以需要访问此链接(http://gf-hadoop001:7180/cmf/parcel/status)配置一下`Parcel Update Frequency 包更新周期`,可以配置为1分钟一次,安装的时候才能展示出来。安装成功后可以设置回一小时,其他选项都默认,再次点击Continue下一步
7. 此处勾选安装Oracle的JDK
8. 配置root的密码
9. 开始等待agents的安装
10. 检查集群环境
安装成功后检查集群的环境,先检查网络情况,但是因为此时安装的是单机环境,网络检查状态是有问题的,但是没关系先跳过。然后再是检查host环境,检查通过后选择I understand the risks...
再点击下一步。
这是上一步host检查的结果,如果我们没有配置swappiness和透明化,那么红框中的选项就会有异常。
11. 一键安装常用组件
这一步可以一键安装一些常用组件,不安装则直接点返回,此时软件环境就已经安装成功了。