1. 说明


本次部署使用台机器,4台用于搭建CDH集群,1台为内部源。内部源机器是可以连接公网的,可以提前部署好内部源(内部源服务器是已经存在的ubuntu14.04服务器),4台CDH集群服务器是无法连接内外。本次部署涉及到的服务器的hosts配置如下:
192.168.0.230 cdh01
192.168.0.231 cdh02
192.168.0.232 cdh03
192.168.0.233 cdh04
192.168.0.237 inner-source

2. 搭建内部源


下载cloudera-manager相关包(5.10):
地址:https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/e/enterprise/
下载包列表:
cloudera-manager-server_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-daemons_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-agent_5.10.0-1.cm5100.p0.85~trusty-cm5_amd64.deb

CDH 安装包parcel下载:
地址:http://archive.cloudera.com/cdh5/parcels/5.10.0/
下载包列表:
DH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel
CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel.sha1
manifest.json

下载oracle-j2sdk1.7包地址:
https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/o/oracle-j2sdk1.7/

下载MysqL数据库包地址:
地址:https://dev.MysqL.com/downloads/MysqL/
下载包列表(下载后解压获取所有deb):
MysqL-server_5.7.17-1ubuntu12.04_amd64.deb-bundle.tar

其他依赖包(使用内部源机器部署好内部源后, apt-get install安装cloudera-manager-daemons、cloudera-manager-server、cloudera-manager-agent完后获取/var/cache/apt/archives目录下的所有包,内部源实现的时候开始可以不用下载依赖包,安装cloudera相关包后更新下内部源,使其他不可以访问外网的机器可以在内部源上获取到依赖包):
lsb-base psmisc bash libsasl2-modules zlib1g libsqlite3-0 libfuse2 fuse rpcbind libxslt1.1 libsasl2-modules-gssapi-mit libMysqL-java python-urllib3 等等

创建内部源(在内部源机器192.168.0.237上执行):
安装dpkg-dev:
$sudo apt-get install dpkg-dev -y

生成Packages.gz:
$sudo -i
$sudo mkdir /data/soft/pool
拷贝所有下载完deb包到 /data/soft/pool下面,然后执行如下命令
#cd /data
#dpkg-scanpackages soft/pool | gzip > soft/Packages.gz
更新了依赖包后需重新执行,生产新的Packages.gz

安装配置apache2:
$sudo apt-get install apache2
$sudo mkdir /data/soft/cloudera
拷贝所有的CDH parcel包和manifest.json到/data/soft/cloudera目录下
$cd /var/www/html
$ln -s /data
这时候使用浏览器访问http://inner-source/data/应该可以看到我们下载的包了,inner-source为内部源服务器的hostname,或者在hosts文件中配置的映射。

3. 安装CDH所有服务器环境


所有服务器安装ubuntu14.04.10版本系统,使ultraiso制作ubuntu14.04.10 U盘启动,不要使用ubuntu14.04.5这个镜像,安装过程会无法加载CD。所有服务器使用相同的root密码和相同的安装时配置的用户名密码。这里的所有操作均针对CDH所有服务器。

统一所有CDH服务器时区和时间:
$date -R #查看时间和时区,所有时区为东八区,+0800
$sudo date -s 10:17:20    #修改为准确时间

配置所有服务器hosts如下:
192.168.0.230 cdh01
192.168.0.231 cdh02
192.168.0.232 cdh03
192.168.0.233 cdh04
192.168.0.237 inner-source、

配置所有CDH服务器apt源:
由于所有服务器均服务连接公网,部署CDH的过程中先注释掉官方源,添加内部源,安装完成后可以取消官方源的注释,否则更新源时导致长时间请求超时。执行如下命令
$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$sudo vim /etc/apt/sources.list.d/innersources.lis
在文件中添加如下行
deb http://inner-source/data soft/
$sudo apt-get update
$sudo vim /etc/apt/apt.conf
在新建文件中添加如下行,注意最后有分号:
APT::Get::AllowUnauthenticated 1 ;

配置root用户ssh远程登录,所有CDH服务器root密码一样:
$sudo passwd root
$sudo vi /etc/ssh/sshd_config
在文件中修改如下:
#PermitRootLogin without-password
PermitRootLogin yes
$sudo service ssh restart #重启ssh服务

所有服务器上安装jdk:
$sudo apt-get install oracle-j2sdk1.7
配置JAVA_HOME:
$sudo vim /etc/profile #在文件末尾添加如下内容
export JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=${JAVA_HOME}/lib:${JRE_HOME}/jre:${CLAsspATH}
export PATH=${JAVA_HOME}/bin:${PATH}
$source /etc/profile

所有服务器上安装dbc driver(使用MysqL数据库):
$sudo apt-get install libMysqL-java

4. 主节点安装cloudera manager


安装MysqL数据库(主节点):
$sudo apt-get install MysqL-server
$sudo service MysqL stop
$sudo mv /var/lib/MysqL/ib_logfile* /tmp/ #迁移出ib_logfile文件
$sudo vim /etc/MysqL/my.cnf #修改配置文件,内容如下

[client]
port = 3306
socket = /var/run/MysqLd/MysqLd.sock

[MysqLd_safe]
socket = /var/run/MysqLd/MysqLd.sock
nice = 0

[MysqLd]
server-id=1
user = MysqL
pid-file = /var/run/MysqLd/MysqLd.pid
socket = /var/run/MysqLd/MysqLd.sock
port = 3306
basedir = /usr
datadir = /var/lib/MysqL
tmpdir = /tmp
lc-messages-dir = /usr/share/MysqL
skip-external-locking
log_error = /var/log/MysqL/error.log

transaction-isolation = READ-COMMITTED
# disabling symbolic-links is recommended to prevent assorted security risks;
# to do so,uncomment this line:
# symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space. Replace '/var/lib/MysqL/MysqL_binary_log' with an appropriate path for your system
#and chown the specified folder to the MysqL user.
log_bin=/var/lib/MysqL/MysqL_binary_log

# For MysqL version 5.1.8 or later. For older versions,reference MysqL documentation for configuration help.
binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
sql_mode=STRICT_ALL_TABLES

$sudo service MysqL start
使用root用户进入MysqL,root密码在安装的过程中会设置,执行如下sql(密码可以根据需求修改):
create database cmf DEFAULT CHaraCTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'passwrod';

create database metastore DEFAULT CHaraCTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'passwrod';

create database hue DEFAULT CHaraCTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'passwrod';

create database rman DEFAULT CHaraCTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'passwrod';

create database oozie DEFAULT CHaraCTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'passwrod';

flush privileges;

安装cloudera manager:
$sudo apt-get install cloudera-manager-daemons cloudera-manager-server
$sudo vim /etc/cloudera-scm-server/db.properties #(修改数据库用户配置为上面设置的cmf数据库用户信息,下面信息开始为INIT,首次不改动,启动cloudera-scm-server后改为如下然后再重启cloudera-scm-server)
#com.cloudera.cmf.db.setupType=INIT
com.cloudera.cmf.db.setupType=EXTERNAL
启动cloudera-scm-server:
$sudo service cloudera-scm-server start

5. 使用cloudera manager安装CDH

访问cloudera manager管理地址,默认用户名密码为admin/admin,端口:7180,如:http://192.168.0.230:7180/,除如下步骤其他均和选择默认选项: 发现集群的时候可以直接输入各节点IP使用英文逗号隔开,发现后使用所有相同的root密码连接集群 在集群安装,选择存储界面"使用Parcel (建议) "后选择更多选项,远程Parcel 存储库URL添加如下地址(内部安装包地址,具体而定): http://inner-source/data/soft/cloudera/ 选择您要安装在主机上的 Cloudera Manager Agent 特定发行版。选择中,选择"自定义存储库",输入内部源地址:data前面没有/是空格 deb http://inner-source data soft/ 在集群搭建页面输入上面创建的数据库用户,并测试。

CDH5.10 ubuntu14.04部署文档--离线安装的更多相关文章

  1. 从iOS应用程序发送帖子到PHP脚本不工作…简单的解决方案就像

    我之前已经做了好几次了但是由于某些原因我无法通过这个帖子…我尝试了设置为_POST且没有的变量的PHP脚本……当它们未设置为发布时它工作精细.这是我的iOS代码:这里是PHP的一大块,POST变量不在正确的位置?我想这对于更有经验的开发人员来说是一个相当简单的答案,感谢您的帮助!解决方法$_POST是一个数组,而不是一个函数.您需要使用方括号来访问数组索引:

  2. Android – 将SQLite与MySQL同步的最佳方式

    参见英文答案>Synchronizingclient-serverdatabases5个我正在开发一个包含网络应用和移动应用程序的项目,该应用程序记录每日用户的数据.用户可以删除,更新他们的数据,他们可以使用许多设备插入数据.我打算这样开发:用户输入他们的数据然后插入sqlite.服务将定期启动(每5小时或每小时)以使用时间戳与MysqL同步.我确实在互联网上使用服务和时间戳搜索了一个样本,但我一

  3. android – 如何将唯一的GCM注册标识存储到MySQL中

    我正在设置GoogleCloudMessaging机制的服务器端,使用MySQL存储移动应用提供的注册ID.Google可以发出最多4k个注册码,我被迫将其存储在TEXT字段中.所有的好,到目前为止,问题是我必须处理这样的情况:>用户登录到应用程序>该应用从google请求注册ID>应用程序将新的注册ID发送到应用服务器>服务器存储该注册ID并将其链接到当前登录的用户>该用户注销并且新用户登录>应

  4. nodeJs链接Mysql做增删改查的简单操作

    本篇文章主要介绍了nodeJs链接Mysql做增删改查的简单操作,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  5. PHP连接MYSQL数据库的3种常用方法

    这篇文章主要介绍了PHP连接MYSQL数据库的3种常用方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  6. PHP使用PDO创建MySQL数据库、表及插入多条数据操作示例

    这篇文章主要介绍了PHP使用PDO创建MySQL数据库、表及插入多条数据操作,结合实例形式总结分析了php基于pdo的mysql数据库创建、数据表创建以及多条数据插入操作相关实现技巧,需要的朋友可以参考下

  7. MybatisPlus如何处理Mysql的json类型

    这篇文章主要介绍了MybatisPlus如何处理Mysql的json类型,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  8. 基于PHP+mysql实现新闻发布系统的开发

    这篇文章主要介绍了基于PHP+mysql实现新闻发布系统的开发,文章通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  9. nodejs操作mysql实现增删改查的实例

    下面小编就为大家带来一篇nodejs操作mysql实现增删改查的实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  10. NodeJs使用Mysql模块实现事务处理实例

    本篇文章主要介绍了NodeJs使用Mysql模块实现事务处理 ,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

随机推荐

  1. crontab发送一个月份的电子邮件

    ubuntu14.04邮件服务器:Postfixroot收到来自crontab的十几封电子邮件.这些邮件包含PHP警告.>我已经解决了这些警告的原因.>我已修复每个cronjobs不发送电子邮件(输出发送到>/dev/null2>&1)>我删除了之前的所有电子邮件/var/mail/root/var/spool/mail/root但我仍然每小时收到十几封电子邮件.这些电子邮件来自cronjobs,

  2. 模拟两个ubuntu服务器计算机之间的慢速连接

    我想模拟以下场景:假设我有4台ubuntu服务器机器A,B,C和D.我想在机器A和机器C之间减少20%的网络带宽,在A和B之间减少10%.使用网络模拟/限制工具来做到这一点?

  3. ubuntu-12.04 – 如何在ubuntu 12.04中卸载从源安装的redis?

    我从源代码在Ubuntu12.04上安装了redis-server.但在某些时候它无法完全安装,最后一次makeinstallcmd失败.然后我刚刚通过apt包安装.现在我很困惑哪个安装正在运行哪个conf文件?实际上我想卸载/删除通过源安装的所有内容,只是想安装一个包.转到源代码树并尝试以下命令:如果这不起作用,您可以列出软件自行安装所需的步骤:

  4. ubuntu – “apt-get source”无法找到包但“apt-get install”和“apt-get cache”可以找到它

    我正在尝试下载软件包的源代码,但是当我运行时它无法找到.但是当我运行apt-cache搜索squid3时,它会找到它.它也适用于apt-getinstallsquid3.我使用的是Ubuntu11.04服务器,这是我的/etc/apt/sources.list我已经多次更新了.我尝试了很多不同的debs,并没有发现任何其他地方的错误.这里的问题是你的二进制包(deb)与你的源包(deb-src)不

  5. ubuntu – 有没有办法检测nginx何时完成正常关闭?

    &&touchrestarted),因为即使Nginx没有完成其关闭,touch命令也会立即执行.有没有好办法呢?这样的事情怎么样?因此,pgrep将查找任何Nginx进程,而while循环将让它坐在那里直到它们全部消失.你可以改变一些有用的东西,比如睡1;/etc/init.d/Nginx停止,以便它会休眠一秒钟,然后尝试使用init.d脚本停止Nginx.你也可以在某处放置一个计数器,这样你就可以在需要太长时间时发出轰击信号.

  6. ubuntu – 如何将所有外发电子邮件从postfix重定向到单个地址进行测试

    我正在为基于Web的应用程序设置测试服务器,该应用程序发送一些电子邮件通知.有时候测试是使用真实的客户数据进行的,因此我需要保证服务器在我们测试时无法向真实客户发送电子邮件.我想要的是配置postfix,以便它接收任何外发电子邮件并将其重定向到一个电子邮件地址,而不是传递到真正的目的地.我正在运行ubuntu服务器9.10.先感谢您设置本地用户以接收所有被困邮件:你需要在main.cf中添加:然后

  7. ubuntu – vagrant无法连接到虚拟框

    当我使用基本的Vagrantfile,只配置了两条线:我看到我的虚拟框打开,但是我的流氓日志多次显示此行直到超时:然后,超时后的一段时间,虚拟框框终于要求我登录,但是太久了!所以我用流氓/流氓记录.然后在我的物理机器上,如果我“流氓ssh”.没有事情发生,直到:怎么了?

  8. ubuntu – Nginx – 转发HTTP AUTH – 用户?

    我和Nginx和Jenkins有些麻烦.我尝试使用Nginx作为Jenkins实例的反向代理,使用HTTP基本身份验证.它到目前为止工作,但我不知道如何传递带有AUTH用户名的标头?}尝试将此指令添加到您的位置块

  9. Debian / Ubuntu – 删除后如何恢复/ var / cache / apt结构?

    我在ubuntu服务器上的空间不足,所以我做了这个命令以节省空间但是现在在尝试使用apt时,我会收到以下错误:等等显然我删除了一些目录结构.有没有办法做apt-getrebuild-var-tree或类似的?

  10. 检查ubuntu上安装的rubygems版本?

    如何查看我的ubuntu盒子上安装的rubygems版本?只是一个想法,列出已安装的软件包和grep为ruby或宝石或其他:)dpkg–get-selections

返回
顶部