Ubuntu-14.04.5搭建Hadoop-2.9.0分布式集群环境
必须安装并且保证sshd一直运行，以便用Hadoop脚本管理远端Hadoop守护进程。
hdfs
ubuntu16.04 安装单机Hadoop&HIVE
这样客户端可以通过8020端口来连接namenode服务，hdfs的守护进程也会通过该属性确定主机和端口第一个参数配置为副本数，由于是单机，先为1，默认应该是3，但是我们是伪分布式，设置为3会在block做副本的时候报错，就是说无法将某块复制到3个datanode上。
Pydoop在AWS的Ubuntu上Segmentation fault 错误处理
问题描述平台用Python开发，使用pydoop对HDFS文件进行操作，当迁移到AWS时，出现SegmentationFault,通过排查，确定问题是因为调用了Pydoop对hdfs的初始化过程中出现的问题。
Ubuntu14,jdk1.8,hadoop2.7.* 安装
而且最重要的是，hadoop是开源的。单机模式是在hadoop解压缩之后默认选择的最精简模式，在这个模式中，core-site.xml，hdfs-site.xml和hadoop-env.sh中的配置信息默认为空，在安装时需要我们自己去配置填写。伪分布模式就是hadoop运行在单集群上，这个模式比单机模式多了代码调试功能，并且启用了HDFS功能而且能够和几个守护进程进行交互本文中安装的是Ubuntu16.04LTS+Java1.8.0_101+Hadoop2.7.3一、Linux上Java环境的安装首先在L
Ubuntu 14.04下 Hadoop3.0-alpha 的安装
运行example单节点运行还是进入Hadoop目录，执行下述命令如果有错的话，请看这篇博文，这是我遇到的错误。伪多节点运行首先需要明白hdfs系统，hdfs是一个并行的文件系统，我们要多节点运行就需要文件读写都在hdfs文件系统中格式化文件系统:bin/hdfsdfs-format启动hdfs系统在hdfs中创建文件夹执行例子如果有错的话，请看这篇博文，这是我遇到的错误。
ubuntu14.04部署hadoop环境(学习笔记)
第五步：关闭防火墙第六步：需要在hadoop-2.6.0目录下创建一些目录1.创建core-site.xml中hadoop.tmp.dir的目录：hadoop-2.7.3/tmp#这个目录start-dfs.sh时不会自动创建2.创建hdfs-site.xml中dfs.namenode.name.dir的目录：hadoop-2.7.3/dfs/name#这个目录start-dfs.sh时会自动创建3.创建hdfs-site.xml中dfs.datanode.data.dir的目录：hadoop-2.7.3