1使用ppa/源方式安装JDK

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java7-installer
sudo update-java-alternatives -s java-7-oracle
java -version


2用户环境准备:

》vi /etc/hostname

HOSTNAME=cookocean

》vi /etc/hosts

127.0.0.1 localhost
104.131.182.5 cookocean cookocean


》sudo addgroup hadoop

》sudo adduser -ingroup hadoop hadoop

》sudo /etc/sudoers

在root ALL=(ALL:ALL) ALL这一行下添加

hadoop ALL=(ALL:ALL) ALL

sudo apt-get update

》 sudo apt-get upgrade

》sudo apt-get install ssh openssh-server

》su - hadoop

》ssh-keygen -t rsa -P ""

进入~/.ssh/目录下:

cd /home/hadoop/.ssh

将此目录下的id_rsa.pub追加到authorized_keys授权文件中:
cat id_rsa.pub >> authorized_keys

3.安装hadoop2

http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

export HADOOP_INSTALL=/usr/local/hadoop

PATH=$PATH:$HADOOP_INSTALL/bin

/sbin

HADOOP_MAPRED_HOME=$HADOOP_INSTALL

HADOOP_COMMON_HOME= HADOOP_HDFS_HOME= YARN_HOME=$HADOOP_INSTALL


4.修改环境配置文件

hdfs.site.xml

 <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value>

    </property>

core-site.xml

 <property>
        <name>fs.default.name</name>
        <value>hdfs://cookocean:9000</value>
    </property>

yarn-site.xml

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


格式化hdfs

 hdfs namenode -format  

只需要执行一次即可,如果在hadoop已经使用后再次执行,会清除掉hdfs上的所有数据

6、启动hadoop

首先进入 /usr/local/hadoop/目录

cd /usr/local/hadoop/

经过上文所描述配置和操作后,下面就可以启动这个单节点的集群

执行启动命令:

   sbin/start-dfs.sh    

执行该命令时,如果有yes /no提示,输入yes,回车即可。

接下来,执行:

sbin/start-yarn.sh    

ubuntu下hadoop2安装的更多相关文章

  1. OpenStack 对象存储 Swift 简单介绍

    Swift最适合的就是永久类型的静态数据的长期存储。提供账号验证的节点被称为AccountServer。Swift中由Swauth提供账号权限认证服务。ProxyserveracceptsincomingrequestsviatheOpenStackObjectAPIorjustrawHTTP.Itacceptsfilestoupload,modificationstoMetadataorcontainercreation.Inaddition,itwillalsoservefilesorcontaine

  2. 使用 Swift语言进行 Hadoop 数据流应用程序开发

    如果您发现了问题,或者希望为改进本文提供意见和建议,请在这里指出.在您开始之前,请参阅目前待解决的问题清单.简介本项目包括两类Hadoop流处理应用程序:映射器mapper和总结器reducer。如上所示,在Hadoop上编写流处理程序是一个很简单的工作,也不需要依赖于特定的软件体系。

  3. Java API操作Hdfs的示例详解

    这篇文章主要介绍了Java API操作Hdfs详细示例,遍历当前目录下所有文件与文件夹,可以使用listStatus方法实现上述需求,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下

  4. 最新hadoop安装教程及hadoop的命令使用(亲测可用)

    这篇文章主要介绍了最新hadoop安装教程(亲测可用),本文主要讲解了如何安装hadoop、使用hadoop的命令及遇到的问题解决,需要的朋友可以参考下

  5. 利用Java连接Hadoop进行编程

    这篇文章主要介绍了利用Java连接Hadoop进行编程,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感兴趣的小伙伴可以参考一下

  6. 无法在Linux命令行中的hadoop中使用正则表达式

    我有一个文件夹,其中包含大量日期为2018年的子文件夹。在我的HDFS中,我创建了一个仅包含12月日期的文件夹,我需要删除21-25天。我将此文件夹从HDFS复制到docker容器中,并在其工作正常的文件夹中使用命令rm-r*[21-25]。但是,当我运行适用于hdfshdfsdfs–rm-r/home/cloudera/logs/2018-Dec/*[21-25]的相同命令时,它会给我一个错误“rm:`/home/cloudera/logs/2018Dec/*[21-25]':没有这样的文件或目录。”。

  7. Windows中的Nutch:无法设置路径的权限

    我正在尝试在Windows机器上使用Nutch使用Solr,我收到以下错误:从我学到的很多线程中,nutch似乎使用了hadoop做了一些chmod魔法,它可以在unix机器上运行,但不能在windows上使用.这个问题现在存在一年多了.我找到了一个线程,其中显示了代码行并提出了修复.我真的只有一个有这个问题吗?是否所有其他人都在创建自定义构建以便在Windows上运行nutch?也许是另一个爬行器而不是nutch?

  8. 在Windows上安装和运行hadoop 2.2的文档

    使用最新版本的Hadoop2.2,我发现该发行说明提到该版本在Windows上运行Hadoop方面有重大改进.我昨天下载了Hadoop2.2,我看到很多带有.sh文件的.cmd文件,这确保了这个版本有脚本和批处理文件,可以在Windows环境下运行Hadoop.但是,在查看ApacheHadoop文档时,我找不到有关如何在Windows上安装和运行此新版本的任何分步说明.除此之外,看起来新版本中嵌入了YARN架构,在线教程中提供的旧配置可能已经过时,不再适用.Hadoop2.2是否有在线提供的良好文档?

  9. Ubuntu系统如何卸载并安装新版本的jdk

    刚刚接触Linux系统,软件的安装和卸载都不熟悉,装错了个jdk,发现连怎么卸载都不会。。。。

  10. CentOS6.5下搭建Hadoop环境详细步骤

    --zhang为主机名,也可以使用ip-->hdfs://zhang:9000fs.defaultFShadoop.tmp.dir/hadoop/temp/10.在$hadoop_home/etc/hadoop目录下执行命令vihdfs-site.xml编辑文件,内容如下:dfs.replication1dfs.name.dir/hadoop/hdfs/namedfs.data.dir/hadoop/hdfs/data11.在$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapre

随机推荐

  1. crontab发送一个月份的电子邮件

    ubuntu14.04邮件服务器:Postfixroot收到来自crontab的十几封电子邮件.这些邮件包含PHP警告.>我已经解决了这些警告的原因.>我已修复每个cronjobs不发送电子邮件(输出发送到>/dev/null2>&1)>我删除了之前的所有电子邮件/var/mail/root/var/spool/mail/root但我仍然每小时收到十几封电子邮件.这些电子邮件来自cronjobs,

  2. 模拟两个ubuntu服务器计算机之间的慢速连接

    我想模拟以下场景:假设我有4台ubuntu服务器机器A,B,C和D.我想在机器A和机器C之间减少20%的网络带宽,在A和B之间减少10%.使用网络模拟/限制工具来做到这一点?

  3. ubuntu-12.04 – 如何在ubuntu 12.04中卸载从源安装的redis?

    我从源代码在Ubuntu12.04上安装了redis-server.但在某些时候它无法完全安装,最后一次makeinstallcmd失败.然后我刚刚通过apt包安装.现在我很困惑哪个安装正在运行哪个conf文件?实际上我想卸载/删除通过源安装的所有内容,只是想安装一个包.转到源代码树并尝试以下命令:如果这不起作用,您可以列出软件自行安装所需的步骤:

  4. ubuntu – “apt-get source”无法找到包但“apt-get install”和“apt-get cache”可以找到它

    我正在尝试下载软件包的源代码,但是当我运行时它无法找到.但是当我运行apt-cache搜索squid3时,它会找到它.它也适用于apt-getinstallsquid3.我使用的是Ubuntu11.04服务器,这是我的/etc/apt/sources.list我已经多次更新了.我尝试了很多不同的debs,并没有发现任何其他地方的错误.这里的问题是你的二进制包(deb)与你的源包(deb-src)不

  5. ubuntu – 有没有办法检测nginx何时完成正常关闭?

    &&touchrestarted),因为即使Nginx没有完成其关闭,touch命令也会立即执行.有没有好办法呢?这样的事情怎么样?因此,pgrep将查找任何Nginx进程,而while循环将让它坐在那里直到它们全部消失.你可以改变一些有用的东西,比如睡1;/etc/init.d/Nginx停止,以便它会休眠一秒钟,然后尝试使用init.d脚本停止Nginx.你也可以在某处放置一个计数器,这样你就可以在需要太长时间时发出轰击信号.

  6. ubuntu – 如何将所有外发电子邮件从postfix重定向到单个地址进行测试

    我正在为基于Web的应用程序设置测试服务器,该应用程序发送一些电子邮件通知.有时候测试是使用真实的客户数据进行的,因此我需要保证服务器在我们测试时无法向真实客户发送电子邮件.我想要的是配置postfix,以便它接收任何外发电子邮件并将其重定向到一个电子邮件地址,而不是传递到真正的目的地.我正在运行ubuntu服务器9.10.先感谢您设置本地用户以接收所有被困邮件:你需要在main.cf中添加:然后

  7. ubuntu – vagrant无法连接到虚拟框

    当我使用基本的Vagrantfile,只配置了两条线:我看到我的虚拟框打开,但是我的流氓日志多次显示此行直到超时:然后,超时后的一段时间,虚拟框框终于要求我登录,但是太久了!所以我用流氓/流氓记录.然后在我的物理机器上,如果我“流氓ssh”.没有事情发生,直到:怎么了?

  8. ubuntu – Nginx – 转发HTTP AUTH – 用户?

    我和Nginx和Jenkins有些麻烦.我尝试使用Nginx作为Jenkins实例的反向代理,使用HTTP基本身份验证.它到目前为止工作,但我不知道如何传递带有AUTH用户名的标头?}尝试将此指令添加到您的位置块

  9. Debian / Ubuntu – 删除后如何恢复/ var / cache / apt结构?

    我在ubuntu服务器上的空间不足,所以我做了这个命令以节省空间但是现在在尝试使用apt时,我会收到以下错误:等等显然我删除了一些目录结构.有没有办法做apt-getrebuild-var-tree或类似的?

  10. 检查ubuntu上安装的rubygems版本?

    如何查看我的ubuntu盒子上安装的rubygems版本?只是一个想法,列出已安装的软件包和grep为ruby或宝石或其他:)dpkg–get-selections

返回
顶部