对于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的Spark,大致步骤如下(我使用VMWare下的Ubuntu 14.04,暂不考虑安全问题,在root下运行):


1、安装Ubuntu 14.04,注意装好后需要禁用防火墙(ufw disable),安装SSH 服务器,启用root用户


2、下载安装JDK-1.8、scala 2.11.8(需要和spark的jar版本配合下,这个其实不是很必要,练习用)、spark、maven(build用,这里的scala版本需要和spark的一致,否则可能出现ClassNotDef异常)


3、在.profile中配置环境变量,如:

export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7

export SPARK_LOCAL_HOST=192.168.162.132

export SPARK_MASTER_HOST=192.168.162.132


4、启动spark:

$SPARK_HOME/sbin/start-master.sh

# 在单机情况下也必须启动,否则没有worker

$SPARK_HOME/sbin/start-slave.sh


5、使用maven编译一个示例程序(当然sbt也可以)


6、提交你的测试程序,如下:

$SPARK_HOME/spark-submit --class "类名" --master spark://IP:Port 打包文件名


另外,注意的一点是需要在/etc/hosts和/etc/hostname中正确配置主机名,否则可能出现IOException

Ubuntu系统搭建单机Spark注意事项的更多相关文章

  1. Ubuntu安装Spark

    安装Python$sudoapt-getinstallpython3安装完毕后,使用如下命令查看python3的具体版本:$/usr/bin/python3-VPython3.5.2安装scala:$sudoapt-getinstallscalascala-docscala-library查看安装的scala的版本信息:$scala-versionScalacoderunnerversion2.1

  2. 基于CentOS的Hadoop和Spark分布式集群搭建过程

    IP地址:192.168.106.128(主节点);192.168.106.129(从节点);192.168.106.130(从节点)。

  3. Ubuntu下Spark单机版Standalone安装

    选择完毕,点击>DownloadSpark

  4. centos7.2(linux)+spark2.1.0安装

    介绍下spark在Linux上的安装.操作系统是centos,centos其实是纯净版的Linux.(1)版本spark版本选2.x以上.2.1.0是去年中旬刚出来的.centos7.264(2)下载spark下载地址,百度.(3)安装解压,放到/usr路径下,本人的是:配置spark安装路径,打开.bash_profile.这个文件里面要预先配置javapath.回到spark目录,spark-

  5. 基于CentOS6.4环境编译Spark-2.1.0源码

    1写在前面的话有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对Spark源码进行编译呢?针对如上列出的两点的个人觉得比较好的最佳实践:根据生产上运行的Hadoop版本编译出Spark的安装包修改Spark源码之后,重新编译Spark所以:个人觉得如果想更好的学习和使用Spark,那么第一步就是要会根据Spark源码编译出安装包。

  6. Ubuntu系统搭建单机Spark注意事项

    对于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的Spark,大致步骤如下(我使用VMWare下的Ubuntu14.04,暂不考虑安全问题,在root下运行):1、安装Ubuntu14.04,注意装好后需要禁用防火墙(ufwdisable),安装SSH服务器,启用root用户2、下载安装JDK-1.8、scala2.11.8(需要和spark的jar版本配合下,这个其实不是很必

  7. Ubuntu 16.04 SPARK 开发环境搭建-- 伪分布版 与新建一个Spark版本的WordCount

    Ubuntu16.04SPARK开发环境搭建这里首先是基于Hadoop已经装好了情况下,安装SPARK.具体Hadoop安装参考:点击打开链接如果你没安装JDK请安装,你在安装Hadoop时候也必须安装JDK这里也稍微写点初始工作:1.安装JDK,下载jdk-8u111-linux-x64.tar.gz,解压到/opt/jdk1.8.0_111下载地址:http://www.Oracle.com/

  8. Ubuntu安装Spark和Hadoop集群

    一、JDK安装手动解压JDK的压缩包,然后设置环境变量1.1在/usr/目录下创建java目录root@ubuntu:~#mkdir/usr/javaroot@ubuntu:~#cd/usr/java1.2下载jdk,然后解压http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlroot

  9. Pydoop在AWS的Ubuntu上Segmentation fault 错误处理

    问题描述平台用Python开发,使用pydoop对HDFS文件进行操作,当迁移到AWS时,出现SegmentationFault,通过排查,确定问题是因为调用了Pydoop对hdfs的初始化过程中出现的问题。

  10. Ubuntu 下安装sparklyr 并连接远程spark集群

    安装sparklyr1.通过devtools包实现sparklyr包的安装:出现问题:安装不上,因为Ubuntu中需要安装一些包2.在本地安装spark3.设置JAVA,SPRK,SPRK_VERSION环境变量4.连接本地spark5.连接远程spark注意:之前如果设置了环境变量的话,就直接使用以上语句就行,否则的话得在函数里添加环境变量的参数。

随机推荐

  1. crontab发送一个月份的电子邮件

    ubuntu14.04邮件服务器:Postfixroot收到来自crontab的十几封电子邮件.这些邮件包含PHP警告.>我已经解决了这些警告的原因.>我已修复每个cronjobs不发送电子邮件(输出发送到>/dev/null2>&1)>我删除了之前的所有电子邮件/var/mail/root/var/spool/mail/root但我仍然每小时收到十几封电子邮件.这些电子邮件来自cronjobs,

  2. 模拟两个ubuntu服务器计算机之间的慢速连接

    我想模拟以下场景:假设我有4台ubuntu服务器机器A,B,C和D.我想在机器A和机器C之间减少20%的网络带宽,在A和B之间减少10%.使用网络模拟/限制工具来做到这一点?

  3. ubuntu-12.04 – 如何在ubuntu 12.04中卸载从源安装的redis?

    我从源代码在Ubuntu12.04上安装了redis-server.但在某些时候它无法完全安装,最后一次makeinstallcmd失败.然后我刚刚通过apt包安装.现在我很困惑哪个安装正在运行哪个conf文件?实际上我想卸载/删除通过源安装的所有内容,只是想安装一个包.转到源代码树并尝试以下命令:如果这不起作用,您可以列出软件自行安装所需的步骤:

  4. ubuntu – “apt-get source”无法找到包但“apt-get install”和“apt-get cache”可以找到它

    我正在尝试下载软件包的源代码,但是当我运行时它无法找到.但是当我运行apt-cache搜索squid3时,它会找到它.它也适用于apt-getinstallsquid3.我使用的是Ubuntu11.04服务器,这是我的/etc/apt/sources.list我已经多次更新了.我尝试了很多不同的debs,并没有发现任何其他地方的错误.这里的问题是你的二进制包(deb)与你的源包(deb-src)不

  5. ubuntu – 有没有办法检测nginx何时完成正常关闭?

    &&touchrestarted),因为即使Nginx没有完成其关闭,touch命令也会立即执行.有没有好办法呢?这样的事情怎么样?因此,pgrep将查找任何Nginx进程,而while循环将让它坐在那里直到它们全部消失.你可以改变一些有用的东西,比如睡1;/etc/init.d/Nginx停止,以便它会休眠一秒钟,然后尝试使用init.d脚本停止Nginx.你也可以在某处放置一个计数器,这样你就可以在需要太长时间时发出轰击信号.

  6. ubuntu – 如何将所有外发电子邮件从postfix重定向到单个地址进行测试

    我正在为基于Web的应用程序设置测试服务器,该应用程序发送一些电子邮件通知.有时候测试是使用真实的客户数据进行的,因此我需要保证服务器在我们测试时无法向真实客户发送电子邮件.我想要的是配置postfix,以便它接收任何外发电子邮件并将其重定向到一个电子邮件地址,而不是传递到真正的目的地.我正在运行ubuntu服务器9.10.先感谢您设置本地用户以接收所有被困邮件:你需要在main.cf中添加:然后

  7. ubuntu – vagrant无法连接到虚拟框

    当我使用基本的Vagrantfile,只配置了两条线:我看到我的虚拟框打开,但是我的流氓日志多次显示此行直到超时:然后,超时后的一段时间,虚拟框框终于要求我登录,但是太久了!所以我用流氓/流氓记录.然后在我的物理机器上,如果我“流氓ssh”.没有事情发生,直到:怎么了?

  8. ubuntu – Nginx – 转发HTTP AUTH – 用户?

    我和Nginx和Jenkins有些麻烦.我尝试使用Nginx作为Jenkins实例的反向代理,使用HTTP基本身份验证.它到目前为止工作,但我不知道如何传递带有AUTH用户名的标头?}尝试将此指令添加到您的位置块

  9. Debian / Ubuntu – 删除后如何恢复/ var / cache / apt结构?

    我在ubuntu服务器上的空间不足,所以我做了这个命令以节省空间但是现在在尝试使用apt时,我会收到以下错误:等等显然我删除了一些目录结构.有没有办法做apt-getrebuild-var-tree或类似的?

  10. 检查ubuntu上安装的rubygems版本?

    如何查看我的ubuntu盒子上安装的rubygems版本?只是一个想法,列出已安装的软件包和grep为ruby或宝石或其他:)dpkg–get-selections

返回
顶部