hdfs
  1. 首页
  2. hdfs

java – 如何在非常小的集群上附加一个hdfs文件(3个节点或更少)

也许,在配置中有些东西丢失？任何帮助将不胜感激！编辑即使dfs.replication设置为1,当我检查文件的状态我发现状态[i].block_replication设置为3.我不认为这是问题,因为当我将dfs.replication的值更改为0时,我得到了一个相关的异常.所以显然它确实服从dfs.replication的价值,但是要安全起见,是否有办法更改每个文件的block_replication值？

java – hdfs中的文件路径

我想从Hadoop文件系统中读取文件.为了实现文件的正确路径,我需要hdfs的主机名和端口地址.所以最后我的路径的文件将看起来像现在我想知道提取HostName=“123.23.12.4344”&港口：9000？基本上,我想访问AmazonEMR上的FileSystem,但是当我使用我得到所以我决定使用URI.,但我不知道如何访问URI.解决方法您可以使用两种方法来解决您的错误.1.2.

java – 在HDFS上合并多个LZO压缩文件

谢谢解决方法如果你不太在意并行性这里是一个bash一线：您可以使用map-reduce并行提取所有文件.但是如何并行地从多个文件创建一个归档文件？据我所知,不可能同时从多个进程写入单个HDFS文件.所以我们不可能提出一个单一的节点解决方案.

java – 在hadoop中启动namenode失败？

我在Windows7fromtutorial中配置Hadoop它设置单节点集群.当运行hdfsnamenode-format格式化namenode它会抛出异常：而当start-all.cmd时,windowsnamenode自动强制,那么我可以在地址–http://localhost:50070中打开namenodeGUI.16/01/1915:18:58WARNnamenode.FSEditLo

java – 从HDFS读取一个简单的Avro文件

我试图简单读取存储在HDFS中的Avro文件.我发现当它在本地文件系统上时如何阅读….但是,我的文件是HDFS.我不能给openReader一个Path或一个FSDataInputStream.如何在HDFS中读取Avro文件？

JFreeChart与AJAX+JSON+ECharts两种处理方式生成热词统计可视化图表

第二种AJAX+JSON+ECharts实现可视化图表，并呈现于浏览器上。------>目录：1、JFreeChart可视化处理HDFS文件读取JDFreeChart库应用2、AJAX+JSON+EChart生成可视化图表EChart基本方法JSON数据格式AJAX技术热词统计示例3、总结------>1、JFreeChart可视化处理HDFS文件读取保存时，我们数据使用了两种方式保存：1）纯文本方式：适合整体读取数据，并按行将内容读取出来处理。我只阐述了EFreeChart和ECharts两种方式，一种

无法在Linux命令行中的hadoop中使用正则表达式

我有一个文件夹，其中包含大量日期为2018年的子文件夹。在我的HDFS中，我创建了一个仅包含12月日期的文件夹，我需要删除21-25天。我将此文件夹从HDFS复制到docker容器中，并在其工作正常的文件夹中使用命令rm-r*[21-25]。但是，当我运行适用于hdfshdfsdfs–rm-r/home/cloudera/logs/2018-Dec/*[21-25]的相同命令时，它会给我一个错误“rm:`/home/cloudera/logs/2018Dec/*[21-25]'：没有这样的文件或目录。”。

OpenStack 对象存储 Swift 简单介绍

Swift最适合的就是永久类型的静态数据的长期存储。提供账号验证的节点被称为AccountServer。Swift中由Swauth提供账号权限认证服务。ProxyserveracceptsincomingrequestsviatheOpenStackObjectAPIorjustrawHTTP.Itacceptsfilestoupload,modificationstoMetadataorcontainercreation.Inaddition,itwillalsoservefilesorcontaine

Ubuntu16.04下安装Hadoop2.7.4伪分布式环境

按ctrl+alt+t打开终端窗口，执行如下命令：3.安装ssh并设置ssh免密登陆注意：每次配置时，需要注意当前目录为hadoop。Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是xml格式，每个配置以声明property的name和value的方式来实现。MapReduce配置在hadoop用户下，先用sshlocalhost，然后格式化hdfs:显示格式