c – 大量小写入的fwrite效率

原文

我有一个程序,使用fwrite保存许多大文件> 1GB它工作正常,但不幸的是由于数据的性质,每次调用fwrite只写1-4字节.结果是写入可能需要一个多小时,大部分时间似乎是由于系统调用开销(或至少在fwrite的库函数中).我对fread有类似的问题.

有没有人知道任何现有/库函数将使用内联函数缓冲这些写入和读取,或者这是另一个自己的卷？

解决方法

首先,fwrite()是一个库而不是系统调用.其次,它已经缓冲了数据.

您可能希望尝试增加缓冲区的大小.这是通过使用setvbuf()来完成的.在我的系统上,这只能帮助一点点,但是YMMV.

如果setvbuf()没有帮助,你可以自己做缓冲,只有在你积累了足够的数据后才调用fwrite().这涉及更多的工作,但几乎肯定会加快写作速度,因为你自己的缓冲可以比fwrite()更轻量级.

编辑：如果有人告诉你这是问题的fwrite()调用的绝对数量,需要查看证据.更好的是,做自己的性能测试.在我的计算机上,使用fwrite()的500,000,000个双字节写入需要11秒.这相当于大约90MB / s的吞吐量.

最后但并非最不重要的是,我的测试中的11秒与您的问题中提到的一小时之间的巨大差异暗示了您的代码中可能存在导致性能非常差的其他因素的可能性.

c – 大量小写入的fwrite效率的更多相关文章

  1. audio – 如何将QBASIC PLAY命令转换为更现代的东西？

    我在我的QB应用程序中播放命令,如下所示：我想将这些转换成现代应用程序可以使用的东西.有什么想法吗？我正在搞乱FreeBasic中的应用程序.您可以使用这样的工具(C代码)将Play字符串转换为WAV文件：用gcc编译：测试文件,JingleBells.txt：跑：喜欢听JingleBells.wav！

  2. 文件锁定在PHP中

    我有一个新手写了一些PHP代码来跟踪我的网站上的一些用法.我不熟悉PHP,所以我要问一些关于并发文件访问的问题.我的原生应用程序偶尔通过点击包含我的PHP脚本的URL将一些数据记录到我的网站.本机应用程序不检查返回的数据.这是一个流量较低的站点,数据并不重要.但是如果两个用户发生冲突并且脚本的两个实例都试图在文件中添加一行,会发生什么？在PHP中是否有任何隐式文件锁定？

  3. php fwrite()没有完成将字符串数据写入文件,为什么？

    我正在尝试将大量数据写入通过PHP中的fopen()打开的文件.我正在使用的协议包装器是ftp,因此该文件远程运行PHP代码的服务器.我正在写的文件是在Windows服务器上.我确认该文件实际上是由我的PHP代码创建的,但问题是文件中的数据要么不存在(0KB),要么过早地写入文件.不知道为什么会这样.这是我用来处理操作的代码：当我在本地计算机上托管它时,此代码可以正常工作,但是当我将其上传到我的w

  4. php – 如何在没有Content-Length标头的情况下流式传输HTTP文件？

    是否可以将文件上传到apachePHP服务器而不包含内容长度标题？

  5. php – 组合2个CSV文件

    我正在尝试在PHP中组合两个CSV文件.我正在寻找完美的方法.到目前为止,这是我的代码：如果您有大型CVS并且您不想使用机器的大部分内存(例如,每个CSV为1GB),我会给您一个解决方案.用法：有趣的事实：我只是用它来连接2个大约500,000行的CSV文件.花了大约5秒钟,使用了512kb的内存.逻辑：打开每个文件,读取一行,然后将其写入输出文件.是的,写入每一行可能比编写整个缓冲区要慢,但这样

  6. php – 如何重写相同的文件

    目前我是这样做的：但我有一个循环,做一些昂贵的东西(与文件),我想避免打开和关闭文件句柄每次我想覆盖“测试”应该是这样的：这可能吗？

  7. 为什么我得到这个clang错误：在iOS 8的模拟器上_fwrite $UNIX2003

    我已将新的iOS8下载到我的手机和最新的Xcode到我的Mac上.这一切都运行良好,但在我尝试iPhone4s或5个模拟器加载并尝试新的iPhone6plus模拟器后,我收到以下错误：对我来说,我整个上午都在使用iPhone4模拟器似乎很奇怪,但只有在我尝试iPhone6plus模拟器之后,它才会破坏,我无法恢复使用解决方法thislink提供的答案对我来说很好.如上所述,要删除所有这些错误,您必须创建一个*.c文件并复制粘贴以下代码：通常一切都应该没问题.

  8. c-fwrite()替代32位系统上的大文件

    我试图用C代码生成大文件.现在我使用fopen()与’wb’参数来打开文件二进制和fwrite()函数for循环将文件写入文件.我在每个循环迭代中写一个字节.直到文件大于或等于4294967296字节才有问题.它在32位操作系统中看起来像一些内存限制,因为当它写入该打开的文件时,它仍然在RAM中.我对吗？症状是创建的文件的尺寸比我想要的要小.差异是4096MB,例如当我想要6000MB文件,它创建6000MB–4096MB=1904MB文件.你能建议其他方式来做这个任务吗？

  9. c – 大量小写入的fwrite效率

    我有一个程序,使用fwrite保存许多大文件>1GB它工作正常,但不幸的是由于数据的性质,每次调用fwrite只写1-4字节.结果是写入可能需要一个多小时,大部分时间似乎是由于系统调用开销.我对fread有类似的问题.有没有人知道任何现有/库函数将使用内联函数缓冲这些写入和读取,或者这是另一个自己的卷？

  10. c – 哪个更快,将原始数据写入驱动器或写入文件？

    我需要将数据写入驱动器.我有两个选择：>写入原始扇区写入一个文件哪种方式更快？我预计原始部门的写作功能_write会更有效率.但是,我的测试结果失败了！fwrite更快._write花费更长的时间.我粘贴了我的代码段也许我的代码是错误的.你能帮我吗？

随机推荐

  1. 从C到C#的zlib(如何将byte []转换为流并将流转换为byte [])

    我的任务是使用zlib解压缩数据包(已接收),然后使用算法从数据中生成图片好消息是我在C中有代码,但任务是在C#中完成C我正在尝试使用zlib.NET,但所有演示都有该代码进行解压缩(C#)我的问题：我不想在解压缩后保存文件,因为我必须使用C代码中显示的算法.如何将byte[]数组转换为类似于C#zlib代码中的流来解压缩数据然后如何将流转换回字节数组？

  2. 为什么C标准使用不确定的变量未定义？

    垃圾价值存储在哪里,为什么目的？解决方法由于效率原因,C选择不将变量初始化为某些自动值.为了初始化这些数据,必须添加指令.以下是一个例子：产生：虽然这段代码：产生：你可以看到,一个完整的额外的指令用来移动1到x.这对于嵌入式系统来说至关重要.

  3. 如何使用命名管道从c调用WCF方法？

    更新：通过协议here,我无法弄清楚未知的信封记录.我在网上找不到任何例子.原版的：我有以下WCF服务我输出添加5行,所以我知道服务器是否处理了请求与否.我有一个.NET客户端,我曾经测试这一切,一切正常工作预期.现在我想为这个做一个非托管的C客户端.我想出了如何得到管道的名称,并写信给它.我从here下载了协议我可以写信给管道,但我看不懂.每当我尝试读取它,我得到一个ERROR_broKEN_P

  4. “这”是否保证指向C中的对象的开始？

    我想使用fwrite将一个对象写入顺序文件.班级就像当我将一个对象写入文件时.我正在游荡,我可以使用fwrite(this,sizeof(int),2,fo)写入前两个整数.问题是：这是否保证指向对象数据的开始,即使对象的最开始可能存在虚拟表.所以上面的操作是安全的.解决方法这提供了对象的地址,这不一定是第一个成员的地址.唯一的例外是所谓的标准布局类型.从C11标准：(9.2/20)Apointe

  5. c – 编译单元之间共享的全局const对象

    当我声明并初始化一个const对象时.两个cpp文件包含此标头.和当我构建解决方案时,没有链接错误,你会得到什么如果g_Const是一个非const基本类型！PrintInUnit1()和PrintInUnit2()表明在两个编译单元中有两个独立的“g_Const”具有不同的地址,为什么？

  6. 什么是C名称查找在这里？ (&GCC对吗？)

    为什么在第三个变体找到func,但是在实例化的时候,原始变体中不合格查找找不到func？解决方法一般规则是,任何不在模板定义上下文中的内容只能通过ADL来获取.换句话说,正常的不合格查找仅在模板定义上下文中执行.因为在定义中间语句时没有声明func,并且func不在与ns::type相关联的命名空间中,所以代码形式不正确.

  7. c – 在输出参数中使用auto

    有没有办法在这种情况下使用auto关键字：当然,不可能知道什么类型的.因此,解决方案应该是以某种方式将它们合并为一个句子.这可用吗？解决方法看起来您希望默认初始化给定函数期望作为参数的类型的对象.您无法使用auto执行此操作,但您可以编写一个特征来提取函数所需的类型,然后使用它来声明您的变量：然后你就像这样使用它：当然,只要你重载函数,这一切都会失败.

  8. 在C中说“推动一切浮动”的确定性方式

    鉴于我更喜欢将程序中的数字保留为int或任何内容,那么使用这些数字的浮点数等效的任意算术最方便的方法是什么？说,我有我想写通过将转换放在解析的运算符树叶中,无需将表达式转化为混乱是否可以使用C风格的宏？应该用新的类和重载操作符完成吗？解决方法这是一个非常复杂的表达.更好地给它一个名字：现在当您使用整数参数调用它时,由于参数的类型为double,因此使用常规的算术转换将参数转换为double用C11lambda……

  9. objective-c – 如何获取未知大小的NSArray的第一个X元素？

    在objectiveC中,我有一个NSArray,我们称之为NSArray*largeArray,我想要获得一个新的NSArray*smallArray,只有第一个x对象…

  10. c – Setprecision是混乱

    我只是想问一下setprecision,因为我有点困惑.这里是代码：其中x=以下：方程的左边是x的值.1.105=1.10应为1.111.115=1.11应为1.121.125=1.12应为1.131.135=1.14是正确的1.145=1.15也正确但如果x是：2.115=2.12是正确的2.125=2.12应为2.13所以为什么在一定的价值是正确的,但有时是错误的？请启发我谢谢解决方法没有理由期望使用浮点系统可以正确地表示您的帖子中的任何常量.因此,一旦将它们存储在一个双变量中,那么你所拥有的确切的一

返回
顶部