考虑一个基于两个步骤的MPI应用程序,我们称之为load和globalReduce.为了简单起见,软件正在被描述,但还有很多事情要发生,所以它不仅仅是一个Map / Reduce问题.

在加载步骤期间,每个给定节点中的所有等级都被排队,使得一个且仅一个等级具有对该节点的所有存储器的完全访问权.这种设计的原因在于,在加载阶段,有一组大的IO块被读取,并且它们都需要在可以进行局部缩减之前加载到存储器中.我们将这个局部缩减的结果称为命名变量myRankVector.获得myRankVector变量后,将释放IO块.变量myRankVector本身使用的内存很少,因此在创建过程中节点可以使用所有内存,完成后排名只需要使用2-3 GB来保存myRankVector.

在节点的globalReduce阶段,预计节点中的所有等级都加载了相应的globalReduce.

所以这是我的问题,虽然我已经确保绝对没有任何内存泄漏(我使用共享指针编程,我用Valgrind进行了双重检查等),我很肯定即使在所有析构函数发布之后堆也会保持扩展IO块.当队列中的下一个排名完成它的工作时,它开始要求大量内存,就像之前的排名一样,当然程序得到Linux杀死产生“内存不足:杀死进程xxx(xxxxxxxx)得分xxxx或牺牲孩子“.很清楚为什么会出现这种情况,队列中的第二个等级想要使用所有内存,但第一个等级仍然是大堆.

因此,在设置此问题的上下文之后:有没有办法手动减少C中的堆大小以真正释放未使用的内存?

谢谢.

解决方法

So,after the setting the context of this question: is there a way to manually reduce the heap size in C++ to truly release memory not being used?

这取决于操作系统,但很可能不可能.

大多数操作系统都会为您提供从单个进程完成的内存分配,直到该进程完全完成并终止.

大量计算后减少C程序的堆大小的更多相关文章

  1. 如何找出Android 2的位图有多少可用堆大小?*?

    我们的应用程序使用了很多位图.它适用于例如G1,XOOM.但是在HTCDesire上有一个OutOfMemory错误.在代码中我们使用try/catch并且所有设备抛出异常,但HTC只是在没有OOM异常的情况下杀死应用程序.我们将位图的内存限制在12Mb,似乎这个解决方案解决了问题,但客户仍然在HTCDesireHD上遇到问题.即使有12Mb的限制也有OOM.这是日志:AFAIK设备有不同的堆大小限制.在我看来,系统应至少提供16MB,但我们的OOM为12mb.我的问题是:如何找出Android2的位图可

  2. android – 确定Activity的可用堆空间(防止OutOfMemoryException)

    我有一个Activity,它将一个文件从外部存储器加载到内存中,并在内存中进行一些解析/操作/等操作.在我加载它之前,我想猜测这样做是否会导致OutOfMemoryException并使Activity崩溃从上面提到的答案中,我提出:所以,问题:1)我疯了吗?2)如何从MemoryInfo对象中总计值来估计活动/任务的堆使用情况?3)Debug是否始终存在或仅在调试时?解决方法您可以参考此链接.对您面临的同一问题进行全面研究.OOMRESEACH

  3. 详解JavaScript栈内存与堆内存

    这篇文章主要介绍了JavaScript栈内存与堆内存,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  4. windows – 监视桌面堆内存

    有没有办法弄清楚哪个应用程序正在耗尽所有桌面堆内存?有关“桌面堆”的说明,请参阅thisMSDNblog.编辑:如果您不知道“桌面堆内存”是什么,请不要回答.EDIT2:如果您不知道“桌面堆内存”是什么,请不要投票来关闭问题.根据这篇blog帖子,您应该查找用户对象.要查找错误的应用程序,可以在ProcessExplorer中配置USERObjects列.然后按用户对象降序排序.用户对象是所有GUI对象,如Windows,工具栏,图标,光标……

  5. ubuntu – 非堆内存泄漏JVM

    我在oraclejava虚拟机上运行的ubuntu服务器上设置了glassfishv4.0,并且jvm进程驻留内存大小(通过“top”命令获得)长大,直到jvm没有内存来创建新线程.是)我有的:>具有1GbRAM和1.4GHz处理器的VPS服务器(1Core)>UbuntuServer12.04>Java(TM)SE运行时环境(版本1.7.0_51-b13)>JavaHotSpot(TM)64位服

  6. java – 为什么堆内存使用量和加载类的数量不断增加?

    我正在使用JVMExplorer–linktoJVMExplorer来分析我的Spring应用程序.我有以下问题.>为什么’使用堆内存’即使在应用程序之后也会不断增加已启动并尚未收到任何请求?(图1)>为什么即使在垃圾收集之后和收到任何请求之前‘二手堆内存’不断增加?(图像2)>为什么在垃圾收集之后,通过向应用程序发送一些请求,加载类的数量正在增加?为什么它只是增加几乎所有东西?

  7. java – 如何减少VisualVM对堆使用的影响?

    更改轮询间隔可能不是更好,因为我对堆信息感兴趣.如果这不可能,我们可以排除用于VisualVM的数据吗?至少我想更专注于我的应用程序.运行代码VisualVM的堆监视器活动解决方法最简单的方法是减少轮询间隔.影响与获取数据的比率成正比.我所做的是使用yourkit,它可以在本机内存中执行所有操作,因此对堆没有影响.

  8. java – VisualVM连接到本地TomEE非常慢,不能进行堆转储

    我在MACOSX山狮上遇到了TomEE1.5.1和VisualVM1.7.0_09的一个非常奇怪的问题.TomEE加载一些webapp后.使用VisualVM连接本地TomEE进程需要很长时间,连接后gc按钮被禁用,我无法进行堆转储.VisualVM的日志显示一些错误..java_pid文件未在tmp文件夹中创建.但是如果我在启动它之后和加载任何webapps之前使用VisualVM连接

  9. 如何以编程方式增加java堆大小

    我有一个用于搜索文件的java桌面应用程序,很快就会达到默认的堆数限制.我将无法访问所有将安装的系统,所以我想增加应用程序本身的JVM堆大小.任何人可以帮助我如何在我的应用程序中以编程方式执行解决方法将-Xmx设置为一个gig并不意味着JVM将在启动时分配大量内存.JVM将只分配-xms,直到需要更多的堆空间.您是否需要保护用户免受操作系统的虚拟内存或内存分配失败的影响?

  10. java – 是否可以按池检查堆内存使用情况?

    我一直在努力优化一个有很多内存泄漏问题的程序.泄漏现在已经消失,但主要GC的偶尔运行仍然对PS老一代产生了良好的影响.我知道我可以通过运行时检查基本的整体内存信息,但是可以在程序中检查PSeden,PS幸存者和PSold的使用情况吗?解决方法这个article可以帮到你您可以编写自定义代码来分析内存和数据.输出将在表单中好read

随机推荐

  1. 从C到C#的zlib(如何将byte []转换为流并将流转换为byte [])

    我的任务是使用zlib解压缩数据包(已接收),然后使用算法从数据中生成图片好消息是我在C中有代码,但任务是在C#中完成C我正在尝试使用zlib.NET,但所有演示都有该代码进行解压缩(C#)我的问题:我不想在解压缩后保存文件,因为我必须使用C代码中显示的算法.如何将byte[]数组转换为类似于C#zlib代码中的流来解压缩数据然后如何将流转换回字节数组?

  2. 为什么C标准使用不确定的变量未定义?

    垃圾价值存储在哪里,为什么目的?解决方法由于效率原因,C选择不将变量初始化为某些自动值.为了初始化这些数据,必须添加指令.以下是一个例子:产生:虽然这段代码:产生:你可以看到,一个完整的额外的指令用来移动1到x.这对于嵌入式系统来说至关重要.

  3. 如何使用命名管道从c调用WCF方法?

    更新:通过协议here,我无法弄清楚未知的信封记录.我在网上找不到任何例子.原版的:我有以下WCF服务我输出添加5行,所以我知道服务器是否处理了请求与否.我有一个.NET客户端,我曾经测试这一切,一切正常工作预期.现在我想为这个做一个非托管的C客户端.我想出了如何得到管道的名称,并写信给它.我从here下载了协议我可以写信给管道,但我看不懂.每当我尝试读取它,我得到一个ERROR_broKEN_P

  4. “这”是否保证指向C中的对象的开始?

    我想使用fwrite将一个对象写入顺序文件.班级就像当我将一个对象写入文件时.我正在游荡,我可以使用fwrite(this,sizeof(int),2,fo)写入前两个整数.问题是:这是否保证指向对象数据的开始,即使对象的最开始可能存在虚拟表.所以上面的操作是安全的.解决方法这提供了对象的地址,这不一定是第一个成员的地址.唯一的例外是所谓的标准布局类型.从C11标准:(9.2/20)Apointe

  5. c – 编译单元之间共享的全局const对象

    当我声明并初始化一个const对象时.两个cpp文件包含此标头.和当我构建解决方案时,没有链接错误,你会得到什么如果g_Const是一个非const基本类型!PrintInUnit1()和PrintInUnit2()表明在两个编译单元中有两个独立的“g_Const”具有不同的地址,为什么?

  6. 什么是C名称查找在这里? (&GCC对吗?)

    为什么在第三个变体找到func,但是在实例化的时候,原始变体中不合格查找找不到func?解决方法一般规则是,任何不在模板定义上下文中的内容只能通过ADL来获取.换句话说,正常的不合格查找仅在模板定义上下文中执行.因为在定义中间语句时没有声明func,并且func不在与ns::type相关联的命名空间中,所以代码形式不正确.

  7. c – 在输出参数中使用auto

    有没有办法在这种情况下使用auto关键字:当然,不可能知道什么类型的.因此,解决方案应该是以某种方式将它们合并为一个句子.这可用吗?解决方法看起来您希望默认初始化给定函数期望作为参数的类型的对象.您无法使用auto执行此操作,但您可以编写一个特征来提取函数所需的类型,然后使用它来声明您的变量:然后你就像这样使用它:当然,只要你重载函数,这一切都会失败.

  8. 在C中说“推动一切浮动”的确定性方式

    鉴于我更喜欢将程序中的数字保留为int或任何内容,那么使用这些数字的浮点数等效的任意算术最方便的方法是什么?说,我有我想写通过将转换放在解析的运算符树叶中,无需将表达式转化为混乱是否可以使用C风格的宏?应该用新的类和重载操作符完成吗?解决方法这是一个非常复杂的表达.更好地给它一个名字:现在当您使用整数参数调用它时,由于参数的类型为double,因此使用常规的算术转换将参数转换为double用C11lambda……

  9. objective-c – 如何获取未知大小的NSArray的第一个X元素?

    在objectiveC中,我有一个NSArray,我们称之为NSArray*largeArray,我想要获得一个新的NSArray*smallArray,只有第一个x对象…

  10. c – Setprecision是混乱

    我只是想问一下setprecision,因为我有点困惑.这里是代码:其中x=以下:方程的左边是x的值.1.105=1.10应为1.111.115=1.11应为1.121.125=1.12应为1.131.135=1.14是正确的1.145=1.15也正确但如果x是:2.115=2.12是正确的2.125=2.12应为2.13所以为什么在一定的价值是正确的,但有时是错误的?请启发我谢谢解决方法没有理由期望使用浮点系统可以正确地表示您的帖子中的任何常量.因此,一旦将它们存储在一个双变量中,那么你所拥有的确切的一

返回
顶部