我现在基于probalistic latent semantic indexing(plsa)做图像检索,我的方法和这篇论文很像,需要计算一个条件概率p(z|w,v,d),我直接定义成了“double pzdwtwv[][][][];”简单地说,z是主题,w是英文单词,v是视觉单词,d是文档,大小分别为12100500*7000,就是12个主题,100个英文单词,500个视觉单词,7000个文档,double型的话算下来大概32G,其中z和d的数目是确定的,每个d的w和v的数目是不确定的。
因为数组不能全部放进内存,所以把它放进数据库中,我的数据库是这样设计的,把四维数组拆成二维数组,每次读或写一个二维数组。
我使用了40个线程跑算法,数据库中在collection中每个键对应的值是一个二维数组,每次计算完这个二维数组后就写入数据库,我的方法是这样的:
public synchronized void update(int d, int t, double[][][] topic_pro )
{
if(ifTrainset)
mongo.update(true, (d+1)*100 + t, topic_pro[t]);
else
mongo.update(false, (d+1)*100 + t, topic_pro[t]);
}
pzdwtwv和pzdwtwv_test是不同的collection。
mongo.update方法是这样的:
public void update(boolean ifTrainset, int key, double[][] new_value)
{
BasicDBObject query = new BasicDBObject().append("key", key);
BasicDBObject updated_element = new BasicDBObject();
updated_element.append("$set", new BasicDBObject().append("value", new_value));
if (ifTrainset)
{
p_z_d_wt_wv.update(query, updated_element, true, false);
}else{
p_z_d_wt_wv_test.update(query, updated_element, true, false);
}
}
另外,运行程序的时候,cpu利用率很低,大概7%~8%左右,但是内存几乎达到100%。 请问这个怎么解决
对于题主的问题,简单分析一下:
synchronized是不必要的,mongodb本身是线程安全的,而你的update方法只是一个简单的切换;
从你的问题描述上看,应该是计算密集型的任务,对与计算密集型的任务,一般ThreadNums=CpuNums+1,过多的线程数导致上下文频繁的切换,反而会影响效率;
没有给出mongodb的版本信息,在2.2版本之前,mongodb的lock粒度是server级别,在2.2级别之后,lock粒度是db级别,对于粗粒度的锁,除非你的数据库进行了sharing,否则尽管两个collection是不同的,单次每次写(更新)操作时,仍然会等待锁,这也是与单线程性能差不多的主要原因;
benchmark测试,尽量需要减少硬件、软件等外部因素的影响。对于你的问题描述,无法看出这些,只有一个简单的多线程与单线程的区别,这在JVM层面的影响因素就有很多了,所以无法简单的给出性能的优劣评价。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。