文章详情页
python - mongodb去重
问题描述
1.功能里需要根据有一个字段来判断是否重复,比如叫做ownnerId,凡是存在的就丢弃.于是我用到了distinct这个方法,但是这段时间随着数据量逐渐增大,出现了一个问题:
OperationFailure: distinct too big, 16mb cap
这是命令行里边的错误,说distinct返回的结果太大了,超过了16M.请问各位高手能否贡献一些方法.
需求:每次通过检查数据库中ownnerId这个字段是否出现了,其中数据库是一直在更新的,而且这个不存在的ownnerId在一会处理后就会存到数据库中去,所以要求每次判断都要重新检查一遍数据库中这个ownner字段.因此对速度的要求也比较高.各位大神瞅瞅,求给个意见.
问题解答
回答1:如果我理解的对的话,是否考虑过Unique Indexes。
供参考。
Love MongoDB! Have fun!
相关文章:
1. js怎样实现在类似qq的联系人分组中进行搜索后,又可恢复原分组的界面?2. javascript - 百度地图一开始设置了中心点,怎么通过按钮在调转到对应的中心点????3. windows-server - 阿里云服务器给了权限,本地采集的数据远程写入服务器中MySQL5.5表中,一秒可以写入多少?这个速度一般由什么来决定?4. MongoDB的索引需要考虑每个键的索引方向,为何这么设计?而MySQL的索引则无需考虑方向,两者之间有何优劣势?5. javascript - 微信 H5 授权 返回键6. mysql优化 - mysql 一张表如果不能确保字段列长度一致,是不是就不需要用到char。7. python - 如何将文本文件的CR换行符换成LF换行符?8. 怎样用python给mp3添加封面?9. TP6里多应用里如何开启调试跟踪10. 数据库 - Mysql的存储过程真的是个坑!求助下面的存储过程哪里错啦,实在是找不到哪里的问题了。
排行榜