文章详情页
python - mongodb去重
浏览：144日期：2022-10-14 09:36:55
问题描述
1.功能里需要根据有一个字段来判断是否重复,比如叫做ownnerId,凡是存在的就丢弃.于是我用到了distinct这个方法,但是这段时间随着数据量逐渐增大,出现了一个问题:
OperationFailure: distinct too big, 16mb cap
这是命令行里边的错误,说distinct返回的结果太大了,超过了16M.请问各位高手能否贡献一些方法.
需求:每次通过检查数据库中ownnerId这个字段是否出现了,其中数据库是一直在更新的,而且这个不存在的ownnerId在一会处理后就会存到数据库中去,所以要求每次判断都要重新检查一遍数据库中这个ownner字段.因此对速度的要求也比较高.各位大神瞅瞅,求给个意见.
问题解答
回答1：如果我理解的对的话，是否考虑过Unique Indexes。
供参考。
Love MongoDB！ Have fun！
相关文章：
1. mysql - JAVA怎么实现一个DAO同时实现查询两个实体类的结果集2. sql语句 - 如何在mysql中批量添加用户？3. mysql建表报错，查手册看不懂，求解？4. PHP类属性声明？5. 求大神支招，php怎么操作在一个html文件的<head>标记内添加内容？6. 怎么php怎么通过数组显示sql查询结果呢，查询结果有多条，如图。7. 致命错误: Class ’appfacadeTest’ not found8. 老师们php,插入数据库mysql，都是空的，要怎么解决9. mysql - 数据库建字段，默认值空和empty string有什么区别 11010. phpstady在win10上运行
排行榜
网公网安备