最近遇到一个需求，大致情景是这样的：多个worker同时从rabbitmq消息队列中取数进行处理，并将处理后的数据插入或更新到同一个MongoDB表中，该过程会存在大量并发，并涉及一些高级插入和更新语法。

注：由于个人是用python，因此后续的mongodb操作是基于pymongo来进行的

数据结构大致是这样的：

对最终的数据集要求如下：

在每次数据入库前，都先查询当前表中是否已有"name”字段的文档存在, 存在则更新， 不存在则插入：

这里在更新时使用到了$set、$addToSet、$each操作,这里不得不先讲一下这三个操作的含义：

或者你还知道可以使用upsert=True的方式来更简单的合并插入和更新的操作。

但是在我这个需求的实际情况下并不能直接这样操作，因为存在并发插入或更新时，你可以想象一个并发场景：

场景：在数据表中还没有某个name字段数据时，两个name字段相同的写入请求同时进来了，他们同时做了if判断，都得到当前字段不存在的结果，此时两个连接对象都将会做插入的操作，这样得到的结果将是数据表中同时存在两个name字段相同的文档。

然后该怎么避免这种情况呢，其实对于MongoDB来说，也可以简单巧妙的避开这一点，我使用的方式是设置唯一值索引字段，如果name字段是唯一的，那就不会出现重复插入的情况了。

如需要多个字段联合唯一索引,可参照如下方式：

这里直接去掉了每次更新数据前的查询操作，改为先直接进行insert操作，如果当前索引字段name不存在，则会插入成功，若已经存在，则会捕捉异常并执行更新操作。即使在并发情况下，由于唯一索引机制，也不会出现同时插入相同文档的结果，并发下插入失败的的操作将会重新进行后续的更新操作。

这样既提高了MongoDB的写入的效率也解决了并发下重复数据的问题，故在此做个记录，希望能帮到有需要的人。如果有更好的解决办法，欢迎提出。