mongoDB中的冪等性

最近在學習MongoDB的過程中，接觸到一個新名詞——冪等性。

先來看一下度娘的解釋。

冪等

冪等（idempotent、idempotence）是一個數學與計算機學概念，常見于抽象代數中。

在編程中，一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。

冪等函數，或冪等方法，是指可以使用相同參數重復執行，并能獲得相同結果的函數。這些函數不會影響系統狀態，也不用擔心重復執行會對系統造成改變。例如，“setTrue()”函數就是一個冪等函數,無論多次執行，其結果都是一樣的.更復雜的操作冪等保證是利用唯一交易號(流水號)實現。

看懂了嗎？這個解釋比較抽象，不要著急。接下來看一下什么是冪等性問題。

冪等性問題

所謂冪等，簡單地說，就是對接口的多次調用所產生的結果和調用一次是一致的。擴展一下，這里的接口，可以理解為對外發布的HTTP接口或者其他接口，也可以是接收消息的內部接口，甚至是一個內部方法或操作。

那么我們為什么需要接口具有冪等性呢？設想一下以下情形：

• 在App中下訂單的時候，點擊確認之后，沒反應，就又點擊了幾次。在這種情況下，如果無法保證該接口的冪等性，那么將會出現重復下單問題。
• 在接收消息的時候，消息推送重復。如果處理消息的接口無法保證冪等，那么重復消費消息產生的影響可能會非常大。

在分布式環境中，網絡環境更加復雜，因前端操作抖動、網絡故障、消息重復、響應速度慢等原因，對接口的重復調用概率會比集中式環境下更大，尤其是重復消息在分布式環境中很難避免。

分布式環境中，有些接口是天然保證冪等性的，如查詢操作。有些對數據的修改是一個常量，并且無其他記錄和操作，那也可以說是具有冪等性的。其他情況下，所有涉及對數據的修改、狀態的變更就都有必要防止重復性操作的發生。通過間接的實現接口的冪等性來防止重復操作所帶來的影響，成為了一種有效的解決方案。

看了上面App的例子好理解多了。那冪等性在并發系統中如何保證呢？

高并發系統中如何保證數據冪等性

在系統開發過程中，經常遇到數據重復插入、重復更新、消息重發發送等等問題，因為應用系統的復雜邏輯以及網絡交互存在的不確定性，會導致這一重復現象，但是有些邏輯是需要有冪等特性的，否則造成的后果會比較嚴重，例如訂單重復創建，這時候帶來的問題可是非同一般啊。

一、系統的冪等性

     冪等是數據中得一個概念，表示N次變換和1次變換的結果相同。

二、高并發的系統如何保證冪等性

1、查詢

    查詢的API，可以說是天然的冪等性，因為你查詢一次和查詢兩次，對于系統來講，沒有任何數據的變更，所以，查詢一次和查詢多次一樣的；

2、MVCC方案

    多版本并發控制，update with condition更新帶條件，這也是在系統設計的時候，合理的選擇樂觀鎖，通過version或者其他條件，來做樂觀鎖，這樣保證更新及時在并發的情況下，也不會有太大的問題。

   例如update table_xxx set name=#name#,version=version+1 where version=#version# ,或者是 update table_xxx set quality=quality-#subQuality# where quality-#subQuality# >= 0

3、單獨的去重表

    如果涉及到的去重的地方特別多，例如ERP系統中有各種各樣的業務單據，每一種業務單據都需要去重，這時候，可以單獨搞一張去重表，在插入數據的時候，插入去重表，利用數據庫的唯一索引特性，保證唯一的邏輯；

4、分布式鎖

    還是拿插入數據的例子，如果是分布是系統，構建唯一索引比較困難，例如唯一性的字段沒法確定，這時候可以引入分布式鎖，通過第三方的系統，在業務系統插入數據或者更新數據，獲取分布式鎖，然后做操作，之后釋放鎖，這樣其實是把多線程并發的鎖的思路，引入多多個系統，也就是分布式系統中得解決思路；

5、刪除數據

  刪除數據，僅僅第一次刪除是真正的操作數據，第二次甚至第三次刪除，直接返回成功，這樣保證了冪等；

6、插入數據的唯一索引

   插入數據的唯一性，可以通過業務主鍵來進行約束，例如一個特定的業務場景，三個字段肯定確定唯一性，那么，可以在數據庫表添加唯一索引來進行標示。

   這里有一個場景，API層面的冪等，例如提交數據，如何控制重復提交，這里可以在提交數據的form表單或者客戶端軟件，增加一個唯一標示，然后服務端，根據這個UUID來進行去重，這樣就能比較好的做到API層面的唯一標示

看到這里，你也許對冪等性已經有了深入的理解。最后，我們看一下MongoDB中的冪等性。

MongoDB中的冪等性

MongoDB是由C++語言所編寫的一種面向文檔的非關系型數據庫（是一種NoSql數據庫實現），也是介于關系型數據庫和非關系型數據庫之間的數據存儲產品，其提供了高性能、高可用、高可拓展及基于分布式存儲的數據庫，是非關系型數據庫中功能最豐富，最類似關系型數據庫的一種集合、文檔格式的數據庫。

在MongoDB中，文檔的操作不支持事務，但是其對文檔的保存，修改及刪除等都是原子的，也就是要么操作完成，要么操作不完成，不存在中間不確定狀態，因此可以保證數據的完整性。
MongoDB官方提供了一種做法，就是分兩階段提交，基本原理就是利用寫操作的冪等性，但是有個前提條件：業務實現過程中，可以忽略中間態的不一致性，但最終結果是一致的，實際上絕大多數需求，只要結果一致就可，也希望MongoDB在這方面做更好的拓展和優化。

1、數據模型
舉個例子，不過我們需要為文檔新增一個計數器字段，它沒有實際的業務作用，只是用來作為操作原子性的標志位avaliable，具體代碼如下：
{
     "_id" :ObjectId("57e89964b316d2e13cc0ba9b"),
     "username" :"marky@123.com",
     "nickname" : "marky",
     "address" : "云端路1024號，柯南私募基金大廈",
     "contact" :"13141250012",
     "created" : "2012-07-07",
     "orders" : [
         ObjectId("57e89b3ab316d2e13cc0ba9c"),
         ObjectId("57e89bcfb316d2e13cc0ba9d")
     ],
     "available": 1
}

注意：
此種添加一個計數器標志位的方式雖然可以實現原子性，但對于業務的緊密度及可理解方面不友好，所以實際上，我們只在比較敏感的文檔操作時才使用，比如：金錢交易等。
 
2、如何操作
如何操作？其實就是使用findAndModify()方法實現即可，如果找到的文檔的計數器available值不為-1為大于0時，則代表有新的操作狀態，然后在更新新的操作，同時同步修改available為默認值，具體如下：
>db.user.findAndModify({query:{_id:ObjectId("57e89964b316d2e13cc0ba9b"), available:{$gt:0}},update:{$inc:{ available:-1},$set:{created:'2012-07-08'}}})
 
返回的結果：
{
     "_id" : ObjectId("57e89964b316d2e13cc0ba9b"),
     "username" :"marky@123.com",
     "nickname" : "marky",
     "address" : "云端路1024號，柯南私募基金大廈",
     "contact" :"13141250012",
     "created" :"2012-07-08",
     "orders" : [
         ObjectId("57e89b3ab316d2e13cc0ba9c"),
         ObjectId("57e89bcfb316d2e13cc0ba9d")
     ],
     " available" : 0
}


~~~~~~~ the end~~~~~~~~~
hoegh
2017.04.05