問題描述

java并發(fā)處理一個(gè)表中的大量數(shù)據(jù)，如何設(shè)置檢查點(diǎn)，以便用于失敗恢復(fù)，而不是重復(fù)處理處理過的數(shù)據(jù)？

比如在處理過程中，系統(tǒng)宕機(jī)，kill -9強(qiáng)制殺死之前，設(shè)置一個(gè)檢查點(diǎn)，一遍下次從檢查點(diǎn)開始恢復(fù)處理？

問題解答

1，定期寫入checkpoint，宕機(jī)不怕2，數(shù)據(jù)處理要有冪等性，應(yīng)對已經(jīng)處理但沒有寫入checkpoint的數(shù)據(jù)

如果你用事務(wù)實(shí)時(shí)寫入checkpoint，那就沒上面的事了。