concurrency - java并发处理一个表中的大量数据，如何设置检查点，以便用于失败恢复，而不是重复处理处理过的数据？

问题描述

java并发处理一个表中的大量数据，如何设置检查点，以便用于失败恢复，而不是重复处理处理过的数据？

比如在处理过程中，系统宕机，kill -9强制杀死之前，设置一个检查点，一遍下次从检查点开始恢复处理？

问题解答

1，定期写入checkpoint，宕机不怕2，数据处理要有幂等性，应对已经处理但没有写入checkpoint的数据

如果你用事务实时写入checkpoint，那就没上面的事了。