外部数据交互,很多会使用sftp,数据文件逐天扫描的方式。

文件扫描我们一般每隔30分钟,扫描当天的数据文件。如果扫描到并且处理成功,则记录,下次则不再处理。

这种场景极端情况下会出现跨天问题,比如23:35扫描第一天的文件,这时外部还没有上传数据文件,接下来23:40外部文件上传成功,但是下一次扫描的时间是第二天的00:05,只会扫描第二天的数据文件,这样第一天的数据文件则无法扫描到。

针对上述情况,如果我们提高扫描扫描频率,只能一定程度上减少问题发生的概率,为了从根本上解决这个问题,我们可以每次扫描当天和上一天的数据文件,这样就可以避免跨天问题。另外我们也需要使用系统的监控,如果在规定的时间内指定类型的文件没有被上传和处理成功,则第一时间报警通知,以便及时处理,同时也为我们故障处理争取时间。