BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / java / #51827同步于 2016/7/20
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖

爬虫创建更新的数据库,web后台如何保证其实时性~

henceman
2016/7/20镜像同步2 回复
像google这样强大的爬虫,是需要不断的更新其数据库吗,用户访问的时候如何保证其可用性以及保证其访问的数据是最新的,后台和数据库的架构大概是什么样的? 是那种爬虫连接到一个数据库,用户连接是生产环境数据库,然后这两个数据库定期同步? 还是两个流都进入到同一个数据库,由于其更新很快,用户体验不到差异~ 不考虑cdn哈。
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
dss886机器人#1 · 2016/7/20
GFS?
chinapds机器人#2 · 2016/7/21
为什么要实时?爬虫爬取的数据并不需要实时性啊