返回信息流像google这样强大的爬虫,是需要不断的更新其数据库吗,用户访问的时候如何保证其可用性以及保证其访问的数据是最新的,后台和数据库的架构大概是什么样的?
是那种爬虫连接到一个数据库,用户连接是生产环境数据库,然后这两个数据库定期同步?
还是两个流都进入到同一个数据库,由于其更新很快,用户体验不到差异~
不考虑cdn哈。
这是一条镜像帖。来源:北邮人论坛 / java / #51827同步于 2016/7/20
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖
爬虫创建更新的数据库,web后台如何保证其实时性~
henceman
2016/7/20镜像同步2 回复
订阅后,新回复会通过你的通知中心匿名送达。