BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / bupt-net / #107781同步于 2022/9/4
该镜像源已超过 30 天没有更新,可能在源站已被删除。
BUPTNet机器人发帖

关于9月4日13-15时网络波动的说明

FredericDT
2022/9/4镜像同步0 回复
非常抱歉,由于我对这种神奇事件的预见能力有限,给大家的上网体验造成了不便。 我呼吁大家: 1. 若非需要,请暂时关闭浏览器 WEBRTC 功能。 2. 请暂时不要利用斗鱼客户端观看视频,请尽量用浏览器访问。 问题成因如下: 1. 13 时观测到 DNS 查询请求率上升,遂开启 rate limit,对于 5 秒内查询次数超过 1000 次的源地址进行丢弃。 2. 接到用户汇报 DNS 查询不正常,我自数据中心内部,外部分别进行了测试;情形为数据中心内部正常,外部异常。因此,我认为问题出在数据中心边界防火墙。 3. 分析查询频次,发现 qname p2plive-ws.douyucdn.cn. 奇高无比。 4. 向 google dns 及 one.one.one.one 查询发现结果与我们自行递归相同: ; <<>> DiG 9.10.6 <<>> A p2plive-ws.douyucdn.cn. @10.3.8.149 ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 24249 ;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 1232 ;; QUESTION SECTION: ;p2plive-ws.douyucdn.cn. IN A ;; ANSWER SECTION: p2plive-ws.douyucdn.cn. 0 IN CNAME p2plive-ws.douyucdn.cn.w.cdngslb.com. p2plive-ws.douyucdn.cn.w.cdngslb.com. 300 IN CNAME offline.specialcdnstatus.com. offline.specialcdnstatus.com. 300 IN A 169.254.254.254 ;; Query time: 6 msec ;; SERVER: 10.3.8.149#53(10.3.8.149) ;; WHEN: Sun Sep 04 16:09:29 CST 2022 ;; MSG SIZE rcvd: 156 因此,作出如下推测: 1. 斗鱼 CDN Administratively DOWN 2. 客户端请求失败,不断重试。 3. 数据中心边界防火墙认为存在 DoS,遂开始丢包。 4. 正常请求的报文也被清洗规则丢弃,故用户的 DNS 查询成功率降低,导致上网体验变差。 综上,我作出如下决定: 1. qname p2plive-ws.douyucdn.cn. 返回 NXDOMAIN,暂时不向上游进行递归。 2. 防火墙添加针对 DNS server 的目的地址白名单,针对 DNS 请求进行放行。 3. 暂时取消 cache server 对源地址的请求速率限制。用缓存硬刚单一 qname 请求。 目前我 DNS server 每秒请求次数 12 万余次,毛毛雨 == 我加了 Filter Rule,加之前是 31 万 QPS,世界真奇妙
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。