返回信息流非常抱歉,由于我对这种神奇事件的预见能力有限,给大家的上网体验造成了不便。
我呼吁大家:
1. 若非需要,请暂时关闭浏览器 WEBRTC 功能。
2. 请暂时不要利用斗鱼客户端观看视频,请尽量用浏览器访问。
问题成因如下:
1. 13 时观测到 DNS 查询请求率上升,遂开启 rate limit,对于 5 秒内查询次数超过 1000 次的源地址进行丢弃。
2. 接到用户汇报 DNS 查询不正常,我自数据中心内部,外部分别进行了测试;情形为数据中心内部正常,外部异常。因此,我认为问题出在数据中心边界防火墙。
3. 分析查询频次,发现 qname p2plive-ws.douyucdn.cn. 奇高无比。
4. 向 google dns 及 one.one.one.one 查询发现结果与我们自行递归相同:
; <<>> DiG 9.10.6 <<>> A p2plive-ws.douyucdn.cn. @10.3.8.149
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 24249
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;p2plive-ws.douyucdn.cn. IN A
;; ANSWER SECTION:
p2plive-ws.douyucdn.cn. 0 IN CNAME p2plive-ws.douyucdn.cn.w.cdngslb.com.
p2plive-ws.douyucdn.cn.w.cdngslb.com. 300 IN CNAME offline.specialcdnstatus.com.
offline.specialcdnstatus.com. 300 IN A 169.254.254.254
;; Query time: 6 msec
;; SERVER: 10.3.8.149#53(10.3.8.149)
;; WHEN: Sun Sep 04 16:09:29 CST 2022
;; MSG SIZE rcvd: 156
因此,作出如下推测:
1. 斗鱼 CDN Administratively DOWN
2. 客户端请求失败,不断重试。
3. 数据中心边界防火墙认为存在 DoS,遂开始丢包。
4. 正常请求的报文也被清洗规则丢弃,故用户的 DNS 查询成功率降低,导致上网体验变差。
综上,我作出如下决定:
1. qname p2plive-ws.douyucdn.cn. 返回 NXDOMAIN,暂时不向上游进行递归。
2. 防火墙添加针对 DNS server 的目的地址白名单,针对 DNS 请求进行放行。
3. 暂时取消 cache server 对源地址的请求速率限制。用缓存硬刚单一 qname 请求。
目前我 DNS server 每秒请求次数 12 万余次,毛毛雨
==
我加了 Filter Rule,加之前是 31 万 QPS,世界真奇妙
这是一条镜像帖。来源:北邮人论坛 / bupt-net / #107781同步于 2022/9/4
该镜像源已超过 30 天没有更新,可能在源站已被删除。
BUPTNet机器人发帖
关于9月4日13-15时网络波动的说明
FredericDT
2022/9/4镜像同步0 回复
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。