如今互联网,尤其是IT行业发展迅猛,一定有很多人对一些稀奇古怪的问题印象深刻。刚入行的时候,有攻城狮的前辈说,学计算机不要老是问为什么。十几年过去了,现在深有体会。
即使在高科技物质集中的地方,云计算的IDC机房里,机器多,网线复杂,也会出现一些至今无法科学解释的现象。
通常IDC的运维工作中最令人费解的一幕是:平时什么事都没有,系统正常,数据库正常,存储正常。但是,过年放假,肯定会出事。网络中断,攻击不稳定。反正放假肯定是有问题的。值班日总要出故障,基本上,重要日子都要出大故障。遵循基本的普遍规律,不要说自己一直不好。比如今年我就没觉得有风险,过几天你肯定感冒了。机房也是如此。千万不要开口说今天好平静好舒服...
这几年,我亲身经历了很多机房莫名其妙的事件。完了可以写一系列传奇小说。有些真的记不住了,我就挑出一部分写出来。
1.交换机上插入的网络电缆会自动弹出。
2016年夏天公司部分单位搬迁,40台左右服务器的任务很简单。那只不过是布线柜、移动机器和在货架上贴标签。以前双绞线都是用手持线夹做的。这种线的好处是长度和距离可以灵活控制,不会在机柜中多出来一段长度。缺点是手工压线头,有时压力不标准,导致线头有时插不紧。而且经常出现丝头质量不稳定的情况。压线不紧,网络传输不稳定,甚至线头会弹出设备槽。
用成品网线的好处是网线质量好,但是长度固定,有时候很容易窝出一堆多余的空间,然后成本高。但是这次为了省事,公司采购了所有的成本价网线,看起来很结实,手感很好很舒服。
搬迁前是这样的,但是换了成品网线后,看起来好看多了,流畅多了。
但是非常神奇的事情发生了。设备部署完毕后,所有交换机的互联网线路都插上了,网络连接上了。然后我们就去安全离开了,然后是晚上22点左右。,突然发现同一个机柜的两台服务器都停机了。如图,蓝色网线有两个端口。
我们远程登录交换机查看网络端口的状态,发现它是打开的,这意味着物理连接是正常的,但网络被阻塞了。我们猜测服务器停机,假死,开机,但是网络被屏蔽了。当然,这很奇怪。两台服务器怎么可能同时停机?
迫于无奈,我们起身去机房查看。我们看到了一生中最奇怪的事情。此交换机上有两个网络端口直接是弹出窗口的一部分,因此灯不亮。。
那么问题来了。第一,肉眼能看到虚拟连接,有一部分是外部的。为什么开关向上看?
第二,在我们的认知中,成品网线都是卡死的,为什么会弹出来?好吧,也许是我们的疏忽。再次插入。好了,网络连上了,赶紧跑吧...
结果到了第二天晚上差不多这个时候,又出现了两台服务器仍然断网的情况。结果还是同样的问题。Orz .是真的。机房没人故意碰他。
排除交换机配置和网线端口质量,只是哪个远程摄像头盯着它怎么弹出来。我没有时间。最后我把两根网线插在交换机上的其他开口上,就太平了。到目前为止,这种巧合还不能得到合理的解释。
2.复制的数据会自动消失。
公司数据每周手动配备网站数据,包括一些客户的虚拟空网站。虽然设置了自动备份,但是一旦客户备份的数据实际上就消失了。我记得很清楚。2018年7月14日备份的。数据备份丢失。数据没了,就没了。这时,一个顾客发现了。网站打不开。我们的技术哥收到消息后,马上查看,发现网站文件不见了,备份数据也删除了。我们能做什么?
好在我们的网站数据都是异地备份的,一个月一次,最终帮助客户恢复了网站。但是现在想想,查系统日志记录,根本没有记录,系统也没有被入侵过,不存在安全问题。
复制的数据如何自动消失?也许只有上帝知道。
3.交换机配置会自动更改,有更多的VLAN号码,保存后不会生效。
XX市IDC机房的华为S6700系列交换机,无论怎么配置,保存后都不会生效。端口配置明明是trunk模式,但是一旦保存然后显示,发现它们自动变成hybird,并添加pvid号。我向上帝发誓,这是真的。
后来咨询了厂家,找了很多行业领导,都说没见过。多好的狗啊!
最后升级了固件,换了端口。不管怎么折腾,只能用手,对生意影响不大。它是通过在其他模式下运行数据来支持的。等了大概一个星期,我正好想到了,就登陆了。我不知道如何自动完成它。太神奇了。
4.服务器主板上的蜂鸣器连续一周半夜报警,然后机房运维主管过来摸了一下。
在实践中,我们遇到过服务器设备总是停机的情况。换飞机就行了。但如果把位置相同的服务器换成另一台服务器,服务器设备的朝向会影响稳定性,基本可以归结为静电。
2020年5月7日,我值班巡查机房,说奇怪的事;每次都要去机房中转维护,事情发生在夏天;每天还是电闪雷鸣,平时最怕电闪雷鸣。一进机房,就看到黑暗的房间里闪着这耀眼的红光,刺耳的机器警报声响起。另外,雷电或多或少穿透了人。我赶紧开灯缓解内心的紧张,然后去刺耳警报声响起的地方查看。原来又是这台机器。我以前的同事提到,这个服务器每天午夜都会报警。这种情况已经持续一周了,一直找不到原因。正在这时,手机响了,是主管毕先生。问今天机房检查的事,我跟主管说了这台机器,主管听到后很惊讶。整个星期都是这样,然后我说等他。
半个小时后毕老师来了,问了我具体情况,然后和我一起开机查原因。但是当他第一次碰到机器的时候,它突然像吃药一样不报警了。突然,我看着他发呆,他看到我的问题,说我只摸了一下。我还是不敢相信,他就问你做过什么,或者你带着什么高科技。他说你什么都没带。外面雨越下越大,主管可以说机器准备好了。这么大的雨先回家吧,然后跟着主管离开机房回家。
回到家后我思考了这个问题。今天为什么毕老师过来摸一下,机器就好了?回想我在公司的时候也有类似的事情。比如同事的遥控器打不开,主管突然打开。是运维工程师老司机的机器怕牛逼吗?我不知道,这样的事情很常见。也许这就是气场。
5.换个IP地址就行了。
我值班的时候,QQ和微信都很安静。正当我兴高采烈地看日本文艺片的时候,工作中的QQ突然跳出来了。原来有个客户说自己的QQ被冻结了,登上一个QQ就冻结了一个QQ,连续冻结了5-6个。当时客户脾气有点暴躁,说这个机器不太好。
QQ的冻结应该是南山企鹅做的一件好事。我是一个卖动态拨号云主机的小个子。这跟我有什么关系?但是客户是巴巴!客户说有问题,就是有问题。远程正常进入客户端机器,检查,机器联网,系统正常运行。按理说这是符合标准的,但是秉承专业全面的工作理念,我们只是简单的检查了一下网络情况和机器情况。我登录了我的QQ,挂了大概半个小时。一切正常!好吧,那么案件的真相只有一个,就是客户自己脸黑。客户回复TX申请解封。QQ冻结与我们无关。
你以为就完了!太天真了。大概过了三四天,我又值班了,又是这个客户。猿粪!客户说他的QQ应用解冻后,上了机,然后就死机了。他坚持说是我们的机器问题。态度恶劣,语气坚定,要求明确。换个ip。这跟机器IP有什么关系?如果客户愿意,他们可以更改它。花了几分钟找了个空备用IP替换,然后高高兴兴去看我的电影。
几天后,当我忘记这件事的时候。这个客户又发来消息,说自从换了机器的IP,腰不酸了,腿不酸了,QQ又不冻了。什么?回想起当初答应客户说的话,我的脸真的很痛。.....
解决方法是什么?机器原来的IP是远程的,一切正常上线。只有QQ被冻结了,换了IP后QQ没有被冻结。说是不是和IP地址有关系,同样的事情还在发生。
这次遇到一个客户,他宣称自己的服务器IP无法访问移动网络。首先我们检查了防火墙和selinux是否关闭,发现都关闭了,机器外网正常,我们直接访问也正常。没有策略ACL限制,机房出口的防火墙交换机中任何设备的148IP都没有这样的策略。最后,我们决定用另一个ip地址数字ping它,它让我们吃了一条鲸鱼。
我们发现所有以50和54结尾的IP地址都可以ping通,但是148的移动端口不行。有8不是很幸运吗?最后只能改客户小姐姐的ip地址。这个问题引起了我们的讨论。为什么只有148结尾的ip连不上?
结论是我们领导说:148谐音“死”,尾数不吉利。只要换一个幸运的ip地址,就一定会有大财运。网站不仅可以防范黑客和病毒,还具有一定的自我约束能力。尤其是高手调试的最好的ip,可以吸引大量流量。企业网站一夜成名,经营状况超越阿里巴巴,成为新互联网的引领者,走上道路。想想也有道理。为什么手机号和车牌需要幸运数字?同样的道理。
IP地址防御更高真的好吗?这个问题困扰了我很久。
6.很多设备兼容性问题可以理解为未解之谜。
有一次在机房,出现了一个服务器电源不兼容的情况。插入其它服务器的电源模块都正常,但在此服务器上无法启动。虽然它可以通电,指示灯也亮着,但它无法启动。但是,其他机器的电源模块没有问题。这是典型的恋爱中两个人意见不合,说对方的问题没要。结果找新对象很和谐。后来,这个电源和服务器的解决方案是匹配合适的。产量?说不上来,不过还是国内某大厂商的服务器...
还有两个具有相同型号级联的交换机。插上光纤后,就不行了。我干了一晚上,换模块,换尾纤,调速度,都不管用。然后来不及回去给同事留言了。你可以第二天再做。结果第二天去晚了。去了之后发现网上一切正常。当我问我的同事他做了什么的时候,我去那里插上了。这是性格问题吗?都是问题。
7.在有女性运维工程师的IDC机房,机房综合稳定性提升了20%。
怎么说呢?一般来说,业内很少有女性朋友愿意从事技术支持岗位,甚至有些IT公司的技术岗位只招男性。主要是很多公司认为女同胞承受不了工作压力,技术水平深度有限。所以我们很少在IDC机房发现女攻城狮。
而有些IDC机房大概也是这样。基本上都是“和尚”,禁止女性入内。因为我们公司姐妹多,攻城狮去机房维护,偶尔会带公司的美女同事一起工作。这时,参观机房的美女就会受到欢迎。比起从小喜欢电子产品的男人,女人对机房没有太多概念,就像男人不知道购物上瘾的滋味。
美女进入机房,可能会因电磁辐射而身体不适,影响处理技术问题的男性的操作和维护,造成混乱,无法准确发现问题和处理故障。在机房这个又吵又闷的地方,经常有女性在背包里拎着饮料和零食进入机房。成功躲过机房值班人员的检查后,如果他们在享用的时候不小心把饮料洒在机器上甚至电路上,机器就遭殃了。再加上女性往往充满了美,“充满了力量”。碰一下机柜,静电过大可能会导致服务器宕机,更重要的是会影响到那些在机房无聊的单机运维小兄弟。美女来了,注意力会集中,有些失误会造成严重后果。
事实上,如果公司里有几个女性运维狮子,那是公司的福气。影响机房稳定性的原因是大部分女性朋友对机房不熟练,不熟悉。其实女攻城狮比很多男同胞更细心,服务更热心,让客户体验更好。所以机房稳定率提升20%应该是真的。
虽然科技日新月异,5G时代即将到来,但谁也不能保证生活会一帆风顺,不会出现意外。所谓生活中不如意的事,十有八九是要在遇到困难和挫折的时候勇敢面对。先进与原始奇观的对比随处可见。毕竟技术再怎么发展,也很难终结不确定因素带来的不安全感。
所以,客观来说,暂时的希望和信念是通过工作和生活的仪式感产生的,可以让我们心理上舒服一点。虽然中年人别无选择,只能用保温杯泡枸杞。
但是当我们用这样一个红色的鼠标垫拥抱红色的时候,我们有没有觉得这才是真正的稳定和长治久安,我们的热情如火?