多么痛的領(lǐng)悟！順豐誤刪數(shù)據(jù)庫，人靠不住，只能靠技術(shù)
發(fā)布人：scutech 發(fā)布日期：2018-09-20 16:06:48 點(diǎn)擊數(shù)：3804
昨日，從順豐傳出來的這封郵件傳遍IT圈，簡意是：一位高級運(yùn)維人員搞錯(cuò)了一條命令，誤刪了某個(gè)數(shù)據(jù)庫，數(shù)據(jù)無法恢復(fù)，后果太嚴(yán)重了，順豐只好讓他被動跑路。
大家在群里展開熱烈討論：
僅僅是因?yàn)榍缅e(cuò)一條命令或小失誤而導(dǎo)致數(shù)據(jù)丟失，嚴(yán)重影響業(yè)務(wù)連續(xù)性的事件也不在少數(shù)：
2017年2月，Gitlab.com的某同學(xué)工作至深夜，在解決ddos攻擊過程中，命令錯(cuò)誤地敲在了生產(chǎn)環(huán)境上，導(dǎo)致300GB數(shù)據(jù)被刪除，雖然極力挽回，但最后仍然丟了6個(gè)小時(shí)的數(shù)據(jù)。
2017年3月，AWS也曾發(fā)生過類似的誤操作，某工程師在調(diào)查Northern Virginia Region上S3的一個(gè)和賬務(wù)系統(tǒng)相關(guān)的問題，因?yàn)橛幸粭l命令搞錯(cuò)了，導(dǎo)致了移除了大量的S3的控制系統(tǒng)。
2018年4月，Kuriko由于機(jī)房運(yùn)維人員的rm -rf /*命令，導(dǎo)致宿主機(jī)上所有數(shù)據(jù)丟失，Kuriko使盡一切辦法，嘗試恢復(fù)原有數(shù)據(jù)以及獲取備份資料，但恢復(fù)可能較小。
要避免以上問題，小編給出三點(diǎn)建議：
相信科技的力量，而不只是管理
事件中，有人認(rèn)為最應(yīng)該解雇的是運(yùn)維主管，應(yīng)該設(shè)置更多的審批流程和權(quán)限，甚至用價(jià)值觀來教導(dǎo)工程師等等。
小編認(rèn)為，這些手段不是不好，但會導(dǎo)致企業(yè)的運(yùn)營效率降低，增加人員成本，而且不能從根本上解決問題。
作為技術(shù)人員，解決問題的最好方式是通過技術(shù)手段，而不只是使用更多的人肉手段。人類區(qū)別于動物的差別在于會發(fā)明和使用現(xiàn)代化的工具。
我們應(yīng)當(dāng)更多的相信技術(shù)而不是管理。相信技術(shù)會用技術(shù)來解決問題，相信管理，那就只會有制度、流程和價(jià)值觀來解決問題。
推行自動化的數(shù)據(jù)保護(hù)技術(shù)
一個(gè)老運(yùn)維說，誤刪數(shù)據(jù)庫事件在自己的職業(yè)生涯里，碰見過不少于10次，特別是在多個(gè)終端操作的時(shí)候，特別容易出錯(cuò)。備份固然重要，但更重要是知道如何備份。
人都會有犯錯(cuò)的時(shí)候，誤操作會導(dǎo)致數(shù)據(jù)丟失。但也有很大一部分誤操作，是發(fā)生在數(shù)據(jù)恢復(fù)的過程中，更可怕地會導(dǎo)致數(shù)據(jù)永久丟失。透過敲代碼的方式來實(shí)現(xiàn)數(shù)據(jù)保護(hù)是靠不住的，所以竭盡全力推動運(yùn)維自動化，應(yīng)該是所有運(yùn)維人最應(yīng)該干的事。
最重要的是選擇對的工具??！
鼎甲自動化的數(shù)據(jù)保護(hù)、數(shù)據(jù)管理工具，確保企業(yè)在IT運(yùn)維過程中，數(shù)據(jù)零丟失，系統(tǒng)高可用，業(yè)務(wù)不中斷。
數(shù)據(jù)保護(hù)平臺——DBackup
中國郵政兩大省級公司（廣東、江蘇），已經(jīng)透過尖端的技術(shù)，做好了自動化的數(shù)據(jù)保護(hù)工作，防患于未然。
透過鼎甲數(shù)據(jù)保護(hù)平臺DBackup，可以保障企業(yè)的IT系統(tǒng)數(shù)據(jù)，在遭遇人為誤操作、病毒攻擊、軟硬件故障、自然災(zāi)難時(shí)，能得到完整、準(zhǔn)確、快速的恢復(fù)。
運(yùn)維人員只需要提前設(shè)置好備份策略，DBackup便可以實(shí)時(shí)、自動化地對數(shù)據(jù)進(jìn)行備份，包括操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用、文件、虛擬機(jī)等各類數(shù)據(jù)，無需運(yùn)維人員手動開展，杜絕誤操作。
此外，一旦遭遇故障導(dǎo)致數(shù)據(jù)丟失。透過DBackup，可以一鍵快速恢復(fù)到任意時(shí)間點(diǎn)的數(shù)據(jù)，同樣無需復(fù)雜的人手工作，保證業(yè)務(wù)的連續(xù)穩(wěn)定，徹底杜絕以上事件的發(fā)生。
CDM數(shù)據(jù)副本管理工具——InfoSemper
DBackup結(jié)合CDM數(shù)據(jù)副本管理工具InfoSemper，更是超越傳統(tǒng)數(shù)據(jù)保護(hù)的價(jià)值，激活數(shù)據(jù)副本潛能。
中國郵政江蘇省公司，率先透過InfoSemper，使數(shù)據(jù)副本不只用于數(shù)據(jù)備份和恢復(fù)，更是可以自動化地進(jìn)行快速共享，給不同人員在開發(fā)測試、報(bào)表分析、商業(yè)智能等場景中使用。關(guān)鍵是數(shù)據(jù)副本共享的速度非?？欤蛇_(dá)分鐘級數(shù)TB的速度，共享過程絲毫不會影響業(yè)務(wù)的連續(xù)性和穩(wěn)定性。
運(yùn)維人員從此解放雙手，避免繁瑣的數(shù)據(jù)管理工作。
我們都知道能備份的數(shù)據(jù)不一定能恢復(fù)，做備份但不可恢復(fù)，更是耍流氓。透過InfoSemper，可以作為數(shù)據(jù)恢復(fù)演練的手段，定期驗(yàn)證數(shù)據(jù)恢復(fù)的有效性，保證數(shù)據(jù)零風(fēng)險(xiǎn)。
透過以上神器，100%能保證數(shù)據(jù)的安全性。
此外，說一個(gè)題外話，一個(gè)高級工程師的價(jià)值不在于寫過多少代碼，而是踩過多少坑，受過教訓(xùn)，積累了寶貴經(jīng)驗(yàn)。
