Одминский блог

Фатальные ошибки сисадминов

На Linkedin нашел интересную тему, где сисадмины делятся худшими ситуациями в своей карьере, когда за неправильную команду пришлось расплатиться местом работы. У меня такого не было, ибо всегда подводил грамотную политику под свои косяки, хотя когда я работал на М9 мне впаяли выговор, с последующей премией, за то чтобы не кипешил, т.к. косяк был начальника отдела.

Но о своих я расскажу позже или по ситуации, хотя они у меня классические и вероятнее всего будут упомянуты в списке.

Вот товарищ из под SCO попытался откатить базу для клиента, забыв о специфике директорий в скотском линухе, так что в разгар рабочего дня перезаписал рабочую базу:
cd /tmp
tar -xvf /dev/rStp0

Чаще всего народ вспоминает страшилку всех админов, заключающуюся вариация использвония в rm -rf, либо от корня, либо в какой нить директории с данными. В моей практике она проскакивала как rm -Rf * либо в неправильной директории, либо не в том терминале, так как порою бывает открыто по 5-6 сессий SecureCRT – поди там разберись с ходу, где ты командуешь.

Забавный вариант удаления был описан прогером, когда в скрипте rm -r $VAR1/$VAR2 он забыл указать в начале переменные и поэтому при выполнении скрипта, система фактически выполнила rm -r /

Некоторые вспоминают как форматнули, опять же под юнихом, вместо вставленной USB тома- системный. Хотя откровенно говоря, я не очень это понимаю, т.к у меня тома на рейдмассивах, так что в любом случае ты осознанно печатаешь не корректно.

Частенько встречается ошибка копирования томов через команду dd, когда тома путают местами или заливают на системный том не тот имидж. Тоже самое пишут и про ребилд рейдовых томов, хотя я всегда 100500 раз перепроверял синтаксис перед нажатием ввода. Такие же косяки случаются и в конфигурялке RAID-адаптера, когда на рабочий том, содержащий данные, вываливается команда инициализации тома. В моем случае это было с удаленным админом, которому все четко было объяснено как сделать ребилд, но он попутал менюхи. Пришлось его оставлять на ночь в офисе, чтобы выкатать резервную копию и преподать урок внимательности.

Как вариант перепутать консоль виртуальной машины под Windows с Unix и с помощью crtl+alt+del отправить юниксовый сервак в перезагрузку. Хотя эту фичу я предпочитаю блокировать на отдельно стоящих серверах, в виртуальной ферме и правда оно без особой надобности. Хотя перезагруз сервера под виртуалкой- не так уж что бы прямо критично.

Очень не плохой вариант, кстати погасить рабочий интерфейс на удаленном сервере, в таком варианте fdown eth0. У меня такого не было, но было несколько раз когда я отрубал ssh на удаленном серваке или же прописывал какое нибудь кривое правило в фаерволе, которые блочило дальнейшую загрузку правил и приходилось пилить на удаленную площадку. Сюда можно отнести и удаленную настройку маршрутизатора, когда заигравшись с дефолтными маршрутами вырубаешь сам себе доступ на сервер.

На тему перегрузок проскочила байка, что админам приходит тикет на тему того что сервер перегружается. Админ проверяет аптайм и видит что сервер не перегружался уже полгода, но есть какие то ошибки в логах относительно hw, после чего дает команду
last | reboot
забыв про grep, т.ч сервер уходит в перезагруз. После подъема сервера следует ответ, что да- сервер перегружается, необходимо менять железо.

Забавная ситуация с выкатыванием бэкапа баз данных, когда предварительно дропается нужная база, а после при выкатывание бэкапа, путается направление отката: mysql -p maindb > backup.sql после чего получается нулевая резервная копия. Для таких случаев на почтовом сервере я всегда держал про запас 1-2 лишних копии на внешних носителях, чтобы даже с потерей почты в домашних директориях, хотя бы выкатить старый вариант и не возиться с созданием сотен пользователей.

У меня как то был интересный глюк, когда мы перетаскивали данные с Microsoft NT 4.0 на новенький файловик Novell NetWare 4.11, который я поднял для одного из отделов, чтобы они больше не крутили мозги. Шеф зачем то решил смувить данные, а минут через 5 понял что не копирует, а переносит и нажал отмену. После чего данные каким то магическим образом исчезли, что с NT что с Novell. Первый раз в жизни я видел, чтобы человек трезвел на глазах буквально в считанные секунды – дело было в разгар корпоратива и он зашел в кабинет, чтобы величественной рукой перенести данные самостоятельно.  Есессно под удар пошел я, как крайний, но через месяц мне торжественно была выписана премия.

Теги: настройка системы, техподдержка