SRE. Рецепты выживания в продакшене для инженера по надежности. Наталья Савенкова
проходить по одинаковой схеме, последствия и риски которой вам известны.
Представим себе, что у вас есть многошаговая процедура по перезагрузке нескольких компонентов в системе. По каким-то личным причинам эту процедуру вы проводите вручную. Запишите себе эту конкретную последовательность действий по выполнению процедуры. Не нужно каждый раз пытаться оптимизировать процесс, меняя последовательность, пропуская шаги и добавляя новую энтропию в систему.
Пытаться в каждом случае придумать новый порядок действий, чтобы минимально затронуть ваш хрупкий продакшен, сделать это быстрее, вы рискуете сломать вообще всё, потому что каждый раз сценарий будет новым, с неизвестным вам поведением. Пусть это будет отработанный сценарий, которым вы хорошо владеете и который с высокой вероятностью даст необходимый результат.
23. Инструкции для «Людочки»
Инструкция для аварийных ситуаций и регламентных работ должна быть такая, чтобы не задействовать мозг человека вообще. Как говорил когда-то один из моих боссов: "Я позвоню нашей Люде и она по твоей инструкции должна суметь это сделать". Люда работала у нас на ресепшене. (Сложно сказать, откуда у неё возьмется доступ в продакшен, но идея отражена верно).
Со временем “я позвоню Люде” заменилось на “представь, что ты на шашлыках в лесу”.
Плохими я называю инструкции, которые:
– допускают неоднозначность трактовок
– содержат слова "если"
– содержат в принципе много слов
– изобилуют терминами
– содержат намёки, типа, это и так очевидно
– … ещё много прочих пунктов
Идеальная инструкция – это набор команд, которые надо скопировать и куда-то вставить, и ссылок, по которым нужно перейти, чтобы открылась конкретная страница.
Кстати, если ваша инструкция достигла этой стадии, пора задуматься о механизации.
24. Не пытайтесь самостоятельно защититься от DDoS и готовьтесь к нему заранее
DDoS рано или поздно приходит ко всему, что заслуживает внимания. Лучше думать про него несколько заранее. Если вы планируете защищаться от DDoS с помощью файлика заблокированных ip – вы не планируете от него защищаться. Если у вас какой-то рейтлимитер, который по User-Agent будет блокировать запросы – вы тоже не планируете защищаться. Это будет работать только в случаях школьных экспериментов, хотя тоже может пригодиться.
Признайте себе, что у вас нет экспертизы, чтобы делать это хорошо, иначе этот вид атак себя давно бы уже исчерпал. DDoS лучше научиться переживать, запасая себе способы деградации, кэши, статику – что угодно, чтобы не позориться перед пользователями в час Х, а также изучить возможности провайдера или облака, аутсорс-решения, которые "по кнопке" начнут фильтровать ваш входящий трафик. Но этот вопрос нужно изучить заранее, чтобы не бегать потом перед Новым Годом в жару продаж, когда ваш чОрный конкурент решил потратить сотню баксов и вывести ваш интернет-магазинчик из строя на пару часов. Так или