...

Как использовать IPMI для внеполосного управления сервером

Как использовать IPMI для внеполосного управления сервером

IPMI (Intelligent Platform Management Interface) — это стандартизированный протокол для внеполосного управления сервером, предоставляющий вам аппаратный доступ к серверу, независимому от его операционной системы. BMC (Baseboard Management Controller) — это выделенный процессор на материнской плате сервера, реализующий IPMI. Он работает в режиме ожидания и остается работоспособным, даже когда ОС выходит из строя, SSH становится недоступным или сервер выключается. С помощью IPMI вы можете включить или выключить сервер, считывать датчики температуры и вентилятора, просматривать журнал событий аппаратного обеспечения, запускать пульт KVM и получать доступ к серверу через серийную локальную сеть, не касаясь аппарата физически. IPMI 2.0, действующий стандарт, опубликованный DMTF 12 февраля 2004 г., добавлен серийный сервер по локальной сети, расширенная аутентификация RMCP+, поддержка VLAN и наборы шифров. В этом руководстве рассматривается все, от первоначальной настройки до защиты от защиты, восстановления инцидентов и автоматизации Ansible. 

Ситуацию знает каждый оператор центра обработки данных: производственный сервер перестает отвечать на запросы. Тайм-аут SSH. Пинг терпит неудачу. У вас есть выбор: открыть срочный тикет в службу поддержки и ждать технического специалиста или подключиться непосредственно к BMC сервера через IPMI и решить проблему самостоятельно за считанные минуты.

IPMI — это разница между этими двумя результатами.

В этом руководстве рассматриваются полные операционные процессы IPMI, архитектура BMC, команды настройки, управление питанием, мониторинг датчиков, консоль KVM, доступ к сети, изоляция сети, защита безопасности, интеграция красного рыбы и автоматизация Ansible. Каждый раздел практичный, каждая команда проверяется, и каждая рекомендация по безопасности отражает реальные CVE, а не общие рекомендации.

IPMI и BMC - как на самом деле работает внеполосное управление1

IPMI и BMC: как на самом деле работает внеполосное управление

BMC — это отдельная SoC (система на чипе), встроенная в материнскую плату сервера. У него есть собственный процессор, собственный NIC (выделенный или общий с хостом), собственная память и своя прошивка, работающая независимо от хоста ОС. BMC потребляет энергию от резервной рейки 3,3 В, что означает, что он остается работоспособным, когда главный сервер выключен до тех пор, пока подключен блок питания.

Это физическое разделение является всей точкой внеполосного управления. Для вашего SSH-соединения требуется работающая ОС, рабочий стек сети и рабочий драйвер сетевой карты. В тот момент, когда любой из них терпит неудачу, SSH умирает. IPMI никогда не прикасается ни к одному из них.

Внутриполосный и внеполосный: критическая разница

Фактор Внутриполосное управление Вне полосы (IPMI)
Требуется, чтобы ОС работала Да Нет
Переживает панику ядра Нет Да
Переживает сбой сетевого драйвера Нет Да
Работает с выключенным сервером Нет Да (в режиме ожидания)
Инструментарий SSH, RDP, SNMP ipmiTool, IDRAC, ILO, IKVM
Физический путь Производство НИК Выделенный или общий сетевой интерфейс управления

Конкретный сценарий: сервер с загруженной базой данных входит в панику ядра в 3 часа ночи. Убийца OOM побежал, драйвер зашел в тупик, и ядро бросило разыгрыватель нулевого указателя. SSH умирает мгновенно. Ваша система мониторинга срабатывает предупреждение. Вы открываете подключение IPMitool к BMC, читаете журнал системных событий, чтобы увидеть, что вызвало панику, запустите консоль KVM для просмотра вывода ядра на экране и выключите сервер в течение пяти минут без билета в службу поддержки.

Архитектура IPMI: BMC, IPMB, SDR и SEL

Пять компонентов формируют стек управления IPMI. У каждого есть определенная роль:

  1. BMC (контроллер управления базовой платой): основной процессор IPMI, встроенный в материнскую плату; Обрабатывает все функции управления
  2. ipmb (интеллектуальная шина управления платформой): шина на базе I²C, подключающая BMC к контроллерам управления сателлитами на платах расширения и компонентах шасси
  3. ICMB (интеллектуальная шина управления шасси): Подключает контроллеры управления к нескольким шасси в системе блейд- или стойки
  4. SDR (запись данных датчика): база данных, хранящаяся в BMC, содержащая определения датчиков, пороговые значения и условия предупреждения для каждого аппаратного датчика.
  5. SEL (журнал событий системы): Журнал событий аппаратного обеспечения, хранящийся в BMC, который записывает каждое контролируемое аппаратное событие с помощью меток времени; Переживает сбои ОС и циклы питания

Понимание SDR и SEL — это разница между реактивным и упреждающим управлением сервером. SDR сохраняет пороговые значения, которые вызывают предупреждения. SEL записывает каждый раз, когда порог преодолевается. Многие аппаратные сбои оставляют записи SEL за несколько часов или дней до того, как система выйдет из строя, исправляемая ошибка памяти, накапливающаяся до того, как неисправимая ошибка сбивает систему, а обороты вентилятора падают ниже порога до перегрева процессора.

IPMI-версии - 1.0, 1.5 и 2.0

Версии IPMI: 1.0, 1.5 и 2.0

IPMI развилась по трем основным версиям. Знание того, какую версию поддерживает ваше оборудование, определяет, какие функции доступны.

Версия Дата выхода Ключевая особенность
IPMI 1.0 16 сентября 1998 г Базовый мониторинг датчиков, управление питанием, ведение журнала событий
IPMI 1.5 21 февраля 2001 г IPMI над LAN, IPMI через серийный/модем, оповещение по локальной сети
IPMI 2.0 12 февраля 2004 г Последовательный через LAN (SOL), аутентификация RMCP+ (RAKP), поддержка VLAN, наборы шифров, брандмауэр прошивки
IPMI 2.0 Rev 1.1 1 октября 2013 г Добавлена поддержка адресации IPv6

Практически каждый сервер, продаваемый после 2004 года, поддерживает IPMI 2.0. Если вы используете оборудование за последние 20 лет, у вас есть IPMI 2.0. Три функции IPMI 2.0 наиболее важны в повседневных операциях:

**Серийный режим по локальной сети (SOL): доступ к текстовой консоли через канал IPMI, показывающий вывод BIOS, загрузочные сообщения ядра и консоль ОС до того, как станет доступна SSH. Для SOL требуется последовательная консольная консоль в BIOS и загрузчике ОС (см. ниже в разделе KVM и SOL).

**RMCP+ с RAKP: протокол аутентификации IPMI 2.0 с использованием обмена ключами на основе HMAC. Надежнее, чем аутентификация MD5 IPMI 1.5. Критическое примечание: RMCP+ все еще имеет известные уязвимости через хэш-атаки RAKP (CVE-2013-4786), если шифр 0 включен: в разделе «Безопасность».

**Сайты шифрования: шифрование каналов AES-128 для связи IPMI 2.0. Шифр 17 (HMAC-SHA256 + AES-CBC-128) является безопасным вариантом. Шифр 0 позволяет обходить аутентификацию. Шифр 3 использует MD5, который криптографически не работает. Эти особенности имеют значение: раздел безопасности охватывает точные команды для отключения небезопасных шифров.

Внедрения поставщиков - iDRAC, iLO, Supermicro IPMI, XClarity и IMM

Реализация поставщиков: iDRAC, iLO, Supermicro IPMI, XClarity и IMM

IPMI 2.0 является стандартом, но поставщики создают проприетарные реализации поверх него. Стандартные команды ipmiTool работают для всех из них для основных операций. Для конкретных функций поставщика требуются инструменты поставщика.

Продавец Реализация IPMI URL веб-интерфейса Имя пользователя по умолчанию Пароль по умолчанию
Лесистая долина IDRAC (встроенный контроллер удаленного доступа Dell) https://IDRAC_IP корень Кальвин
HP/HPE МОТ (встроенный свет) https://ILO_IP администрация (напечатано на ярлыке сервера)
Супермикро Супермикро IPMI https://IPMI_IP Администрация Администрация
Леново XClarity Controller (XCC) https://XCC_IP пользовательский идентификатор passw0rd
ИБМ IMM2 (интегрированный модуль управления 2) https://IMM_IP пользовательский идентификатор passw0rd

Это заводские настройки. Измените каждый из них сразу после первого входа в систему. Каждый из вышеперечисленных паролей по умолчанию публично документируется, проиндексируется Shodan и активно используется автоматическими сканерами. Тысячи доступных в Интернете интерфейсов BMC по-прежнему работают на заводских учетных данных.

Расширения поставщиков за пределами стандарта IPMI: iDRAC добавляет контроллер WSMAN, Redfish и жизненный цикл для развертывания ОС. МОТ добавляет API RESTful iLO. XClarity добавляет интеграцию администратора XClarity для управления парком. Стандартные команды IPMitool покрывают управление питанием, датчики, SEL и SOL для всех поставщиков. Для конкретных функций поставщика Dell использует Ракадм, HP использует Хпило И МОТ API, и Supermicro использует ipmiview и smcipmiTool.

Настройка доступа к IPMI: шаг за шагом

Настройка доступа к IPMI: шаг за шагом

Перед запуском любых команд управления, BMC нуждается в сетевом адресе, и вашему компьютеру необходимо установить ipMitool.

Установите ipmiTool:

# Debian / Ubuntu

sudo apt update && sudo apt install -y ipmitool

 

# RHEL / CentOS / Rocky / Almalinux

sudo yum install -y ipmitool

# или на новых системах:

sudo dnf install -y ipmitool

 

# Загрузка необходимых модулей ядра для входа в диапазон

sudo modprobe ipmi_msghandler

sudo modprobe ipmi_devintf

sudo modprobe ipmi_si

 

# делают модули стойкими при перезагрузке

echo "ipmi_msghandler" | sudo tee -a /etc/modules

echo "ipmi_devintf"    | sudo tee -a /etc/modules

echo "ipmi_si"         | sudo tee -a /etc/modules

 

# Убедитесь, что узел устройства существует

ls /dev/ipmi0

 

Шаг 1: Проверьте конфигурацию сети BMC

# Просмотр текущих настроек сети BMC (в диапазоне, из работающей ОС)

sudo ipmitool lan print 1

 

# Ожидаемый выход:

# Источник IP-адреса: статический адрес

# IP-адрес       : 192.168.100.50

Маска подсети #     : 255.255.255.0

# шлюз по умолчанию : 192.168.100.1

# MAC-адрес     : XX:XX:XX:XX:XX:XX

# VLAN ID           : отключен

 

#, если канал 1 ничего не возвращает, попробуйте канал 2 или 3

sudo ipmitool lan print 2

 

Шаг 2: Установите статический IP для BMC

Статическая конфигурация IP является обязательной для производственных сред. Адреса DHCP меняются, и вы теряете доступ.

# Установить режим статического IP-назначения

sudo ipmitool lan set 1 ipsrc static

 

# Установить IP-адрес BMC

sudo ipmitool lan set 1 ipaddr 192.168.100.50

 

# Набор маски подсети

sudo ipmitool lan set 1 netmask 255.255.255.0

 

# Установить шлюз по умолчанию

sudo ipmitool lan set 1 defgw ipaddr 192.168.100.1

 

# Включить IPMI по локальной сети

sudo ipmitool lan set 1 access on

 

# Проверьте изменения

sudo ipmitool lan print 1

 

Критический: Никогда не помещайте IP-адрес BMC в ту же подсеть, что и ваш общедоступный сетевой сетевой адаптер. Интерфейс управления должен находиться в отдельной изолированной сети, полностью включенной в раздел «Архитектура сети».

Шаг 3: Доступ через веб-браузер

Откройте браузер и перейдите к https://[BMC_IP]. Примите самозаверяющий сертификат. Войдите в систему с учетными данными поставщика из приведенной выше таблицы и немедленно смените пароль.

На панели управления показаны: текущее состояние питания, состояние процессора и памяти, последние записи SEL и активные предупреждения. Пункт меню удаленной консоли или виртуальной консоли запускает сеанс KVM over IP. Обратите внимание, что современная прошивка BMC (после 2015 года iDRAC 7+, iLO 4+, Supermicro X10+) использует консоль HTML5, которая работает в любом современном браузере без плагинов. Для более старой прошивки требуется апплет Java KVM, четкий признак того, что прошивка нуждается в обновлении.

Шаг 4: Подключение через IPMitool удаленно (вне полосы)

# синтаксис удаленного внеполосного подключения

# -H = IP-адрес BMC

# -U = имя пользователя

# -P = пароль

# -I LANplus = IPMI 2.0 с RMCP+ (необходимо для зашифрованных сеансов)

# -C 17 = шифр-свит 17 (SHA256 + AES256, наиболее безопасный)

 

ipmitool -H 192.168.100.50 -U admin -P yourpassword -I lanplus -C 17 chassis status

 

# Проверить состояние питания

ipmitool -H 192.168.100.50 -U admin -P yourpassword -I lanplus -C 17 power status

 

# Получить версию прошивки BMC и информацию об оборудовании

ipmitool -H 192.168.100.50 -U admin -P yourpassword -I lanplus -C 17 bmc info

 

Всегда используйте -я ланплюс Для удаленных соединений не -я лан. лан Интерфейс использует IPMI 1.5 с аутентификацией MD5. Ланплюс В интерфейсе используется IPMI 2.0 RMCP+ с шифрованием AES-128. добавление -С 17 Явно запрашивает сильнейший набор шифров и избегает падения обратно на более слабые шифры.

Основные операции IPMI

Основные операции IPMI: управление питанием, датчики и журналы событий

Этот раздел является практической ссылкой. Каждая команда пробегает внеполосное соединение, используя приведенный выше шаблон.

Контроль мощности

# Проверить текущее состояние питания

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power status

 

Включение питания # (работает, даже когда сервер полностью выключен в режиме ожидания)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power on

 

# грациозное выключение, посылает сигнал ACPI, ОС выключается чисто

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power soft

 

# Жесткая выключена, немедленная, без выключения ОС; Используйте только тогда, когда ОС не отвечает

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power off

 

# жесткий цикл питания, выключен, затем включен с паузой; Правильно для подвешенных серверов

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power cycle

 

# Аппаратный сброс, посылает сигнал сброса, например, нажатие кнопки физического сброса

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 power reset

 

# Подробное состояние шасси (состояние питания, вторжение, кнопки)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 chassis status

 

Использовать Сила мягкая Всякий раз, когда ОС все еще работает, она изящно отключается и защищает целостность файловой системы. Использовать цикл питания для не отвечающих серверам, а не для отдельных выключить + включить Команда цикла включает в себя обязательную паузу между выключенными и включенными состояниями, которые предотвращают напряжение питания.

Контроль аппаратного датчика

# список всех датчиков (температура, напряжение, скорость вентилятора, ток)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sdr list full

 

Фильтр # по типу датчика

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sdr type Temperature

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sdr type Fan

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sdr type Voltage

 

# Получить показания датчика с пороговыми значениями

Пороги # показывают: нижнее невозвратимое, более низкое критическое, нижнее некритичное

# и: верхняя некритическая, верхняя критическая, верхняя

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sensor list

 

# Чтение датчика в реальном времени (обновляет каждые 2 секунды)

watch -n 2 «ipmitool -h $bmc -u $user -p $pass -i lanplus -c 17 SDR СПИСОК \

  | grep -ie 'temp|fan|volt'”

 

База данных SDR содержит пороговые значения для каждого датчика. Когда показание превышает верхний критический порог, BMC обычно запускает автоматическое защитное выключение. Поймите температуру или показания вентилятора на верхнем некритическом уровне, прежде чем он попадет в верхнюю критическую, дает вам время ответить, прежде чем оборудование предпримет защитное действие для вас.

Журнал системных событий (SEL): самая малоиспользуемая функция IPMI

# Просмотр SEL с полными описаниями

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sel elist

 

# SEL информация (всего заявок, свободное место)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sel info

 

# Сохранить SEL в файл журнала перед очисткой

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sel elist \

  > /var/log/sel-$(hostname)-$(дата +%P3TM%d-%H%M%s).TXT

 

# Очистить SEL после сохранения и решения проблем

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sel clear

 

SEL хранит аппаратные события с точными временными метками, сбоями питания, событиями перегрева, исправленными и неисправимыми ошибками памяти, а также событиями вторжения шасси. Эти записи выдерживают перезагрузку сервера, ОС выходят из строя и циклы питания, потому что они живут в энергонезависимом хранилище BMC, а не на главном сервере.

Сервер, который неожиданно перезагрузился без операционного дампа, почти всегда оставил записи SEL. Сначала проверьте SEL, прежде чем зарегистрировать приложение, прежде чем зарегистрировать ОС. Исправляемая запись ошибки памяти в 2:47, за которой следует перезагрузка системы в 2:47, а не случайная перезагрузка. Это различие экономит часы ненужного устранения неполадок.

Консоль KVM и серийная локальная сеть - удаленный доступ к экрану

Консоль KVM и серийная локальная сеть: удаленный доступ к экрану

IPMI дает вам два способа доступа к удаленной консоли, когда SSH недоступен.

KVM через IP: полная графическая консоль

KVM over IP передает физический вывод сервера в ваш браузер, а также клавиатуру и мышь. Вы видите, что физический монитор, подключенный к серверу, будет отображаться: экраны настройки BIOS/UEFI, публикация сообщений, последовательность загрузки ОС, а также рабочий стол или терминал после загрузки.

В сочетании с виртуальными носителями (Монтаж ISO) KVM Over IP дает вам те же возможности, что и стоя перед сервером. Вы можете загрузиться с удаленного ISO, переустановить ОС, войти в BIOS, чтобы изменить настройки загрузки, и отреагировать на сбой загрузки, все это удаленно.

Запустите консоль KVM из веб-интерфейса:

  1. Войдите в https://[bmc_ip]
  2. Перейдите в раздел Удаленная консоль (Dell: Виртуальная консоль; HP: Удаленная консоль; SuperMicro: Пульт дистанционного управления)
  3. Выберите консоль HTML5 для современной прошивки или Java-консоль для устаревшей прошивки
  4. HTML5 работает в любом браузере без плагинов; Java требует JRE и открывает порт 5900

Если ваша прошивка предлагает только консоль Java, расставьте приоритеты обновлений прошивки BMC. Апплет Java устарел, имеет известные проблемы безопасности и часто ломается с обновлениями безопасности ОС, которые ограничивают выполнение неподписанных Java.

Последовательный над LAN (SOL): доступ к текстовой консоли

SOL — это серийная консоль только с текстом через соединение IPMI. Он захватывает выход последовательного порта сервера и отправляет его через канал IPMI, предоставляя вам видимость вывода текста BIOS, загрузчика, ранних загрузочных сообщений ядра и консоли ОС, прежде чем ОС достигает точки, где работает SSH.

SOL требует последовательной конфигурации консоли как в BIOS, так и в загрузчике ОС.

Настройте GRUB для последовательной консоли (Linux):

# редактировать конфигурацию GRUB

sudo nano /etc/default/grub

 

# добавить эти строки

grub_cmdline_linux="console=tty0 console=ttys0,115200n8″

grub_terminal="консольный серийный номер"

grub_serial_command="последовательный – unit=0 –скорость=115200″

 

# Примените изменения

sudo update-grub

 

# перезагрузка для активации последовательной консоли

sudo reboot

 

Также включите серийную консоль в BIOS перед использованием SOL: Перейдите к расширенным настройкам BIOS и включите перенаправление последовательной консоли на COM1 или COM2 на 115200 бод. Точный путь зависит от поставщика, проверьте документацию вашей материнской платы.

Команды соединения SOL:

# Активируйте консоль SOL (подключается к последовательной консоли через IPMI)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sol activate

 

# Консоль появится после нажатия Enter

# для выхода: используйте Ctrl+] или последовательность ~ + .

 

# деактивируйте со второго терминала, если сессия застряла

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 sol deactivate

 

# Проверка конфигурации SOL

sudo ipmitool sol info

 

SOL — это правильный инструмент для низкочастотных соединений (VPN по медленной ссылке), автоматических скриптов восстановления и ситуаций, когда вам нужен только вывод текста. KVM — правильный инструмент, когда вам нужен графический дисплей или необходимо взаимодействовать с BIOS, который не поддерживает текстовый режим.

Сетевая архитектура IPMI

Архитектура сети IPMI: изоляция и конфигурация VLAN

Самая опасная ошибка развертывания IPMI заключается в размещении BMC в той же сети, что и в производственном трафике, или, что еще хуже, в Интернете. Поскольку BMC имеет аппаратное управление сервером (питание, консоль, микропрограммное обеспечение), он требует более строгой изоляции сети, чем любая другая служба, которую вы запускаете.

Трехсетевая архитектура

Правильное развертывание IPMI использует три отдельные сети:

Производственная сеть: Трафик приложений, SSH от хостов Jump, бэкенды балансировщика нагрузки. Стандартные сетевые карты.

Сеть управления (вне полосы): Только интерфейсы BMC. Специальный внеполосный переключатель управления. Изолированная VLAN без маршрутизации к производственной сети или Интернету. Доступ только через VPN или упрочненный бастионный хост.

Бастионный хост (Jump Server): Один закаленный сервер с двумя сетевыми адаптерами, один в производственной сети, один в сети управления. Все маршруты доступа IPMI через этот бастионный хост. Бастионный хост записывает все сеансы и требует MIFA для доступа.

Интернет

   |

   Конечная точка VPN

   |

Бастионный хост (производство NIC + Management NIC)

   |

Переключатель управления VLAN (изолированный, без интернет-маршрутизации)

   |  |  |  |

 BMC1 BMC2 BMC3 BMC4

  |    |    |    |

SRV1 SRV2 SRV3 SRV4

 

Эта топология означает, что нет прямого пути от Интернета к любому BMC. Даже скомпрометированный рабочий сервер не может связаться с VLAN управления, не проходя через сетевую карту управления Bastion Host, которая имеет свои собственные элементы управления доступом.

Конфигурация VLAN на BMC

# Включить тегирование VLAN на BMC (требуется IPMI 2.0)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 lan set 1 vlan id 100

 

# Проверка VLAN настроена

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 lan print 1 | grep -i vlan

 

# Отключить тегирование VLAN (возврат к нетегам)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 lan set 1 vlan id off

 

Перед настройкой убедитесь, что ваша прошивка BMC поддерживает VLAN. Старая прошивка может принять команду, но не применить ее правильно. Подтвердите, что назначение VLAN активировано, выбивая IP-адрес BMC с хоста в VLAN управления после настройки.

Закалка безопасности IPMI

Упрочнение безопасности IPMI: 8-шаговый контрольный список

IPMI имеет задокументированную историю эксплуатируемых уязвимостей. Основная причина большинства реальных нарушений заключается не в самом протоколе, а в неправильной настройке. Представленные интерфейсы, учетные данные по умолчанию и все еще работающие Cipher 0 отвечают за подавляющее большинство компромиссных IPMI. Приведенный ниже контрольный список исправляет все распространенные неправильные настройки с помощью точных команд.

Шаг 1: Отключите шифр 0 (обход аутентификации)

Cipher 0 позволяет любому пользователю аутентифицироваться любым паролем, включая пустой. По умолчанию он был включен практически на всех реализациях IPMI 2.0, пока основные поставщики не начали его патчить. Многие производственные серверы все еще поддерживают его.

# Проверьте, какие шифры включены в данный момент

ipmitool -H $BMC -U $USER -P $PASS -I lanplus channel getciphers ipmi

 

# отключить шифр 0 на канале 1

ipmitool -H $BMC -U $USER -P $PASS -I lanplus channel setcipher ipmi 1 0 readonly

 

# Проверка шифра 0 отключена

ipmitool -H $BMC -U $USER -P $PASS -I lanplus channel getciphers ipmi

 

Шаг 2: Примените шифрование 17 для всех соединений

Шифр 17 использует HMAC-SHA256 для аутентификации и AES-CBC-128 для шифрования, самый сильный стандартный набор шифров в IPMI 2.0.

# Всегда явно укажите шифр 17 при подключении

ipmitool -H $BMC -U $USER -P $PASS -I lanplus -C 17 chassis status

 

# никогда не используйте шифр 3 (MD5, криптографически сломанный)

# Никогда не используйте шифр 0 (обход аутентификации, отключен на шаге 1)

# -C 17 предотвращает резервирование более слабых шифров

 

Шаг 3: Измените все учетные данные по умолчанию

1 TP5T список текущих учетных записей пользователей IPMI

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user list 1

 

# Изменить пароль для идентификатора пользователя 2 (основная учетная запись администратора в большинстве систем)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user set password 2 'YourStrongPassword!'

 

# отключите идентификатор пользователя 1 (анонимный/нулевый пользователь, присутствующий в большинстве систем)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user disable 1

 

Шаг 4: Создание именованных учетных записей пользователей

Named accounts enable session auditing. Вы можете проследить, какой администратор выполнил действие в журнале аудита BMC.

# Создайте именованную учетную запись администратора (слот 3)

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user set name 3 "j.smith"

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user set password 3 'UniqueStrongPassword1!'

ipmitool -H $BMC -U $USER -P $PASS -I lanplus user enable 3

 

# Установить уровень привилегий на канале 1

# Уровни привилегий: 2=пользователь, 3=оператор, 4=Администратор

ipmitool -H $BMC -U $USER -P $PASS -I lanplus channel setaccess 1 3 \

  link=on ipmi=on callin=on privilege=4

 

# Проверка конфигурации доступа

ipmitool -H $BMC -U $USER -P $PASS -I lanplus channel getaccess 1 3

 

Шаг 5: Ограничить доступ BMC на сетевом уровне

Примените правила брандмауэра к шлюзу VLAN управления, чтобы ограничить, какие хосты могут добраться до портов управления BMC.

# разрешает доступ только бастионному хосту (192.168.200.10) для доступа к портам IPMI

iptables -I INPUT -p udp --dport 623 -s 192.168.200.10 -j ACCEPT

iptables -I INPUT -p udp --dport 623 -j DROP

 

# ограничить веб-интерфейс (порт 443) на хост Bastion

iptables -I INPUT -p tcp --dport 443 -s 192.168.200.10 -j ACCEPT

iptables -I INPUT -p tcp --dport 443 -j DROP

 

# сделать правила постоянными

iptables-save > /etc/iptables/rules.v4

 

Шаг 6: Обновление прошивки BMC

Уязвимости прошивки BMC регулярно исправляются поставщиками. Устаревшая прошивка является вторым наиболее распространенным вектором атаки IPMI после учетных данных по умолчанию. Настройте ежеквартальное расписание прошивки.

  • Прошивка Dell iDRAC: Dell.com/support, поиск модели вашего сервера + прошивка iDRAC
  • Прошивка ILO HPE: hpe.com/support, поиск модели вашего сервера + прошивка ILO
  • Прошивка SuperMicro BMC: supermicro.com/ru/solutions/management-software/bmc-resources

Шаг 7: Поместите IPMI на специальную сетевую карту управления

Общий режим сетевой карты позволяет трафику BMC проходить через ту же физическую сетевую карту, что и производственный трафик. Это создает риск утечки управленческого трафика на производственную сеть.

ON DELL iDRAC: Настройки IDRAC → Подключение → Сеть → Выбор сетевой карты → Выделенный на HPE iLO: Сеть → Доступ к сети → Настройки сети → Выбор сетевой карты → Выделенный

Выделенный режим NIC требует, чтобы порт физического управления был подключен к коммутатору управления.

Шаг 8: Проверка поверхности атаки

# Проверить, достижим ли IPMI случайно из неожиданных сетей

# работает из-за пределов VLAN управления

nmap -su -p 623 192.168.100.50

 

#, если вы видите порт 623, открытый из производственной сети,

# Ваша изоляция VLAN неправильно настроена

 

# также сканирует веб-интерфейс

Nmap -P 443 192.168.100.50

 

Три наиболее эксплуатируемых вектора IPMI в дикой природе: учетные данные по умолчанию, шифр 0 включен и BMC, выставленные в Интернете (Shodan ежедневно индексирует их тысячи). Шаги 1-4 выше касаются всех трех. Объедините их с сетевой изоляцией от шага 5 и обновлениями прошивки с шага 6, и ваша поверхность атаки BMC падает до нуля.

Redfish против IPMI: выбор правильного инструмента

Redfish — это стандарт DMTF, который преуспевает в IPMI для современной автоматизации серверов. Оба используются сегодня в производстве, и у обоих есть соответствующие варианты использования. Выбор зависит от вашего масштаба и рабочего процесса, а не от того, какой из них «новее».

Фактор IPMI 2.0 Рыбак (DMTF 2015+)
Стандартный кузов ДМТФ ДМТФ
Протокол UDP 623 (RMCP+) HTTPS 443 (REST/JSON)
Аутентификация Ракп, шифровальные люксы OAuth 2.0, TLS 1.2+
Формат данных бинарный протокол Стандартизированная схема JSON
Инструмент CLI ipmiTool CURL, HTTPIE, пользовательские скрипты
Интеграция ИАК ANSIBLE ipmi_power module Ansible URI, Terraform, Python запросы
Аппаратная поддержка Все серверы с 2004 г. Современная прошивка после 2015 года вообще
лучше всего для Доступ к одному серверу, быстрые операции, устаревшие аппаратные средства Автоматизация автопарка, трубопроводы, инфраструктура-как-код

Запрос на управление мощностью Redfish выглядит следующим образом:

# Получите системную информацию через Redfish

curl -k -u admin:password https://BMC_IP/redfish/v1/Systems/1

 

# Получить текущее состояние питания

curl -k -u admin:password https://BMC_IP/redfish/v1/Systems/1 \

  | python3 -m json.tool | grep powerstate

 

# питание через Redfish REST API

curl -k -u admin:password \

  -х пост \

  -h «Тип контента: приложение/JSON» \

  -d ‘{«resetType»: «on»}’ \

  https://BMC_IP/redfish/v1/Systems/1/Actions/ComputerSystem.Reset

 

# выключено (изящно)

curl -k -u admin:password \

  -х пост \

  -h «Тип контента: приложение/JSON» \

  -d ‘{«resetType»: «gracefulshutdown»}’ \

  https://BMC_IP/redfish/v1/Systems/1/Actions/ComputerSystem.Reset

 

Используйте IPMI и IPMitool, когда вам нужен прямой доступ к одному серверу, аппаратное обеспечение до 2015 года, или ваша команда предпочитает рабочие процессы CLI. Используйте Redfish, когда вы управляете флотами серверов в масштабе, интегрируйтесь с модулями Terraform или Ansible URI или нуждаетесь в стандартизированном выводе JSON для мониторинга конвейеров. Во многих средах используется оба, ipmiTool для ручных операций и вызовы API Redfish в сценариях автоматизации.

Автоматизация IPMI с помощью Ansible

Ансибля Сообщество.Общее Коллекция включает в себя два модуля IPMI для управления автопарком: ipmi_power и ipmi_boot. Единственная игровая книга, работающая против инвентаризации адресов BMC, может вырабатывать цикл, устанавливать порядок загрузки и обеспечивать всю стойку без физического доступа.

---

# ipmi-management.yml

Требуется #: pip install pyghmi (библиотека Python IPMI)

# Install collection: ansible-galaxy collection install community.general

 

- Название: Управление автопарком IPMI

  Хосты: localhost

  gather_facts: false

 

  Варс:

ipmi_host: "192.168.100.50"

ipmi_user: "admin"

ipmi_password: "{{ vault_ipmi_password }}"  # Always use Ansible Vault

 

  Задачи:

 

    - Имя: Проверить состояние питания сервера

      Сообщество.General.IPMI_Power:

        Имя: «{{ ipmi_host }}»

        Пользователь: "{{ ipmi_user}}

        Пароль: «{{ IPMI_PASSWORD }}»

        Состояние: присутствует

      Регистрация: power_result

 

    - Имя: состояние печати

      Отладка:

        msg: «Состояние питания: {{ power_result }}»

 

    - Имя: Включение сервера

      Сообщество.General.IPMI_Power:

        Имя: «{{ ipmi_host }}»

        Пользователь: "{{ ipmi_user}}

        Пароль: «{{ IPMI_PASSWORD }}»

        Состояние: на

 

    - Имя: задать загрузочное устройство на PXE для подготовки

      community.general.ipmi_boot:

        Имя: «{{ ipmi_host }}»

        Пользователь: "{{ ipmi_user}}

        Пароль: «{{ IPMI_PASSWORD }}»

        Бутдев: «Сеть»

        Постоянно: FALSE    # PXE загрузка только при следующем загрузке

 

    - Имя: после инициализации, восстановить загрузку диска

      community.general.ipmi_boot:

        Имя: «{{ ipmi_host }}»

        Пользователь: "{{ ipmi_user}}

        Пароль: «{{ IPMI_PASSWORD }}»

        Бутдев: «Диск»

        Постоянный: True     # Постоянная загрузка диска

 

Для стойки 40 серверов, заменить ipmi_host var с петлей над списком инвентаризации YAML для IP-адресов BMC. Ansible обрабатывает параллельные соединения и обеспечивает результаты для каждого хоста. Этот шаблон показывает, как крупные операторы предоставляют стойки из одной команды из одной команды, не открывая сеанс KVM на каждом сервере.

Сохраняйте учетные данные IPMI в хранилище Ansible, никогда не в файлах переменных обычного текста или в управлении источником.

Восстановление инцидента в реальном мире: 2 часа ночи

Производственный сервер на 192.168.1.100 перестал отвечать. Тайм-аут SSH. Ваша система мониторинга сработала предупреждение 3 минуты назад. Вот точный рабочий процесс восстановления.

Шаг 1: Подтвердите проблему (30 секунд)

# подтвердить, что SSH не работает

ssh -o ConnectTimeout=5 [email protected]

Ожидается #: время ожидания соединения истекло

 

# Подтвердите, что пинг не работает

ping -c 3 192.168.1.100

Ожидается #: тайм-аут запроса

 

# перейти сразу в IPMI, не тратьте время на другую диагностику

 

Шаг 2: Подключитесь к IPMI и проверьте состояние питания (60 секунд)

# Экспорт учетных данных для сеанса

export BMC=”192.168.100.50″   # BMC IP, separate from server IP

Экспорт ipmi_user="admin"

Экспортируйте ipmi_pass="ваш пароль”

 

# Подтвердите, что BMC отвечает

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 bmc info

 

# Проверить состояние питания шасси

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 power status

 

Если состояние питания возвращает «Питание шасси включено», сервер не вылетел из-за сбоя питания. Перейдите к шагу 3, чтобы понять, почему ОС перестала отвечать.

Шаг 3: Прочитайте журнал системных событий (2 минуты)

# Читайте SEL с полными описаниями

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 sel elist

 

# Сохраните SEL перед любыми дальнейшими действиями

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 sel elist \

  > /tmp/incident-$(дата +%y%m%d-%h%m%s)-sel.txt

 

Руководство по интерпретации SEL:

SEL Тип ввода Вероятная причина Следующее действие
Перегрева критично Ошибка вентилятора, проблема HVAC, радиатор Проверьте показания датчика вентилятора, не перезапускайте, пока не найдется первопричина
Ошибка исправления памяти Димм унизительно перезапуск безопасен; Запланируйте замену DIMM во время следующего окна технического обслуживания
Неисправимая ошибка памяти Димм не удался Не используйте сервер в производстве; Требуется замена DIMM
Неисправность блока питания ПГУ не удалось Проверьте, активен ли резервный блок питания; Заменить неисправный блок питания
Нет записей до сбоя Причина программного обеспечения/ОС Перейти к консоли KVM для текста паники ядра

Шаг 4: Откройте консоль KVM для просмотра экрана (3 минуты)

Войдите в https://[bmc_ip] и запустите удаленную консоль. Вы увидите один из этих экранов:

  • Паника ядра со следом вызова: Прочтите последнюю функцию перед паникой. Обратите внимание на временную метку. Это проблема с программным обеспечением или драйвером.
  • Меню grub: ОС не смогла смонтировать корневую файловую систему или произошла ошибка конфигурации GRUB. Смонтируйте ISO рекавери через виртуальный носитель.
  • Экран BIOS: Сервер перезагрузился в BIOS Setup. Проверить порядок загрузки.
  • Черный экран, курсор мигает: ОС зависала во время загрузки, прежде чем достигать дисплея. Используйте SOL для просмотра ранних загрузочных сообщений.
  • Обычная подсказка входа: ОС работает, но приложение и сеть не работают. Проблема может заключаться в сетевой конфигурации или сбое приложения.

Шаг 5: включение питания и загрузка часов (5 минут)

# сначала попробуй грациозный сброс

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 power reset

 

# Если сброс не отвечает в течение 30 секунд, используйте жесткий цикл питания

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 power cycle

 

# Подключите консоль SOL для просмотра последовательности загрузки

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 sol activate

 

# Нажмите ENTER, чтобы получить вывод, если консоль выглядит неактивной

# Выход SOL с Ctrl+] или escape-последовательность ~ + .

 

Следите за ошибками файловой системы во время загрузки (выхода fsck), сбои запуска службы и ошибок конфигурации сети. SOL дает вам представление о последовательности загрузки, которую KVM не может обеспечить на безголовых серверах.

Шаг 6: Документируйте и эскалируйте проблемы с оборудованием

# Если SEL показывает аппаратные ошибки, откройте аппаратный билет перед возвратом сервера в производство

# Очистить SEL после документирования и устранения первопричины

 

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 sel clear

 

# Подтвердите, что SEL очищен

ipmitool -H $BMC -U $IPMI_USER -P $IPMI_PASS -I lanplus -C 17 sel info

 

Никогда не очищайте SEL, не сохранив его сначала. Временные метки в сохраненном журнале SEL часто являются единственной точной записью того, что произошло во время инцидента, и они имеют значение для анализа после инцидента и гарантии на оборудование.

Часто задаваемые вопросы

В: Для чего используется IPMI?

IPMI (Intelligent Platform Management Interface) — стандартный протокол для управления внеполосными серверами. Он обеспечивает аппаратный доступ на уровне оборудования, независимо от операционной системы: включение/выключение питания, контроль аппаратного датчика (температура, скорость вентилятора, напряжение в журнале событий), просмотр системы журнала событий (SEL), доступ к удаленной консоли KVM и текстовая консоль Serial over LAN (SOL). IPMI работает на BMC сервера (контроллер управления базовой платой) с помощью резервной мощности, поэтому он остается работоспособным, даже когда ОС выходит из строя или сервер выключен.

В: В чем разница между IPMI и IDRAC или ILO?

IPMI 2.0 является стандартной спецификацией отрасли. IDRAC (Dell), iLO (HP/HPE) и Supermicro IPMI — это реализация поставщиков, построенная на основе стандарта IPMI. Стандартные команды ipmiTool работают для всех трех для основных операций: управление питанием, показания датчиков, SEL и SOL. Функции для поставщика, качество виртуальной консоли, рабочие процессы обновления микропрограммы, проприетарные API, требуются инструменты поставщика, такие как Ракадм Для Dell или iLO RESTful API для HP.

В: Безопасно ли выставлять IPMI в Интернете?

Нет. IPMI никогда не должен быть доступен из Интернета. Протокол имеет известные уязвимости, включая обход аутентификации Cipher 0 и хэш-атаки RAKP (CVE-2013-4786). Shodan индексирует тысячи BMC, доступных в Интернете, с учетными данными по умолчанию. Изолируйте IPMI в специальной VLAN управления без маршрутизации в Интернете. Все маршруты доступа через VPN-соединенный хост бастиона.

В: Что такое шифр 0 в IPMI и почему он опасен?

Cipher 0 — это режим аутентификации IPMI 2.0, который позволяет любому пользователю войти в систему с любым паролем, включая вообще никакого пароля. Многие BMC поставляются с включенным шифром 0 по умолчанию. Отключите его с помощью: ipMitool -H BMC_IP -U admin -p pass -i lanplus канал setCipher IPMI 1 0 ReadOnly. Для всех внеполосных соединений явно укажите шифр 17 с помощью -С 17 флаг

В: В чем разница между SOL и консолью KVM в IPMI?

SOL (последовательная версия LAN) предоставляет текстовую последовательную консоль через канал IPMI, отображая вывод текста BIOS, сообщения загрузки ядра и консоль ОС. Для этого требуется последовательная консольная консоль в BIOS и загрузчике ОС. KVM over IP предоставляет полный графический сеанс, показывающий полный дисплей сервера с клавиатурой и мышью. SOL лучше подходит для низкочастотных соединений и автоматизированных скриптов восстановления. KVM лучше, когда вам нужен графический дисплей или доступ к BIOS в системе без настройки последовательной консоли в текстовом режиме.

Вопрос: Работает ли ipMitool в Windows?

Двоичные бинарные файлы IPMitool для Windows доступны в проекте IPMitool GitHub (https://github.com/ipmiTool/ipmiTool). Основные команды работают одинаково с Linux. Для внутриполосного доступа (управление BMC локального сервера) драйвер ядра IPMI в Windows доступен через драйвер HP OpenIPMI или драйвер Dell IPMI. Для большинства сред Windows внеполосный доступ через веб-интерфейс более практичный, чем ipMitool в Windows.

Q: IPMI или редфиш: что я должен использовать для автоматизации?

Оба подходят в зависимости от контекста. IPMI и IPMITOOL работают на всех серверных аппаратных средствах с 2004 года и подходят для односерверных операций и быстрого доступа к CLI. Redfish использует HTTPS REST/JSON, аккуратно интегрируется с инструментами инфраструктуры как код (URI Ansible, Terraform, Python-запросы) и является правильным выбором для автоматизации больших серверных серверов. Современные серверы поддерживают оба. Конкретно для Ansible, Сообщество.General.IPMI_Power Работает как с IPMI, так и с BMC с возможностью окуня.

В: Предоставляет ли Atal Networks доступ IPMI на выделенных серверах?

да. Atal Networks включает в себя полный доступ к IPMI для всех выделенный сервер планы. В интерфейсе управления используется выделенный внеполосный порт, отдельный от вашей производственной сети. Учетные данные для входа предоставляются при развертывании. Наша команда поддерживает настраиваемую конфигурацию VLAN, именованную настройку учетной записи пользователя и многосерверную сетевую архитектуру IPMI для групп инфраструктуры, управляющих несколькими машинами. Инфраструктура Bare Metal с полным внеполосным управлением является основной возможностью нашей выделенной серверной платформы.

Получите полный доступ к IPMI на выделенном сервере

IPMI Access не является надстройкой премиум-класса, а фундаментальным требованием для любого развертывания выделенного сервера. Без него один сбой ОС вынуждает тикет поддержки, ожидание техника и восстановление, которое занимает часы, а не минуты.

Atal Networks предоставляет выделенные серверы с полным доступом IPMI в каждом плане. Специальный порт управления вне диапазона. Полная совместимость с IPMitool. КВМ по IP. Виртуальный носитель для удаленной установки ОС. Немедленный доступ при развертывании, а не закрепленные за билетами в службу поддержки.

Для инфраструктурных групп, управляющих несколькими серверами Bare Metal, наши Планы выделенного сервера Поддержка многосерверной конфигурации IPMI VLAN и пользовательского управления учетными данными. Свяжитесь с нашей командой, чтобы обсудить ваши требования к внеполосному управлению перед развертыванием.

Готовы обновить свои серверы Bare Metal?

Присоединяйтесь к 36 000+ компаниям, которые выбрали хостинг без рисков.

Готовы развернуть свой VPS-сервер?

Запустите быстрый, безопасный и масштабируемый VPS-хостинг уже сегодня.
Прокрутить вверх
Серафинит - АкселераторОптимизировано Серафинит - Акселератор
Включает высокую скорость сайта, чтобы быть привлекательным для людей и поисковых систем.