Установка и настройка гипервизора VMware ESXi

Из этой статьи вы узнаете о VMware ESXi.

Общая информация

Аппаратное обеспечение

• VMware vSphere Hypervisor 5.x и 6.0 (ESXi) используют файловую систему под названием vmfs5 (ранее vmfs3), которая использует GPT и поддерживает размеры дисков до 64 ТиБ (ранее 2 ТиБ).
• Программный RAID не поддерживается ESXi.
• Бесплатная версия ESXi (начиная с 5.5) поддерживает максимум 4 ТБ ОЗУ (ранее 32 ГБ ОЗУ).

Настройка сети

• VMware vSphere Hypervisor – это операционная система, разработанная для чистой виртуализации, и не поддерживает NAT или маршрутизацию. Поэтому вы можете использовать только настоящую мостовую настройку.
• Для использования подсети вам необходимо настроить дополнительный отдельный IP-адрес в качестве виртуального маршрутизатора.

Установка

• Установка и настройка ESXi занимает примерно 20-30 минут, даже без предварительных знаний.

Лицензия

• После установки система имеет тестовую лицензию, которая истекает через 60 дней. Если вы хотите использовать ОС в долгосрочной перспективе, вам нужно получить отдельную (бесплатную) лицензию. Вы можете сделать это, зарегистрировавшись на веб-сайте VMware:
  • Лицензия для ESXi 5.x
  • Лицензия для ESXi 6.0
• Вы можете ввести лицензию через клиент vSphere. Перейдите на вкладку Configuration, раздел Software, а затем выберите Licensed functions в меню. После выбора этого пункта вы можете нажать кнопку Edit справа, а затем ввести ключ лицензии.

Специфическая информация

Установленное оборудование

Модели Dell PowerEdge DX150, DX151, DX290, DX291 и DX141 сертифицированы и совместимы со всеми версиями начиная с 5.0. DX152 и DX292 совместимы с версии 6.0. DX180 и DX181 совместимы с версии 6.5 и выше.

Все остальные модели не сертифицированы VMware, но в большинстве случаев их можно использовать с VMware vSphere/ESXi.

Совместимость

Мы официально не тестируем и не гарантируем совместимость с нашими серверами. Пожалуйста, проверьте сами, совместимы они или нет.

ПРИМЕЧАНИЯ:

• Драйвер Realtek, представленный в ESXi от 5.0 до 5.1 Update 2, был просто техническим демонстрационным вариантом и не обновлялся. Поэтому, чтобы обеспечить плавную работу вашей системы, рекомендуется использовать сервер с сетевым адаптером Intel NIC (PX60, PX91, DX151 и т.д.).
• Для установки vSphere 5.5 или более новой версии на модели EX40, EX60 и некоторые модели EX41/EX51, вам потребуется использовать настраиваемый ISO-образ, включающий драйверы для сетевого адаптера Realtek NIC (http://www.bussink.ch/?p=1228). Или вы можете установить дополнительный совместимый сетевой адаптер.
• Невозможно установить ESXi на более старые серверы DS или X.
• При установке на сервер с несколькими идентичными дисками ESXi может показывать диски в другом порядке, чем BIOS. Если после завершения установки и перезагрузки экран остается пустым с мигающим курсором, попробуйте загрузиться с другого диска.

Настройка сети

• Для соединения между несколькими серверами ESXi в пределах одной подсети необходимо настроить маршруты хоста через шлюз из-за ограничений сетевой безопасности.

host A
esxcfg-route -a <IP Host B> 255.255.255.255 <Gateway IP>

host B
esxcfg-route -a <IP Host A> 255.255.255.255 <Gateway IP>

Одиночные IP-адреса

• IP-адреса по умолчанию статически сопоставляются с MAC-адресом хоста. Тем не менее, можно получить отдельные MAC-адреса для дополнительных одиночных IP-адресов через Robot. Затем их можно настроить для виртуальных машин. Чтобы назначить эти MAC-адреса, войдите в Robot, выберите “Server” в меню слева, выберите правильный сервер и затем щелкните вкладку “IPs”. Затем щелкните на значок рядом с одиночным IP-адресом, чтобы получить MAC-адрес.

Подсети

• Для использования подсети (как IPv4, так и IPv6) в ESXi вам необходимо настроить как минимум один дополнительный одиночный IP-адрес в качестве виртуального маршрутизатора, поскольку сам ESXi не способен маршрутизировать. При заказе подсети убедитесь, что включили примечание, что хотите использовать ее для ESXi, и она должна быть настроена на дополнительном одиночном IP-адресе.

ВАЖНО Поскольку подсети IPv6 направляются на адреса link-local (основанные на MAC-адресе), возможно использование IPv6 ограничено (только на одной виртуальной машине).

IPv4

Письмо с подтверждением подсети содержит (например) следующую информацию:

Ниже вы найдете добавленную к вашему серверу подсеть 192.168.13.156.

Подсеть: 192.168.182.16 /28
Маска: 255.255.255.240
Широковещательный адрес: 192.168.182.31

Доступные IP-адреса:
192.168.182.17 до 192.168.182.30

Вам НЕ предоставляется отдельный MAC-адрес для каждого IP-адреса из подсети.

IPv6

Все серверы поставляются с подсетью IPv6 /64. Чтобы узнать, какая подсеть IPv6 есть на вашем сервере, проверьте вкладку IPs в клиентском разделе.

Подсеть IPv6 направляется на адрес link-local (который происходит от MAC-адреса) основного IP. Вы можете переключить маршрутизацию подсети IPv6 на link-local адрес виртуального MAC (другими словами, дополнительного одиночного IP). Вы можете сделать это в клиентском разделе, используя тот же символ, который находится рядом с дополнительными одиночными IP-адресами. Это тот же символ, который вы используете для запроса виртуальных MAC-адресов. Хост-система, то есть сам ESXi, не получает IPv6-адреса. Это необходимо и не возможно, потому что ESXi не может работать с шлюзом fe80::1.

Для использования этих IP-адресов в виртуальных машинах вам нужен виртуальный маршрутизатор, дополненный дополнительным виртуальным сетевым адаптером из новой подсети. Для самой подсети требуется новый vSwitch в ESXi, к которому будут подключены все виртуальные машины в подсети.

Примечания

Тип сетевой карты для виртуального маршрутизатора не должен быть VMXNET2 или VMXNET3; в противном случае производительность TCP может быть очень плохой. Как временное решение вы можете отключить LRO в виртуальной машине с disable_lro=1. Больше информации об этой ошибке можно найти здесь: http://www.vmware.com/support/vsphere4/doc/vsp_esxi41_vc41_rel_notes.html

После обновления до VMware ESXi 5, эта проблема может возникнуть снова. Вы можете решить эту проблему, отключив Large Receive Offload (LRO) на хосте ESXi:

• Войдите в хост ESXi с помощью клиента vSphere.
• Выберите хост -> Configuration -> Software:Advanced Settings.
• Выберите Net и прокрутите вниз, чуть больше половины пути.
• Установите следующие параметры с 1 на 0:

Net.VmxnetSwLROSL
Net.Vmxnet3SwLRO
Net.Vmxnet3HwLRO
Net.Vmxnet2SwLRO
Net.Vmxnet2HwLRO

Перезагрузите хост ESXi для активации этих изменений.

Если у вас возникают проблемы с соединением в системах с сетевыми картами Realtek, вы можете решить эту проблему в определенных случаях, отключив оффлоудинг и активируя поллинг. Однако это также снижает производительность.

• отключение оффлоудинга контрольной суммы: включено
• отключение оффлоудинга сегментации: включено
• отключение оффлоудинга крупных пакетов: включено
• поллинг устройства: активировано

Подготовка в клиенте vSphere

1. Создайте vSwitch (в примере используется имя “subnetz”)

2. Добавьте второй сетевой адаптер (NIC) в виртуальный маршрутизатор. Подключенная сеть: subnetz (ранее созданный vSwitch)

3. The NIC of the virtual machine in the subnet. Connected network: subnetz

The networking overview should show the following:

Настройка виртуального маршрутизатора (Router VM)

• Пример файла /etc/network/interfaces в виртуальном маршрутизаторе

# Интерфейс циклической сети
auto lo
iface lo inet loopback
# Основной сетевой интерфейс
# WAN-NIC в VMnetwork
auto eth0
iface eth0 inet dhcp
# Для подсети IPv6 конфигурация аналогична другим виртуализациям
iface eth0 inet6 static
 address 2a01:4f8:61:20e1::2
 netmask 128
 gateway fe80::1
# LAN NIC в подсети
auto eth1
iface eth1 inet static
 address     192.168.182.30
 netmask     255.255.255.240
# Префикс/маска сети может/должна быть изменена в зависимости от количества сегментов сети
iface eth1 inet6 static
 address    2a01:4f8:61:20e1::2
 netmask    64

• Пример файла /etc/network/interfaces Linux VM в подсети

# Интерфейс циклической сети
auto lo
iface lo inet loopback
# Основной сетевой интерфейс
auto eth0
iface eth0 inet static
 address 192.168.182.17
 netmask 255.255.255.240
 gateway 192.168.182.30
iface eth0 inet6 static
 address    2a01:4f8:61:20e1::4
 netmask    64
 gateway    2a01:4f8:61:20e1::2

Виртуальный маршрутизатор теперь подключен к обеим сетям, и вы можете использовать его в качестве шлюза для виртуальных машин в подсети. Не забудьте активировать IP-маршрутизацию в ядре:

echo 1 > /proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding

Чтобы сделать это постоянным после перезагрузки, добавьте следующую строку в /etc/sysctl.conf

net.ipv4.ip_forward=1
net.ipv6.conf.all.forwarding=1

Виртуальные машины теперь должны быть доступны (например, через SSH) по их присвоенным IP-адресам.

Руководство по установке

• Выберите Система восстановления в качестве ОС для заказанного сервера.
• Если вы хотите использовать RAID, вы можете добавить 4-х портовый RAID-контроллер, поскольку ESXi не поддерживает программный RAID.
• После запуска сервера (вы получите от нас письмо с уведомлением об этом), вы можете заказать консоль KVM и использовать ее для виртуального монтирования ISO-файла версии ESXi, которую вы хотите установить.

Теперь вы должны увидеть следующий экран:

• После перезагрузки войдите, используя пароль, который вы ввели во время установки. Это пароль root для SSH, а также пароль для клиента VMware vSphere (требует Windows). Вы можете загрузить его отдельно через браузер.

• После завершения установки вы можете заказать до трех дополнительных отдельных IP-адресов через Robot. Вы можете получить MAC-адрес для вашего дополнительного отдельного IP в разделе IPs Robot. Вы увидите небольшую кнопку рядом с IP-адресом. Нажатие на эту кнопку присвоит IP-адресу виртуальный MAC-адрес.
• Настройте MAC-адреса виртуальных серверов с соответствующими IP-адресами с помощью vSphere. После этого даже DHCP будет работать через нашу сеть!

Дополнительную информацию о ESXi и его использовании можно найти на официальном сайте.

Ручная установка обновлений

Установку обновлений можно выполнить только в бесплатной версии через консоль или через VMware Go. Обновление может составлять несколько сотен мегабайт, что может занять много времени с обычным соединением DSL, поэтому следующее руководство может быть полезным. Действуйте на свой страх и риск. Нет никаких гарантий или гарантий, что это будет работать!

Прежде чем начать, вам нужно две вещи. Во-первых, вам нужен активированный доступ через SSH. И во-вторых, система должна находиться в режиме обслуживания. Вы можете активировать его с помощью:

vim-cmd hostsvc/maintenance_mode_enter

Обновление vSphere 5.0 до 5.1

Прежде всего, вам нужно скачать обновление VMware-ESXi-5.1.0-799733-depot.zip с страницы обновлений VMWare и сохранить его на хосте ESXi.

Как только все виртуальные машины будут выключены, и система перейдет в режим обслуживания через vim-cmd hostsvc/maintenance_mode_enter, вы можете использовать один из двух способов для установки обновления. Следующая команда обновляет систему и удаляет все пакеты, которые не входят в обновление. Это эквивалентно новой установке.

esxcli software profile install -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

Или вы можете обновить только пакеты, содержащиеся в обновлении, до их новых версий, оставив все остальные пакеты нетронутыми.

esxcli software profile update -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

Наконец, вам нужно перезагрузить систему. Когда вы включаете виртуальные машины в первый раз после перезагрузки, вы можете увидеть сообщение о том, что виртуальная машина была скопирована или перемещена. Это происходит потому, что UUID изменяются во время обновления. В этой ситуации вы можете безопасно выбрать “ВМ была перемещена”. См. также: Страница помощи VMware

Установка патчей

После того как вы передали патчи на систему, вы можете установить их. Важно ввести полное имя пути, например:

esxcli software vib install --depot="/vmfs/volumes/datastore1/patches/ESXi510-201210001.zip"
Результат установки
Сообщение: Обновление успешно завершено, но для вступления изменений в силу систему необходимо перезагрузить.
Требуется перезагрузка: true
[...]

После перезагрузки вам нужно выйти из режима обслуживания:

vim-cmd hostsvc/maintenance_mode_exit

Мониторинг контроллера RAID

Контроллер 3ware

Для контроллера 3ware существует как поставщик CIM, так и интерфейс командной строки (CLI). Вы можете использовать 64-разрядный CLI для Linux начиная с версии 9.5.2.

Примечание: Контроллеры 3ware поддерживаются только ESXi 5.0 с использованием внешнего драйвера.

Контроллер Adaptec

Для контроллеров Adaptec вам нужно вручную установить поставщика CIM и интерфейс командной строки (arcconf). Вам также нужна актуальная версия драйвера. Руководство по установке можно найти на веб-сайте Adaptec (PDF).

• Драйвер RAID Версия 5.2.1.29800
• Удаленный Arcconf
• Поставщики CIM Adaptec

Вы можете начать мониторинг, установив удаленный ARCCONF через систему Windows/Linux.

$ arcconf GETCONFIG 1 AD

Контроллер LSI

LSI предоставляет поставщика CIM/SMIS. После завершения установки страница мониторинга оборудования в клиенте vSphere отображает статус RAID. Однако активную тревогу вы можете получить только в платной версии и при работе с vCenter.

Или вы можете установить инструмент командной строки MegaCLI, который вы также можете использовать для управления контроллером RAID. Вы можете использовать сценарий для автоматизации отображения информации о статусе. Но вы должны запустить этот сценарий и уведомления с другого сервера.

Параллельная работа встроенного контроллера/аппаратного RAID

При установке ESXi видит только один тип хранилища, поэтому либо встроенный контроллер SATA, либо дополнительный контроллер RAID. Если диски подключены и к тому, и к другому, то приоритет отдается аппаратному контроллеру, и диски, подключенные к встроенному контроллеру, становятся невидимыми. Загрузив соответствующий модуль ядра вручную, вы все равно можете использовать эти диски.

/sbin/vmkload_mod ahci

Чтобы этот модуль загружался автоматически при запуске, вам нужно добавить строку выше в /etc/rc.local и /sbin/auto-backup.sh.

Изменение оборудования

Изменение MAC-адреса

В случае замены оборудования, особенно материнской платы, следует отметить, что хост ESXi сохраняет свой первоначальный MAC-адрес. Это приводит к проблемам. Коммутатор не будет автоматически пересылать правильный новый основной IP-адрес на сервер, поскольку MAC-адрес, который передается, неверен. Вам необходимо сбросить MAC-адрес через оболочку ESXi. Существует несколько подходов к этому, перечисленных в следующей статье базы знаний VMWare. Самое элегантное решение – это когда хост ESXi автоматически распознает новый MAC-адрес при изменении платформы и использует его. Для этого можно использовать следующую команду:

esxcfg-advcfg -s 1 /Net/FollowHardwareMac

Вы можете выполнить эту команду перед изменением платформы или, если изменение уже произошло, есть два варианта:

• Закажите консоль KVM и включите оболочку ESXi, затем нажмите Alt + F1, чтобы переключиться в консоль и введите команду. После этого, нажатие Alt + F2 вернет вас в графический интерфейс.
• Временно обучите коммутатор новому MAC-адресу, загрузив систему Rescue, а затем снова входите в хост ESXi. В результате хост ESXi снова будет доступен по основному IP-адресу, но только в течение ограниченного времени. Продолжительность этого времени зависит от того, как долго коммутатор занимает удаление записи кеша ARP для этого MAC-адреса. Обычно есть достаточно времени для входа через SSH и выполнения команды, предполагая, что вы включили доступ по SSH. Однако это также настраивается, и подключение через клиент ESXi снова станет возможным.

После любого из вариантов необходимо выполнить перезагрузку. Вы можете начать ее через консоль:

reboot

После перезагрузки MAC-адрес должен быть установлен правильно, и вы можете проверить это в оболочке ESXi с помощью следующей команды:

esxcfg-vmknic -l

Новый MAC-адрес должен отображаться рядом с основным IP-адресом.