Оптимизация инфраструктуры Azure

Индустрии
DevOps и облачные технологии
Технологии
azure
.NET
Python
SQL Server
ElasticSearch
Клиент

Наш заказчик — ведущий мировой производитель фотооборудования: осветительных приборов, объективов, аксессуаров и т.д. Компания также располагает собственными программными приложениями и платформами.

Задачи

Заказчик обратился к компании Аркадия затем, чтобы привести в соответствие процессы разработки, рабочие процессы и ежедневные задачи. Одной из ключевых целей стали анализ и усовершенствование текущей инфраструктуры на базе Azure. В числе прочего, необходимо было провести аудит системы и предложить возможные способы её улучшения и сокращения затрат.

Решение

Проанализировав инфраструктуру, наши специалисты обнаружили следующие проблемы:

  • отсутствие документации по различным модулям системы, разработанным сторонними организациями;
  • недостаточное резервное копирование критически важных элементов системы, в том числе виртуальных машин, находящихся вне инфраструктуры Azure;
  • чрезмерные затраты на подсистему анализа данных на основе Azure Data Factory и Azure Databricks: более 50% всех ежемесячных затрат на Azure;
  • множество невостребованных данных на аккаунтах Azure Storage;
  • недостаток настроек для используемых служб приложений.

Устранять данные проблемы нужно было поэтапно.

Для начала мы создали необходимую документацию и диаграммы на портале Confluence со стороны заказчика.

Далее, наши разработчики обеспечили резервное копирование различных компонентов, включая критически важные виртуальные машины и базы данных MS SQL и MySQL, с помощью хранилища служб восстановления Azure.

После работы с невостребованными данными и соответствующей настройки служб приложений нам удалось снизить затраты более чем на 5% в месяц.

Неэффективность настроек была, прежде всего, связана с подсистемой анализа данных, где для Azure Databricks и Azure Data Factory применялась конфигурация по умолчанию. В результате достаточно производительные кластеры использовались даже для простейших задач. Грамотно настроив кластер Azure Databricks и обеспечив правильное использование Azure Data Factory в соответствии с требованиями заказчика, мы также добились значительного сокращения затрат.

Наконец, тщательно проанализировав сценарии обработки данных на основе Python и Spark, задействованные в Databricks, наши специалисты повысили скорость такой обработки (в некоторых случаях — до 10 раз).

Результат

Мы проанализировали, задокументировали и усовершенствовали инфраструктуру, а также обеспечили резервное копирование всех критически важных компонентов системы. Кроме того, нам удалось сократить и затраты: стоимость использования Azure уменьшилась более чем на 50% ежемесячно, что убедило заказчика продолжить сотрудничество с нашей компанией.

Больше проектов