В начале июня 2016 г. IBS представила новые программно-аппаратные комплексы линейки Скала для решения специализированных задач: кластеры серверов «Скала-СР/Postgres Pro» и «Скала-СР/Oracle DB», предназначенные для высоконагруженных СУБД, а также гиперконвергентный комплекс «Скала-СР/Аналитика» для аналитических систем, хранящих и обрабатывающих кубы данных в оперативной памяти (in-memory). Эти решения дополняют серию универсальных гиперконвергентных вычислительных платформ широкого применения Скала-Р, представленную год назад.
В ходе тестирования универсального решения Скала-Р мы пришли к выводу, что оно оптимально справляется с наиболее распространенным кругом универсальных задач, т.е. относительно небольшими СУБД с умеренной нагрузкой. Однако в случаях выхода за рамки типовых сценариев, результаты тестов нас не вполне удовлетворяли. Например, когда речь шла о задачах, связанных с аналитикой in-memory и работой с высоконагруженными базами данных.
На основе этих исследований мы сделали вывод, что для таких специфичных нагрузок и задач нашим заказчикам необходимы специализированные программно-аппаратные комплексы (ПАК), «заточенные» под конкретный характер нагрузки. Эта идея не нова – на рынке есть примеры специализированных машин баз данных – например, продукт Oracle Exadata. Команда IBS не раз внедряла такие решения, накопив значительный опыт и знание их особенностей. Высокая производительность машин баз данных от лучших производителей достигается, помимо прочего, за счет переноса вычислений на уровень хранения, нивелируя «бутылочное горлышко» взаимодействия сервера баз данных и системы хранения данных, а также высокого уровня распараллеливания обработки одной таблицы на множестве узлов. Часть архитектурных инноваций, используемых в ПАК от именитых вендоров, нам удалось повторить в собственном решении.
При проектировании программно-аппаратного комплекса для аналитики in-memory мы обратили внимание на отчетно-аналитическую платформу «Полиматика». Чем этот продукт заинтересовал нас:
Программная начинка решения позволяет быстро проверить гипотезу, подсказать направление, которое нужно более глубоко исследовать. Помимо стандартных возможностей визуализации, в «Полиматике» реализованы опции кластеризации, data mining и других инструментов углубленного анализа данных.
Высокая скорость, которую демонстрирует продукт, обусловлена особенностями архитектуры: оперативная память для хранения кубов и GPU (графических ускорителей) используется для ускоренной обработки. Для этого программный продукт должен быть «правильно» написан и допускать распараллеливание обработки с использованием соответствующих библиотек.
Мы давно наблюдаем за развитием графических ускорителей Nvidia и AMD и проводили исследования по возможности использования ядер таких ускорителей для вычислений и поддержки VDI-инфраструктур.
Эти ускорители обладают значительной мощностью: в карте Nvidia Tesla K80М 24Гб оперативной памяти и чуть меньше 5 тыс. процессорных ядер. Соответственно, выбор аппаратной платформы для «Полиматики» был обусловлен спецификой ее архитектуры – необходимо отметить, что не все аппаратные платформы поддерживают установку карт Nvidia Tesla. Так была определена платформа для поддержки «Полиматики» в партнерстве с компанией DEPO.
Вместе с тем, использование таких графических карт накладывает ограничения на работу сервера и выбор конфигурации не только в части совместимости, но и в части потребления и отведения выделяемой тепловой мощности. В результате был собран и протестирован комплекс, состоящий из серверов DEPO, карты Nvidia Tesla K80M и системы IBS Мониторинг – той же, которая применяется в универсальном комплексе Скала-Р.
Процессы мониторинга сервера были отработаны еще на универсальном продукте Скала-Р, а в новом комплексе были сделаны доработки для мониторинга ПО «Полиматика», мониторинга карт Nvidia в части контроля операций ввода-вывода, использования памяти, загрузки ядер процессоров и температурного режима работы карт.
Был проведен комплекс функциональных и нагрузочных испытаний. «Полиматика» показала высокий коэффициент компрессии: на кубах с 50-150 млн записей коэффициент компрессии был равен 12. В результате был хорошо отработан сайзинг, и теперь мы можем предлагать адекватную конфигурацию нашего ПАК в зависимости от задач заказчика.
В конце июня 2016 г. была анонсирована новая пятая версия «Полиматики», в которой учтены некоторые предложения IBS. Мы уже начали ее тестирование с точки зрения сайзинга, работы в многоузловой конфигурации, замены интерконнекта Ethernet на Infiniband.
В настоящее время у ряда заказчиков IBS уже проводится пилотное внедрение ПАК Скала-СР/Аналитика, отзывы и результаты положительные. Отдельно стоит отметить, что все программные продукты, входящие в состав ПАК, разработаны российскими компаниями и представлены в реестре Минсвязи.
В архитектуре наших ПАК используются конвергентные решения, что обеспечивает горизонтальную масштабируемость и отказоустойчивость. Также мы применяем высокоскоростные компоненты с низкими задержками, такие как Infiniband в качестве интерконнекта и NVMe SSD, в которых доступ к данным осуществляется по высокоскоростному протоколу PCIe, а не через множественные инкапсуляции на базе SCSI. Протокол RDMA позволяет снизить задержки при передаче информации. Помимо этого, мы используем ряд методов оптимизации работы с кэшэм и т.д.
В итоге было создано несколько вариантов таких ПАКов. Для наиболее популярной у наших заказчиков СУБД Oracle Database мы создали машину баз данных начального уровня (в расчете на размер БД 1-2 Тбайт) – 2-х узловое решение (3-й узел – для резервного копирования), что позволило использовать Oracle Standard Edition с меньшими затратами.
Мы предлагаем и более мощные конвергентные решения с Oracle Enterprise и Real Application Cluster, в которых разделены узлы экземпляров БД и узлы хранения в разных вариантах. Есть версии для высокой производительности и большого объема данных. Кроме того, в наших ПАК используется ПО от сторонних производителей, которое позволяет упрощать эксплуатацию системы, оптимизировать стек ввода-вывода для Linux и др.
Если говорить о снижении санкционных рисков и импортозамещении, то необходимо обратить внимание и на отечественные разработки СУБД, например, сборки СУБД PostgreSQL, осуществляемые компанией Postgres Professional. Популярность PostgreSQL в России растет, её используют в качестве СУБД многие отечественные тиражируемые системы: 1С, Барс, БФТ. Приятно отметить, что значительный вклад в мировой PostgreSQL – дело рук российских разработчиков, большинство которых недавно объединила компания Postgres Professional.
Цель компании – дооснастить свободную СУБД возможностями, востребованными крупными корпоративными заказчиками в критичных, высоконагруженных окружениях. В партнерстве с компанией Postgres Professional мы решили предложить совместное решение Скала-СР/ Postgre Pro, работающее с их профессиональными сборками, включёнными в реестр отечественного ПО, с гарантированным уровнем производительности, надежности, отказоустойчивости и соответствующим уровнем поддержки для заказчиков.
С точки зрения архитектуры это то же самое конвергентное решение с использованием высокопроизводительных компонент Infiniband и NVMe SSD. В настоящее время это решение представляет собой высоконадежный оптимизированный по производительности кластер. Он достаточно хорошо масштабируется по чтению, и в этом году мы планируем выпустить вариант с масштабированием по записи.
Семейство решений Скала позволяет объединить все комплексы в единую высокопроизводительную отказоустойчивую масштабируемую систему с единой гарантийной и технической поддержкой от компании IBS.
Для построения ИТ-систем наши заказчики могут использовать все решения линейки Скала: машины баз данных Скала-СР/СУБД, серверы приложений на Скала-Р и, наконец, Скала-СР/Аналитика для решения прикладных аналитических задач. Необходимо отметить, что в таком варианте заказчик получает не только комплекс с общей точкой сервиса и поддержки, но и единые средства мониторинга и управления – IBS Мониторинг. В комплексе Скала-Р система IBS Мониторинг позволяет контролировать систему виртуализации. В Скала-СР СУБД он позволяет эффективно мониторить компоненты ПАК БД. В случае с «Полиматикой» IBS Мониторинг позволяет контролировать не только ПО «Полиматика», но и специфичные параметры, важные для понимания работы платформы: графический адаптер Nvidia Tesla в части загрузки контроля процессоров, использование памяти и ввода-вывода, а также температурные параметры работы графической карты.
Таким образом, универсальный комплекс Скала-Р и решения Скала-СР обеспечивают адекватное выполнение большинства задач, стоящих перед российскими заказчиками. Тем не менее, у нас в разработке находятся еще несколько специализированных компонентов, которые дополнят существующую линейку с учетом некоторых специальных запросов и особых типов задач.