Суперкомпьютерное межсоединение в машинах баз данных

Обзор возможностей комплекса Скала-СР / Postgres Pro на PgConf.Russia

Особенностью комплекса «Скала-СР / Postgres Pro» — серийного предконфигурированного кластера для PostgreSQL — является аппаратная и программная поддержка суперкомпьютерного межсоединения. О специфике, показателях его работы и конструкциях, которые стали осуществимы с помощью «Скала-СР / Postgres Pro», рассказали эксперты IBS, Postgres Professional и Mellanox на международной конференции PgConf.Russia в МГУ.

В больших проектах довольно частым решением становится распределение СУБД на несколько аппаратных узлов, образующих кластер. Наиболее распространённый вариант построения кластера использует возможности физической репликации:  один узел становится ведущим и принимает на себя всю нагрузку, изменяющую данные, и к нему добавляется несколько ведомых узлов, принимающих журналы изменений с ведущего. Ведомые узлы в этом случае могут высвободить ценный ресурс с ведущего узла («мастера») и обрабатывать нагрузку на чтение.

Для типичных корпоративных информационных систем, где соотношение операций «чтение — запись» может составлять 80:20 или даже 95:5, это важная возможность. Но с обычной сетью и обычным PostgreSQL каждый новый узел-реплика достаётся ценой расходования другого ресурса — процессорного времени ведущего узла, необходимого для каждой дополнительной сетевой операции. В этом случае весь кластер на практике ограничивался единицами узлов, поскольку выходил на пределы загрузки «мастера».

В комплексе «Скала-СР / Postgres Pro» применяются стогигабитные сети RoCE от Mellanox с поддержкой прямого доступа к памяти удалённого узла (RDMA) и программные доработки от Postgres Professional. Таким образом преодолевается ограничение: все сетевые операции в кластере «Скала-CР», в том числе доставка журналов изменений, целиком выгружены с центральных процессоров узлов, и добавление новых синхронных реплик не сказывается на загруженности ведущего.

В ходе доклада эксперты IBS, Postgres Professional и Mellanox продемонстрировали результаты испытаний, подтверждающих этот эффект, и обсудили перспективы дальнейшего развития межсоединения в комплексе за счёт использования новых программных библиотек для RDMA и применения аппаратных новинок от Mellanox. В сессии вопросов и ответов специалисты осветили практические сценарии использования и ответили на эксплуатационные вопросы, возникшие у пользователей комплексов «Скала-СР / Postgres Pro».

Мнение эксперта в статье
Команда экспертов IBS
Сайт IBS использует cookie. Это дает нам возможность следить за корректной работой сайта, а также анализировать данные, чтобы развивать наши продукты и сервисы. Посещая сайт, вы соглашаетесь с обработкой ваших персональных данных.