Нататкі: ноды ў кластары Docker Swarm

Docker Swarm — гэта ўбудаваны аркестратар Docker аб'ядноўваючы некалькі сэрвероў у адзін кластар зь цэнтралізаваным кіраўніцтвам. Адна зь самых частых задач пры эксплуатацыі кластара — далучэньне і выдаленне нодаў. Разбярэм кожны крок падрабязна.

Тыпы нодаў у Swarm

У Docker Swarm ёсць два тыпы нодаў:

• Manager — удзельнічае ў кіраванні кластарам (Raft consensus), можа выконваць каманды docker service, docker stack і гэтак далей. Таксама можа запускаць кантэйнеры (калі не абмежаваны).
• Worker — толькі выконвае задачы (таскі), не мае доступу да кіравання кластарам.

Усе каманды кіравання кластарам выконваюцца на любой мэнэджар-нодзе.

Змяніць hostname перад далучэннем

Docker Swarm выкарыстоўвае hostname сэрверу як назву ноды. Калі ўсе сэрверы маюць аднолькавы дэфолтны hostname (напрыклад, ubuntu або localhost), гэта прывядзе да блытаніны.

Мяняем hostname да далучэння да кластара і дадаем радок да /etc/hosts (каб лакальнае імя рэзолвілася):

hostnamectl set-hostname host-endor
echo "127.0.1.1 host-endor" >> /etc/hosts

Змены ўступяць у сілу пасля перазапуску сесіі ці перазагрузкі. Пасля гэтага далучаемся да кластара — нода будзе адлюстравана з правільным іменем.

Калі нода ўжо ў кластары і трэба перайменаваць яе:

docker node update --label-add alias=new-name <NODE_ID>

Для рэальнага перайменавання — змяніць hostname на сэрверы і перазапусціць docker daemon:

hostnamectl set-hostname host-mustafar
systemctl restart docker

Ініцыялізацыя першага мэнэджара

Каб стварыць новы кластар, на першым сэрверы выконваем:

docker swarm init --advertise-addr <IP_АДРАС>

--advertise-addr — гэта IP, па якім іньшыя ноды будуць падключацца да гэтага мэнэджару. Выкарыстоўваецца зьнешні ці ўнутраны (адрас у прыватнай сетцы, дасяжны для ўсіх астатніх хастоў) сеткавы адрас сэрверу, а не 127.0.0.1.

Прасьцей за ўсё паглядзець адрас камандай

~$ hostname -I
21.127.43.17 172.18.0.1 172.17.0.1 2211:468:ccbb:dd77::1

Прыклад:

docker swarm init --advertise-addr 21.127.43.17

Пасля выканання каманды Docker вывядзе токен для далучэння воркераў і падказку, як атрымаць токен для даданьня дадатковых менеджараў:

Swarm initialized: current node (host-endor) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-xxx 21.127.43.17:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

Цалкам магчымасьці каманды ініцыялізацыі выглядаюць так:

Usage:  docker swarm init [OPTIONS]

Initialize a swarm

Options:
      --advertise-addr string                  Advertised address (format: "<ip|interface>[:port]")
      --autolock                               Enable manager autolocking (requiring an unlock key to start a stopped manager)
      --availability string                    Availability of the node ("active", "pause", "drain") (default "active")
      --cert-expiry duration                   Validity period for node certificates (ns|us|ms|s|m|h) (default 2160h0m0s)
      --data-path-addr string                  Address or interface to use for data path traffic (format: "<ip|interface>")
      --data-path-port uint32                  Port number to use for data path traffic (1024 - 49151). If no value is set or is set to 0, the default port (4789) is used.
      --default-addr-pool ipNetSlice           default address pool in CIDR format (default [])
      --default-addr-pool-mask-length uint32   default address pool subnet mask length (default 24)
      --dispatcher-heartbeat duration          Dispatcher heartbeat period (ns|us|ms|s|m|h) (default 5s)
      --external-ca external-ca                Specifications of one or more certificate signing endpoints
      --force-new-cluster                      Force create a new cluster from current state
      --listen-addr node-addr                  Listen address (format: "<ip|interface>[:port]") (default 0.0.0.0:2377)
      --max-snapshots uint                     Number of additional Raft snapshots to retain
      --snapshot-interval uint                 Number of log entries between Raft snapshots (default 10000)
      --task-history-limit int                 Task history retention limit (default 5)

Порт 2377 — стандартны порт Swarm для міжнодавай камунікацыі. Яго трэба адкрыць у firewall паміж усімі нодамі.

📖 Дакументацыя: docker swarm init

Дадаць воркер ноду

На новым сэрверы выконваем каманду, якую выдаў swarm init (ці атрымоўваем яе зноўку на мэнэджары):

docker swarm join-token worker

Затым на новым сэрверы:

docker swarm join --token SWMTKN-1-xxx 21.127.43.17:2377

Пасля далучэння праверыць спіс нодаў можна на мэнэджэр хасце:

docker node ls

Вывад будзе прыкладна такім:

ID                          HOSTNAME       STATUS    AVAILABILITY   MANAGER STATUS   ENGINE VERSION
l6dccl2z3gi8z2jnurssh5xr2*  host-endor     Ready     Active         Leader           28.5.2
ucx5iyh1orschlhnxe9n0ve45   host-tatooine  Ready     Active                          28.5.2

📖 Дакументацыя: docker swarm join

Дадаць дадатковы мэнэджар

Колькі мэнэджараў трэба і чаму

Docker Swarm выкарыстоўвае алгарытм Raft для дасягнення кансэнсусу ў кластары. Гэта азначае, што для прыняцця любога рашэння (разгортванне сэрвісу, змена канфігурацыі) патрэбна большасць мэнэджараў — кворум.

Формула кворуму: ⌊N/2⌋ + 1, дзе N — агульная колькасць мэнэджараў.

Рэкамендацыі:

• 1 мэнэджар — для dev асяродку і тэставых стэндаў. Страта адзінага менеджара == страта кластара.
• 3 мэнэджары — мінімум для prod асяродку. Кластар перажыве страту аднаго.
• 5 мэнэджараў — добры выбар для буйных інсталяцый. Перажыве страту двух адначасова.
• Больш за 7 — не рэкамендуецца. Накладныя выдаткі на Raft-камунікацыю расцуць, а надзейнасць ужо не павялічваецца значна.

Заўвага: Заўсёды выкарыстоўваць няцотную колькасць мэнэджэраў. 2 або 4 мэнэджары не даюць ніякай перавагі перад 1 і 3 адпаведна, але патрабуюць той жа кворум.

Кворум: чаму гэта важна

Кворум — гэта мінімальная колькасць мэнэджараў, якія павінны быць даступны, каб кластар мог прымаць рашэнні. Калі кворум губляецца:

• Новыя сэрвісы не могуць быць разгорнуты.
• Бягучыя сэрвісы працягваюць працаваць (таскі ужо запланаваны і выконваюцца воркерамі).
• Ніякія змены канфігурацыі кластара немагчымы.
• Каманды кшталту docker service update, docker stack deploy будуць вяртаць памылку.

Гэта значыць, калі з 3 мэнэджэраў 2 упалі — кластар "замарожваецца" у бягучым стане. Нічога нельга змяніць, пакуль не будзе адноўлены кворум.

Калі кворум усё ж страчаны і аднавіць мэнэджары немагчыма — ёсць аварыйная працэдура аднаўлення:

docker swarm init --force-new-cluster

📖 Дакументацыя: Raft кансэнсус і кворум

Далучэнне мэнэджэр-ноды

На бягучым мэнэджэры атрымоўваем токен:

docker swarm join-token manager

На новым сэрверы:

docker swarm join --token SWMTKN-1-yyy 21.127.43.17:2377

Даданне лэйбла (тэга) для новай ноды

Лэйблы выкарыстоўваюцца для прывязкі сэрвісаў да пэўных нодаў праз placement constraints. Напрыклад, базы дадзеных толькі на нодах з SSD, або фронтэнд толькі на нодах у пэўным датацэнтры.

# Дадаць лэйбл
docker node update --label-add role=database host-naboo

# Дадаць некалькі лэйблаў
docker node update --label-add dc=fra --label-add disk=ssd host-alderaan

# Паглядзець лэйблы ноды
docker node inspect --pretty node-endor

Выкарыстанне ў docker-compose.yml / стэку:

services:
  postgres:
    image: postgres:16
    deploy:
      placement:
        constraints:
          - node.labels.role == database

📖 Дакументацыя: node update

Выдаленне воркер-ноды з кластара

Выдаленне воркера — просты двухкрокавы працэс.

Крок 1: Перавесці ноду ў стан drain (усе таскі будуць перанесены на іньшыя ноды, выконваць на нодзе-мэнэджары):

docker node update --availability drain worker1

Пачакайце, пакуль усе кантэйнеры перамесцяцца на іньшыя ноды (паглядзець можна праз docker service ps <service-name>).

Крок 2: Выдаліць ноду з кластара:

docker swarm leave

docker node rm host-naboo
# або
docker node rm --force host-naboo

Пасля docker swarm leave нода з'явіцца ў спісе са статусам Down. Яе трэба выдаліць з рэестру кластара:

docker node rm host-naboo

📖 Дакументацыя: docker node rm

Выдаленне мэнэджар-ноды з кластара

Выдаленне мэнэджару патрабуе дадатковай асцярожнасці, каб не страціць кворум.

Варыянт 1: Зніжэнне да воркера перад выдаленнем

Гэта самы бясьпечны спосаб:

docker node demote host-tatooine

docker node update --availability drain host-tatooine

docker swarm leave

docker node rm host-tatooine

Варыянт 2: Прамое выдаленне (калі нода недаступна)

docker node rm --force host-alderaan

Перад выдаленнем мэнэджару заўсёды ўпэўніцеся, што кворум будзе захаваны. Калі маеце 3 мэнэджары і выдаляеце адзін — застаецца 2, кворум 2 з 2 — усё нармальна. Калі маеце 3 мэнэджары і хочаце выдаліць 2 — кластар страціць кворум.

📖 Дакументацыя: docker node demote

Калі лепей спачатку павысіць аднаго зь воркераў да мэнэджару

Ёсць сітуацыі, калі рэплейсмент мэнэджару правільней рабіць праз "спачатку дадаць, потым выдаліць":

1. Міграцыя на новы сэрвер альбо выдаленьне хаста-мэнэджару цалкам

Калі проста выдаліць стары мэнэджар і дадаць новы — на час аперацыі колькасць мэнэджараў зьмяняецца, і пры малой іх колькасці можна ненадоўга апынуцца ў рызыкоўным стане.

Правільны парадак:

docker node promote host-naboo

docker node ls

docker node demote host-endor
docker node update --availability drain host-endor
docker node rm host-endor

2. Колькасць мэнэджараў на мяжы кворуму (мінімальная). Калі маеце роўна 3 менеджары і хочаце замяніць адзін — спачатку дадайце 4-ы (хай часова колькасць парная), а потым выдаліце стары.
3. Планавы перанос пры абнаўленні АС або міграцыі. Калі трэба зрабіць паслядоўную замену ўсіх нодаў (rolling replacement), не спыняючы кластар.
4. Вы не ўпэўнены ў стане ноды. Калі мэнэджар паводзіць сябе дзіўна (памылкі Raft, нестабільнасць), лепей дадаць новы і толькі потым выдаліць праблемны.

Карысныя каманды для кіравання нодамі

docker node ls

docker node inspect host-tatooine --pretty

docker node ps host-naboo

docker node update --availability active host-mustafar

docker swarm join-token worker
docker swarm join-token manager

docker swarm join-token --rotate worker
docker swarm join-token --rotate manager

Кароткае рэзюмэ

Дадатковая дакументацыя

• Agminister and maintain a swarm
• How nodes work
• Manage nodes in a swarm
• Raft consensus in swarm mode