Репликация Postgres, балансировка + failover PGPOOL2

@ILILIAI · Регистрация: 09.09.2015

Студворк — интернет-сервис помощи студентам

Помогите разобраться пожалуйста. Хочу попробовать настроить схему: 2 сервера postgres (master и slave). Нужна асинхронная репликация между ними. Версия Postgres 9.3. На мастере и на слейве выставляю настройки в конфиге. (считаю что параметр hot_standby на мастере можно не комментировать, тк в оф. документации сказано, что он игнорируется им):

Bash
1
2
3
4
5
6
7
8
listen_addresses = '*'
port = 5432
wal_level = hot_standby
archive_mode = on #на мастере
archive_command = 'cd .' #на мастере
wal_keep_segments = 64
max_wal_senders = 8
hot_standby = on

Репликация работает. Все изменения происходящие в мастере появляются на слейве. Слейв доступен только на чтение.
Далее устанавливаю pgpool. Вот в его работе и возникают вопросы.
Конфиг pgpool:

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
listen_addresses = '*'
backend_hostname0 = 'ip mastera'                
backend_port0 = 5432                
backend_weight0 = 1                   
backend_data_directory0 = '/var/lib/postgresql/9.3/main'                     
backend_flag0 = 'ALLOW_TO_FAILOVER'
 
backend_hostname1 = 'ip slave'
backend_port1 = 5433
backend_weight1 = 1
backend_data_directory1 = '/var/lib/postgresql/9.3/main'
backend_flag1 = 'ALLOW_TO_FAILOVER'
 
enable_pool_hba = on
pool_passwd = 'pool_passwd'
pid_file_name = '/var/run/postgresql/pgpool.pid'
logdir = '/var/log/postgresql'
replication_mode = off
load_balance_mode = on
health_check_period = 5
health_check_timeout = 0
health_check_user = 'postgres'
master_slave_mode = true 
master_slave_sub_mode = 'stream'  
failover_command = '/etc/pgpool-II/failover.sh %d %H /var/lib/pgsql/data/failover'

Скрипт failover:

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#! /bin/bash 
# ID упавшего узла
 FAILED_NODE=$1
 # IP нового мастера
 NEW_MASTER=$2
 # Путь к триггерному файлу 
TRIGGER_FILE=$3
 if [ $FAILED_NODE = 1 ]; 
    then echo "Ведомый сервер вышел из строя"
 exit 1 
fi 
        echo "Ведущий сервер вышел из строя" 
     echo "Новый ведущий сервер:
     $NEW_MASTER" ssh -T postgres@$NEW_MASTER touch $TRIGGER_FILE 
exit 0

После настройки pgpool работает, но есть моменты, мне не понятные.
1) Как происходит балансировка нагрузки? а именно если пользователь вставил данные в таблицу t1, потом запросил выборку из нее, если запрос на выборку pgpool отдаст слейву, а данные в него еще не успели прийти, получится пользователь получит не корректные данные? или в pgpool это предусмотрено?
2) В случае падения мастера слейв берет на себя возможность записи, обновления и удаления. Мастер я восстанавливаю в ручную, поднимаю postgres, говорю pgpool что мастер снова работает, после чего переименовываю файл recovery.done обратно на recovery.conf. Может возникнуть ситуация, что пока я запускаю его, пользователь начнет что то писать и у мастера со слейвом случится рассинхронизация? читала про pg_rewind, но его нет в 9.3. Можно ли как то иначе догнать слейву мастера. (или так же может случится пока поднимаю мастер - что в слейв кто-то что-то запишет) Или я неправильно понимаю принцип работы pgpool?
3) если я захочу что бы упавший мастер становился просто слейвом, а не обратно мастером. Верно ли я понимаю что функция failovera сработает только один раз, тк там есть условие $FAILED_NODE = 1, можно ли исправить ее, добавив например во входной параметр %М и проверять относительно его? пока не получилось, может кто то делал такое?
4) если я упавший мастер восстанавливаю как слейв (на нем доступно только чтение), то на узле масштабирования в списке нод по запросу psql: show pool_nodes; пишет status: primary. А тот узел что стал мастером в статусе standby. Хотя он доступен и на запись и удаление. Почему так происходит, правильно ли это? Считаю что не должно так быть (опять же потому что это слев и при его падении pgpool будет считать его мастером)
Друзья, помогите пожалуйста, может я вообще неправильно поняла что-то. Наставьте на путь истинный.

@grgdvo · 28.01.2017, 16:17

Бросилось в глаза.
Вы пишите

Сообщение от ILILIAI

Нужна асинхронная репликация между ними.

Само слово асинхронная как бы предполагает, что будет временной интервал (неизвестной величины) между комитом на мастере и репликацией данных на слейвы. И даже в документации по 9.3 это пишут.

asynchronous solutions allow some delay between the time of a commit and its propagation to the other servers, opening the possibility that some transactions might be lost in the switch to a backup server, and that load balanced servers might return slightly stale results.

Соответственно тут в принципе ничего не сделать.
По виду представленных конфигов, вы все же пытаетесь настроить потоковую репликацию, что в общем является рекомендуемым способом использования. Почему вы говорите про асинхронную репликацию?? опечатка что ли

1) По первому вопросу я думаю, что pgpool это предусматривает. Может быть потребуется поиграться параметром delay_threshold.
Смотрит ответ в документации в разделе 5.7.2.
2) Почему вы в ручную делаете?? если я правильно понял, pgpool должен участвовать в этом процессе. иначе случится то, что вы пишите в вопросе 4.
3) потоковая репликация предполагает, что либо слейв делаем мастером "навсегда" и к нему присабачиваем новый слейв, либо же через какое-то время восстанавливаем старый мастер. В первом случае, насколько я понял, потребуется переконфигурация pgpool, во втором случае достаточно failover_command и fallback_command, которые отключают и подключают старый мастер.

@ILILIAI · 30.01.2017, 09:12 **[ТС]**

Я думаю что мне нужна именно асинхронная потоковая репликация. Асинхронная в моем понятии означает, что условно транзакция не будет дожидаться пока слейв запишет данные, появившиеся на мастере. Пока слейв не догонит мастера (например могу делать basebaskup) он не запускается. Но в мастер будет постоянно происходить запись и пока я буду поднимать слейв случится опять рассинхронизация и Postgres на слейве не запустится. Поднимать ноды в ручную считаю более правильным и заключается в том, что бы сделать бейсбэкап с работающего мастера, создать recovery.conf и запустить ноду как слейв (Но при этом возникают вопросы 2,3,4) Или второй известный вариант настроить online-recovery в pgpool-е, но все равно восстанавливать ручками хотя бы потому, что команду на восстановление придется все же давать руками. Или я неправильно понимаю процесс восстановления ноды. Если есть хорошие статьи по этому поводу, прошу, дайте ссылку. Я что я поняла, так это - что мастер нереально восстановить в качестве мастера без остановки всей системы. А вот при восстановлении слева хорош pg_rewind, но его нет в 9.3

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@ILILIAI 0 / 0 / 0 Регистрация: 09.09.2015 Сообщений: 15
	30.01.2017, 09:12 [ТС]
	Я думаю что мне нужна именно асинхронная потоковая репликация. Асинхронная в моем понятии означает, что условно транзакция не будет дожидаться пока слейв запишет данные, появившиеся на мастере. Пока слейв не догонит мастера (например могу делать basebaskup) он не запускается. Но в мастер будет постоянно происходить запись и пока я буду поднимать слейв случится опять рассинхронизация и Postgres на слейве не запустится. Поднимать ноды в ручную считаю более правильным и заключается в том, что бы сделать бейсбэкап с работающего мастера, создать recovery.conf и запустить ноду как слейв (Но при этом возникают вопросы 2,3,4) Или второй известный вариант настроить online-recovery в pgpool-е, но все равно восстанавливать ручками хотя бы потому, что команду на восстановление придется все же давать руками. Или я неправильно понимаю процесс восстановления ноды. Если есть хорошие статьи по этому поводу, прошу, дайте ссылку. Я что я поняла, так это - что мастер нереально восстановить в качестве мастера без остановки всей системы. А вот при восстановлении слева хорош pg_rewind, но его нет в 9.3 0