docker

关注公众号 jb51net

关闭
首页 > 网站技巧 > 服务器 > 云和虚拟化 > docker > Docker PostgreSQL容器化部署

Docker PostgreSQL容器化部署方式

作者:轻云UC

这篇文章主要介绍了如何部署和配置PostgreSQL数据库,包括使用Bitnami的PostgreSQL镜像、通过Docker和Docker Compose进行部署、配置网络和连接、设置同步复制、启用SSL/TLS加密以及使用LDAP认证等详细步骤

Docker PostgreSQL容器化部署

PostgreSQL标准软件基于Bitnami PostgreSQL 构建。当前版本为16.1.0

你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作,该项目已经全面开源,可以从如下环境获取

配置文件地址: https://gitee.com/qingplus/qingcloud-platform

连接到其他容器

使用Docker 容器网络,应用程序容器可以轻松访问容器内运行的 PostgreSQL 服务器。

连接到同一网络的容器可以使用容器名称作为主机名来相互通信。

使用命令行

在此示例中,我们将创建一个 PostgreSQL 客户端实例,该实例将连接到与客户端在同一 docker 网络上运行的服务器实例。

第 1 步:创建网络
docker network create app-tier --driver bridge
步骤 2:启动 PostgreSQL 服务器实例

使用命令–network app-tier的参数docker run将 PostgreSQL 容器连接到网络app-tier。

docker run -d --name postgresql-server \
    --network app-tier \
    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest
第 3 步:启动 PostgreSQL 客户端实例

最后,我们创建一个新的容器实例来启动 PostgreSQL 客户端并连接到上一步中创建的服务器:

docker run -it --rm \
    --network app-tier \
    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest psql -h postgresql-server -U postgres

使用 Docker Compose 文件

如果未指定,Docker Compose 会自动设置一个新网络并将所有已部署的服务附加到该网络。但是,我们将显式定义一个bridge名为 的新网络app-tier。

在此示例中,我们假设您希望从您自己的自定义应用程序映像连接到 PostgreSQL 服务器,该映像在以下代码片段中通过服务名称进行标识myapp。

version: '2'

networks:
  app-tier:
    driver: bridge

services:
  postgresql:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    networks:
      - app-tier
  myapp:
    image: 'YOUR_APPLICATION_IMAGE'
    networks:
      - app-tier

重要:

替换YOUR_APPLICATION_IMAGE占位符

在您的应用程序容器中,使用主机名postgresql连接到 PostgreSQL 服务器

启动容器:

docker-compose up -d

配置

容器启动时

当容器执行时,初始化或启动postgresql之前,它会执行位于/docker-entrypoint-preinitdb.d的扩展名为.sh的文件。

为了将自定义文件放入 docker 映像中,您可以将它们安装为卷。

将额外的命令行标志传递给 PostgreSQL

可以通过以下环境变量将额外的命令行标志传递给 postgresql 服务命令:

初始化一个新实例

当容器第一次执行时,它将执行扩展名为.sh, .sql.sql.gz的文件,位于/docker-entrypoint-initdb.d目录下.

为了将自定义文件放入 docker 映像中,您可以将它们安装为卷。

首次运行时设置 root 密码

在上面的命令中您可能已经注意到环境变量的使用POSTGRESQL_PASSWORD。

首次运行映像时传递环境变量POSTGRESQL_PASSWORD会将postgres用户的密码设置为POSTGRESQL_PASSWORD的值(或POSTGRESQL_PASSWORD_FILE变量中指定的文件的内容)。

docker run --name postgresql -e POSTGRESQL_PASSWORD=password123 registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

或者通过修改docker-compose.yml文件:

services:
  postgresql:
  ...
    environment:
      - POSTGRESQL_PASSWORD=password123
  ...

注意! 该postgres用户是超级用户,拥有 PostgreSQL 数据库的完全管理访问权限。

首次运行时创建数据库

POSTGRESQL_DATABASE通过在第一次运行镜像时传递环境变量,将创建一个数据库。

如果您的应用程序要求数据库已存在,这非常有用,使您不必使用 PostgreSQL 客户端手动创建数据库。

docker run --name postgresql -e POSTGRESQL_DATABASE=my_database registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

或者通过修改docker-compose.yml文件:

services:
  postgresql:
  ...
    environment:
      - POSTGRESQL_DATABASE=my_database
  ...

首次运行时创建数据库用户

您还可以创建一个受限数据库用户,该用户仅具有使用环境变量创建的数据库的权限POSTGRESQL_DATABASE。为此,请提供POSTGRESQL_USERNAME环境变量。

docker run --name postgresql -e POSTGRESQL_USERNAME=my_user -e POSTGRESQL_PASSWORD=password123 -e POSTGRESQL_DATABASE=my_database registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

或者通过修改docker-compose.yml文件:

services:
  postgresql:
  ...
    environment:
      - POSTGRESQL_USERNAME=my_user
      - POSTGRESQL_PASSWORD=password123
      - POSTGRESQL_DATABASE=my_database
  ...

注意!POSTGRESQL_USERNAME指定后,postgres user不会分配密码,因此您无法以该postgres用户身份远程登录 PostgreSQL 服务器。

如果您仍想使用用户postgres进行访问,请设置POSTGRESQL_POSTGRES_PASSWORD环境变量(或POSTGRESQL_POSTGRES_PASSWORD_FILE指定文件中内容)。

审计

PostgreSQL image默认启用 pgAudit 模块。因此,可以使用以下环境变量在容器中启用审核信息:

会话设置

PostgreSQL 映像允许配置多个连接和会话管理参数:

配置时区

PostgreSQL 映像允许使用以下环境变量配置 PostgreSQL 的时区:

修改pg_hba.conf

默认情况下,PostgreSQL image会生成local、md5 在pg_hba.conf文件。

为了适应任何其他要求或标准,可以通过以下方式更改 pg_hba.conf 文件:

预加载共享库

可以通过设置 .postgresql 文件来修改 PostgreSQL 在启动时预加载的库列表POSTGRESQL_SHARED_PRELOAD_LIBRARIES。

默认值为POSTGRESQL_SHARED_PRELOAD_LIBRARIES=pgaudit。

例如,如果您想将pg_stat_statements库添加到预加载中,请设置POSTGRESQL_SHARED_PRELOAD_LIBRARIES=pgaudit, pg_stat_statements。

设置流式复制

可以使用以下环境变量设置流复制集群:

第 1 步:创建复制主服务器

第一步是启动master。

docker run --name postgresql-master \
  -e POSTGRESQL_REPLICATION_MODE=master \
  -e POSTGRESQL_USERNAME=my_user \
  -e POSTGRESQL_PASSWORD=password123 \
  -e POSTGRESQL_DATABASE=my_database \
  -e POSTGRESQL_REPLICATION_USER=my_repl_user \
  -e POSTGRESQL_REPLICATION_PASSWORD=my_repl_password \
  registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

在此命令中,我们使用参数将容器配置为主容器POSTGRESQL_REPLICATION_MODE=master。

POSTGRESQL_REPLICATION_USER使用和参数指定复制用户POSTGRESQL_REPLICATION_PASSWORD。

第2步:创建复制从站

接下来我们启动一个复制从属容器。

docker run --name postgresql-slave \
  --link postgresql-master:master \
  -e POSTGRESQL_REPLICATION_MODE=slave \
  -e POSTGRESQL_MASTER_HOST=master \
  -e POSTGRESQL_MASTER_PORT_NUMBER=5432 \
  -e POSTGRESQL_REPLICATION_USER=my_repl_user \
  -e POSTGRESQL_REPLICATION_PASSWORD=my_repl_password \
  registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

在上面的命令中,容器被配置为slave使用POSTGRESQL_REPLICATION_MODE参数。

在复制从属启动之前,从属容器使用POSTGRESQL_MASTER_HOST和POSTGRESQL_MASTER_PORT_NUMBER参数连接到主服务器并从主服务器复制初始数据库。

POSTGRESQL_REPLICATION_PASSWORD和POSTGRESQL_REPLICATION_USER用于向主服务器进行身份验证。为了更改pg_hba.conf默认设置,从站需要知道是否POSTGRESQL_PASSWORD已设置。

通过这两个命令,您现在已经启动并运行了一个两节点 PostgreSQL 主从流复制集群。您可以通过添加/删除从属服务器来扩展集群,而不会导致任何停机。

注意:集群会完整复制主节点,其中包括所有用户和数据库。

如果主服务器出现故障,您可以重新配置从服务器以充当主服务器,并通过创建触发器文件开始接受写入/tmp/postgresql.trigger.5432。

例如,以下命令重新配置postgresql-slave为充当主服务器:

docker exec postgresql-slave touch /tmp/postgresql.trigger.5432

注意:集群中其他从站的配置需要更新,以便它们知道新的主站。–link postgresql-slave:master这将要求您按照我们的示例重新启动其他从站。

通过 Docker Compose,可以使用以下命令设置主从复制:

version: '2'

services:
  postgresql-master:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432'
    volumes:
      - 'postgresql_master_data:/bitnami/postgresql'
    environment:
      - POSTGRESQL_REPLICATION_MODE=master
      - POSTGRESQL_REPLICATION_USER=repl_user
      - POSTGRESQL_REPLICATION_PASSWORD=repl_password
      - POSTGRESQL_USERNAME=my_user
      - POSTGRESQL_PASSWORD=my_password
      - POSTGRESQL_DATABASE=my_database
  postgresql-slave:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432'
    depends_on:
      - postgresql-master
    environment:
      - POSTGRESQL_REPLICATION_MODE=slave
      - POSTGRESQL_REPLICATION_USER=repl_user
      - POSTGRESQL_REPLICATION_PASSWORD=repl_password
      - POSTGRESQL_MASTER_HOST=postgresql-master
      - POSTGRESQL_PASSWORD=my_password
      - POSTGRESQL_MASTER_PORT_NUMBER=5432

volumes:
  postgresql_master_data:

使用以下方法扩展从站数量:

docker-compose up --detach --scale postgresql-master=1 --scale postgresql-slave=3

上面的命令将 Slave 的数量增加到3。您可以用同样的方法缩小规模。

注意:您不应增加/减少主节点的数量。始终只有一个主节点运行。

同步提交

默认情况下,从属实例配置为异步复制。为了保证更多的数据稳定性(以一些性能为代价),可以使用以下环境设置同步提交(即事务提交在被写入一组副本之前不会向客户端返回成功)变量。

使用 Docker Compose,可以按如下方式设置具有同步提交的主从复制:

version: '2'

services:
  postgresql-master:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432'
    volumes:
      - 'postgresql_master_data:/bitnami/postgresql'
    environment:
      - POSTGRESQL_REPLICATION_MODE=master
      - POSTGRESQL_REPLICATION_USER=repl_user
      - POSTGRESQL_REPLICATION_PASSWORD=repl_password
      - POSTGRESQL_USERNAME=my_user
      - POSTGRESQL_PASSWORD=my_password
      - POSTGRESQL_DATABASE=my_database
      - POSTGRESQL_SYNCHRONOUS_COMMIT_MODE=on
      - POSTGRESQL_NUM_SYNCHRONOUS_REPLICAS=1
    volumes:
      - '/path/to/postgresql-persistence:/bitnami/postgresql'
  postgresql-slave:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432'
    depends_on:
      - postgresql-master
    environment:
      - POSTGRESQL_REPLICATION_MODE=slave
      - POSTGRESQL_REPLICATION_USER=repl_user
      - POSTGRESQL_REPLICATION_PASSWORD=repl_password
      - POSTGRESQL_MASTER_HOST=postgresql-master
      - POSTGRESQL_MASTER_PORT_NUMBER=5432
  postgresql-slave2:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432'
    depends_on:
      - postgresql-master
    environment:
      - POSTGRESQL_REPLICATION_MODE=slave
      - POSTGRESQL_REPLICATION_USER=repl_user
      - POSTGRESQL_REPLICATION_PASSWORD=repl_password
      - POSTGRESQL_MASTER_HOST=postgresql-master
      - POSTGRESQL_MASTER_PORT_NUMBER=5432

在上面的示例中,提交需要写入主服务器和从服务器之一才能被接受。另一个从站将继续使用异步复制。

使用以下 SQL 查询检查它:

postgres=# select application_name as server, state,
postgres-#       sync_priority as priority, sync_state
postgres-#       from pg_stat_replication;
| server      | state     | priority | sync_state |
|-------------|-----------|----------|------------|
| walreceiver | streaming | 0        | sync       |
| walreceiver | streaming | 0        | async      |

注意:对于更高级的设置,您可以application_name通过设置POSTGRESQL_CLUSTER_APP_NAME环境变量来使用参数定义不同的复制组。

LDAP认证

为了使用 LDAP 身份验证,您需要将环境变量设置POSTGRESQL_ENABLE_LDAP为yes来启用它。

有两种设置 LDAP 配置的方法:

LDAP相关参数有:

保护 PostgreSQL 流量

PostgreSQL 支持使用 SSL/TLS 协议对连接进行加密。如果您希望启用此可选功能,您可以使用以下环境变量来配置应用程序:

启用 TLS 时,PostgreSQL 默认情况下将支持标准流量和加密流量,但更喜欢后者。下面是一些有关如何快速设置 TLS 流量的示例:

使用docker run

```console
$ docker run \
    -v /path/to/certs:/opt/bitnami/postgresql/certs \
    -e ALLOW_EMPTY_PASSWORD=yes \
    -e POSTGRESQL_ENABLE_TLS=yes \
    -e POSTGRESQL_TLS_CERT_FILE=/opt/bitnami/postgresql/certs/postgres.crt \
    -e POSTGRESQL_TLS_KEY_FILE=/opt/bitnami/postgresql/certs/postgres.key \
    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest
```

修改docker-compose.yml文件:

```yaml
services:
  postgresql:
  ...
    environment:
      ...
      - POSTGRESQL_ENABLE_TLS=yes
      - POSTGRESQL_TLS_CERT_FILE=/opt/bitnami/postgresql/certs/postgres.crt
      - POSTGRESQL_TLS_KEY_FILE=/opt/bitnami/postgresql/certs/postgres.key
    ...
    volumes:
      ...
      - /path/to/certs:/opt/bitnami/postgresql/certs
  ...
```

或者,您也可以在自定义配置文件中提供此配置。

配置文件

该图像在 中查找postgresql.conf文件/opt/bitnami/postgresql/conf/。

您可以在以下位置安装卷/bitnami/postgresql/conf/并复制/编辑. 如果该目录为空,则默认配置将被填充到该目录中。

postgresql.conf/path/to/postgresql-persistence/conf/conf/

/path/to/postgresql-persistence/conf/
└── postgresql.conf

0 directories, 1 file

由于 PostgreSQL 映像是非 root 的,因此您需要为主机中的挂载目录设置适当的权限:

sudo chown 1001:1001 /path/to/postgresql-persistence/conf/
第 1 步:运行 PostgreSQL 映像

运行 PostgreSQL 映像,从主机安装目录。

docker run --name postgresql \
    -v /path/to/postgresql-persistence/conf/:/bitnami/postgresql/conf/ \
    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

或使用 Docker Compose:

version: '2'

services:
  postgresql:
    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest'
    ports:
      - '5432:5432'
    volumes:
      - /path/to/postgresql-persistence/conf/:/bitnami/postgresql/conf/
第 2 步:编辑配置

使用您喜欢的编辑器编辑主机上的配置。

vi /path/to/postgresql-persistence/conf/postgresql.conf
第三步:重启PostgreSQL

更改配置后,重新启动 PostgreSQL 容器以使更改生效。

docker restart postgresql

或使用 Docker Compose:

docker-compose restart postgresql

有关配置选项的完整列表,请参阅服务器配置手册。

允许从默认文件以外的文件加载设置postgresql.conf

除了使用自定义之外postgresql.conf,您还可以包含.conf以conf.d目录结尾的文件/bitnami/postgresql/conf/。为此,默认postgresql.conf包含以下部分:

##------------------------------------------------------------------------------
## CONFIG FILE INCLUDES
##------------------------------------------------------------------------------

## These options allow settings to be loaded from files other than the
## default postgresql.conf.

include_dir = 'conf.d'  # Include files ending in '.conf' from directory 'conf.d'

在您的主机中,您应该在目录下创建扩展配置文件conf.d:

mkdir -p /path/to/postgresql-persistence/conf/conf.d/
vi /path/to/postgresql-persistence/conf/conf.d/extended.conf

如果您使用自定义的postgresql.conf,您应该在配置文件中创建(或取消注释)上述部分,在这种情况下,/path/to/postgresql-persistence/conf/结构应该类似于

/path/to/postgresql-persistence/conf/
├── conf.d
│   └── extended.conf
└── postgresql.conf

1 directory, 2 files

指定 initdb 参数

使用以下环境变量可以轻松指定额外的 initdb 参数:

docker run --name postgresql \
  -e POSTGRESQL_INITDB_ARGS="--data-checksums" \
  -e POSTGRESQL_INITDB_WAL_DIR="/bitnami/waldir" \
  registry.cn-hangzhou.aliyuncs.com/qingcloudtech/postgresql:latest

或者通过修改docker-compose.yml文件:

services:
  postgresql:
  ...
    environment:
      - POSTGRESQL_INITDB_ARGS=--data-checksums
      - POSTGRESQL_INITDB_WAL_DIR=/bitnami/waldir
  ...

停止设置

您可以使用以下命令控制初始化过程中用于停止 postgresql 的参数:

安装额外的语言环境

Dockerfile 提供了两个参数来在构建时配置额外的区域设置:

例如,要构建支持区域设置的映像es_ES.UTF-8 UTF-8,您可以将以下参数添加到构建命令中:

docker build --build-arg EXTRA_LOCALES="es_ES.UTF-8 UTF-8" ...

环境变量别名

容器允许两组不同的环境变量。请参阅下表中的环境变量别名列表:

环境变量别名
POSTGRESQL_USERNAMEPOSTGRES_USER
POSTGRESQL_DATABASEPOSTGRES_DB
POSTGRESQL_PASSWORDPOSTGRES_PASSWORD
POSTGRESQL_PASSWORD_FILEPOSTGRES_PASSWORD_FILE
POSTGRESQL_POSTGRES_PASSWORDPOSTGRES_POSTGRES_PASSWORD
POSTGRESQL_POSTGRES_PASSWORD_FILEPOSTGRES_POSTGRES_PASSWORD_FILE
POSTGRESQL_PORT_NUMBERPOSTGRES_PORT_NUMBER
POSTGRESQL_INITDB_ARGSPOSTGRES_INITDB_ARGS
POSTGRESQL_INITDB_WAL_DIRPOSTGRES_INITDB_WAL_DIR
POSTGRESQL_DATA_DIRPGDATA
POSTGRESQL_REPLICATION_USERPOSTGRES_REPLICATION_USER
POSTGRESQL_REPLICATION_MODEPOSTGRES_REPLICATION_MODE
POSTGRESQL_REPLICATION_PASSWORDPOSTGRES_REPLICATION_PASSWORD
POSTGRESQL_REPLICATION_PASSWORD_FILEPOSTGRES_REPLICATION_PASSWORD_FILE
POSTGRESQL_CLUSTER_APP_NAMEPOSTGRES_CLUSTER_APP_NAME
POSTGRESQL_MASTER_HOSTPOSTGRES_MASTER_HOST
POSTGRESQL_MASTER_PORT_NUMBERPOSTGRES_MASTER_PORT_NUMBER
POSTGRESQL_NUM_SYNCHRONOUS_REPLICASPOSTGRES_NUM_SYNCHRONOUS_REPLICAS
POSTGRESQL_SYNCHRONOUS_COMMIT_MODEPOSTGRES_SYNCHRONOUS_COMMIT_MODE
POSTGRESQL_SHUTDOWN_MODEPOSTGRES_SHUTDOWN_MODE

重要信息:

alter database POSTGRES_DATABASE owner to POSTGRES_USER;

可以更改 PostgreSQL 用于执行 init 脚本的用户。

为此,请使用以下环境变量:

环境变量描述
POSTGRESQL_INITSCRIPTS_USERNAME将用于执行初始化脚本的用户
POSTGRESQL_INITSCRIPTS_PASSWORDPOSTGRESQL_INITSCRIPT_USERNAME 中指定的用户的密码

默认 toast 压缩

默认的 toast 压缩是pglz,但您可以通过将环境变量设置POSTGRES_DEFAULT_COMPRESSION为所需的值来修改它。

例如:POSTGRES_DEFAULT_COMPRESSION=‘lz4’。

日志

docker logs postgresql

或使用 Docker Compose:

docker-compose logs postgresql

你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作,该项目已经全面开源,可以从如下环境获取

开源地址: https://gitee.com/qingplus/qingcloud-platform

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文