S3 Архипелаг: разворачиваем объектное хранилище за 15 минут

• Полная совместимость с S3 API – работает с любыми S3-клиентами и SDK
  
• Erasure Coding – экономия дискового пространства до 50% по сравнению с репликацией
  
• Tiered storage – автоматическое перемещение данных между горячим и холодным хранилищем
  
• FUSE/HDFS – монтируйте хранилище как файловую систему
  
• Горизонтальное масштабирование – добавляйте узлы без остановки кластера
  
• Два режима развертывания: Standalone для быстрого старта и Kubernetes для production. Времени понадобится минут 15.

• Master– координатор кластера, управляет топологией и репликацией
  
• Volume Server – хранит данные, упакованные в тома
  
• Filer – слой метаданных, работает с PostgreSQL
  
• S3 Gateway – S3-совместимый API для приложений
  
• Admin UI – веб-интерфейс администрирования
  
• SFTP Server – доступ к файлам по SFTP (опционально)

• 4 ядра CPU
  
• 8 GB RAM
  
• Любые диски (SSD предпочтительнее)
  
• Docker и Docker Compose
  
• PostgreSQL 15.6+

version: "3.8"
services:
  weed-master:
    image: qs3archipelago:latest #или your-registry.example.com/qs3archipelago:latest
    container_name: weed-master
    user: "30002:30002"
    environment:
      #Команда запуска
      WEED_COMMAND: master
      WEED_LOG_LEVEL: "1"
      # Сетевые настройки
      WEED_IP: weed-master
      WEED_IP_BIND: 0.0.0.0
      # Настройки Master
      WEED_MASTER_PORT: "9333"
      WEED_MASTER_DIR: /data
      WEED_MASTER_DEFAULT_REPLICATION: "000"
      WEED_MASTER_VOLUME_SIZE_LIMIT_MB: "1000"
      # Метрики
      WEED_METRICS_PORT: "9327"
      # Raft настройки
      WEED_MASTER_ELECTION_TIMEOUT: "10s"
      WEED_MASTER_HEARTBEAT_INTERVAL: "300ms"
      # PostgreSQL (для лицензирования)
      WEED_LEVELDB2_ENABLED: "false"
      WEED_POSTGRES2_ENABLED: "true"
      WEED_POSTGRES2_HOSTNAME: "host.docker.internal"        # или IP вашего PostgreSQL
      WEED_POSTGRES2_PORT: "5432"
      WEED_POSTGRES2_USERNAME: "qs3archipelago"
      WEED_POSTGRES2_PASSWORD: "your_secure_password"
      WEED_POSTGRES2_DATABASE: "qs3archipelago"
      WEED_POSTGRES2_SSLMODE: "disable"
    ports:
      - "9333:9333"        # HTTP API
      - "19333:19333"      # gRPC
      - "9327:9327"        # Metrics
    volumes:
      - weed-master-data:/data
    networks:
      - weed-net
    restart: unless-stopped
weed-volume:
    image: qs3archipelago:latest
    container_name: weed-volume
    user: "30002:30002"
    depends_on:
      - weed-master
    environment:
      WEED_COMMAND: volume
      WEED_LOG_LEVEL: "1"
      WEED_IP: weed-volume
      WEED_IP_BIND: 0.0.0.0
      # Настройки Volume Server
      WEED_VOLUME_PORT: "8080"
      WEED_VOLUME_DIR: /data
      WEED_VOLUME_DIR_IDX: /data
      WEED_VOLUME_READ_MODE: proxy
      WEED_VOLUME_MIN_FREE_SPACE_PERCENT: "1"
      WEED_VOLUME_COMPACTION_MBPS: "50"
      # Подключение к Master
      WEED_MASTER_SERVERS: weed-master:9333
      WEED_METRICS_PORT: "9327"
    ports:
      - "8080:8080"
    volumes:
      - weed-volume-data:/data
    networks:
      - weed-net
    restart: unless-stopped
  weed-filer:
    image: qs3archipelago:latest
    container_name: weed-filer
    user: "30002:30002"
    depends_on:
      - weed-master
      - weed-volume
    environment:
      WEED_COMMAND: filer
      WEED_LOG_LEVEL: "1"
      # Настройки Filer
      WEED_IP: weed-filer
      WEED_IP_BIND: 0.0.0.0
      WEED_FILER_PORT: "8888"
      WEED_FILER_GRPC_PORT: "18888"
      WEED_FILER_DIR_LIST_LIMIT: "100000"
      WEED_FILER_DEFAULT_REPLICA_PLACEMENT: "000"
      WEED_FILER_BUCKETS_FOLDER: "/buckets"
      WEED_FILER_QUEUES_FOLDER: "/queues"
      WEED_FILER_OPTIONS_RECURSIVE_DELETE: "false"
      # Подключение к Master
      WEED_MASTER_SERVERS: weed-master:9333
      WEED_FILER_MASTER: weed-master:9333
      # PostgreSQL (бэкенд метаданных)
      WEED_LEVELDB2_ENABLED: "false"
      WEED_POSTGRES2_ENABLED: "true"
      WEED_POSTGRES2_HOSTNAME: "host.docker.internal"      # или IP вашего PostgreSQL
      WEED_POSTGRES2_PORT: "5432"
      WEED_POSTGRES2_USERNAME: "qs3archipelago"
      WEED_POSTGRES2_PASSWORD: "your_secure_password"
      WEED_POSTGRES2_DATABASE: "qs3archipelago"
      WEED_POSTGRES2_SSLMODE: "disable"
      WEED_METRICS_PORT: "9327"
    ports:
      - "8888:8888"
      - "18888:18888"
    volumes:
      - weed-filer-data:/data
    networks:
      - weed-net
    restart: unless-stopped
  weed-s3:
    image: qs3archipelago:latest
    container_name: weed-s3
    user: "30002:30002"
    depends_on:
      - weed-filer
    environment:
      WEED_COMMAND: s3
      WEED_LOG_LEVEL: "1"
      WEED_IP: weed-s3
      WEED_IP_BIND: 0.0.0.0
      # Настройки S3 Gateway
      WEED_S3_PORT: "8333"
      WEED_S3_FILER: weed-filer:8888
      WEED_METRICS_PORT: "9327"
    ports:
      - "8333:8333"
    networks:
      - weed-net
    restart: unless-stopped
  weed-admin:
    image: qs3archipelago:latest
    container_name: weed-admin
    user: "30002:30002"
    depends_on:
      - weed-master
    environment:
      WEED_COMMAND: admin
      WEED_LOG_LEVEL: "1"
      # Настройки Admin UI
      WEED_ADMIN_PORT: "8081"
      WEED_ADMIN_DATA_DIR: /data
      WEED_ADMIN_USER: admin
      WEED_ADMIN_PASSWORD: admin    # Измените на безопасный пароль!
      WEED_ADMIN_MASTERS: weed-master:9333
    ports:
      - "8081:8081"
    volumes:
      - weed-admin-data:/data
    networks:
      - weed-net
    restart: unless-stopped
networks:
  weed-net:
    driver: bridge
volumes:
  weed-master-data:
  weed-volume-data:
  weed-filer-data:
  weed-admin-data:

• Master UI: http://localhost:9333
  
• Volume Server: http://localhost:8080
  
• Filer UI: http://localhost:8888
  
• S3 API: http://localhost:8333
  
• Admin UI: http://localhost:8081

• Откройте http://localhost:8081
  
• Войдите с credentials из WEED_ADMIN_USER / WEED_ADMIN_PASSWORD
  
• Перейдите в раздел S3 → Identities
  
• Создайте нового пользователя с Access Key и Secret Key

yaml
  weed-volume2:
    image: qs3archipelago:latest
    container_name: weed-volume2
    user: "30002:30002"
    depends_on:
      - weed-master
    environment:
      WEED_COMMAND: volume
      WEED_IP: weed-volume2
      WEED_IP_BIND: 0.0.0.0
      WEED_VOLUME_PORT: "8080"
      WEED_VOLUME_DIR: /data
      WEED_MASTER_SERVERS: weed-master:9333
    volumes:
      - weed-volume2-data:/data
    networks:
      - weed-net
    restart: unless-stopped

• Kubernetes 1.24+ (проверено на Deckhouse, vanilla K8s)
  
• Helm 3.x
  
• PostgreSQL 15.6+ (рекомендуем Digital Q.DataBase или свой кластер)
  
• StorageClass для persistent volumes
  
• Container registry с загруженным образом S3 Архипелаг

• CPU: 8-16 ядер
  
• RAM: 32-64 GB
  
• Диски: 2x SSD 500 GB (RAID1 для БД метаданных)
  
• Сеть: 10GbE

• CPU: 8-16 ядер
  
• RAM: 32-64 GB
  
• Диски: 8-12x HDD/SSD
  
• Сеть: 10GbE (или 25GbE для высоких нагрузок)

apiVersion: v1
kind: Secret
metadata:
  name: postgres-credentials
  namespace: qs3archipelago
type: Opaque
stringData:
  hostname: "postgres-service.postgres-namespace.svc.cluster.local"
  port: "5432"
  username: "qs3archipelago"
  password: "your_secure_password"
  database: "qs3archipelago"
kubectl apply -f postgres-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: postgres-credentials
  namespace: qs3archipelago
type: Opaque
stringData:
  hostname: "postgres-service.postgres-namespace.svc.cluster.local"
  port: "5432"
  # Админ PostgreSQL для DDL-операций (CREATE DATABASE, CREATE USER)
  username: "postgres"
  password: "postgres_admin_password"
  database: "qs3archipelago"

nameOverride: "qs3archipelago"
global:
  createClusterRole: true
  # Укажите адрес вашего container registry
  registry: "your-registry.example.com"
  repository: "qs3archipelago"
  imageName: qs3archipelago
  imagePullPolicy: IfNotPresent
  serviceAccountName: "qs3archipelago"
  enableSecurity: false
  enableReplication: false
  replicationPlacement: "000"
  # Мониторинг Prometheus (опционально)
  monitoring:
    enabled: false
    namespace: monitoring
    gatewayHost: null
    gatewayPort: null
  extraEnvironmentVars:
    # Контекстный путь для Admin UI (опционально)
  # WEED_ADMIN_CONTEXT_PATH: "/qs3arc"
  # Имя кластера для идентификации
  WEED_CLUSTER_DEFAULT: "qs3archipelago"
  # Адрес Master-сервера для внутренней коммуникации
  WEED_CLUSTER_SW_MASTER: "qs3archipelago-master.qs3archipelago:9333"
  # Адрес Filer для внутренней коммуникации
  WEED_CLUSTER_SW_FILER: "qs3archipelago-filer-client.qs3archipelago:8888"
  # Путь к директории с бакетами в Filer
  WEED_FILER_BUCKETS_FOLDER: "/buckets"
  # Запрет рекурсивного удаления (защита от rm -rf)
  WEED_FILER_OPTIONS_RECURSIVE_DELETE: "false"
  # Путь к директории очередей
  WEED_FILER_QUEUES_FOLDER: "/queues"
  # Отключение встроенного LevelDB (используем PostgreSQL)
  WEED_LEVELDB2_ENABLED: "false"
  # Включение PostgreSQL как бэкенда метаданных
  WEED_POSTGRES2_ENABLED: "true"
  # Режим SSL для PostgreSQL
     # ВАЖНО: Для production используйте verify-full с настроенными сертификатами
     # disable - трафик к БД идет открытым текстом
  WEED_POSTGRES2_SSLMODE: "disable"
image:
  # Укажите адрес вашего container registry
  registry: "your-registry.example.com"
  repository: "qs3archipelago"
  tag: "latest"   # Укажите конкретную версию для production
# Master Server - координатор кластера
master:
  enabled: true
  replicas: 3     # Для HA нужно минимум 3
  updatePartition: 0
  serviceAccountName: "qs3archipelago"
  podSecurityContext:
    enabled: true
    fsGroup: 30002
  data:
    type: "emptyDir"   # Или persistentVolumeClaim для production
  logs:
    type: "emptyDir"
  extraEnvironmentVars:
    # Количество томов для создания при репликации
    WEED_MASTER_VOLUME_GROWTH_COPY_1: '2'
    WEED_MASTER_VOLUME_GROWTH_COPY_2: '2'
    WEED_MASTER_VOLUME_GROWTH_COPY_3: '1'
    WEED_MASTER_VOLUME_GROWTH_COPY_OTHER: '1'
    # PostgreSQL credentials из секрета
    WEED_POSTGRES2_USERNAME:
      secretKeyRef:
        name: postgres-credentials
        key: username
    WEED_POSTGRES2_PASSWORD:
      secretKeyRef:
        name: postgres-credentials
        key: password
    WEED_POSTGRES2_DATABASE:
      secretKeyRef:
        name: postgres-credentials
        key: database
    WEED_POSTGRES2_HOSTNAME:
      secretKeyRef:
        name: postgres-credentials
        key: hostname
    WEED_POSTGRES2_PORT:
      secretKeyRef:
        name: postgres-credentials
        key: port
# Volume Server - хранение данных
volume:
  enabled: true
  replicas: 2   # Минимум 2 для отказоустойчивости
  serviceAccountName: "qs3archipelago"
  podManagementPolicy: Parallel
  # Скорость компактификации в MB/s
  compactionMBps: "80"
  # Минимальный процент свободного места на диске
  minFreeSpacePercent: 5
  podSecurityContext:
    enabled: true
    fsGroup: 30002
  dataDirs:
    - name: data1
      type: "persistentVolumeClaim"
      size: 100Gi
      # Укажите ваш StorageClass
      # Примеры: standard, gp2, yc-network-ssd, local-path
      storageClass: "local-storage-class"
      annotations: {}
      maxVolumes: 0
  logs:
    type: "persistentVolumeClaim"
    size: 10Gi
    storageClass: "local-storage-class"
    annotations: {}
  idx:
    type: "persistentVolumeClaim"
    size: 10Gi
    storageClass: "local-storage-class"
    annotations: {}
# Filer - слой метаданных
filer:
  enabled: true
  replicas: 2
  defaultReplicaPlacement: "000"
  serviceAccountName: "qs3archipelago"
  podSecurityContext:
    enabled: true
    fsGroup: 30002
  data:
    type: "persistentVolumeClaim"
    size: 10Gi
    storageClass: "local-storage-class"
    annotations: {}
  logs:
    type: "persistentVolumeClaim"
    size: 10Gi
    storageClass: "local-storage-class"
    annotations: {}
  extraEnvironmentVars:
    WEED_MYSQL_ENABLED: "false"
    WEED_LEVELDB2_ENABLED: "false"
    WEED_POSTGRES2_ENABLED: "true"
    WEED_POSTGRES2_SSLMODE: "disable"
# Подключение к PostgreSQL через секрет
  secretExtraEnvironmentVars:
    WEED_POSTGRES2_USERNAME:
      secretKeyRef:
        name: postgres-credentials
        key: username
    WEED_POSTGRES2_PASSWORD:
      secretKeyRef:
        name: postgres-credentials
        key: password
    WEED_POSTGRES2_DATABASE:
      secretKeyRef:
        name: postgres-credentials
        key: database
    WEED_POSTGRES2_HOSTNAME:
      secretKeyRef:
        name: postgres-credentials
        key: hostname
    WEED_POSTGRES2_PORT:
      secretKeyRef:
        name: postgres-credentials
        key: port
# Ingress для внешнего доступа
ingress:
    enabled: true
    className: "istio"   # Для production используйте istio
    # className: "nginx" # Альтернатива для dev/test
    host: "filer.your-domain.com"
    path: "/"
    pathType: Prefix
    annotations:
      cert-manager.io/cluster-issuer: cluster-acme-issuer
    tls:
      - secretName: filer-tls-secret
        hosts:
          - "filer.your-domain.com"
# S3 Gateway
s3:
  enabled: true
  replicas: 2
  enableAuth: true   # Требует настройки ключей доступа (см. Шаг 6)
  existingConfigSecret: null
  podSecurityContext:
    enabled: true
    fsGroup: 30002
  logs:
    type: "emptyDir"
  ingress:
    enabled: true
    className: "istio"
    host: "s3.your-domain.com"
    path: "/"
    pathType: Prefix
    annotations:
      cert-manager.io/cluster-issuer: cluster-acme-issuer
    tls:
      - secretName: s3-tls-secret
        hosts:
          - "s3.your-domain.com"
# SFTP Server (опционально)
sftp:
  enabled: false
# Worker (опционально)
worker:
  enabled: false
# Admin UI
admin:
  enabled: true
  replicas: 1
  secret:
    existingSecret: "qs3archipelago-admin-configuration"
    userKey: "username"
    pwKey: "password"
  masters: "qs3archipelago-master.qs3archipelago:9333"
  podSecurityContext:
    enabled: true
    fsGroup: 30002
  data:
    type: "persistentVolumeClaim"
    size: 5Gi
    storageClass: "local-storage-class"
  logs:
    type: "emptyDir"
  ingress:
    enabled: true
    className: "istio"
    host: "admin.your-domain.com"
    path: "/"
    pathType: Prefix
    annotations:
      cert-manager.io/cluster-issuer: cluster-acme-issuer
    tls:
      - secretName: admin-tls-secret
        hosts:
          - "admin.your-domain.com"
# All-in-One режим (для dev/test)
allInOne:
  enabled: false
# COSI Driver
cosi:
  enabled: false

• Откройте Admin UI (через Ingress или port-forward)
  
• Перейдите в раздел S3 → Identities
  
• Создайте пользователя с Access Key и Secret Key

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: s3archipelago-storage
provisioner: seaweedfs-csi-driver
parameters:
  collection: "default"
  replication: "000"
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
kubectl apply -f storageclass.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-app-data
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: s3archipelago-storage
  resources:
    requests:
      storage: 10Gi

apiVersion: v1
kind: Pod
metadata:
  name: my-app
spec:
  containers:
    - name: app
      image: nginx
      volumeMounts:
        - name: data
          mountPath: /data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: my-app-data

global:
  extraEnvironmentVars:
    # ... другие переменные ...
    # SSO через Keycloak
    SEAWEED_SSO_KEYCLOAK_ENABLED: "true"
    SEAWEED_SSO_KEYCLOAK_URL: "https://keycloak.your-domain.com/auth"
    SEAWEED_SSO_KEYCLOAK_REALM: "your-realm"
    SEAWEED_SSO_KEYCLOAK_CLIENT_ID: "qs3archipelago"
    SEAWEED_SSO_KEYCLOAK_CLIENT_SECRET: "your-client-secret"
    SEAWEED_SSO_KEYCLOAK_ADMIN_URL: "https://admin.qs3archipelago.your-domain.com"

• Настройте мониторинг через Prometheus/Grafana
  
• Включите репликацию для отказоустойчивости данных
  
• Настройте lifecycle policies для автоматического удаления старых данных
  
• Интегрируйте с вашими приложениями через S3 SDK