Redis উৎপাদনে উচ্চ প্রাপ্যতা: সেন্টিনেল, ক্লাস্টার এবং Kubernetes অপারেটর

Redis HA Helm মান

# values-redis-ha.yaml — Helm values for Redis HA on k3s/Longhorn
redis:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: 8Gi
    limits:
      cpu: "4"
      memory: 16Gi
  storage:
    persistentVolumeClaim:
      metadata:
        name: redis-data
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 50Gi
        storageClassName: longhorn
  customConfig:
    maxmemory: "6gb"
    maxmemory-policy: "allkeys-lru"
    save: "900 1 300 10 60 10000"
    appendonly: "yes"
    appendfsync: "everysec"
    aof-use-rdb-preamble: "yes"
    repl-backlog-size: "256mb"
    tcp-keepalive: "60"
    timeout: "300"
    hz: "10"
    activedefrag: "yes"
  exporter:
    enabled: true
    image: oliver006/redis_exporter:latest

sentinel:
  replicas: 3
  resources:
    requests:
      cpu: 100m
      memory: 128Mi
    limits:
      cpu: 200m
      memory: 256Mi
  customConfig:
    down-after-milliseconds: "5000"
    failover-timeout: "60000"
    parallel-syncs: "1"

affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
            - key: app.kubernetes.io/component
              operator: In
              values:
                - redis
        topologyKey: kubernetes.io/hostname

মেমরি ম্যানেজমেন্ট এবং উচ্ছেদ নীতিগুলি

Redis মেমরিতে সমস্ত ডেটা সঞ্চয় করে, যা মেমরি ব্যবস্থাপনাকে সবচেয়ে গুরুত্বপূর্ণ অপারেশনাল উদ্বেগ তৈরি করে। যখন Redis কনফিগার করাmaxmemoryসীমাতে পৌঁছায়, তখন এটিকে অবশ্যই সিদ্ধান্ত নিতে হবে যে ইনকামিং রাইট কমান্ডের সাথে কি করতে হবে। উচ্ছেদ নীতি এই আচরণ নিয়ন্ত্রণ করে।

# redis.conf — Memory management
maxmemory 6gb
maxmemory-policy allkeys-lru

# Available eviction policies:
# noeviction        — Return errors on writes when memory limit reached
# allkeys-lru       — Evict least recently used keys (general-purpose cache)
# allkeys-lfu       — Evict least frequently used keys (better for skewed access patterns)
# volatile-lru      — Evict LRU keys with TTL set
# volatile-lfu      — Evict LFU keys with TTL set
# volatile-ttl      — Evict keys with shortest TTL first
# allkeys-random    — Evict random keys
# volatile-random   — Evict random keys with TTL set

# Active defragmentation (Redis 4.0+)
activedefrag yes
active-defrag-enabled yes
active-defrag-ignore-bytes 100mb
active-defrag-threshold-lower 10
active-defrag-threshold-upper 100
active-defrag-cycle-min 1
active-defrag-cycle-max 25
active-defrag-max-scan-fields 1000

# Memory usage monitoring
# redis-cli INFO memory
# Key metrics:
#   used_memory           — Total bytes allocated by Redis
#   used_memory_rss       — Resident set size (OS-level memory)
#   mem_fragmentation_ratio — RSS / used_memory (should be close to 1.0)
#   maxmemory             — Configured memory limit
#   evicted_keys          — Total keys evicted due to maxmemory

HA স্থাপনার জন্য,maxmemoryনোডের উপলব্ধ RAM এর প্রায় 75% এ সেট করুন। অবশিষ্ট 25% রেপ্লিকেশন আউটপুট বাফার, AOF রিরাইট বাফার, RDB স্ন্যাপশটগুলির সময় কপি-অন-রাইট মেমরি এবং OS ওভারহেডকে মিটমাট করে। একটি 16GB পডের জন্য, সর্বোচ্চ মেমরি 12GB এ সেট করুন। একটি 64GB বেয়ার মেটাল সার্ভারের জন্য, এটি 48GB এ সেট করুন।

TLS এনক্রিপশন এবং ACLs

উত্পাদন Redis স্থাপনাগুলিকে অবশ্যই TLS এর সাথে ট্রানজিটে ডেটা এনক্রিপ্ট করতে হবে এবং Redis 6.0-এ প্রবর্তিত ACLs (অ্যাক্সেস কন্ট্রোল লিস্ট) সহ সূক্ষ্ম-দানাযুক্ত অ্যাক্সেস নিয়ন্ত্রণ প্রয়োগ করতে হবে।

# redis.conf — TLS configuration
tls-port 6380
port 0                            # Disable non-TLS port entirely
tls-cert-file /etc/redis/tls/redis.crt
tls-key-file /etc/redis/tls/redis.key
tls-ca-cert-file /etc/redis/tls/ca.crt
tls-auth-clients optional         # Require client certificates (mutual TLS)
tls-replication yes               # Encrypt replication traffic
tls-cluster yes                   # Encrypt cluster bus traffic
tls-protocols "TLSv1.3"           # Only allow TLS 1.3

# ACL configuration (Redis 6.0+)
# user  on|off [>password] [~pattern] [+command|-command] [&channel]
user default off                  # Disable the default user
user admin on >strong_admin_pass ~* +@all
user appuser on >app_pass ~app:* ~session:* ~cache:* +@read +@write +@connection -@admin -@dangerous
user readonly on >readonly_pass ~* +@read +@connection -@write -@admin
user replicator on >repl_pass +psync +replconf +ping

# Load ACL from external file
aclfile /etc/redis/users.acl

পাব/সাব এবং স্ট্রীমগুলি

Redis পাব/সাব এবং স্ট্রীমগুলি HA কনফিগারেশনে ভিন্নভাবে আচরণ করে। নির্ভরযোগ্য ইভেন্ট-চালিত সিস্টেম তৈরির জন্য এই পার্থক্যগুলি বোঝা অপরিহার্য।

Pub/Subবার্তাগুলি ফায়ার-এন্ড-ফোরগেট — এগুলি স্থায়ী হয় না, প্রতিলিপি করা হয় না এবং বাফার করা হয় না৷ সেন্টিনেল-ভিত্তিক HA সেটআপে, মাস্টারের সাথে সংযুক্ত গ্রাহকরা সাধারণত বার্তাগুলি গ্রহণ করে, কিন্তু একটি ব্যর্থতার সময়, নতুন মাস্টারের পূর্ববর্তী সদস্যতা সম্পর্কে কোন জ্ঞান থাকে না। ক্লায়েন্টদের পুনরায় সংযোগ করার পরে পুনরায় সদস্যতা নিতে হবে। Redis ক্লাস্টারের সাথে, পাব/সাব বার্তাগুলি ক্লাস্টারের সমস্ত নোডগুলিতে সম্প্রচারিত হয়, তাই যে কোনও নোডের সাথে সংযুক্ত গ্রাহকরা প্রকাশিত বার্তাগুলি গ্রহণ করে (যদিও এটি আন্তঃ-নোড ট্র্যাফিক তৈরি করে)।

Redis স্ট্রীমহল একটি স্থায়ী, প্রতিলিপিকৃত ডেটা কাঠামো যা HA পরিবেশে নির্ভরযোগ্য বার্তা সরবরাহ করে। স্ট্রীম এন্ট্রিগুলি স্বাভাবিক প্রতিলিপি প্রক্রিয়ার মাধ্যমে প্রতিলিপিতে প্রতিলিপি করা হয়, ব্যর্থতা থেকে বেঁচে থাকা এবং অন্তত একবার ডেলিভারি শব্দার্থের সাথে ভোক্তা গোষ্ঠীকে সমর্থন করে। HA মেসেজিংয়ের জন্য, স্ট্রীমগুলিকে সর্বদা পাব/সাবের চেয়ে অগ্রাধিকার দেওয়া উচিত।

# Redis Streams with consumer groups — HA-safe message processing

# Create a stream and consumer group
XGROUP CREATE events:orders orders-processors $ MKSTREAM

# Produce events
XADD events:orders * action "order_placed" order_id "12345" amount "599.99"
XADD events:orders * action "order_placed" order_id "12346" amount "149.99"

# Consume events (in consumer group — at-least-once delivery)
XREADGROUP GROUP orders-processors worker-1 COUNT 10 BLOCK 5000 STREAMS events:orders >

# Acknowledge processed events
XACK events:orders orders-processors 1681234567890-0

# Check pending messages (unacknowledged)
XPENDING events:orders orders-processors - + 10

# Claim abandoned messages (from a dead consumer)
XAUTOCLAIM events:orders orders-processors worker-2 60000 0-0 COUNT 10

# Trim stream to prevent unbounded growth
XTRIM events:orders MAXLEN ~ 100000

Redis মডিউল

Redis মডিউলগুলি বিশেষ ডেটা স্ট্রাকচার এবং কার্যকারিতা সহ Redis প্রসারিত করে। তিনটি সর্বাধিক জনপ্রিয় — RedisJSON, RediSearch, এবং RedisTimeSeries — প্রতিলিপি এবং সেন্টিনেলের সাথে কাজ করে, কিন্তু HA স্থাপনার ক্ষেত্রে নির্দিষ্ট বিবেচনা রয়েছে।

# redis.conf — Loading modules
loadmodule /opt/redis-stack/lib/rejson.so
loadmodule /opt/redis-stack/lib/redisearch.so
loadmodule /opt/redis-stack/lib/redistimeseries.so

# Modules are replicated to replicas via the command stream
# Ensure the same modules are installed on all nodes (master + replicas)

# RedisJSON — store and query JSON documents
JSON.SET user:1001 $ '{"name":"Alice","email":"alice@example.com","orders":42}'
JSON.GET user:1001 $.name

# RediSearch — full-text search with indexing
FT.CREATE idx:users ON JSON PREFIX 1 user: SCHEMA $.name AS name TEXT $.email AS email TAG $.orders AS orders NUMERIC
FT.SEARCH idx:users "@name:Alice"

# RedisTimeSeries — time-series data
TS.CREATE metrics:cpu:node1 RETENTION 86400000 LABELS host node1 metric cpu
TS.ADD metrics:cpu:node1 * 73.5
TS.RANGE metrics:cpu:node1 - + AGGREGATION avg 60000

HA-তে Redis স্ট্যাক (মডিউল বান্ডিল) চালানোর সময়, নিশ্চিত করুন যে সমস্ত নোড — মাস্টার এবং রেপ্লিকা — অভিন্ন মডিউল সংস্করণ ইনস্টল করা আছে। মডিউল কমান্ডগুলি স্ট্যান্ডার্ড রেপ্লিকেশন স্ট্রিমের মাধ্যমে প্রতিলিপি করা হয়, তাই প্রতিলিপিগুলি অবশ্যই সেগুলি কার্যকর করতে সক্ষম হবে। একটি ব্যর্থতার পরে, RediSearch সূচীগুলি প্রচারিত প্রতিলিপিতে বিদ্যমান থাকে এবং অবিলম্বে প্রশ্নগুলি পরিবেশন করে৷

HA

সংযোগ পুলিং এবং ক্লায়েন্ট কনফিগারেশন

সঠিক সংযোগ পুলিং Redis HA কর্মক্ষমতা এবং স্থিতিস্থাপকতার জন্য অপরিহার্য। সংযোগ পুলগুলি TCP সংযোগ স্থাপনের ওভারহেড হ্রাস করে, স্বয়ংক্রিয়ভাবে পুনরায় চেষ্টা করার যুক্তি প্রদান করে, এবং আকর্ষণীয় ব্যর্থতা হ্যান্ডলিং সক্ষম করে।

# Node.js — ioredis connection pool with cluster mode
const Redis = require('ioredis');

// Cluster mode connection
const cluster = new Redis.Cluster(
  [
    { host: '10.0.1.10', port: 7000 },
    { host: '10.0.1.11', port: 7000 },
    { host: '10.0.1.12', port: 7000 }
  ],
  {
    redisOptions: {
      password: 'cluster_password',
      connectTimeout: 10000,
      maxRetriesPerRequest: 3
    },
    scaleReads: 'slave',           // Route reads to replicas
    clusterRetryStrategy(times) {
      return Math.min(times * 200, 5000);
    },
    slotsRefreshTimeout: 2000,
    slotsRefreshInterval: 5000,
    enableOfflineQueue: true,
    enableReadyCheck: true,
    natMap: {}                     // For NAT/port-forwarded environments
  }
);

cluster.on('error', (err) => console.error('Cluster error:', err));
cluster.on('node error', (err, address) => {
  console.error(`Node ${address} error:`, err);
});

# Python — redis-py connection pool with cluster mode
from redis.cluster import RedisCluster
from redis.backoff import ExponentialBackoff
from redis.retry import Retry

retry = Retry(ExponentialBackoff(cap=5, base=0.1), retries=5)

rc = RedisCluster(
    startup_nodes=[
        {"host": "10.0.1.10", "port": 7000},
        {"host": "10.0.1.11", "port": 7000},
        {"host": "10.0.1.12", "port": 7000}
    ],
    password="cluster_password",
    decode_responses=True,
    read_from_replicas=True,
    retry=retry,
    retry_on_timeout=True,
    socket_timeout=5,
    socket_connect_timeout=5,
    max_connections=50,
    health_check_interval=30
)

rc.set("key", "value")
print(rc.get("key"))

// Go — go-redis cluster client with connection pooling
package main

import (
    "context"
    "time"

    "github.com/redis/go-redis/v9"
)

func NewRedisCluster() *redis.ClusterClient {
    return redis.NewClusterClient(&redis.ClusterOptions{
        Addrs: []string{
            "10.0.1.10:7000",
            "10.0.1.11:7000",
            "10.0.1.12:7000",
        },
        Password:         "cluster_password",
        ReadOnly:         true,
        RouteRandomly:    true,
        RouteByLatency:   false,
        PoolSize:         50,
        MinIdleConns:     10,
        DialTimeout:      10 * time.Second,
        ReadTimeout:      5 * time.Second,
        WriteTimeout:     5 * time.Second,
        PoolTimeout:      10 * time.Second,
        MaxRetries:       5,
        MinRetryBackoff:  200 * time.Millisecond,
        MaxRetryBackoff:  5 * time.Second,
    })
}

ব্যাকআপ এবং পুনরুদ্ধারের কৌশলগুলি

এমনকি HA প্রতিলিপি সহ, দুর্যোগ পুনরুদ্ধার, সম্মতি এবং যৌক্তিক ত্রুটির বিরুদ্ধে সুরক্ষার জন্য নিয়মিত ব্যাকআপ অপরিহার্য (দুর্ঘটনাজনিত FLUSHALL, খারাপ অ্যাপ্লিকেশন লেখা)। Redis ব্যাকআপগুলি RDB স্ন্যাপশট এবং AOF ফাইলগুলির উপর ভিত্তি করে।

#!/bin/bash
# redis-backup.sh — Automated Redis backup script

REDIS_HOST="10.0.1.10"
REDIS_PORT="6379"
REDIS_PASS="strong_master_password"
BACKUP_DIR="/backups/redis"
S3_BUCKET="s3://redis-backups-prod"
RETENTION_DAYS=30
DATE=$(date +%Y%m%d_%H%M%S)

mkdir -p "$BACKUP_DIR"

# Trigger RDB snapshot on the master
redis-cli -h "$REDIS_HOST" -p "$REDIS_PORT" -a "$REDIS_PASS" BGSAVE

# Wait for background save to complete
while [ "$(redis-cli -h $REDIS_HOST -p $REDIS_PORT -a $REDIS_PASS LASTSAVE)" = "$(redis-cli -h $REDIS_HOST -p $REDIS_PORT -a $REDIS_PASS LASTSAVE)" ]; do
  sleep 1
done
sleep 2

# Copy the RDB file
RDB_FILE=$(redis-cli -h "$REDIS_HOST" -p "$REDIS_PORT" -a "$REDIS_PASS" CONFIG GET dir | tail -1)
cp "${RDB_FILE}/dump.rdb" "${BACKUP_DIR}/dump_${DATE}.rdb"

# Compress and upload to S3
gzip "${BACKUP_DIR}/dump_${DATE}.rdb"
aws s3 cp "${BACKUP_DIR}/dump_${DATE}.rdb.gz" "${S3_BUCKET}/daily/dump_${DATE}.rdb.gz" \
  --storage-class STANDARD_IA

# Cleanup old local backups
find "$BACKUP_DIR" -name "dump_*.rdb.gz" -mtime +$RETENTION_DAYS -delete

# Verify backup integrity
redis-check-rdb "${BACKUP_DIR}/dump_${DATE}.rdb.gz" && \
  echo "Backup verified: dump_${DATE}.rdb.gz" || \
  echo "ERROR: Backup verification failed!"

echo "Backup complete: ${BACKUP_DIR}/dump_${DATE}.rdb.gz"

# Restore from RDB backup
# 1. Stop Redis
systemctl stop redis

# 2. Replace the RDB file
gunzip /backups/redis/dump_20260412_030000.rdb.gz
cp /backups/redis/dump_20260412_030000.rdb /data/redis/dump.rdb
chown redis:redis /data/redis/dump.rdb

# 3. Disable AOF temporarily (if enabled) to prevent AOF overriding RDB on startup
redis-cli -a password CONFIG SET appendonly no

# 4. Start Redis (loads RDB)
systemctl start redis

# 5. Re-enable AOF and rewrite it from the loaded data
redis-cli -a password CONFIG SET appendonly yes
redis-cli -a password BGREWRITEAOF

মনিটরিং

ব্যাপক মনিটরিং হল Redis HA এর অপারেশনাল শ্রেষ্ঠত্বের ভিত্তি। RedisINFOকমান্ডের মাধ্যমে সমৃদ্ধ অভ্যন্তরীণ মেট্রিক্স প্রকাশ করে, যা Prometheus Redis রপ্তানিকারক Grafana ড্যাশবোর্ড এবং সতর্কতার জন্য টাইম-সিরিজ মেট্রিক্সে অনুবাদ করে।

# Key Redis INFO sections for HA monitoring
redis-cli -a password INFO replication
# role:master
# connected_slaves:2
# slave0:ip=10.0.1.11,port=6379,state=online,offset=1234567,lag=0
# slave1:ip=10.0.1.12,port=6379,state=online,offset=1234560,lag=1
# master_replid:abc123...
# master_repl_offset:1234567
# repl_backlog_size:268435456
# repl_backlog_first_byte_offset:1000000

redis-cli -a password INFO memory
# used_memory:6442450944
# used_memory_human:6.00G
# used_memory_rss:6879707136
# mem_fragmentation_ratio:1.07
# maxmemory:6442450944
# maxmemory_policy:allkeys-lru
# evicted_keys:12345

redis-cli -a password INFO stats
# total_connections_received:50000
# total_commands_processed:12345678
# instantaneous_ops_per_sec:85432
# keyspace_hits:11000000
# keyspace_misses:1345678
# expired_keys:500000
# evicted_keys:12345

redis-cli -a password INFO clients
# connected_clients:150
# blocked_clients:0
# maxclients:10000

# Prometheus Redis Exporter deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-exporter
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis-exporter
  template:
    metadata:
      labels:
        app: redis-exporter
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "9121"
    spec:
      containers:
        - name: redis-exporter
          image: oliver006/redis_exporter:latest
          args:
            - --redis.addr=redis://redis-ha-master:6379
            - --redis.password=$(REDIS_PASSWORD)
            - --include-system-metrics
            - --is-cluster
          env:
            - name: REDIS_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: redis-secret
                  key: password
          ports:
            - containerPort: 9121
              name: metrics
          resources:
            requests:
              cpu: 100m
              memory: 128Mi
            limits:
              cpu: 200m
              memory: 256Mi

# PrometheusRule for Redis HA alerts
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: redis-ha-alerts
  namespace: monitoring
spec:
  groups:
    - name: redis-availability
      rules:
        - alert: RedisDown
          expr: redis_up == 0
          for: 1m
          labels:
            severity: critical
          annotations:
            summary: "Redis instance {{ $labels.instance }} is down"

        - alert: RedisReplicaDisconnected
          expr: redis_connected_slaves < 2
          for: 2m
          labels:
            severity: warning
          annotations:
            summary: "Redis master has fewer than 2 connected replicas"

        - alert: RedisReplicationLagHigh
          expr: redis_replication_lag > 5
          for: 3m
          labels:
            severity: warning
          annotations:
            summary: "Redis replication lag exceeds 5 seconds on {{ $labels.instance }}"

        - alert: RedisMemoryUsageHigh
          expr: redis_memory_used_bytes / redis_memory_max_bytes > 0.9
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: "Redis memory usage above 90% on {{ $labels.instance }}"

        - alert: RedisEvictionsHigh
          expr: rate(redis_evicted_keys_total[5m]) > 100
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: "Redis evicting keys at >100/s on {{ $labels.instance }}"

        - alert: RedisKeyspaceHitRateLow
          expr: redis_keyspace_hits_total / (redis_keyspace_hits_total + redis_keyspace_misses_total) < 0.8
          for: 10m
          labels:
            severity: info
          annotations:
            summary: "Redis cache hit rate below 80% on {{ $labels.instance }}"

        - alert: RedisSentinelDown
          expr: redis_sentinel_master_status != 1
          for: 1m
          labels:
            severity: critical
          annotations:
            summary: "Redis Sentinel reports master unhealthy"

    - name: redis-performance
      rules:
        - alert: RedisSlowlogGrowing
          expr: increase(redis_slowlog_length[5m]) > 10
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: "Redis slow log growing rapidly on {{ $labels.instance }}"

        - alert: RedisConnectionsNearLimit
          expr: redis_connected_clients / redis_config_maxclients > 0.8
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: "Redis connected clients above 80% of maxclients"

ড্রাগনফ্লাই এবং কীডিবি: Redis-সামঞ্জস্যপূর্ণ বিকল্প

যদিও Redis হল প্রভাবশালী ইন-মেমরি ডেটা স্টোর, দুটি Redis-সামঞ্জস্যপূর্ণ বিকল্প নির্দিষ্ট ব্যবহারের ক্ষেত্রে ট্র্যাকশন অর্জন করেছে।

ড্রাগনফ্লাই

Dragonfly হল একটি আধুনিক, মাল্টি-থ্রেডেড Redis প্রতিস্থাপন যার লক্ষ্য হল সমস্ত উপলব্ধ CPU কোর ব্যবহার করার সময় ড্রপ-ইন প্রতিস্থাপন করা। প্রথাগত Redis কমান্ড প্রক্রিয়াকরণের জন্য একক-থ্রেডেড — মাল্টি-কোর মেশিনে উল্লেখযোগ্যভাবে উচ্চতর থ্রুপুট অর্জন করতে একাধিক থ্রেড সহ ড্রাগনফ্লাই একটি শেয়ার্ড-নথিং আর্কিটেকচার ব্যবহার করে। এটি Redis প্রোটোকল, বেশিরভাগ Redis কমান্ড সমর্থন করে এবং অ্যাপ্লিকেশন পরিবর্তন ছাড়াই Redis প্রতিস্থাপন করতে পারে।

# Run Dragonfly as a Redis replacement
docker run -d --name dragonfly \
  -p 6379:6379 \
  -v /data/dragonfly:/data \
  docker.dragonflydb.io/dragonflydb/dragonfly \
  --maxmemory 12gb \
  --proactor_threads 8 \
  --dbfilename dump.rdb \
  --requirepass strong_password

# Dragonfly in Kubernetes
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: dragonfly
  namespace: production
spec:
  replicas: 1
  selector:
    matchLabels:
      app: dragonfly
  template:
    metadata:
      labels:
        app: dragonfly
    spec:
      containers:
        - name: dragonfly
          image: docker.dragonflydb.io/dragonflydb/dragonfly:latest
          args:
            - --maxmemory=12gb
            - --proactor_threads=8
            - --requirepass=strong_password
            - --snapshot_cron=*/30 * * * *
          ports:
            - containerPort: 6379
          resources:
            requests:
              cpu: "4"
              memory: 16Gi
            limits:
              cpu: "8"
              memory: 16Gi
          volumeMounts:
            - name: data
              mountPath: /data
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: ["ReadWriteOnce"]
        storageClassName: longhorn
        resources:
          requests:
            storage: 100Gi

Dragonfly-এর মূল সুবিধাগুলি: মাল্টি-থ্রেডেড (8 কোর বনাম একক-থ্রেডেড Redis-এ 25x থ্রুপুট), আরও ভাল মেমরি দক্ষতা (Redis dict-এর পরিবর্তে ড্যাশ হ্যাশ টেবিল ব্যবহার করে), কাঁটা () ওভারহেড ছাড়াই অন্তর্নির্মিত স্ন্যাপশট, এবং বড় ডেটাসেটের জন্য স্থানীয় সমর্থন। যাইহোক, 2026 সালের হিসাবে, ড্রাগনফ্লাই এর প্রতিলিপি সমর্থন এখনও পরিপক্ক হচ্ছে — এটি প্রাথমিক-প্রতিলিপি প্রতিলিপি সমর্থন করে কিন্তু এখনও সেন্টিনেল-সমতুল্য স্বয়ংক্রিয় ব্যর্থতা সিস্টেম নেই। HA-এর জন্য, Kubernetes স্বাস্থ্য পরীক্ষা এবং StatefulSet রিস্টার্ট নীতিগুলি ব্যবহার করুন, অথবা অ্যাপ্লিকেশন-লেভেল ফেইলওভার সহ একটি লোড ব্যালেন্সারের পিছনে স্থাপন করুন৷

KeyDB

KeyDB হল Redis এর একটি মাল্টি-থ্রেডেড কাঁটা যা Snap (Snapchat এর পিছনের কোম্পানি) দ্বারা রক্ষণাবেক্ষণ করা হয়। এটি Redis-এর সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ এবং মাল্টি-থ্রেডিং, সক্রিয়-অ্যাকটিভ রেপ্লিকেশন (মাল্টি-মাস্টার), ফ্ল্যাশ স্টোরেজ টিয়ারিং, এবং সাবকি মেয়াদ শেষ করা যোগ করে। KeyDB-এর সক্রিয়-সক্রিয় প্রতিলিপি HA-এর জন্য বিশেষভাবে আকর্ষণীয় — দুটি KeyDB দৃষ্টান্ত একই সাথে লেখা গ্রহণ করতে পারে এবং একে অপরের প্রতিলিপি করতে পারে, শূন্য-ডাউনটাইম ব্যর্থতা প্রদান করে।

# keydb.conf — Multi-threaded configuration with active replication
server-threads 4                  # Use 4 threads for command processing
bind 0.0.0.0
port 6379
requirepass strong_password
masterauth strong_password

# Active-active replication (multi-master)
active-replica yes
replicaof peer-host 6379          # Bidirectional replication

# On the peer node, configure the reverse:
# replicaof this-host 6379

# FLASH storage tiering (for datasets larger than RAM)
# storage-provider flash /mnt/flash-storage 100
# maxmemory 16gb
# Will keep hot data in RAM and spill cold data to SSD

# SubKey expiration (unique to KeyDB)
# Allows setting TTL on hash fields, not just top-level keys
# EXPIREMEMBER myhash field1 3600

KeyDB একটি শক্তিশালী পছন্দ যখন আপনার ভৌগলিক বন্টন বা শূন্য-ডাউনটাইম রক্ষণাবেক্ষণের জন্য মাল্টি-মাস্টার রেপ্লিকেশনের প্রয়োজন হয়, অথবা যখন আপনার একক-থ্রেডেড Redis প্রদান করতে পারে তার চেয়ে বেশি থ্রুপুট প্রয়োজন কিন্তু Dragonfly থেকে Redis কোডবেসের কাছাকাছি থাকতে চান।

পারফরম্যান্স টিউনিং

পাইপলাইনিং

পাইপলাইনিং একটি একক নেটওয়ার্ক রাউন্ড-ট্রিপে একাধিক কমান্ড ব্যাচ করে, নাটকীয়ভাবে বাল্ক অপারেশনের জন্য বিলম্ব কমায়। পরবর্তী কমান্ড পাঠানোর আগে প্রতিটি প্রতিক্রিয়ার জন্য অপেক্ষা করার পরিবর্তে, ক্লায়েন্ট একবারে সমস্ত কমান্ড পাঠায় এবং সমস্ত প্রতিক্রিয়া একসাথে পড়ে।

# Python — Pipelining with redis-py
import redis
import time

r = redis.Redis(host='10.0.1.10', port=6379, password='password', decode_responses=True)

# Without pipelining: 1000 round-trips
start = time.time()
for i in range(1000):
    r.set(f'key:{i}', f'value:{i}')
print(f'Without pipeline: {time.time() - start:.3f}s')

# With pipelining: 1 round-trip for 1000 commands
start = time.time()
pipe = r.pipeline(transaction=False)
for i in range(1000):
    pipe.set(f'key:{i}', f'value:{i}')
pipe.execute()
print(f'With pipeline: {time.time() - start:.3f}s')
# Typically 5-10x faster

লুয়া স্ক্রিপ্টিং

লুয়া স্ক্রিপ্টগুলি Redis সার্ভারে পারমাণবিকভাবে চালায়, জটিল ক্রিয়াকলাপের জন্য রাউন্ড-ট্রিপগুলি বাদ দেয় এবং স্ক্রিপ্টের ক্রিয়াকলাপের মধ্যে অন্য কোনও কমান্ড কার্যকর না হওয়ার গ্যারান্টি দেয়। Redis ক্লাস্টারে, হ্যাশ ট্যাগ ব্যবহার করে লুয়া স্ক্রিপ্ট দ্বারা অ্যাক্সেস করা সমস্ত কী একই হ্যাশ স্লটে থাকে তা নিশ্চিত করুন।

# Lua script for atomic rate limiting
# KEYS[1] = rate limit key
# ARGV[1] = max requests
# ARGV[2] = window in seconds
local current = redis.call('INCR', KEYS[1])
if current == 1 then
    redis.call('EXPIRE', KEYS[1], ARGV[2])
end
if current > tonumber(ARGV[1]) then
    return 0  -- Rate limited
end
return 1  -- Allowed

# Load and execute
redis-cli -a password EVAL "\
  local current = redis.call('INCR', KEYS[1]) \
  if current == 1 then redis.call('EXPIRE', KEYS[1], ARGV[2]) end \
  if current > tonumber(ARGV[1]) then return 0 end \
  return 1" 1 ratelimit:user:123 100 60

মেমরি অপ্টিমাইজেশান

# redis.conf — Memory optimisation settings

# Use ziplist encoding for small hashes, lists, sorted sets
hash-max-listpack-entries 128
hash-max-listpack-value 64
list-max-listpack-size -2          # 8KB per node
zset-max-listpack-entries 128
zset-max-listpack-value 64
set-max-intset-entries 512

# Lazy freeing (avoid blocking on large key deletion)
lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes
lazyfree-lazy-user-del yes
lazyfree-lazy-user-flush yes

# jemalloc tuning
# MALLOC_CONF="background_thread:true,dirty_decay_ms:5000,muzzy_decay_ms:5000"

# Analyse memory usage
redis-cli -a password MEMORY DOCTOR
redis-cli -a password MEMORY STATS
redis-cli -a password --bigkeys
redis-cli -a password --memkeys

সাধারণ ব্যর্থতার পরিস্থিতি এবং সমস্যা সমাধান

দৃশ্যকল্প 1: মাস্টার ব্যর্থ, সেন্টিনেল প্রতিরূপ

# Diagnosis
redis-cli -p 26379 SENTINEL master mymaster
# Check: flags should show 's_down' or 'o_down' if master is unreachable

redis-cli -p 26379 SENTINEL get-master-addr-by-name mymaster
# Returns the current master address (should be the promoted replica)

# Check Sentinel logs for failover events
tail -f /var/log/redis/sentinel.log
# Look for: +sdown, +odown, +try-failover, +elected-leader,
#           +failover-state-select-slave, +selected-slave,
#           +failover-state-send-slaveof-noone, +failover-end

দৃশ্যকল্প 2: দুই মাস্টার

# Diagnosis: check if min-replicas-to-write is configured
redis-cli -a password CONFIG GET min-replicas-to-write
redis-cli -a password CONFIG GET min-replicas-max-lag

# Prevention: configure min-replicas on all masters
redis-cli -a password CONFIG SET min-replicas-to-write 1
redis-cli -a password CONFIG SET min-replicas-max-lag 10

# If split-brain occurred: identify the stale master
# Compare replication offsets — the master with the higher offset has more data
redis-cli -h master1-ip -a password INFO replication | grep master_repl_offset
redis-cli -h master2-ip -a password INFO replication | grep master_repl_offset

# Force the stale master to become a replica
redis-cli -h stale-master-ip -a password REPLICAOF correct-master-ip 6379

দৃশ্যকল্প 3: নেটওয়ার্ক পার্টিশনের পরে সম্পূর্ণ রিসিঙ্ক স্টর্ম

# Diagnosis: check replication backlog
redis-cli -a password INFO replication | grep repl_backlog
# If repl_backlog_first_byte_offset is ahead of replica's offset, full sync triggers

# Prevention: increase backlog size
redis-cli -a password CONFIG SET repl-backlog-size 512mb

# Monitor for full syncs
redis-cli -a password INFO stats | grep sync_full
redis-cli -a password INFO stats | grep sync_partial_ok
redis-cli -a password INFO stats | grep sync_partial_err

দৃশ্যকল্প 4: স্মৃতি ক্লান্তি এবং OOM কিল

# Diagnosis
redis-cli -a password INFO memory
# Check: used_memory vs maxmemory, mem_fragmentation_ratio

redis-cli -a password MEMORY DOCTOR
# Returns advice on memory issues

# Prevention: set proper maxmemory and eviction
redis-cli -a password CONFIG SET maxmemory 12gb
redis-cli -a password CONFIG SET maxmemory-policy allkeys-lru

# Find large keys consuming memory
redis-cli -a password --bigkeys
redis-cli -a password --memkeys --memkeys-samples 100

# Emergency: manually evict keys
redis-cli -a password SCAN 0 COUNT 1000 TYPE string
# Identify and DEL unnecessary large keys

দৃশ্যকল্প 5: স্লো কমান্ড ব্লকিং রেপ্লিকেশন

# Diagnosis: check slowlog
redis-cli -a password SLOWLOG GET 20
redis-cli -a password SLOWLOG LEN

# Check for blocking commands
redis-cli -a password CLIENT LIST | grep -E 'cmd=(keys|sort|smembers)'

# Prevention: configure slowlog threshold
redis-cli -a password CONFIG SET slowlog-log-slower-than 10000   # 10ms
redis-cli -a password CONFIG SET slowlog-max-len 256

# Rename dangerous commands
rename-command KEYS ""              # Disable KEYS entirely
rename-command FLUSHALL ""          # Disable FLUSHALL
rename-command FLUSHDB ""           # Disable FLUSHDB
rename-command DEBUG ""             # Disable DEBUG

ক্ষমতা পরিকল্পনা এবং স্কেলিং কৌশলগুলি

ক্যাপাসিটি প্ল্যানিংয়ে মেমরির প্রয়োজনীয়তা, নেটওয়ার্ক ব্যান্ডউইথ, এবং মাস্টার এবং রেপ্লিকা নোড জুড়ে CPU ব্যবহার অনুমান করা জড়িত। চারপাশে পরিকল্পনা করার মূল মেট্রিকগুলি হল ডেটাসেটের আকার, প্রতি সেকেন্ডে ক্রিয়াকলাপ, গড় কী/মানের আকার এবং প্রতিলিপি ওভারহেড।

# Capacity estimation formulas

# Memory per node:
#   Base dataset size (use redis-cli DBSIZE and MEMORY USAGE on a sample)
#   + Replication output buffer: ~64MB per replica
#   + AOF rewrite buffer: ~64MB during rewrites
#   + Copy-on-write overhead during BGSAVE: up to 2x during heavy writes
#   + Client output buffers: ~1KB per client
#   + OS overhead: ~1-2GB
#   Rule of thumb: maxmemory = 75% of available RAM

# Network bandwidth:
#   Replication: write_throughput_bytes * num_replicas
#   Client traffic: ops_per_sec * avg_response_size
#   Full sync: dataset_size (one-time during replica bootstrap or failover)

# Example sizing for 20GB dataset, 100K ops/sec:
#   RAM per node: 20GB data + 4GB buffers + 2GB OS = 26GB -> 32GB node (75% = 24GB maxmemory)
#   CPU: 1 core handles ~100K ops/sec for simple commands (GET/SET)
#   Network: 100K ops * 1KB avg = 100MB/s client + 50MB/s replication = 150MB/s per master

# Scaling decision tree:
#   Need more read throughput? -> Add replicas (up to 5 per master)
#   Need more write throughput? -> Redis Cluster (add shards)
#   Need more memory? -> Redis Cluster (distribute dataset across shards)
#   Need lower latency? -> Reduce network hops (co-locate, use unix sockets)
#   Need global distribution? -> Multi-region replication or Redis Enterprise Active-Active

Redis ক্লাস্টার

# Add shards to an existing Redis Cluster

# 1. Start new Redis nodes
redis-server /etc/redis/new-master.conf
redis-server /etc/redis/new-replica.conf

# 2. Add the new master to the cluster
redis-cli --cluster add-node new-master:7000 existing-node:7000 -a password

# 3. Add the new replica to follow the new master
redis-cli --cluster add-node new-replica:7000 existing-node:7000 \
  --cluster-slave --cluster-master-id NEW_MASTER_ID -a password

# 4. Reshard slots to the new master
redis-cli --cluster reshard existing-node:7000 \
  --cluster-from all --cluster-to NEW_MASTER_ID \
  --cluster-slots 4096 --cluster-yes -a password

# 5. Verify the new slot distribution
redis-cli -c -h existing-node -p 7000 -a password CLUSTER SLOTS

# Remove a shard (scale down)
# 1. Reshard all slots away from the node
redis-cli --cluster reshard existing-node:7000 \
  --cluster-from REMOVING_NODE_ID --cluster-to TARGET_NODE_ID \
  --cluster-slots 5461 --cluster-yes -a password

# 2. Remove the empty node
redis-cli --cluster del-node existing-node:7000 REMOVING_NODE_ID -a password

উল্লম্ব স্কেলিং বিবেচনা

# When to scale vertically vs horizontally:

# Scale UP (bigger instances) when:
#   - Dataset fits in single-node memory
#   - Workload uses multi-key operations (MGET, SUNION, Lua across keys)
#   - Operational simplicity is more important than cost efficiency
#   - Using Redis modules that don't support Cluster mode well

# Scale OUT (more shards) when:
#   - Dataset exceeds single-node memory
#   - Write throughput exceeds single-thread capacity (~200K ops/sec)
#   - You need per-shard isolation for multi-tenant workloads
#   - Cost per GB of RAM is a concern (many smaller nodes vs few large ones)

# Cloud instance recommendations:
# AWS:   cache.r7g.xlarge (4 vCPU, 26GB) to cache.r7g.16xlarge (64 vCPU, 419GB)
# Azure: P1 (6GB) to P5 (120GB) per shard
# GCP:   5GB to 300GB per instance (Memorystore Standard)

# Bare metal:
#   CPU: 2-4 cores dedicated to Redis (single-threaded, but background tasks use extra cores)
#   RAM: 32-128GB per node (NVMe for swap-as-last-resort)
#   Network: 10Gbps minimum, 25Gbps for large datasets
#   Storage: NVMe SSD for AOF/RDB persistence (IOPS matters for fsync)

উপসংহার

Redis উচ্চ প্রাপ্যতা একক কনফিগারেশন পছন্দ নয় - এটি একটি বিস্তৃত সিস্টেম ডিজাইন যা রেপ্লিকেশন টপোলজি, ব্যর্থতা সনাক্তকরণ, স্বয়ংক্রিয় ব্যর্থতা, ক্লায়েন্ট কনফিগারেশন, অধ্যবসায় কৌশল, মেমরি ব্যবস্থাপনা, নিরাপত্তা, পর্যবেক্ষণ, এবং অপারেশনাল পদ্ধতিগুলিকে বিস্তৃত করে৷ সঠিক HA আর্কিটেকচার আপনার নির্দিষ্ট প্রয়োজনীয়তার উপর নির্ভর করে।

বেশিরভাগ অ্যাপ্লিকেশনের জন্য,Redis সেন্টিনেলএকটি মাস্টার এবং দুটি প্রতিলিপি পর্যবেক্ষণ করে তিনটি সেন্টিনেল দৃষ্টান্ত 30 সেকেন্ডের মধ্যে স্বয়ংক্রিয় ব্যর্থতার সাথে একটি প্রমাণিত, যুদ্ধ-পরীক্ষিত HA সমাধান প্রদান করে। যখন আপনার একটি একক মাস্টারের থ্রুপুট বা মেমরি ক্ষমতার বাইরে অনুভূমিক স্কেলিং প্রয়োজন হয়, তখনRedis ক্লাস্টারশার্ড প্রতি বিল্ট-ইন ফেইলওভার বজায় রেখে একাধিক শার্ড জুড়ে ডেটাসেট বিতরণ করে। Kubernetes পরিবেশের জন্য,SpotahomeএবংOpsTree-এর মতো অপারেটরগুলি ঘোষণামূলক CRDs-এ অপারেশনাল সেরা অনুশীলনগুলিকে এনকোড করে, যেখানেRedis এন্টারপ্রাইজঅ্যাক্টিভ-রেপ্লিকেশন এবং অ্যাক্টিভ-মডলিকেশন সমর্থন সহ সর্বাধিক বৈশিষ্ট্য সমৃদ্ধ বিকল্প প্রদান করে৷