Kubernetes для Machine Learning: развёртывание, масштабирование и управление рабочими нагрузками

Применение машинного обучения в разработке и DevOps по-прежнему отстаёт, в основном из-за сложности оркестрации. Kubernetes для ML помогает справиться с этими трудностями, предоставляя единую платформу для эффективного управления нагрузками машинного обучения. В этом руководстве вы найдёте инструкции по развертыванию ML-моделей, настройке авто-масштабирования, управлению ресурсами и мониторингу рабочих процессов.

В этом руководстве под термином сервер мы имеем в виду выделенный сервер с GPU, подходящий для запуска ML-нагрузок, включая обучение и инференс. GPU-контейнерам нужен прямой доступ к графическому ускорителю, а обычный VPS без проброса GPU (passthrough) или vGPU его не даёт.

Зачем использовать Kubernetes для машинного обучения?

На практике Kubernetes уже доказал свою эффективность в решении следующих задач:

• Управление зависимостями в различных средах.
• Гибкое масштабирование ML-моделей под нагрузку.
• Эффективное распределение и использование GPU-ресурсов.
• Сбор логов и мониторинг процессов оркестрации.

Вот ключевые преимущества использования Kubernetes для задач машинного обучения:

• Гибкое масштабирование ресурсов с помощью Horizontal и Vertical Pod Autoscaler.
• Надёжные и воспроизводимые результаты, благодаря выполнению контейнеров в контролируемых окружениях.
• Оптимизированное планирование задач и использование GPU.
• Интеграция Kubeflow и Tekton для автоматизации и упрощения оркестрации ML-пайплайнов.

Руководство по Kubernetes и ML

Kubernetes стал мощным инструментом для управления ML-нагрузками в масштабируемых средах. Прежде чем переходить к стратегиям масштабирования и развёртывания, начнём с базовой подготовки.

Настройка Kubernetes для рабочих нагрузок ML

Подготовка кластера Kubernetes для машинного обучения требует индивидуальной настройки рабочих узлов, сети и управления ресурсами. Такой подход позволяет создать гибкую, автономную и экономически эффективную среду, в которой ML-инженер может сосредоточиться на создании моделей, а не на техническом обслуживании.

Эффективность повышается при развертывании Kubernetes на серверах с GPU или в облачных платформах вроде AWS, GCP и Azure. 

Ниже представлены основные компоненты, которые настраиваются по умолчанию при запуске Kubernetes для ML-задач:

• Master Node (главный узел): отвечает за управление кластером, включая планирование задач и обработку API-запросов.
• Worker Nodes (рабочие узлы): выполняют задачи машинного обучения, управляют контейнерами и масштабируют рабочие нагрузки.
• Сетевая конфигурация: обеспечивает связь между подами, сервисами и системами хранения.
• Интеграция хранилищ: предоставляет постоянное хранилище для больших датасетов через тома или внешние хранилища.

Kubernetes значительно упрощает управление ресурсами, позволяя разворачивать модели машинного обучения с минимальными усилиями по настройке инфраструктуры.

Необходимые условия

Перед тем как приступить, убедитесь, что у вас есть:

• Аккаунт у хостинг-провайдера арендованного сервера с соответствующими правами.
• Пара SSH-ключей для доступа к серверам.
• Базовое понимание команд Linux.

Развёртывание Kubernetes с помощью Kubeadm на сервере за 4 шага

Чтобы запустить кластер Kubernetes на сервере с использованием Kubeadm, важно соблюдать последовательность действий. 

Для начала подготовьте как минимум два сервера (один — master, второй — worker) с рекомендуемыми параметрами:

• ОС: Ubuntu 24.04 LTS
• vCPU: 4
• RAM: 16 ГБ
• Хранилище: 80 ГБ SSD
• Сетевые порты: между узлами должны быть доступны порты Kubernetes и Calico из шага 1

Это базовое руководство по настройке сервера и развертыванию кластера Kubernetes с помощью Kubeadm для выполнения ML-нагрузок.

Шаг 1: запуск серверов

Начните с выбора операционной системы — Ubuntu 24.04 LTS.

Выбор конфигурации инстанса. Рекомендуемые минимальные параметры:

• vCPU: 4
• RAM: 16 ГБ
• Хранилище: 80 ГБ SSD

Настройка правил брандмауэра. Откройте следующие порты:

• Master-узел: 6443/TCP — сервер API Kubernetes, 2379–2380/TCP — etcd, 10250/TCP — API kubelet, 10257/TCP — kube-controller-manager, 10259/TCP — kube-scheduler
• Worker-узлы: 10250/TCP — API kubelet, 10256/TCP — kube-proxy, 30000–32767/TCP и UDP — сервисы NodePort
• Все узлы (сеть Calico): 179/TCP — BGP и IP-протокол 4 (IP-in-IP) между узлами

Назначение SSH-ключа. Создайте новую пару SSH-ключей или используйте существующую для доступа к серверу.

Запуск нескольких серверов. Необходимо запустить как минимум два сервера — один в роли мастера, второй — воркера

Рассматриваете облачный хостинг? Ознакомьтесь с нашим руководством, чтобы выбрать оптимальный вариант для ваших задач машинного обучения.

Шаг 2: установка компонентов Kubernetes

Убедитесь, что приватный ключ имеет корректные права доступа:

chmod 600 /path/to/private_key

Подключение к серверу по SSH:

ssh -i /path/to/private_key ubuntu@server-ip

Команды ниже выполните на каждом узле (master и worker). Обновление системы и установка зависимостей:

sudo apt update && sudo apt upgrade -y
sudo apt install -y apt-transport-https ca-certificates curl gpg

Отключите swap (по умолчанию kubelet не запускается при включённом swap) и включите IP-форвардинг:

sudo swapoff -a
sudo sed -i '/\sswap\s/ s/^/#/' /etc/fstab
echo 'net.ipv4.ip_forward = 1' | sudo tee /etc/sysctl.d/k8s.conf
sudo sysctl --system

Установка среды выполнения контейнеров. Kubernetes больше не работает с Docker Engine напрямую (dockershim удалён в версии 1.24), поэтому кластеру нужна CRI-совместимая среда, например containerd. Kubernetes v1.37 требует containerd 2.3 или новее, а в репозиториях Ubuntu 24.04 лежит containerd 1.7, поэтому установите пакет containerd.io из репозитория Docker:

sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt update
sudo apt install -y containerd.io

Сгенерируйте стандартный конфиг containerd (он заодно включает CRI-плагин) и переключите containerd на драйвер cgroup systemd:

containerd config default | sudo tee /etc/containerd/config.toml > /dev/null
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sudo systemctl restart containerd

Установка компонентов Kubernetes. Подключите официальный APT-репозиторий Kubernetes (pkgs.k8s.io) и установите kubeadm, kubelet и kubectl. В руководстве используется Kubernetes v1.37 — последняя минорная версия на момент написания. Каждый репозиторий содержит пакеты только одной минорной версии, поэтому для установки другой поддерживаемой версии замените v1.37 в обоих URL:

curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.37/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
sudo systemctl enable --now kubelet

Шаг 3: инициализация кластера Kubernetes

Сначала настройте главный узел (master). На мастере выполните команду:

sudo kubeadm init --pod-network-cidr=192.168.0.0/16

Настройка kubectl для работы на master-узле:

Установка сетевого плагина (Calico). Манифест ниже — для Calico v3.33.0; актуальную версию проверьте в документации Calico:

kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.33.0/manifests/calico.yaml

Шаг 4: подключение рабочих узлов

Сначала сгенерируйте команду подключения на master-узле:

kubeadm token create --print-join-command

Скопируйте вывод команды и выполните его на worker-узле:

sudo kubeadm join <master-node-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>

Проверка подключения узлов в кластере (на master-узле):

kubectl get nodes

Развёртывание ML-модели в Kubernetes

Ниже приведены YAML-файлы, необходимые для развёртывания ML-нагрузки (на примере TensorFlow Serving) в вашем кластере Kubernetes.

1. Создайте Deployment (файл ml-model-deployment.yaml)

Этот deployment запускает контейнер с TensorFlow Serving и предобученной ML-моделью. TensorFlow Serving загружает модель, указанную в MODEL_NAME, из каталога /models/<MODEL_NAME>. Запрос CPU (requests) также нужен для автомасштабирования, которое мы настроим ниже:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ml-model
  labels:
    app: ml-model
spec:
  replicas: 1
  selector:
    matchLabels:
      app: ml-model
  template:
    metadata:
      labels:
        app: ml-model
    spec:
      containers:
        - name: ml-model
          image: tensorflow/serving:latest
          env:
            - name: MODEL_NAME
              value: my_model
          ports:
            - containerPort: 8501
          resources:
            requests:
              cpu: "500m"
              memory: "512Mi"
            limits:
              cpu: "2"
              memory: "2Gi"
          volumeMounts:
            - name: model-storage
              mountPath: /models
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            claimName: ml-model-pvc

 2. Откройте доступ к модели через сервис (файл ml-model-service.yaml)

Создайте NodePort-сервис для обращения к ML-модели:

apiVersion: v1
kind: Service
metadata:
  name: ml-model-service
spec:
  type: NodePort
  selector:
    app: ml-model
  ports:
    - protocol: TCP
      port: 8501
      targetPort: 8501
      nodePort: 30050

3. Создайте персистентный том для хранения модели (файл ml-model-pv.yaml):

Том hostPath использует локальный диск того узла, на котором запущен под, поэтому положите экспортированную модель SavedModel в каталог /mnt/ml-models/my_model/1/ на этом узле (в продакшене используйте сетевое хранилище).

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ml-model-pv
spec:
  storageClassName: ""
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  hostPath:
    path: "/mnt/ml-models"

4. Опишите запрос к персистентному тому (файл ml-model-pvc.yaml):

Позволяет развертыванию получить доступ к постоянному тому.

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ml-model-pvc
spec:
  storageClassName: ""
  volumeName: ml-model-pv
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

5. Примените все конфигурации

Выполните следующие команды для запуска модели:

После развёртывания проверьте запущенные поды и сервисы:

kubectl get podskubectl get services

Вы можете получить доступ к модели по адресу:

http://<SERVER-PUBLIC-IP>:30050/v1/models/my_model

Такое развёртывание позволяет использовать TensorFlow Serving с постоянным хранилищем в Kubernetes.

Для повышения надёжности развертывания Kubernetes поддерживает различные стратегии, включая blue-green, A/B-тестирование и rolling updates. Рекомендуется изучить эти подходы к развертыванию Kubernetes для продакшн-сред. 

Настройка автоматического масштабирования для ML-нагрузок

Нагрузки в машинном обучении часто имеют плавающие требования к ресурсам, поэтому масштабирование играет ключевую роль. Для этого в Kubernetes есть Horizontal Pod Autoscaler (HPA), который меняет количество подов в зависимости от загрузки CPU и памяти, и Vertical Pod Autoscaler (VPA, устанавливается отдельно как дополнение), который корректирует запросы CPU и памяти отдельных подов.

Такой подход позволяет не только удерживать необходимую производительность, но и избежать перерасхода ресурсов.

Автоматическое масштабирование работает на основе системы мониторинга — это позволяет масштабировать инфраструктуру в реальном времени, ориентируясь на заданные метрики. Для ML-сервисов, у которых могут неожиданно вырасти запросы, это особенно полезно.

Вот краткий обзор возможностей масштабирования в Kubernetes:

• Horizontal Pod Autoscaler (HPA): изменяет количество реплик пода в зависимости от загрузки по CPU, памяти и другим метрикам.
• Vertical Pod Autoscaler (VPA): автоматически корректирует выделение ресурсов (CPU, память) для пода в зависимости от его фактического потребления.
• Cluster Autoscaler: увеличивает или уменьшает количество worker-нод в зависимости от общей загрузки кластера.

Автоматизация масштабирования в Kubernetes позволяет снизить расходы на инфраструктуру без ущерба для производительности — что особенно важно при работе с ML-нагрузками в условиях переменной нагрузки.

ML-модели часто требуют разного объёма ресурсов на разных этапах, и использование HPA позволяет гибко масштабировать сервис в зависимости от текущих потребностей.

Ознакомьтесь с руководством по горизонтальному и вертикальному масштабированию, чтобы понять различия между HPA и VPA и выбрать подходящую стратегию для своей ML-среды.

Ниже приведён пример конфигурации HPA, который масштабирует деплоймент ml-model при превышении 70% средней загрузки CPU.

HPA получает данные о загрузке CPU через Metrics API, а kubeadm его не устанавливает. Сначала разверните metrics-server. В кластере kubeadm сертификаты kubelet по умолчанию самоподписанные, поэтому для тестового кластера добавьте флаг --kubelet-insecure-tls (в продакшене вместо этого включите подписанные сертификаты kubelet):

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
kubectl patch deployment metrics-server -n kube-system --type=json -p '[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'
# подождите около минуты, пока соберутся метрики, затем проверьте:
kubectl top nodes

Создайте файл ml-model-hpa.yaml в том же namespace, что и deployment:

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: ml-model-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: ml-model
  minReplicas: 1
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 70

Примените его:

kubectl apply -f ml-model-hpa.yaml

Проверка статуса:

kubectl get hpa

Управление ресурсами для эффективного выполнения ML-задач

Задачи машинного обучения, как правило, интенсивно потребляют ресурсы — особенно CPU, память и GPU. В Kubernetes использование параметров запросов (requests) и лимитов (limits) помогает оптимизировать исполнение ML-нагрузок. Следование принципам грамотного распределения ресурсов позволяет обеспечить равномерную загрузку, избежать истощения ресурсов и перераспределения нагрузки между задачами.

Лучшие практики управления ресурсами:

• Управление памятью и ограничение CPU. Настройка лимитов и запросов позволяет сбалансировать использование ресурсов и избежать перегрузки нод.
• Эффективное использование GPU. Важно правильно задействовать GPU во время обучения, инференса и сложных вычислений, чтобы получить максимум производительности.
• Taints и affinity на нодах. Назначение отдельных задач на специфические узлы позволяет оптимально использовать ресурсы и обеспечить нужную изоляцию.
• Ограничения по ресурсам в namespace. Использование капов на ресурсы внутри namespace предотвращает «монополизацию» ресурсов одной задачей.
• Очередность задач. Высокоприоритетным ML-задачам следует предоставлять ресурсы в первую очередь, снижая доступность для менее критичных процессов.

Эти принципы позволяют запускать ML-модели с минимальными задержками и максимальной производительностью. Правильное распределение ресурсов предотвращает неэффективное использование GPU и перегрузку узлов.

Пример конфигурации с запросами и лимитами ресурсов:

resources:
  requests:
    cpu: "500m"
    memory: "512Mi"
  limits:
    cpu: "2"
    memory: "2Gi"

С учётом автоматического масштабирования и встроенных возможностей по управлению ресурсами, Kubernetes становится отличной платформой для контейнеризированных ML-сред. Он поддерживает сложные сценарии — от сервинга моделей до распределённого обучения и пайплайнов обработки данных.

Мониторинг и логи ML в Kubernetes

Мониторинг ML-нагрузок позволяет убедиться, что модели работают эффективно, а сбои оперативно обнаруживаются. Для мониторинга обычно используют Prometheus и Grafana, а для логирования — стек EFK (Elasticsearch, Fluent Bit или Fluentd, Kibana).

Надёжность, производительность и своевременное устранение ошибок в задачах машинного обучения напрямую зависят от наличия систем мониторинга и логирования. Kubernetes предлагает как встроенные механизмы наблюдаемости, так и возможность интеграции с внешними сервисами для отслеживания состояния моделей, обучающих задач и инференс-сервисов.

Подходы к наблюдаемости ML-нагрузок в Kubernetes:

• Настройка ограничений ресурсов. Указывайте requests и limits на CPU, память и GPU, чтобы предотвратить перегрузку кластера ML-задачами.
• Логирование всех событий обучения и инференса. Сохраняйте логи во время обучения моделей и их использования — это помогает в отладке и анализе проблем.
• Пользовательские метрики для ML. Настраивайте метрики, специфичные для ML-приложений — например, точность модели, задержку инференса или пропускную способность запросов.
• Хранение логов с сохранностью. Используйте централизованное и долговременное хранение логов, чтобы отслеживать изменения и глубже анализировать сбои.

Важные компоненты мониторинга ML-нагрузок в Kubernetes

Сбор показателей производительности

Kubernetes предоставляет метрики использования ресурсов — CPU, памяти и GPU — которые играют ключевую роль в эффективном мониторинге ML-нагрузок. Для сбора данных в реальном времени о работе подов и нод обычно используется Prometheus.

Визуализация трендов и проблем с производительностью выполняется с помощью интерактивных дашбордов Grafana.

Отслеживание и анализ сбоев

Логи с разных подов и нод можно собирать и анализировать через стек EFK (Elasticsearch, Fluent Bit или Fluentd, Kibana).

Для централизации логов также подходят облачные решения: AWS CloudWatch, GCP Cloud Logging и Azure Monitor.

Интерфейсы уведомлений о сбоях

Prometheus в связке с Alertmanager может отправлять уведомления при превышении заданных порогов, например, при всплесках загрузки CPU, утечках памяти или сбоях моделей.

Уведомления могут оперативно направляться в Slack, PagerDuty или по email, чтобы команда сразу узнала о критических событиях.

Пошаговая установка инструментов мониторинга и логирования

Шаг 1: Установка Prometheus и Grafana

Используйте ветку kube-prometheus, которая поддерживает вашу версию Kubernetes (release-0.19 подходит для Kubernetes 1.35–1.37). CRD применяются через server-side apply, потому что они слишком велики для обычного apply:

git clone --depth 1 --branch release-0.19 https://github.com/prometheus-operator/kube-prometheus.git
cd kube-prometheus
kubectl apply --server-side -f manifests/setup
kubectl wait --for condition=Established --all CustomResourceDefinition --namespace=monitoring
kubectl apply -f manifests/

Шаг 2: Установка стека EFK для логирования

Старое дополнение fluentd-elasticsearch удалено из репозитория Kubernetes, а Elastic рекомендует запускать Elasticsearch и Kibana в Kubernetes через оператор ECK. Elasticsearch хранит данные на постоянном томе, поэтому в кластере нужен StorageClass по умолчанию — в «голом» кластере kubeadm можно использовать local-path-provisioner. Установите Helm, провайдер хранилища, оператор ECK, а также Elasticsearch и Kibana:

curl -fsSL https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-4 | bash
kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.37/deploy/local-path-storage.yaml
kubectl patch storageclass local-path -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
helm repo add elastic https://helm.elastic.co
helm repo update
helm install elastic-operator elastic/eck-operator -n elastic-system --create-namespace
helm install eck-stack elastic/eck-stack -n elastic-stack --create-namespace

Затем настройте отправку логов контейнеров через Fluent Bit — лёгкий сборщик логов из проекта Fluentd. Создайте файл fluent-bit-values.yaml, чтобы логи уходили в кластер Elasticsearch, созданный ECK:

env:
  - name: ES_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elasticsearch-es-elastic-user
        key: elastic
config:
  outputs: |
    [OUTPUT]
        Name               es
        Match              kube.*
        Host               elasticsearch-es-http
        Port               9200
        HTTP_User          elastic
        HTTP_Passwd        ${ES_PASSWORD}
        tls                On
        tls.verify         Off
        Logstash_Format    On
        Suppress_Type_Name On
        Replace_Dots       On
        Retry_Limit        False

Установите Fluent Bit в тот же namespace (пароль Elasticsearch он берёт из секрета, который создаёт ECK):

helm repo add fluent https://fluent.github.io/helm-charts
helm repo update
helm install fluent-bit fluent/fluent-bit -n elastic-stack -f fluent-bit-values.yaml

Шаг 3: Проверьте, что компоненты Prometheus и логирования работают

kubectl get pods -n monitoring
kubectl get pods -n elastic-stack

Чтобы открыть Kibana, пробросьте её порт и войдите под пользователем elastic с паролем из секрета ECK:

kubectl get secret elasticsearch-es-elastic-user -n elastic-stack -o jsonpath='{.data.elastic}' | base64 -d
kubectl port-forward -n elastic-stack svc/eck-stack-eck-kibana-kb-http 5601

Kibana откроется по адресу https://localhost:5601 на машине, где вы запускаете kubectl. Чтобы открыть её на своём компьютере, подключитесь к серверу с пробросом порта по SSH (например, ssh -L 5601:localhost:5601 ubuntu@server-ip).

После этого вы сможете отслеживать состояние ML-нагрузок, выявлять узкие места и своевременно реагировать на критические инциденты.

Заключение

Kubernetes для машинного обучения — это мощный и гибкий инструмент, который помогает решать задачи, связанные с управлением ML-нагрузками. Он закрывает ключевые аспекты — от автоматизации и масштабирования до эффективного распределения ресурсов. Команды, работающие с ML, могут использовать Kubernetes для развёртывания, масштабирования и мониторинга сложных рабочих процессов с минимальными простоями и оптимальным использованием инфраструктуры.

Благодаря интеграции с Prometheus, поддержке Horizontal Pod Autoscaler и планированию с учётом GPU-нагрузок, Kubernetes формирует целостную и масштабируемую инфраструктуру для выполнения ML-задач — от обучения до инференса.

По мере роста сложности моделей и увеличения требований бизнеса, организациям, стремящимся автоматизировать и оптимизировать ML-инфраструктуру, не обойтись без Kubernetes. А рекомендации из этого материала помогут командам строить надёжные, масштабируемые и продуктивные системы машинного обучения.