DevOps
РФУдалённо
KubernetesDockerDevSecOpsTerraformSparkAnsibleVPNVPCAWS EMRGoogle DataprocSecurity GroupsYandex Data Proc
Описание
Требования
- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR)
- Владение Terraform или Ansible, настройка VPC, VPN, Security Groups между Greenplum и Spark
- Docker/Kubernetes
- Архитектура Greenplum и способы интеграции/выгрузки (gpfdist, PXF, JDBC)
- Архитектура Spark (Driver, Executor, History Server), управление ресурсами, оркестрация в Apache Airflow
- Форматы Parquet, ORC, Avro
- CI/CD & Monitoring: Prometheus, Grafana, ELK для Spark-джобов
- Настройка GitLab CI / Jenkins
- Скриптинг: Python (PySpark) или Scala для инфраструктуры/отладки, Bash
Процесс отбора
- Писать сразу с резюме в ТГ
- Нужно сегодня