Ingeniero de plataforma Databricks
Fully Remote - US
Ingeniero de plataforma Databricks
Tiempo completo • Fully Remote - US
Beneficios:
- Coincidencia 401(k)
- Seguro dental
- Seguro médico
- Tiempo libre remunerado
- Permiso por paternidad
- Seguro de visión
Descripción del puesto:
El Ingeniero de Plataforma Databricks construirá, mantendrá y optimizará la infraestructura de la empresa de data lakehouse. El candidato ideal tendrá sólidas habilidades en DevOps e ingeniería de datos, con experiencia en automatizar las operaciones de la plataforma Databrick, garantizar la fiabilidad y permitir que los equipos de datos aprovechen la plataforma de forma eficiente. Serás responsable de la provisión de plataformas, la monitorización, la optimización de costes y el soporte técnico para Databricks
cargas de trabajo.
Responsabilidades clave incluyen
- Construir y mantener la infraestructura de espacios de trabajo de Databricks en entornos de desarrollo, staging y producción
- Diseñar, implementar y mantener plataformas Databricks en entornos cloud (Azure, AWS o GCP), garantizando escalabilidad, fiabilidad y eficiencia en costes. Gestionar y optimizar clústeres de Databricks, incluyendo autoescalado, asignación de recursos, monitorización y resolución de problemas.
- Supervisa el despliegue y la configuración de los espacios de trabajo de Databricks, incluyendo la gestión de usuarios, los controles de acceso y las políticas del espacio de trabajo.
- Colaborar con equipos de infraestructura y DevOps para implementar pipelines CI/CD para desplegar flujos de trabajo y notebooks de Databricks. Supervisa y gestiona el rendimiento, el registro y la salud del sistema de la plataforma Databricks. Implementar medidas sólidas de seguridad y gobernanza de los datos en cumplimiento de las políticas y estándares organizativos.
- Trabajar con equipos multifuncionales para solucionar problemas relacionados con la plataforma.
- Automatiza tareas repetitivas, como aprovisionamiento, actualizaciones y escalado, utilizando herramientas de Infraestructura como Código (IaC) como Terraform o CloudFormation.
- Capacitar a los ingenieros de datos y científicos de datos proporcionando soporte para integrar Databricks con diversas fuentes y herramientas de datos.
- Mantente al día con las últimas funciones, actualizaciones y mejores prácticas de Databricks para asegurarte de que la plataforma responde a las necesidades empresariales en evolución.
Habilidades mínimas:
- 5+ años de experiencia en ingeniería de plataformas, infraestructura cloud o operaciones de TI, con 2+ años de experiencia práctica gestionando entornos Databricks.
- Sólido conocimiento de la administración de Databricks, incluyendo configuración de clústeres, gestión de espacios de trabajo y orquestación de trabajos.
- Competencia en Apache Spark para procesamiento distribuido de datos.
- Experiencia práctica con plataformas en la nube (Azure Government, AWS GovCloud o GCP Public Sector).
- Dominio de scripts y automatización con Python, Bash o PowerShell.
- Experiencia con herramientas de Infraestructura como Código (IaC) como Terraform, CloudFormation o plantillas ARM.
- Sólido conocimiento de conceptos de redes en la nube, como VPCs, subredes, grupos de seguridad y endpoints privados.
- Familiarización con los marcos federales de cumplimiento, incluyendo FedRAMP, FISMA, NIST 800-53 y CMMC.
- Experiencia en la implementación de mejores prácticas de seguridad de datos, como RBAC, cifrado (en reposo y en tránsito) y registro de auditorías.
- Capacidad para configurar y utilizar herramientas de monitorización y registro (por ejemplo, Datadog, AWS CloudWatch o Azure Monitor) para garantizar la estabilidad de la plataforma.
- Competencia en el diagnóstico y resolución del rendimiento de clústeres, fallos laborales y otros problemas técnicos.
Habilidades preferidas
- Certificación de Asociado Certificado o Administrador de Plataforma de Databricks
- Conocimiento de la administración del Catálogo Unity e implementación de la gobernanza de datos
- Experiencia en estrategias de optimización de costes para Databricks, incluyendo una asignación eficiente de recursos, autoescalado y gestión de cargas de trabajo.
- Conocimientos avanzados de optimización del rendimiento para clústeres Databricks y trabajos de Spark.
- Implementación de controles de acceso detallados y enmascaramiento de datos para cumplir con los estándares federales de protección de datos.
- Experiencia en la implementación de políticas de inicio de sesión único (SSO), autenticación multifactor (MFA) y retención de datos para entornos seguros.
- Experiencia práctica en la creación de scripts de automatización para la provisión, monitorización y mantenimiento de plataformas.
- Familiaridad con frameworks y herramientas de automatización que se integran con plataformas en la nube (por ejemplo, AWS Lambda, Azure Logic Apps, Google Cloud Functions).
- Conocimiento de pipelines ETL/ELT y experiencia integrando Databricks con soluciones de almacenamiento de datos como Redshift, Snowflake o BigQuery.
- Familiaridad con tecnologías de streaming de datos en tiempo real, como Kafka, AWS Kinesis o Azure Event Hubs
- Certificaciones federales en la nube como AWS Certified Solutions Architect – Associate/Professional, Azure Administrator Associate o Google Cloud Associate Cloud Engineer.
- Elegibilidad para autorización de Confianza Pública (o superior); Experiencia previa con clientes federales.
Este es un puesto remoto.
Quiénes somos
Somos un integrador de sistemas líder y estamos a la vanguardia de las nuevas tecnologías exponenciales, como la inteligencia artificial, la RPA y el Internet de las cosas. Ayudamos a los clientes a diseñar el estado futuro de su negocio utilizando soluciones digitales en la nube, y luego hacemos ES REAL.
Agility Technologies Inc. está registrada en 8(a) SBA, GSA Schedule 70, propiedad de minorías, una pequeña empresa que se especializa en la implementación de la nube para agencias federales y clientes comerciales. Somos expertos en Planificación Estratégica de TI y Transformación Digital, Lean EA y BPM, IV&V, Desarrollo de Aplicaciones y Gestión de Programas.
Las formas en que las empresas pueden aprender y adaptarse a la crisis actual influirán profundamente en su desempeño en el mundo cambiante del mañana, brindando la oportunidad de mantener una mayor agilidad, así como vínculos más estrechos con clientes, empleados y proveedores. Ahora es el momento de avanzar con las iniciativas digitales mediante la adopción de tecnologías de próxima generación.
NUESTROS VALORES
Agility Technologies, como su nombre indica, es una organización ágil que ha creado una comunidad cohesionada con una cultura común. Las normas culturales se refuerzan a través del comportamiento positivo de los compañeros y la influencia en un entorno de alta confianza. Contamos con solucionadores de problemas creativos con habilidades de pensamiento crítico que son resilientes y probados en batalla. Los miembros de nuestro equipo siempre están invitados a compartir sus ideas con el grupo a través de sesiones de Brown bag para que se produzca el máximo rendimiento. Creemos que para minimizar el riesgo y tener éxito en un entorno en constante evolución, la mejor manera es aceptar la incertidumbre y ser el más rápido y productivo al probar cosas nuevas.
(si ya tienes un currículum en Indeed)