Arquitecto de soluciones/Databricks
Fully Remote - US
Arquitecto de soluciones/Databricks
Tiempo completo • Fully Remote - US
Beneficios:
- Coincidencia 401(k)
- Seguro dental
- Seguro médico
- Tiempo libre remunerado
- Permiso por paternidad
- Seguro de visión
Descripción del puesto:
El Arquitecto de Databricks diseñará, implementará y optimizará nuestra plataforma de data lakehouse empresarial. El candidato ideal será un líder técnico con amplia experiencia en Databricks, arquitecturas de datos en la nube y prácticas modernas de ingeniería de datos.
Responsabilidades clave:
- Diseñar e implementar arquitecturas escalables de data lakehouse utilizando Databricks para soluciones federales de datos.
- Desarrollar y optimizar las canalizaciones de datos de extremo a extremo, asegurando la alineación con los requisitos federales de desempeño, seguridad y cumplimiento. Implementar protocolos de gobernanza y seguridad de datos de acuerdo con normas federales (por ejemplo, FedRAMP, FISMA, NIST, etc.).
- Colaborar estrechamente con los actores federales para recopilar y analizar requisitos y traducirlos en soluciones de datos accionables. Liderar los esfuerzos para integrar Databricks con servicios federales en la nube, incluyendo AWS GovCloud, Azure Government u otras plataformas federales.
- Proporciona experiencia en capacidades de Databricks, incluyendo Delta Lake, Databricks SQL y Apache Spark.
- Optimiza los clústeres de Databricks para obtener eficiencia de costes, alta disponibilidad y rendimiento en un entorno seguro.
- Habilitar análisis avanzados y flujos de trabajo de aprendizaje automático para casos de uso federales, aprovechando herramientas como MLflow y marcos relacionados.
- Desarrollar e implementar soluciones de procesamiento de datos en tiempo real para aplicaciones federales críticas para la misión.
- Mantente actualizado sobre las políticas federales de datos y asegúrate de que las soluciones se ajusten a los estándares y requisitos de cumplimiento pertinentes.
Habilidades mínimas:
- 5–10 años de experiencia en ingeniería de datos, arquitectura de datos o procesamiento distribuido de datos, con al menos 3+ años de experiencia práctica con Databricks.
- Dominio de Databricks, incluyendo Databricks SQL, Delta Lake y la plataforma Lakehouse.
- Experiencia en Apache Spark y marcos de procesamiento de datos distribuidos.
- Conocimientos avanzados de Python, Scala o Java para ingeniería de datos y analítica.
- Experiencia práctica con plataformas en la nube diseñadas para uso federal, como AWS GovCloud, Azure Government o Google Cloud Public Sector.
- Sólido conocimiento de procesos ETL, flujos de trabajo de datos y pipelines de transformación de datos.
- Sólido conocimiento de data lakes, almacenes de datos, modelado de datos y diseño de esquemas.
- Experiencia implementando protocolos de gobernanza y seguridad de datos en entornos regulados.
- Conocimiento de normas federales de cumplimiento, como FISMA, FedRAMP, NIST 800-53 y CMMC (Certificación del Modelo de Madurez en Ciberseguridad).
- Experiencia en la protección de la arquitectura de datos para agencias federales, incluyendo las mejores prácticas de cifrado y control de acceso.
- Conocimientos avanzados con SQL para consultar y gestionar grandes conjuntos de datos en bases de datos relacionales.
- Familiaridad con bases de datos NoSQL y sus casos de uso.
- Capacidad demostrada para liderar equipos multifuncionales en la entrega de soluciones de datos complejas.
- Sólidas habilidades interpersonales y de comunicación para interactuar con los actores federales y alinear las soluciones técnicas con los objetivos de la misión.
- Experiencia formando y mentorizando a equipos técnicos sobre las mejores prácticas de Databrick.
Habilidades preferidas
- Experiencia en pipelines CI/CD y despliegue de flujos de trabajo y notebooks Databricks.
- Experiencia con herramientas de Infraestructura-como-Código (IaC) como Terraform, CloudFormation o plantillas ARM.
- Sólido conocimiento de las canalizaciones de aprendizaje automático y de la operacionalización de modelos en Databricks MLflow.
- Familiaridad con frameworks de IA/ML como TensorFlow, PyTorch o Scikit-learn.
- Experiencia con streaming de datos en tiempo real usando Kafka, Azure Event Hubs o AWS Kinesis.
- Conocimiento de otras herramientas y frameworks de Big Data como Hadoop, Flink o Elasticsearch.
- Experiencia con análisis en tiempo real y arquitecturas orientadas a eventos en sistemas críticos para la misión.
- Capacidad para trabajar en entornos altamente regulados con partes interesadas federales.
- Experiencia en la gestión de múltiples prioridades, cumplimiento de plazos y adaptación a las necesidades cambiantes de los clientes.
- Experiencia en la preparación de documentación técnica, informes y presentaciones adaptadas a audiencias federales.
- Certificaciones avanzadas de Databricks (por ejemplo, Ingeniero de Datos Profesional Certificado en Databricks).
- Certificaciones en estándares federales de nube y ciberseguridad (por ejemplo, AWS Certified Security – Specialty, CCSP, CISSP o CISM).
- Elegibilidad para autorización de Confianza Pública (o superior); Experiencia previa con clientes federales.
Este es un puesto remoto.
Quiénes somos
Somos un integrador de sistemas líder y estamos a la vanguardia de las nuevas tecnologías exponenciales, como la inteligencia artificial, la RPA y el Internet de las cosas. Ayudamos a los clientes a diseñar el estado futuro de su negocio utilizando soluciones digitales en la nube, y luego hacemos ES REAL.
Agility Technologies Inc. está registrada en 8(a) SBA, GSA Schedule 70, propiedad de minorías, una pequeña empresa que se especializa en la implementación de la nube para agencias federales y clientes comerciales. Somos expertos en Planificación Estratégica de TI y Transformación Digital, Lean EA y BPM, IV&V, Desarrollo de Aplicaciones y Gestión de Programas.
Las formas en que las empresas pueden aprender y adaptarse a la crisis actual influirán profundamente en su desempeño en el mundo cambiante del mañana, brindando la oportunidad de mantener una mayor agilidad, así como vínculos más estrechos con clientes, empleados y proveedores. Ahora es el momento de avanzar con las iniciativas digitales mediante la adopción de tecnologías de próxima generación.
NUESTROS VALORES
Agility Technologies, como su nombre indica, es una organización ágil que ha creado una comunidad cohesionada con una cultura común. Las normas culturales se refuerzan a través del comportamiento positivo de los compañeros y la influencia en un entorno de alta confianza. Contamos con solucionadores de problemas creativos con habilidades de pensamiento crítico que son resilientes y probados en batalla. Los miembros de nuestro equipo siempre están invitados a compartir sus ideas con el grupo a través de sesiones de Brown bag para que se produzca el máximo rendimiento. Creemos que para minimizar el riesgo y tener éxito en un entorno en constante evolución, la mejor manera es aceptar la incertidumbre y ser el más rápido y productivo al probar cosas nuevas.
(si ya tienes un currículum en Indeed)