DS Technologies Inc
Desarrollador Full Stack Desarrollo OpenSearch
Tiempo completo • Fully Remote - US
Sobre nosotros: Somos una empresa que brinda servicios y soluciones de TI innovadores y transformadores. Nos apasiona ayudar a nuestros clientes a alcanzar sus objetivos y superar sus expectativas. Nos esforzamos por brindar la mejor experiencia posible a nuestros clientes y empleados. Estamos comprometidos con la mejora continua y la innovación, y siempre estamos buscando formas de mejorar nuestros servicios y soluciones. Creemos en trabajar en colaboración con nuestros clientes y empleados para lograr el éxito.
DS Technologies Inc está buscando un puesto de desarrollador Full Stack OpenSearch Development para uno de nuestros principales clientes.
Título del puesto: Full Stack Developer OpenSearch Development
Equipo: Desarrollo de OpenSearch
Equipo: Desarrollo de OpenSearch
Tipo de puesto: Contrato
Solo W2
Solo W2
Resumen de roles
El desarrollador / ingeniero de datos de OpenSearch diseñará, construirá y mantendrá canalizaciones de ingesta, transformación e indexación de datos a gran escala que respalden el ecosistema de observabilidad y análisis de T-Mobile. Este rol es responsable de migrar la telemetría de red crítica y los datos de registro de Splunk a OpenSearch, implementar procesos ETL eficientes y garantizar flujos de trabajo de datos seguros, escalables y de alto rendimiento.
El ingeniero colaborará estrechamente con científicos de datos, arquitectos y desarrolladores de aplicaciones para optimizar el rendimiento de la búsqueda, hacer cumplir la gobernanza de datos y reducir los costos operativos, al tiempo que garantiza información confiable y procesable de los datos de la red.
Responsabilidades clave
1. Ingeniería de datos y desarrollo ETL
- Diseñe e implemente procesos ETL (extracción, transformación, carga) para manejar flujos de trabajo complejos de ingesta de datos.
- Desarrolle canalizaciones de datos para recopilar, normalizar y enrutar datos de telemetría y registro de gran volumen desde múltiples fuentes (red, OSS/BSS, sistemas de aplicaciones).
- Migre los conjuntos de datos existentes de Splunk a OpenSearch, garantizando la integridad, la coherencia y la trazabilidad de los datos.
- Optimice el rendimiento de la ingesta y las consultas mediante estrategias de indexación, partición y almacenamiento en caché.
2. Integración y administración de OpenSearch
- Configure, administre y mantenga clústeres de OpenSearch, lo que garantiza la escalabilidad, la tolerancia a errores y la optimización del rendimiento.
- Diseñe e implemente estrategias de indexación y asignaciones para datos de red de gran volumen.
- Implemente políticas de control de acceso, gestión del ciclo de vida de los datos y retención detalladas.
- Cree paneles y visualizaciones de análisis para obtener información operativa, cuando corresponda.
3. Desarrollo de aplicaciones y microservicios
- Desarrolle servicios y utilidades de backend basados en Java que admitan la ingesta de datos, el procesamiento de consultas y las integraciones de API.
- Escriba scripts eficientes y utilidades de automatización utilizando Python, Perl o JavaScript para la orquestación y validación de ETL.
- Desarrolle y mantenga productores/consumidores de Kafka para la transmisión de eventos en tiempo real y el flujo de datos en OpenSearch.
4. Calidad, pruebas e implementación
- Escriba y ejecute pruebas unitarias, de integración y de rendimiento para validar los flujos de trabajo de migración e ingesta de datos.
- Implemente la automatización de CI/CD mediante canalizaciones de GitLab para la compilación, prueba e implementación.
- Implemente servicios y canalizaciones de datos en entornos basados en Linux, lo que garantiza sólidas capacidades de supervisión y reversión.
- Solucione problemas de ingesta o indexación de datos y optimice para obtener una latencia mínima y la máxima confiabilidad.
5. Gobernanza, documentación y colaboración
- Establezca estándares de gobernanza de datos para garantizar que solo se registren y conserven en OpenSearch los datos relevantes y útiles.
- Documente la arquitectura del sistema, las API, los esquemas de datos, los flujos de trabajo ETL y las canalizaciones de implementación.
- El trabajo con arquitectos, científicos de datos y observabilidad conduce a alinear el desarrollo de OpenSearch con objetivos de plataforma más amplios.
- Contribuya a la base de conocimientos del equipo y a las mejores prácticas técnicas para el mantenimiento y la escalabilidad futura.
Habilidades y experiencia requeridas
Habilidades técnicas básicas
Habilidades técnicas básicas
- Lenguajes de programación: Java, Python, JavaScript, Perl
- Ingeniería de datos: Diseño de flujo de trabajo ETL, transformación de datos y administración de canalizaciones de ingesta
- Tecnologías de búsqueda: OpenSearch (o Elasticsearch), ajuste de índices, optimización de consultas, escalado de clústeres
- Streaming: Kafka (productores, consumidores, diseño de esquemas, garantías de entrega)
- Control de versiones y CI/CD: GitLab
- Sistemas operativos: Linux (secuencias de comandos de shell, automatización de la implementación, monitoreo)
Experiencia preferida
- Migración de grandes volúmenes de datos de Splunk a OpenSearch o transiciones de plataforma de observabilidad similares
- Experiencia en la gestión de canalizaciones de ingesta de datos de red al 100 % o sistemas de gestión de registros de alto rendimiento
- Familiaridad con las mejores prácticas de retención de datos y gobernanza para datos de observabilidad
- Comprensión de las operaciones de la red de telecomunicaciones, el monitoreo y las estructuras de datos de telemetría
Habilidades blandas y colaboración
- Fuertes habilidades analíticas y de resolución de problemas para sistemas de datos a gran escala.
- Excelentes habilidades de comunicación y documentación para interactuar con equipos multifuncionales.
- Capacidad para trabajar de forma independiente mientras se mantiene una estrecha colaboración con sus homólogos en tierra y en alta mar.
- Capacidad comprobada para entregar resultados en plazos ajustados en un entorno dinámico.
Resultados de éxito
- Migración exitosa del 100% de los datos de red de Splunk a OpenSearch con continuidad operativa completa.
- Clústeres OpenSearch optimizados que ofrecen un rendimiento de consultas más rápido y una latencia de datos reducida.
- Canalizaciones ETL automatizadas y confiables que mejoran la velocidad del desarrollador y reducen el esfuerzo manual.
- Gobernanza de datos eficaz: solo se registran y conservan los datos útiles y de alto valor.
- Reducción de los costos de licencias e infraestructura a través de la utilización eficiente de OpenSearch.
- Observabilidad e información mejoradas que respaldan el monitoreo proactivo y una resolución de problemas más rápida.
Informes y colaboración
- Reporta al líder de desarrollo de OpenSearch / arquitecto de observabilidad.
- Trabaja en estrecha colaboración con los equipos de Axiom, OneConsole y SRE/Observability.
- Participa en ceremonias ágiles (planificación de sprints, stand-ups, retrospectivas) y revisiones de documentación.
Enfoque de la entrevista
- Diseño de canalización de datos y ETL (arquitectura, rendimiento, manejo de errores, escalado).
- Administración de OpenSearch o Elasticsearch y ajuste del rendimiento.
- Prueba de codificación Java/Python o ejercicio en vivo.
- Escenarios de integración de Kafka y resolución de problemas.
- Discusiones sobre la gobernanza de datos y la estrategia de migración.
Esta es una posición remota.
Somos un empleador con igualdad de oportunidades y todos los candidatos calificados recibirán consideración por el empleo sin distinción de raza, color, religión, sexo, origen nacional, estado de discapacidad, estado de veterano protegido o cualquier otra característica protegida por la ley.
(si ya tienes un currículum en Indeed)