Inter-American Development Bank (IDB)

Consultoría En Science Y Scraping Data Para La División De Energía

Inter-American Development Bank (IDB)

Job Description

 

Consultoría en “Science y Scraping” Data para la División de Energía

 

Contexto de la búsqueda:

La División de Energía (INE /ENE) del Banco Interamericano de Desarrollo (BID) está buscando un profesional con experiencia en Data Science, preferiblemente con conocimiento de Data Scraping para desarrollar un mecanismo de levantamiento de datos, en parte o completamente compatible con técnicas de data scraping para recopilar, analizar, consolidar y cargar datos de varias fuentes, principalmente información financiera pública de empresas del sector eléctrico en América Latina y el Caribe.

El BID espera que el desarrollo de este mecanismo sea a través del uso de las últimas técnicas y tecnologías digitales disponibles, el cual debe ser fácil de actualizar y mantener (añadir/eliminar fuentes y elementos de datos, actualizar enlaces a fuentes de datos, etc.) ya sea por personal del BID, por un consultor o firma externa.

La misión del equipo: El BID cuenta con la División de Energía (INE/ENE), con el fin de apoyar y desarrollar conocimiento en el sector de energía en América Latina y el Caribe (LAC). INE/ENE es una división funcional del Sector de Infraestructura y Energía (INE/INE), bajo la Vicepresidencia de Sectores y Conocimiento (VPS/VPS); y está encargada del desarrollo de análisis técnicos, de la identificación y preparación de programas, proyectos, cooperaciones técnicas, estudios y notas sectoriales en el sector de energía.

INE/ENE está trabajando en un HUB de Energía que consiste en una plataforma tecnológica para promover la innovación en política energética, fomentar la investigación innovadora y la colaboración entre sectores para ayudar a los países de LAC a enfrentar sus desafíos energéticos. Este HUB de Energía recopilará e integrará datos e información del sector que están disponibles en la región, con el fin hacer una difusión cruzada de experiencias de la región (cooperación sur-sur) y ayudar al liderazgo estratégico en el sector energético. Uno de los resultados esperados es acelerar el conocimiento sobre las mejores políticas energéticas para la región, que al mismo tiempo permitan el desarrollo y despliegue de tecnologías limpias.

Actualmente, el sector energético está experimentando una revolución tecnológica y digital. El potencial de irrupción y la capacidad de aprovechar los beneficios derivados, dependerá de la capacidad de los gobiernos e instituciones de la región para internalizar rápidamente estos cambios. Para ser parte de esta revolución, los países de LAC y las partes interesadas deberán: (1) evaluar los desafíos que dificultan el crecimiento de su industria; (2) aprender sobre las tecnologías que representan una oportunidad de soluciones para la región; (3) absorber rápidamente los cambios para evitar situaciones de lock-in;
(4) adaptar los cambios tecnológicos a las necesidades y especificidades nacionales de cada país; y
(5) hacer un seguimiento de los cambios realizados para transformar el proceso en conocimiento acumulativo.

Por esta razón, el BID desea desarrollar un mecanismo de levantamiento de datos, en parte o completamente compatible con técnicas de data scraping para recopilar, analizar, consolidar y cargar datos de varias fuentes públicas; a través del uso de las últimas técnicas y tecnologías digitales disponibles, el cual deberá ser fácil de actualizar y mantener (añadir/eliminar fuentes y elementos de datos, actualizar enlaces a fuentes de datos, etc.) ya sea por personal del BID, por un consultor o firma externa.

Una evaluación preliminar del BID indica que existen aproximadamente 150 entidades en todos los países de las Américas, de las que se espera recopilar entre 30-60 índices, en su mayoría financieros. Las fuentes de datos asociadas a estas pueden variar e incluir, sin ser exhaustivas, tanto datos públicos como estados financieros, informes producidos por o en nombre de agencias gubernamentales, bases de datos públicas, reportes a reguladores sectoriales, del mercado de valores u organismos de control, etc. El formato de estos informes puede incluir datos publicados en páginas web, tablas de texto, PDF’s u otro formato de archivo. El BID trabajará con el/la consultor/a para identificar y validar esas fuentes como parte del desarrollo del trabajo.

Este mecanismo de adquisición de datos (data scrapping) desarrollado deberá ser utilizado, mantenido y apoyado en el futuro como un servicio continuo para garantizar que los datos sean de calidad y se mantengan actualizados, los cuales una vez recogidos deberán ser dispuestos en una sección de la plataforma del HUB de Energía y en el formato solicitado por el BID. Para la implementación inicial, se espera que la actualización de datos sea con una frecuencia anual; a medida que el proyecto madura y se identifiquen nuevos requisitos, se deberán admitir actualizaciones más frecuentes.

En cuanto al análisis de datos, limpieza y el control de calidad, el BID espera trabajar conjuntamente con el/la consultor/a para desarrollar estos procesos, bajo la coordinación del equipo técnico del HUB de Energía. De esta manera, se asegurará que se sigan las Normas de Gobernanza de Datos y las definiciones del catálogo de datos del banco. Es decir, la tecnología implementada deberá estar alineada con los estándares de tecnología del BID e integrada con el tech stack del HUB de Energía, el cual ya cuenta con un modelo de Data Governance que se espera sea replicado para este mecanismo.

En el caso de que el/la consultor/a utilice herramientas y/o conocimientos técnicos de una o más firmas adicionales especializadas en la recogida de datos, el BID espera que sea el/la consultor/a quien gestione las relaciones con estas terceras partes como representante del BID. Al desarrollar el mecanismo de recopilación de datos, el/la consultor/a deberá asegurarse que se sigan y mantengan los elementos de diseño generales del HUB de Energía para su publicación (se le harán llegar al consultor). Todos los demás criterios que se utilizarán en la selección, adquisición de datos, desarrollo de programas de compilación de datos, integración de los datos regidos en la plataforma del HUB y prueba de todos los componentes también se aplicarán al mecanismo de recopilación de datos.

Lo que harás:

· Identificar los documentos, las entidades, y las fuentes de datos.

o Existen al menos 150 entidades en todos los países de las Américas. Para cada entidad se espera que se recopilen entre 30-60 índices (data elements) en su mayoría financieros. Las fuentes de datos asociadas a estas entidades variarán, y pueden incluir, sin ser exhaustivas, materiales públicos como estados financieros, informes producidos por o en nombre de agencias gubernamentales, bases de datos públicas, etc. El formato de estos informes puede incluir páginas web, tablas de texto, PDF’s u otro formato de archivos.

· Seleccionar documentos

o El/la consultor/a deberá desarrollar el proceso de validación de documentos del BID, incluyendo cada cuánto tiempo el BID estaría validando fuentes de datos.

o Establecer el proceso para cuantificar los entregable, cuántas fuentes de datos a validar por semana, cuántas fuentes de datos validadas se esperan como mínimo / máximo

· Recabar los datos y la información

o Obtener una muestra de datos preliminares manualmente: Realizar un proceso manual donde un grupo de personas analice documentos y se busque la información de las variables. Al validar que se obtienen los resultados esperamos, pasar a la fase semi-automática.

o Semi-automatizar: Hacer una prueba de concepto con web scraping con un grupo de documentos y variables y comparar con el resultado manual para establecer la calidad de la recogida.

o Automatizar: Una vez validado el proceso, automatizar con web scraping y almacenar los datos en una base de datos.

o Limpieza de datos y análisis preliminar: Realizar la limpieza y ajuste de los datos necesarios para aplicar modelos de análisis. Esto se hará en conjunto con un equipo de especialistas sectoriales que aportarán su conocimiento para que el consultor decida las variables a descartar y los valores a definir en campos vacíos.

· Definición de las variables

o El/la consultor/a propondrá un conjunto de indicadores que se medirá con base en las variables e información que consiga recabar para la mayoría de empresas. Esto lo hará en conjunto con un equipo de especialistas del BID. El consultor hará la propuesta del conjunto de variables de acuerdo con la disponibilidad, el valor de información y la facilidad de harmonización y actualización.

Lo que necesitarás:

Ciudadanía: Eres ciudadano/a de uno de nuestros 48 países miembros.

Consanguinidad: No tienes familiares (hasta el cuarto grado de consanguinidad y segundo grado de afinidad, incluido el cónyuge) que trabajan en el Grupo del BID.

Educación: Formación académica en ingeniería, matemáticas, ciencia de datos, economía, o campos relacionados con una sólida comprensión y conocimiento de métodos de obtención de datos, aprendizaje automático y clasificación de datos.

Experiencia: Al menos dos años de experiencia en la recopilación de datos. Experiencia de haber implementado con éxito al menos 5 distintos tipos de análisis y recopilación de datos. Se valorará experiencia y conocimiento del sector energía, aunque no es un requisito.Se valorará experiencia en la gestión de proyectos en armonización y publicación de datos energéticos y experiencia trabajando con organizaciones internacionales.

Idiomas: español e inglés.

Competencias generales y técnicas:DSE Cassandra.

  • Python scripting and integration with Spark.

  • DSE Cassandra.

  • Python/Unix scripting.

  • Tableau Hyper, Qlik, OBIEE tools.

  • NoSQL and Graph DBs: Cassandra, Neo4J; Spark & Kafka.

  • Datastax/Cassandra, Spark, Scala, Unix and PySpark.

Entregables y Cronograma de pagos:

Producto 1. Completar actividad 1 y 2.

Producto 2. Completar actividad 3.

Producto 3. Completar actividad 4.

Cronograma de Pagos

Contrato que incluye los honorarios y todos los gastos en los que incurra el consultor para realizar las actividades señaladas en estos Términos de Referencia.

Los pagos de los honorarios se realizarán de la siguiente forma:

1. 20% a la entrega y aprobación del plan de trabajo.

2. 20% a la entrega de actividades 1 y 2.

3. 30% a la entrega de actividad 3.

4. 30% a la entrega de actividades 4.

Resumen de la oportunidad:

· Tipo de contrato y modalidad: Contrato por producto, consultoría (PEC).

· Duración del contrato: 6 meses

· Fecha de inicio: Julio 2020.

· Ubicación: Consultoría externa.

· Persona responsable: Especialista de la División de Energía del BID.

· Requisitos: Debes ser ciudadano/a de uno de los 48 países miembros del BID y no tener familiares que trabajen actualmente en el Grupo BID.

Nuestra cultura: nuestra gente está comprometida y apasionada por mejorar la vida de las personas en América Latina y el Caribe, y pueden hacer lo que aman en un entorno laboral diverso, colaborativo y estimulante. Somos la primera institución de desarrollo de América Latina y el Caribe en recibir la certificación EDGE, reconociendo nuestro fuerte compromiso con la igualdad de género. Nuestros empleados, pueden formar parte de grupos de recursos internos que conectan a nuestra comunidad diversa en torno a intereses comunes.

Debido a que estamos comprometidos a proporcionar igualdad de oportunidades en el empleo, acogemos la diversidad basada en género, edad, educación, origen nacional, origen étnico, raza, discapacidad, orientación sexual y religión. Alentamos a las mujeres, afrodescendientes y personas de origen indígena a postularse.

Sobre nosotros: En el Banco Interamericano de Desarrollo, estamos dedicados a mejorar vidas. Desde 1959, hemos sido una fuente importante de financiamiento a largo plazo para el desarrollo económico, social e institucional en América Latina y el Caribe. Sin embargo, hacemos más que prestar. Nos asociamos con nuestros 48 países miembros para proporcionar a América Latina y el Caribe investigaciones de vanguardia sobre temas de desarrollo relevantes, asesoramiento de políticas para informar sus decisiones y asistencia técnica para mejorar la planificación y ejecución de proyectos. Para ello, necesitamos personas que no sólo tengan las habilidades adecuadas, sino que también sean apasionadas por mejorar vidas.

Nuestro equipo de Recursos Humanos revisa cuidadosamente todas las aplicaciones.

Due to the current Covid-19 pandemic and its implications for our Region, the IDB Group is reviewing its hiring needs and re-prioritizing its areas of talent acquisition. We encourage candidates to continue to apply to the active postings, yet current job openings may be subject to further decisions in terms of timing of the processes, or other actions, in accordance with business needs. Final hiring decisions may also be conditioned to the candidate’s ability to timely relocate to the post of duty at the moment of starting service.

Additional Information





Apply Now