Cómo convertirse en arquitecto de datos en 2022

R: Lo bueno es que comienzas la mayoría de los días en el nuevo mundo de big data. Esto incluye todo dentro del rol de un arquitecto de big data, alguien que satisface las necesidades de toda la empresa más allá de TI. En efecto, este papel se trata de cuidar a más usuarios en más lugares. Por lo tanto, la ventaja es que la mayoría de los días comenzarás con una pizarra limpia. Puede que no sepa lo que le depara el día, pero a la hora del almuerzo, tendrá una larga lista de cosas en las que trabajar, crear y, con suerte, resolver en un corto período de tiempo. Se le da mucho valor a los resultados inmediatos. En lugar de «vamos a llegar a un gran diseño o una gran visión a largo plazo necesariamente», es más como, ‘Quiero ver las respuestas ahora’.

La desventaja es que no funciona del todo de esa manera. Tienes que mantener la visión a largo plazo en su lugar porque verás más y más del mismo tipo de preguntas y las mismas solicitudes. Por lo tanto, la arquitectura que le permite responder rápidamente a una amplia variedad de preguntas le servirá muy bien.

Hay una tendencia a hacer las cosas rápido y fácil, pero la verdad es que necesitas tiempo para pensar y planificar realmente, y el tiempo es un recurso escaso en un día de trabajo típico. Así que encontrar tiempo para pensar en lo que has hecho bien y cómo avanzar es realmente el secreto para hacer bien el trabajo. Pero en este momento, es el tira y afloja lo que dificulta el trabajo.

R: Eso es exactamente. Todo es a corto plazo. Es la mentalidad de «lo necesito ayer». El problema con esto es que deja poco espacio para centrarse en la calidad u otros temas, como la gobernanza o la idea de que necesita servir no solo a sus usuarios sino también al negocio. Esos dos siempre están en oposición porque los usuarios quieren cosas ahora y el negocio quiere que las cosas se hagan bien. Tienes que equilibrar los dos.

R: El rol está cambiando, y está creciendo rápidamente. Hace 10 años, un científico de datos construyó los almacenes de datos y realizó el análisis de manera limitada. Hoy en día, estamos viendo menos demanda para eso, aunque todavía existe en la oficina de finanzas, por ejemplo, ya que las finanzas pueden categorizar y cuantificar fácilmente los valores de acuerdo con las normas contables. El resto de la empresa quiere el mismo tipo de análisis para poder ver sus datos de varias maneras, pero no necesariamente tienen la rigidez o la estructura necesaria para eso.

Entonces, lo que estamos viendo es el clásico ciclo de exageración con una mayor demanda de nuevas formas de ver los datos. La verdad es que no va a salir tan bien como esperamos. Habrá cierta desilusión o insatisfacción con los resultados iniciales. Pero al final del día, o digamos al final de dos años, tendrá una organización ágil, capaz de responder más preguntas sobre el negocio y sus clientes, y más conocedora de lo que se puede lograr más rápido y con mayor precisión de lo que son hoy.

Más datos en realidad no nos hacen más inteligentes si no tenemos la capacidad de consumirlos. De alguna manera, en realidad nos hace menos conocedores.

Por ejemplo, si tiene más datos, relativamente hablando, pero carece de la capacidad de procesarlos y comprenderlos, entonces sabe menos de lo que solía saber. La forma de combatir eso es tener sistemas que puedan adaptarse a los nuevos datos, comprenderlos y categorizarlos, y entregarlos a más usuarios más rápido que antes. Eso le permite cambiar el rumbo contra el big data. Sin los recursos adecuados, los grandes datos pueden generar una confusión significativa, pero si están bien organizados y bien aprovisionados, pueden ser la fuente para una mayor comprensión.

Así que tienes que equilibrar eso todos los días, lo que implica descubrir cómo hacer que los datos sean más reutilizables.

R: Tradicionalmente, veníamos del mundo de Java y de lenguajes estructurados y tradicionales como ese. Este era el idioma del servidor, y podíamos usarlo con modificaciones mínimas en el navegador; Así que la herencia jugó un papel importante en movernos en esa dirección. Pero hoy en día, estamos viendo un movimiento hacia lenguajes más flexibles, más datos y un lenguaje más orientado a las estadísticas. Mi favorito personal es Python porque me permite ser un científico informático y tener acceso a las estadísticas y otros análisis que necesito. Otras personas consideran el uso de SPSS y lenguajes como R de forma regular porque proporcionan paquetes estadísticos sólidos, y la programación es a menudo mucho más fácil y accesible.

Nos estamos alejando de los lenguajes tradicionales hacia estos lenguajes más ad hoc. La gente está muy contenta con eso. Sin embargo, al final del día, todavía se basa en el tipo de aplicación y cuáles son sus necesidades. Incluso estamos viendo una gran afluencia en cosas como Node.JS decir: «Oye, quiero traer mis habilidades de JavaScript y Java al servidor». Ahora tenemos más idiomas que nunca, y esta diversidad nos ofrece una mayor flexibilidad.

R: Me gradué con un título en matemáticas en 1983 de la Universidad de Waterloo. En ese momento, estábamos muy metidos en estructuras de datos, programación y bases de datos. Nos enseñaron cosas como la primera forma normal y la tercera forma normal. Esto fue estándar durante unos buenos 20 años. Hicimos programación estructurada y tratamos con datos estructurados. Trabajamos con bases de datos de una manera que hizo felices a los usuarios, y respondimos muy bien a ciertos tipos de preguntas. Sin embargo, a medida que avanzamos, esa estructura de datos no nos ha estado sirviendo tan bien.

Por ejemplo, no siempre pudimos entender qué tan rápido cambiaban los datos, y nos tomó un tiempo darnos cuenta de que nuestra forma de procesamiento ya no podía mantenerse al día. Así que a lo que hemos llegado es a algo que solo puedo llamar la nueva forma normal. Representa datos que son lo suficientemente buenos y limpios, pero no perfectos. Esto es diferente de la forma pasada de hacerlo, en la que un dato apunta a otros datos, que luego nos llevarían de vuelta a nuestra comprensión o algo relacionado con diferentes datos. Hoy en día, tenemos muchas tablas de búsqueda y otras cosas que ayudan a servir al negocio. El problema con esas estructuras de datos tradicionales era que no nos permitían responder suficientes preguntas.

El dominio de las preguntas que podían responder era realmente limitado. Pero ahora hemos cerrado el círculo con estas hojas de cálculo gigantes. Representan filas y columnas de datos con muchos huecos, muchas inconsistencias y montones y montones de columnas. Las nuevas herramientas nos permiten crear buenas consultas y crear datos que son aún más confiables que las cosas que usamos para ETO y poner en esos formularios estructurados que ya mencioné.

La nueva solución es tomar datos y hacerlos lo más reutilizables y precisos posible sin sacrificar la flexibilidad. Eso se convierte en un nuevo rol con un nuevo enfoque. Ahora, tengo que preguntarme: «¿Cómo produzco datos con la máxima reutilización dentro de la empresa y al mismo tiempo los hago lo más precisos e importantes posible para la parte del negocio responsable de los sistemas de registro que dirigen el negocio?» Todavía tiene que darles servicio, pero ahora tenemos que dar servicio a lo que llamamos «sistemas de compromiso», que es cómo entendemos a nuestros clientes, nuestros empleados e incluso los productos que construimos.

R: Hoy en día, los arquitectos de datos vienen con muchas habilidades y antecedentes diferentes. Por ejemplo, a diferencia de hace 20 años, un fondo de datos puros o de científicos informáticos puede no ser tan útil. Las nuevas habilidades son comprender las necesidades del usuario para que pueda crear datos y sistemas que respondan a sus problemas ahora y en el futuro. Tenemos que ser proactivos, y comparo el trabajo con el de un inventor. En otras palabras, tenemos que inventar las soluciones que los usuarios van a pedir, no necesariamente mañana, sino dentro de seis meses o incluso dentro de dos años. Eso requiere a alguien que sea innovador y capaz de concentrarse en la tarea de hoy, pero también alguien que pueda mirar hacia el futuro y decir: «Oye, esto es lo que probablemente preguntarán en dos años. ¿Cómo creo mis datos? ¿Cómo creo mi negocio para servirme mejor en el futuro?»

No queremos estar persiguiendo gansos salvajes, pero queremos ser capaces de predecir y hacer el tipo de procesamiento que los usuarios van a necesitar en el futuro. Ese es un trabajo difícil de hacer. Esto abre oportunidades para candidatos calificados con una variedad de antecedentes. Por ejemplo, podría tener un título en arte o en negocios, y luego puede ingresar al lado técnico del negocio. De hecho, esa puede ser la mejor manera posible de obtener una amplia comprensión del negocio y luego la capacidad de ejecutarlo realmente.

R: Así que creo que el mejor consejo que puedo dar es convertirme en un experto. Conviértete en lo mejor que puedas ser en un campo de interés en particular. No me importa si eso es contabilidad, psicología o gestión de datos. En cinco años, su trabajo será totalmente diferente de lo que es hoy. Y vas a tener que aprender nuevas habilidades de nuevo. La única forma de sobrevivir es anticipar que tendrás que convertirte en un experto en un nuevo conjunto de habilidades para satisfacer las demandas futuras. Necesito hacer eso cada pocos años en mi carrera. Tienes que acostumbrarte, y tienes que ser bueno en ello.

La capacidad de dirigir su carrera hacia la próxima gran cosa, ya sea Hadoop, Spark o tal vez la preparación de datos para una línea de negocio, es esencial. Vas a tener que entender eso, y vas a tener que ayudar a las personas que necesitan hacer estas funciones siendo el experto en el que pueden confiar.

R: Creo que el campo de datos está explotando, pero nuestra capacidad para procesarlo se está quedando atrás. La solución para la industria es la escalabilidad. Sin embargo, no creo que sea en la forma en que tradicionalmente pensamos en lanzar más hardware al problema. Necesitamos la capacidad de compartir y colaborar más para que todos en un negocio participen. Esto nos permite dividir los esfuerzos y avanzar en una dirección común.

Pero miro la ciencia de datos hoy en día, y veo que tenemos personas individuales que hacen todo el análisis de principio a fin: recopilando los datos, limpiándolos, haciendo el análisis, creando la innovación visual y presentando los resultados. El problema que se interpone en el camino de la escalabilidad es que, por cada paso en el camino que obtengo esa actividad de ciencia de datos, todo ese conocimiento se pierde tan pronto como completo mi tarea. Necesitamos mover a la industria hacia compartir el trabajo y compartir el rol para que una persona produzca un conjunto de datos reutilizables, la siguiente persona produzca análisis reutilizables sobre él, y luego todos podamos presentar los resultados de manera más rápida y precisa.

Creo que este embudo eventualmente se va a constreñir hasta el punto de que tendremos que hacer algo mejor. Sin embargo, contratar más científicos de datos no es necesariamente la respuesta. Crear más potencia de procesamiento o incluso SPARC 2 [SP], que nos da más potencia de procesamiento de la que jamás imaginamos, tampoco es parte de la solución. Más bien, implica hacer que los equipos de personas avancen en cada paso de procesamiento, y luego reutilizar ese trabajo para que no sigamos reinventando la rueda y haciendo todo desde cero.

Solíamos decir que, en el análisis de negocios, tenías una sola versión de la verdad. Ahora tenemos que avanzar hacia la versión mejor apoyada y más aceptable de la verdad, que nos permita llegar a la verdad más rápido y más fácil. Como equipo, proporcionamos los datos y luego compartimos los resultados para que todos podamos reutilizarlos y convertirlos en respuestas en beneficio del negocio.