Data Geeks respondiendo preguntas sobre LLMs, historia, futuro y usos presentes
Episodio 114 - 2025-02-16
Este es un episodio especial, en el que hablamos sobre LLMs. Diego May entrevistó a Frans van Dunné y Andrés Quintero de ixpantia, y pudimos cubrir historia y definiciones para luego pasar a casos prácticos, implementaciones y comparaciones de diferentes modelos.
Frans en su rol de Chief Data Officer de ixpantia, y con una perspectiva muy desde el lado de la ciencia, ha estado involucrado en varios proyectos e investigaciones acerca de LLMs y sus casos de uso. Además, como CDO de ixpantia, está valorando diferentes LLMs para el uso cotidiano de un equipo de profesionales de datos expertos que usan múltiples lenguajes y con formas de trabajo que se potencian con LLMs.
Por su parte, Andrés Quintero, liderando ixpantia en Colombia y siendo un miembro clave en muchos de los proyectos de ingeniería de datos en ixpantia, ha investigado mucho y desarrollado soluciones utilizando LLMs para por ejemplo consultar bases de datos grandes. Le ha tocado usar esta ´interfaz´ para que usuarios no expertos puedan sacar valor de datos tabulares, con comportamiento muy diferente al fuerte de LLMs con corpus de texto.
Durante la conversación comenzamos por la definición de LLMs o Large Language Modelos (grandes modelos de lenguaje). Quedó claro que al final esta inteligencia artificial que a muchos les gusta antropomorfizar (dar caracter de persona) sólo son modelos estadísticos que dado un entrenamiento con mucho texto, tienen capacidad de predecir próximas palabras, párrafos o textos más complejos. Más allá de lo que han ido evolucionando, no dejan de ser modelos estadísticos que predicen texto.
Cubrimos la historia de desarrollo de los mismos, desde machine learning y NLP (Natural Language Processing) entre 1950 y 2000, para luego cubrir los desarrollos de word embeddings y la revolución de deep learning entre 2012 y 2015. Luego las arquitecturas de atención y los transformers que llevaron esta tecnología a un próximo nivel, y más en la actualidad los modelos con parámetros y entrenamiento a escala e infraestructuras escalables y optimizadas para las fases de inferencia.
Tanto Frans como Andrés han estado investigando mucho sobre infraestructura, desarrollo de LLMs, entrenamiento, inferencia, RAG (retrieval augmented generation) para optimizar modelos genéricos para ciertos usos y cuerpos de datos, entre otras cosas. La conversación dio para que ambos contaran sobre sus experiencias y los usos que han encontrado de valor.
Tomamos un caso particular, de un cliente con el que hemos trabajado, que quería disponer a usuarios finales la posibilidad de hacer consultas sobre una base de datos con mucha información y múltiples campos numéricos. Los LLMs son muy buenos para contextos de mucho texto, pero tienen muchas limitaciones para procesar datos tabulares y para hacer análisis sobre los mismos. Andrés y Frans tocaron algunos de los puntos clave para lograr soluciones costo efectivas que dan valor a usuarios finales en estos contextos. Si estas interesado en este tipo de casos, por favor mandanos un mensaje por linkedin.