The Independent Sentinel #22

La Ley de Huang, herramientas No-Code y el matemático favorito de Napoleón

¡Hola!

Soy Javier Fuentes, de Akoios. Gracias por estar leyendo esta nueva edición de “The Independent Sentinel”, la newsletter mensual dedicada a la Ciencia de Datos y a la Inteligencia Artificial.

Si quieres recibir este boletín puntualmente en tu bandeja de entrada, puedes suscribirte en este botón:

¡Suscríbete ahora!

En esta edición vamos a hablar de la Ley de los Rendimientos Acelerados, de programar sin saber de programación y de una expedición a Egipto.

¡Vamos allá! 🐪


🎼  ¿Quieres banda sonora? ¡Dale al Play!


1. Ciencia de Datos

📈 Tendencias: La Ley de Huang

En 2001 Ray Kurzweil, afamado inventor, empresario y científico presentaba la “Ley de los Rendimientos Acelerados” en su ensayo del mismo nombre.

La Ley de los Rendimientos Acelerados (LRA en adelante) describe cómo los avances tecnológicos se apoyan entre sí dando lugar a unos cada vez mayores -y más rápidos- avances futuros en un bucle de realimentación positiva.

En base a su análisis de la historia de la tecnología, Kurzweil dedujo que la evolución tecnológica no tiene un carácter lineal sino más bien un carácter exponencial.

En sus predicciones, Kurzweil estimaba que, en unas pocas décadas (sobre 2045), la Inteligencia Artificial superará a la inteligencia humana, momento en el que alcanzaremos La Singularidad: Ese punto de inflexión que, en sus palabras, representará una ruptura en el tejido de la historia humana:

Within a few decades, machine intelligence will surpass human intelligence, leading to The Singularity — technological change so rapid and profound it represents a rupture in the fabric of human history. 

La computación es uno de los mejores ejemplos para ilustrar la LRA. De hecho, esta Ley no es más que una generalización de la conocida Ley de Moore, formulada por Gordon E. Moore (cofundador de Intel) en 1965 que estimaba que, aproximadamente cada 2 años, se iría duplicando el número de transistores contenidos en un microprocesador.

La acertadísima observación de Moore se ha acabado convirtiendo en la Regla de Oro de la industria electrónica y, en cierto modo, ha supuesto una suerte de profecía autocumplida en un sector que ha ido evolucionando según esta previsión.

No obstante, se está empezando a cuestionar al Ley de Moore debido a que ya se están alcanzando los límites físicos (atómicos) en la miniaturización e integración de los transistores.

La historia tiende a repetirse y, casi 60 años después, se está comenzando a hablar de una nueva Ley, llamada en esta ocasión Ley de Huang al honor de Jensen Huang, CEO de Nvidia, una de las principales compañías en el sector de los semiconductores.

La Ley de Huang describe cómo las GPUs (muy utilizadas como ya sabes en Inteligencia Artificial) están avanzando más rápidamente que las CPUs y están más que doblando su rendimiento cada dos años. Una parte muy interesante de este crecimiento es que está siendo cimentado mediante avances tanto en hardware como en software.

Como ejemplo, el rendimiento de los chips de Nvidia se ha incrementado 317 veces en el ámbito de los cálculos relacionados con la IA entre 2012 y 2020.

De algún modo, pasar de la Ley De Moore a la Ley de Huang no hace más que confirmar la tendencia atisbada por Kurzweil en su LRA: Siempre que una tecnología se aproxima a algún tipo de barrera (en este caso los límites físicos), se acabará inventando una nueva tecnología o variante que permitirá seguir progresando incluso más rápidamente que antes.

En lo que respecta al mundo de la Ciencia de Datos, estos avances determinarán en gran medida el devenir de toda esta industria y su futura expansión. Del mismo modo que la Ley de Moore sacó a la Inteligencia Artificial de su particular invierno, es muy posible que la Ley de Huang acabe convirtiendo a la IA -si es que no lo es ya- en una disciplina ubicua y omnipresente en nuestras vidas.

🛠 Herramientas: El Mundo No Code

Poder desarrollar productos digitales sin necesidad de conocimientos técnicos (e.g. programar) ha sido un anhelo largamente perseguido.

Históricamente, siempre ha habido herramientas que nos han ido abstrayendo de la complejidad subyacente a una computadora, sirvan como ejemplo los Sistemas Operativos o los Lenguajes de Programación.

En los últimos tiempos se están realizado progresos relevantes para la “democratización” del desarrollo software. Estos avances se pueden englobar dentro del llamado Movimiento No Code, que agrupa a diversas plataformas y herramientas que ofrecen soluciones para programar sin necesidad de expertise técnico alguno.

Aún sin conocer el término No Code, seguro que te resultan familiares herramientas como Zapier (Integraciones), Shopify (E-commerce) o Airtable (Bases de Datos).

Todas ellas han realizado increíbles progresos y ofrecen fantásticas experiencias de desarrollo cada vez más flexibles y avanzadas.

Pese a todos estos avances, parece que lo mejor en este ámbito está aún por llegar y lo hará de la mano de la Inteligencia Artificial. Modelos como GPT-3 de los que ya hemos hablado en otras ediciones, se están convirtiendo en la pieza clave de un sistema No Code: El intérprete entre los humanos y los lenguajes de programación.

Los siguientes ejemplos ilustran el nivel de automatización que se está empezando a conseguir:

⌨️ Generación SQL

Como se puede ver en este ejemplo, GPT-3 puede ser usado para inferir una sentencia SQL sintácticamente correcta a partir de una pregunta expresada de manera natural:

💻 Generación de aplicaciones

En este mismo sentido, Microsoft (inversores de OpenAI -los creadores de GPT-3-) ha incluido a modo de prueba de concepto un mecanismo de autocompletado para su herramienta PowerApps que, aunque no sea puramente No Code, podría acelerar muchísimo los tiempos de desarrollo de sus usuarios. Puedes verlo en funcionamiento aquí.

🖼 Generación de layouts

En el caso de la programación web, se puede usar este mismo concepto para la generación automática de layouts. En el vídeo se muestra un ejemplo de esta idea a cargo de la empresa debuild.co, orientada justamente al desarrollo de Aplicaciones Web minimizando los esfuerzos de desarrollo:

Veremos a dónde llega todo este movimiento pero, a la vista de estos últimos avances, no podemos estar más que esperanzados con todo lo que está por venir. Eso sí, que nadie espere que desaparezcan los programadores de un día para otro. Seguirán con nosotros por mucho, mucho tiempo.

2. Historias 📔

Una expedición a Egipto 🏜

En 1798, Joseph Fourier (1768-1830), un joven profesor de la Escuela Politécnica de París, recibía un mensaje urgente proveniente del Ministerio del Interior de Francia:

"Ciudadano: el directorio ejecutivo, que tiene una necesidad particular de sus talentos y de su fervor, acaba de disponer de usted por el bien del servicio público. Debe prepararse y estar listo para partir apenas reciba la orden".

Apenas dos meses después, Fourier estaba zarpando en una expedición cuyo objetivo aún no anunciado no era otro que la invasión de Egipto para cerrar a los británicos el camino a la India.

La expedición estaba compuesta por más de 25.000 soldados y, lo que es más sorprendente: 167 científicos y artistas de todas las disciplinas: matemáticos, físicos, químicos, ingenieros, pintores e incluso músicos.

La presencia de este amplio abanico de no combatientes tenía un claro fin simbólico ya que reflejaba el compromiso de la Revolución Francesa con el progreso científico. El objetivo final de Napoleón era convertir Egipto en un protectorado francés y, para ello, no solo debía conquistarlo, sino que también debía ganarse la confianza de su población.

La expedición fue un éxito en sus inicios, tal y como como atestiguan la ocupación de Malta en 1798 o la toma de Alejandría y el Delta del Nilo el 1 de Julio de ese mismo año en la conocida Batalla de las Pirámides. Sin embargo, las cosas empeorarían para Francia tras la destrucción de su flota por parte del contraalmirante Nelson en la Batalla del Nilo, derrota que, finalmente, forzó el regreso de Napoleón a París.

Durante esta expedición, Napoleón descubrió las capacidades (científicas y políticas) de Fourier, de ahí que contase con él como consejero y asesor para incluso, en 1809, llegar a concederle el título de Barón. algo inusual para alguien de tan humildes orígenes como Fourier.

Pese al regreso de Napoleón, muchos de los expedicionarios -entre ellos Fourier- siguieron en Egipto. Durante estos años, Fourier llegó a ser gobernador de una parte del país y tuvo tiempo de fundar el Instituto Matemático de El Cairo antes de regresar a Francia en 1801.

La teoría del Calor 🏜

Durante su estancia en Egipto, Fourier no paró de pensar en el calor. Las altas temperaturas de la región y las propiedades curativas que Fourier creía que el calor tenía, le llevaron a plantearse dos preguntas principales: ¿Cómo se mueve el calor de un sitio a otro? ¿Cuál es la expresión matemática de estas leyes?.

El 21 de Diciembre 1807, Fourier presentó su trabajo sobre la teoría del calor en su memoria “Sobre la propagación del calor en cuerpos sólidos” frente un comité compuesto con varias celebridades científicas de la época, nada más y nada menos que LagrangeLaplaceMonge entre otros.

La noción matemática de Fourier acerca de cómo se comporta el calor, abrió la puerta a algo mucho más importante: comprender cualquier fenómeno que pueda describirse como una onda, como el sonido o la luz.

La tesis principal de Fourier es que una onda, por compleja que sea, puede ser expresada como la suma de varias ondas sinusoidales: El análisis armónico o análisis de Fourier había nacido.

El análisis de Fourier 🌊

Me atrevería a decir que nuestro mundo digital actual no existiría sin Fourier. Sus teorías han tenido impacto en campos tan diversos como la física, la combinatoria, el procesamiento de señal, la probabilidad, la estadística, el análisis numérico, la criptografía o la óptica entre muchísimos otros.

El análisis de Fourier consta de dos variantes o herramientas principales (muy bien conocidas para cualquiera que haya estudiado ingeniería, física o matemáticas):

Fourier y el Machine Learning 🤖

Como no podría ser de otro modo, la influencia del análisis del Fourier ha llegado también a la Ciencia de Datos en general y al Machine Learning en particular.

De hecho, es muy común usar la transformada de Fourier para

Se podría incluso mencionar un avance de este mismo mes, que versa sobre uso de la Transformada de Fourier para mejorar el rendimiento de los Transformers que tratamos con más detalle en TIS #20.

Como vimos, la principal limitación de los Transformers es el enorme coste computacional asociado a los mecanismos de Atención, ya que este coste crece de manera cuadrática en relación a la longitud de la secuencia bajo análisis.

En este paper publicado por investigadores de Google se demuestra que usando la transformada de Fourier es posible incrementar de manera significativa la velocidad de la codificación sin penalizar el rendimiento. Yendo a los números, usando la Transformada de Fourier se alcanza el 92% de la precisión antigua con tiempos de entrenamiento 7 veces más rápidos en GPUs y 2 veces más rápidos en TPUs. 🤯

Atando cabos 🪢

La historia de Fourier viene a respaldar la noción de rendimientos acelerados de Kurzweil acerca de cómo los avances tecnológicos se realimentan entre sí y ponen las bases para nuevos y más rápidos avances.

El viaje de un matemático a Egipto ha acabado definiendo muchas de las tecnologías que usamos a día de hoy y quién sabe si las aplicaciones que se están desarrollando hoy con herramientas No Code acabarán siendo determinantes en el futuro.

Por ello, aunque intuimos cómo avanzará el ritmo de la evolución tecnológica, el futuro es totalmente impredecible y solo entendible en retrospectiva.

Personalmente creo que estamos en un momento clave de la historia en términos tecnológicos y no puedo sino estar intrigado y expectante con lo que está por venir. La parte positiva es que, si Kurzweil está en lo cierto, tal vez no tengamos que esperar tanto para conocer muchas de las cosas que el futuro nos depara.

¡Gracias como siempre por leer hasta aquí!


¿Te gusta The Independent Sentinel? ¡Ayúdanos a que nos conozca más gente compartiendo las publicaciones!

Si tienes comentarios o quieres iniciar una conversación, recuerda que puedes hacerlo fácilmente al final de la publicación.

Si te has perdido alguna edición de la newsletter, puedes leer todas aquí.

👉 Si quieres conocer mejor cómo funciona nuestra tecnología Titan, puedes revisar nuestra serie de tutoriales publicados en Medium.

👉 Si te interesa, puedes solicitar un acceso gratuito para probar Titan aquí https://lnkd.in/gPz-2mJ

Loading more posts…