Durante más de setenta años, el aprendizaje profundo se apoyó en un modelo simplificado del funcionamiento del cerebro. La neurona de McCulloch-Pitts, presentada en 1943, permitió avances en el reconocimiento de imágenes, la síntesis de voz y la comprensión del lenguaje. Pero la neurociencia moderna dio varios pasos desde entonces. Y ahora, una startup de Pittsburgh considera que la inteligencia artificial necesita una actualización.

Perforated AI, fundada por el neurocientífico e informático Dr. Rorry Brenner, busca cerrar esa brecha. Su propuesta incorpora estructuras inspiradas en las dendritas —las ramas que extienden las neuronas— dentro de las redes neuronales tradicionales. A esta técnica la llaman Retropropagación Perforada y aseguran que no solo acelera el entrenamiento: en pruebas realizadas, redujo hasta 38 veces los costos de computación, sin afectar la precisión.

"Llevamos usando la misma neurona artificial desde 1943", me dijo Brenner. "Cuando aprendí cómo funcionan las dendritas en los sistemas biológicos, pensé: ¿cómo es que nadie lo hace ya?"

Una perspectiva diferente sobre la computación neuronal

Los modelos clásicos de aprendizaje profundo operan de forma mecánica: suman entradas, las ponderan y luego las pasan por una función de activación. Pero este esquema no refleja lo que hacen realmente las dendritas. En un cerebro vivo, estas estructuras reconocen patrones, filtran el ruido y generan picos eléctricos locales que inciden en la activación de la neurona. Un solo árbol dendrítico puede asumir el trabajo de miles de neuronas artificiales simples.

La propuesta de la Perforated AI no elimina las neuronas existentes. Las conserva tal como están. Lo que hace es sumar unidades dendríticas auxiliares a cada una. Durante el entrenamiento, estas unidades aprenden a anticipar y corregir los errores residuales. Una vez que el entrenamiento termina, las dendritas se fijan y funcionan como correctores automáticos para cada neurona.

Investigadores de Carnegie Mellon y de otros centros pusieron a prueba este sistema y los resultados fueron alentadores. En una prueba de concepto desarrollada en un hackatón, lograron reducir el tamaño de un modelo en un 90 %, sin pérdida de precisión. En otras evaluaciones más acotadas, las redes ajustadas mostraron mejoras de hasta un 16 % en la precisión.

Por qué esto es importante

Ejecutar los grandes modelos de lenguaje actuales tiene un costo alto. Se estima que mantener en funcionamiento a ChatGPT, de OpenAI, puede requerir varios cientos de miles de dólares diarios solo en servicios de nube. Compañías como Google Cloud y AWS obtienen enormes ganancias gracias a estas cargas de trabajo que consumen GPU de alta gama.

Perforated AI ve una oportunidad en ese escenario. Brenner lo resume así: "Nuestro mayor multiplicador es el coste. Una sola hackatón redujo los gastos de computación treinta y ocho veces con una huella de modelo solo diez veces menor". Si ese rendimiento se mantiene a gran escala, incluso equipos pequeños podrían entrenar y ejecutar sus propios modelos con hardware local, sin necesidad de alquilar clústeres enormes.

En una prueba realizada en Google Cloud, un modelo BERT-tiny modificado corrió 158 veces más rápido usando únicamente CPU. Esa velocidad permite ejecutar tareas de inteligencia artificial en dispositivos sin GPU, desde fábricas hasta clínicas alejadas de los grandes centros urbanos.

Nuevas formas de acelerar los modelos

Los ingenieros de inteligencia artificial llevan tiempo buscando cómo mejorar el rendimiento de los modelos. Herramientas como la poda, la cuantificación y la destilación de conocimiento ayudan a reducir el tamaño de los modelos o a acelerar la inferencia. Pero la mayoría actúa después del entrenamiento: comprimen los modelos ya entrenados. Muchas veces, eso implica perder precisión a cambio de velocidad, y son procesos meticulosos, ajustados a arquitecturas puntuales, con resultados que no siempre se trasladan bien a distintas tareas.

En cambio Perforated AI propone otro camino. No achica el modelo al final. Introduce la eficiencia en el propio proceso de aprendizaje. Al darle a cada neurona una capacidad extra desde el inicio, las redes consiguen hacer más con menos unidades. Brenner plantea que reducir un modelo implica perder detalle, mientras que su diseño refuerza cada unidad desde adentro.

Hasta ahora, los resultados muestran un panorama alentador. A diferencia de muchas técnicas de compresión, este método no solo conserva la precisión, sino que en algunos casos la mejora. Varias pruebas ya detectaron mejoras consistentes en tareas reales, no solo en benchmarks sintéticos.

Obstáculos y desafíos

Por ahora, las herramientas solo funcionan con PyTorch. Los laboratorios y startups que trabajan con TensorFlow, Keras o frameworks personalizados deberán esperar. Según Brenner, la implementación en PyTorch lleva solo unos minutos, aunque reconoció que sumar compatibilidad con otras plataformas demandará más trabajo.

Perforated AI patentó su método y publicó una biblioteca en GitHub. La empresa apunta al mercado de MLOps, dominado por compañías como Weights & Biases, que ayudan a los ingenieros a optimizar los flujos de trabajo de entrenamiento. Actualmente, está probando una versión beta privada con empresas y planea cobrar alrededor de US$ 2400 por puesto de desarrollador al año.

Si las redes dendríticas ganan terreno, podrían cambiar la manera en que las empresas presupuestan los gastos en computación. Hasta ahora, la tendencia del sector fue construir modelos cada vez más grandes, alojados en granjas de GPU cada vez más costosas, lo que beneficia a quienes tienen mayor poder económico. Hoy, muchas empresas chicas destinan hasta el 80 % de su financiamiento al costo de computación en la nube. Si la tecnología de Perforated AI consigue reducir esa factura incluso a la mitad, más startups podrían entrenar modelos en sus propias instalaciones, con costos mucho más bajos.

Brenner afirma: "El ahorro se traduciría en un menor número de GPU necesarias. Esto permite a quienes, de otro modo, usarían servicios en la nube, construir su propia infraestructura, ya que, con los métodos tradicionales de aprendizaje automático, configurarla ellos mismos sería prohibitivamente caro".

Un movimiento que gana fuerza

Perforated AI tiene previsto ampliar la compatibilidad con otros frameworks, publicar resultados de benchmarks realizados por terceros e integrarse con los procesos de desarrollo de empresas. Para lograr que la comunidad de inteligencia artificial adopte esta tecnología, será necesario demostrar con claridad que las unidades dendríticas mejoran la velocidad y la precisión.

La inteligencia artificial perforada no es la única que cuestiona los componentes neuronales tradicionales. Un artículo reciente de Nature Communications sostuvo que la computación dendrítica es clave para el pensamiento humano. Otros grupos propusieron arquitecturas como las redes de Kolmogorov-Arnold, que desafían el modelo clásico de neuronas artificiales.

Todos estos intentos comparten una misma intención: romper con el modelo que, desde hace más de 80 años, define el comportamiento de las neuronas artificiales.

"Si la evolución concluyó que un número menor de unidades más complejas era el camino a seguir, entonces es una dirección que vale la pena explorar para nuestros modelos de IA", plantea Brenner.

Si los costos de computación siguen bajando y el rendimiento continúa en alza, tal vez el argumento ya no necesite más demostraciones.
 

Nota publicada en Forbes US.