NVIDIA released a new looped transformer: Instead of stacking more layers, it runs the same layers multiple times so a 4B model can think like a 9B one. Here's how it works: In a standard transform…
Este tweet presenta una innovación significativa en la arquitectura de modelos de IA, específicamente en transformers, permitiendo aumentar la profundidad computacional sin incrementar exponencialmente los parámetros. Es valioso para equipos de desarrollo avanzado e investigación de IA ya que ofrece una nueva forma de abordar tareas de razonamiento y agencia con mayor eficiencia computacional.