Proposal of an open-source accelerators library for inference of transformer networks in edge devices based on Linux

• Alejandro Araya-Núñez ^[1] ; Justin Fernández-Badilla ^[2] ; Daniel González-Vargas ^[1] ; Jimena León-Huertas ^[2] ; Erick-Andrés Obregón-Fonseca ^[2] ; Danny Xie-Li ^[1]
  1. [1] Instituto Tecnológico de Costa Rica

     Instituto Tecnológico de Costa Rica

     Oriental, Costa Rica

     
  2. [2] Academic Area of Computer Engineering. Costa Rica Institute of Technology. Costa Rica
• Localización: Tecnología en Marcha, ISSN 0379-3982, ISSN-e 2215-3241, Vol. 37, Nº. Extra 1, 2024 (Ejemplar dedicado a: IEEE Latin American Electron Devices Conference (LAEDC)), págs. 118-125
• Idioma: inglés
• Títulos paralelos:
  • Propuesta de biblioteca de aceleradores de código abierto para inferencia de redes Transformer en dispositivos perimetrales
• Enlaces
  • Texto completo
• Resumen
  • español

    Transformers networks have been a great milestone in the natural language processing field, and have powered technologies like ChatGPT, which are undeniably changing people’s lives. This article discusses the characteristics and computational complexity of Transformers networks, as well as, the potential for improving its performance in low-resource environments through the use of hardware accelerators. This research has the potential to significantly improve the performance of Transformers in edge and low-end devices. In addition, Edge Artificial Intelligence, Hardware Acceleration, and Tiny Machine Learning algorithms are explored. The proposed methodology includes a software and hardware layer, with a Linux-based minimal image built on top of a synthesized RTL. The proposal also includes a library of hardware accelerators that can be customized to select the desired accelerators based on the device’s resources and operations to be accelerated.

  • English

    Las redes de Transformers han sido un gran hito en el campo del procesamiento del lenguaje natural y han impulsado tecnologías como ChatGPT, que indudablemente están cambiando la vida de las personas. Este artículo discute las características y la complejidad computacional de las redes de Transformers, así como el potencial para mejorar su rendimiento en entornos con pocos recursos mediante el uso de aceleradores de hardware. Esta investigación tiene el potencial de mejorar significativamente el rendimiento de los Transformers en dispositivos de edge y de gama baja. Además, se exploran la Inteligencia Artificial en el edge, la Aceleración de Hardware y los algoritmos de Tiny Machine Learning. La metodología propuesta incluye una capa de software y hardware, con una imagen mínima basada en Linux construida sobre un nivel de transferencia de registro (RTL) sintetizada. La propuesta también incluye una biblioteca de aceleradores de hardware que se puede personalizar para seleccionar los aceleradores deseados según los recursos del dispositivo y las operaciones a acelerar.