A Mutual Learning Framework for Pruned and Quantized Networks

• Xiaohai Li ^[1] ; Yiqiang Chen ^[1] ; Jindong Wang ^[2]
  1. [1] Chinese Academy of Sciences

     Chinese Academy of Sciences

     China

     
  2. [2] Microsoft Research Asia, China
• Localización: Journal of Computer Science and Technology, ISSN-e 1666-6038, Vol. 23, Nº. 1, 2023
• Idioma: inglés
• Títulos paralelos:
  • Un marco de aprendizaje mutuo para redes podadas y cuantificadas
• Enlaces
  • Texto completo
• Resumen
  • español

    La compresión de modelos es un tema importante en la investigación del aprendizaje profundo. Se puede dividir principalmente en dos direcciones: poda de modelos y cuantización de modelos. Sin embargo, ambos métodos afectarán más o menos la precisión original del modelo. En este artículo, proponemos un marco de aprendizaje mutuo para redes podadas y cuantificadas. Consideramos la red podada y la red quantized como dos conjuntos de características que no son paralelas. El propósito de nuestro marco de aprendizaje mutuo es integrar mejor los dos conjuntos de funciones y lograr ventajas complementarias, lo que llamamos aumento de funciones. Para verificarla efectividad de nuestro marco, seleccionamos una combinación por pares de 3 algoritmos de poda de ́ultima generación y 3 algoritmos de cuantificación de ́ultima generación. Extensos experimentos en CIFAR-10, CIFAR-100 y Tiny-imagenet muestran los beneficios de nuestro marco: a través del aprendizaje mutuo de las dos redes, obtenemos una red pruned y una red de cuantificación con mayor precisión que los enfoques tradicionales.

  • English

    Model compression is an important topic in deep learning research. It can be mainly divided into two directions: model pruning and model quantization. However, both methods will more or less affect the original accuracy of the model. In this paper, we propose a mutual learning framework for pruned and quantized networks. We regard the pruned network and the quantizated network as two sets of features that are not parallel. The purpose of our mutual learning framework is to better integrate the two sets of features and achieve complementary advantages, which we call it feature augmentation. To verify the effectiveness of our framework, we select a pairwise combination of 3 state-of-the-art pruning algorithms and 3 state-of-theart quantization algorithms. Extensive experiments on CIFAR-10, CIFAR-100 and Tiny-imagenet show the benefits of our framework: through the mutual learning of the two networks, we obtain a pruning network and a quantization network with higher accuracy at the same time.