Uso de formatos no convencionales para matrices dispersas en GPUs

Marini Salsamendi, Renzo

Supervisor(es): Dufrechou, Ernesto - Ezzatti, Pablo

Resumen:

Una tendencia de las ultimas décadas en el diseño de arquitecturas de computadoras es el desarrollo de procesadores orientados al throughput. Uno de los ejemplos especialmente prominentes es el de las GPUs (Graphics Processing Units) modernas. Este fenómeno, junto a la creación de circuitos integrados de aplicación específica como los Tensor Cores de NVIDIA y los TPUs (Tensor Processing Units) de Google, han sido de vital importancia en la aceleración de aplicaciones científicas. En particular, el hardware mencionado se utiliza en el contexto del algebra lineal numérica dispersa para acelerar la operación de multiplicación de matrices dispersas (SpMM). En este trabajo se presenta una descripción conceptual del formato de almacenamiento disperso bmSPARSE y de algoritmos para computar SpMM de forma eficiente utilizando dicho formato. Luego se describen y evalúan distintas implementaciones en GPU, haciendo énfasis en optimizaciones basadas en Tensor Cores.


Detalles Bibliográficos
2021
GPU
Tensor Cores
bmSPARSE
SpMM
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/27471
Acceso abierto
Licencia Creative Commons Atribución - No Comercial - Sin Derivadas (CC - By-NC-ND 4.0)
Resumen:
Sumario:Una tendencia de las ultimas décadas en el diseño de arquitecturas de computadoras es el desarrollo de procesadores orientados al throughput. Uno de los ejemplos especialmente prominentes es el de las GPUs (Graphics Processing Units) modernas. Este fenómeno, junto a la creación de circuitos integrados de aplicación específica como los Tensor Cores de NVIDIA y los TPUs (Tensor Processing Units) de Google, han sido de vital importancia en la aceleración de aplicaciones científicas. En particular, el hardware mencionado se utiliza en el contexto del algebra lineal numérica dispersa para acelerar la operación de multiplicación de matrices dispersas (SpMM). En este trabajo se presenta una descripción conceptual del formato de almacenamiento disperso bmSPARSE y de algoritmos para computar SpMM de forma eficiente utilizando dicho formato. Luego se describen y evalúan distintas implementaciones en GPU, haciendo énfasis en optimizaciones basadas en Tensor Cores.