¿Qué es la computación paralela?

Los procesadores se comunican mediante memoria compartida y sus soluciones se combinan mediante un algoritmo. La computación paralela es significativamente más rápida que la computación en serie , su predecesora que utiliza un único procesador para resolver problemas en secuencia.

Cuando se inventaron los ordenadores a finales de la década de 1940 y en la de 1950, el software se programaba para resolver los problemas en secuencia, lo que restringía la velocidad de procesamiento. Para resolver problemas más rápido, los algoritmos tenían que crearse e implementarse siguiendo un conjunto de instrucciones en una unidad central de procesamiento (CPU). Solo después de ejecutar una instrucción se podía resolver otra.

A partir de la década de 1950, la computación paralela permitió a los ordenadores ejecutar código de forma más rápida y eficiente al dividir los problemas informáticos en problemas más pequeños y similares. Estos problemas, conocidos como algoritmos paralelos, se distribuyeron entre varios procesadores.

Hoy en día, los sistemas paralelos han evolucionado hasta el punto de utilizarse en varios ordenadores, lo que hace que las tareas cotidianas, como consultar el correo electrónico o enviar un mensaje de texto, sean cientos de veces más rápidas que si se realizaran mediante computación en serie. Además de alimentar dispositivos personales como ordenadores portátiles y smartphones, los sistemas paralelos también alimentan los superordenadores más avanzados y las tecnologías punta como la inteligencia artificial (IA) y el Internet de las cosas (IoT).

La computación en serie, también conocida como computación secuencial, es un tipo de computación en el que las instrucciones para resolver problemas de computación se siguen una a la vez o secuencialmente. Los fundamentos de la computación en serie requieren que los sistemas utilicen un solo procesador en lugar de distribuir los problemas entre varios procesadores.

A medida que la informática evolucionó, se introdujo la computación paralela porque la computación en serie tenía velocidades lentas. Los sistemas operativos que utilizan programación paralela permiten a los ordenadores ejecutar procesos y realizar cálculos simultáneamente, una técnica conocida como procesamiento paralelo.

El procesamiento paralelo y la computación paralela son términos muy similares, pero vale la pena señalar algunas diferencias. El procesamiento paralelo, o paralelismo, separa una tarea en tiempo de ejecución en partes más pequeñas que se realizan de forma independiente y simultánea utilizando más de un procesador. Normalmente se requiere una red informática o un ordenador con más de un procesador para volver a ensamblar los datos una vez que las ecuaciones se han resuelto en varios procesadores.

Aunque el procesamiento paralelo y la computación paralela a veces se utilizan indistintamente, el procesamiento paralelo se refiere al número de núcleos y CPU que se ejecutan junto a un ordenador, mientras que la computación paralela se refiere a lo que hace el software para facilitar el proceso.

La velocidad y la eficiencia de la computación paralela impulsan algunos de los avances tecnológicos más importantes del último medio siglo, incluidos los smartphones, la computación de alto rendimiento (HPC), la IA y el machine learning (ML). Al permitir que los ordenadores resuelvan problemas más complejos más rápido y con menos recursos, la computación paralela también es un controlador crucial de la transformación digital para muchas empresas.

El interés por la computación paralela comenzó cuando los programadores y fabricantes de ordenadores empezaron a buscar formas de crear procesadores más eficientes energéticamente. En las décadas de 1950, 1960 y 1970, los líderes de la ciencia y la ingeniería construyeron ordenadores que utilizaban espacio de memoria compartido y ejecutaban operaciones paralelas en conjuntos de datos por primera vez.

Estos esfuerzos culminaron en el innovador proyecto Caltech Concurrent Computation, que introdujo un nuevo tipo de computación paralela en la década de 1980 utilizando 64 procesadores Intel.

En la década de 1990, el superordenador ASCI Red, que utilizaba procesadores masivamente paralelos (MPP), logró un billón de operaciones por segundo sin precedentes, marcando el comienzo de una era de dominio MPP en la potencia informática¹. Al mismo tiempo, se introdujeron en el mercado los clústeres, un tipo de computación paralela que vincula clústeres de ordenadores o "nodos" en una red comercial, que acabaron sustituyendo a los MPP para muchas aplicaciones. 

La computación paralela, en particular, los procesadores multinúcleo y las unidades de procesamiento gráfico (GPU), sigue siendo una parte crítica de la informática actual. Las GPU suelen implementarse simultáneamente con las CPU para ampliar el rendimiento de los datos y ejecutar más cálculos a la vez, lo que acelera muchas aplicaciones empresariales modernas.

Antes de la computación paralela, la computación en serie obligaba a los procesadores individuales a resolver problemas complejos paso a paso, añadiendo minutos y horas a tareas que la computación paralela podía realizar en unos segundos. Por ejemplo, los primeros iPhones utilizaban computación en serie y podían tardar un minuto en abrir una aplicación o un correo electrónico. Hoy en día, la computación paralela, utilizada por primera vez en iPhones en 2011, acelera significativamente esas tareas.

A medida que la informática madura y aborda problemas más complejos, los sistemas necesitan realizar miles, incluso millones, de tareas en un instante. Los modelos de ML actuales dependen en gran medida de la computación paralela, utilizando algoritmos muy complejos implementados en varios procesadores. Con la computación en serie, las tareas de ML tardarían mucho más debido a los cuellos de botella causados por solo poder realizar un cálculo a la vez en un único procesador.

La computación paralela y el procesamiento paralelo potencian el cálculo numérico en grandes conjuntos de datos, lo que permite las consultas interactivas detrás del análisis de datos. Con más de un quintillón de bytes de información generados cada día, las empresas pueden tener dificultades para filtrar la información digital en busca de conocimientos que sean útiles. El procesamiento paralelo implementa ordenadores con muchos núcleos en una estructura de datos y tamiza los datos mucho más rápido de lo que podría hacerlo un ordenador en serie.

Armados con computación paralela, los ordenadores pueden utilizar los recursos de forma mucho más eficiente que sus homólogos de computación en serie. Los sistemas informáticos más avanzados de hoy en día implementan múltiples núcleos y procesadores, lo que les permite ejecutar varios programas a la vez y realizar más tareas simultáneamente.

La computación paralela se refiere a muchos tipos de dispositivos y arquitecturas informáticas, desde superordenadores hasta el smartphone de bolsillo. En su forma más compleja, la computación paralela utiliza cientos de miles de núcleos para abordar problemas como encontrar un nuevo medicamento contra el cáncer o ayudar en la búsqueda de inteligencia extraterrestre (SETI). En su forma más sencilla, la computación paralela le ayuda a enviar un correo electrónico desde su teléfono más rápido que si utilizara un sistema informático en serie. 

En términos generales, se utilizan tres arquitecturas únicas en la computación paralela: memoria compartida, memoria de computación distribuida y memoria híbrida. Cada arquitectura opera en su propia interfaz de paso de mensajes (MPI), un estándar para todas las arquitecturas de computación paralela. MPI describe protocolos para programas de paso de mensajes en lenguajes de programación como C++ y Fortran. La MPI de código abierto ha sido clave para el desarrollo de nuevas aplicaciones y software que se basan en capacidades de computación paralela.

La arquitectura de memoria compartida se utiliza en aplicaciones comunes y cotidianas de computación paralela, como ordenadores portátiles o smartphones. En una arquitectura de memoria compartida, los ordenadores paralelos dependen de varios procesadores para ponerse en contacto con el mismo recurso de memoria compartida.

La memoria distribuida se utiliza en arquitecturas de cloud computing, por lo que es común en muchas aplicaciones empresariales. En un sistema distribuido para computación paralela, varios procesadores con sus propios recursos de memoria están vinculados a través de una red.

Los superordenadores actuales se basan en arquitecturas de memoria híbrida, un sistema de computación paralela que combina ordenadores de memoria compartida en redes de memoria distribuida. Las CPU conectadas en un entorno de memoria híbrida pueden acceder a la memoria compartida y a las tareas asignadas a otras unidades en la misma red.

Además de las tres arquitecturas principales, otras arquitecturas informáticas paralelas menos comunes están
diseñadas para abordar problemas más grandes o tareas altamente especializadas. Entre ellos se incluyen los procesadores vectoriales (para matrices de datos denominadas “vectores”) y los procesadores para computación de propósito general en unidades de procesamiento gráfico (GPGCU). Uno de ellos, CUDA, una interfaz de programación de aplicaciones (API) patentada de GPGCU desarrollada por Nvidia, es crítico para el deep learning (DL), la Tecnología que sustenta la mayoría de las aplicaciones de IA.

Hay cuatro tipos de computación paralela, cada uno con sus propios propósitos específicos:

El paralelismo a nivel de bits se basa en una técnica en la que se aumenta el tamaño de palabra del procesador y se reduce el número de instrucciones que el procesador debe ejecutar para resolver un problema. Hasta 1986, la arquitectura informática avanzó aumentando el paralelismo a nivel de bits de los procesadores de 4 bits a los de 8, 16, 32 y 64 bits, y cada generación superaba a la anterior. Quizás el ejemplo más famoso de un avance en el paralelismo de bits fue la Nintendo 64, la primera vez que una aplicación convencional utilizó 64 bits.

El paralelismo a nivel de instrucciones (ILP) es un tipo de computación paralela en el que el procesador elige qué instrucciones ejecutará. En ILP, los procesadores están diseñados para realizar ciertas operaciones simultáneamente para mejorar la optimización de recursos y aumentar el rendimiento.

El paralelismo de tareas es un tipo de computación paralela que paraleliza el código en varios procesadores que ejecutan simultáneamente tareas en los mismos datos. El paralelismo de tareas se utiliza para reducir el tiempo de serie ejecutando tareas simultáneamente; en el pipelining, por ejemplo, donde se realiza una serie de tareas en un único conjunto de datos.

Más avanzado que el ILP, el paralelismo a nivel de superpalabras (SLP) es una táctica de vectorización que se utiliza en el código en línea. La vectorización es un proceso de computación paralela que se utiliza para completar varias tareas similares a la vez, ahorrando tiempo y recursos. El SLP se utiliza para identificar instrucciones escalares que son redundantes en un bloque de código y combinarlas en una sola operación de superpalabra.

Desde blockchains hasta smartphones, videoconsolas y chatbots, la computación paralela es una parte esencial de muchas de las tecnologías que impulsan nuestro mundo. Estos son algunos ejemplos: