PyTorch è stato originariamente sviluppato dai ricercatori di Meta alla fine del 2016. È un port Python della vecchia libreria Torch, al cui centro c'era un tensore. Entro il 2022, momento in cui PyTorch è spostato alla Linux Foundation, secondo quanto riferito, oltre 2.400 collaboratori avevano più di 150.000 progetti che utilizzavano PyTorch. (Il machine learning open source è il paradigma dominante, poiché il settore prospera grazie a un'ampia collaborazione.) Analogamente a TensorFlow, anche PyTorch consente agli sviluppatori di eseguire operazioni simili a NumPy, ma utilizzando GPU anziché CPU, il che rende PyTorch un altro framework di deep learning.
"PyTorch o TensorFlow?" è spesso la prima domanda che si pone chi si lancia in un progetto di machine learning (in precedenza, veniva considerata anche una libreria chiamata Theano, poi deprecata nel 2017). Sebbene non esista una risposta sbagliata, PyTorch sta emergendo come uno dei programmi preferiti da molti sviluppatori per il suo design flessibile e tollerante ("Pythonic") e per la sua facilità d'uso. A lungo preferito tra accademici e ricercatori, l'industria utilizza i settori sempre più anche per casi d'uso ambiziosi e scalabili. La guida autonoma di Tesla, ad esempio, è stata sviluppata utilizzando PyTorch e la piattaforma di cloud computing di Microsoft Azure lo supporta. PyTorch è diventato così popolare che attorno ad esso è cresciuto un ecosistema di strumenti di supporto (come Torchvision e TorchText). Sia Tensorflow che Pytorch utilizzano un grafico computazionale, una struttura di dati che rappresenta il flusso di operazioni e variabili durante l'addestramento del modello.
IBM è membro della PyTorch Foundation e utilizza PyTorch con il proprio portfolio watsonx.