O PyTorch foi originalmente desenvolvido por pesquisadores da Meta no final de 2016. É uma portabilidade do Python da biblioteca Torch mais antiga, em cujo núcleo havia um tensor. Em 2022, quando o PyTorch migrou para a Linux Foundation, mais de 2.400 colaboradores tinham supostamente mais de 150.000 projetos usando o PyTorch. (O aprendizado de máquina de código aberto é o paradigma dominante, já que o campo prospera a partir da extensa colaboração.) Assim como o TensorFlow, o PyTorch permite que os desenvolvedores executem operações semelhantes às do NumPy, mas usando GPUs em vez de CPUs, tornando o PyTorch outro framework de deep learning.
"PyTorch ou TensorFlow?" costuma ser uma pergunta inicial para aqueles que estão embarcando em um esforço de aprendizado de máquina (anteriormente, uma biblioteca chamada Theano também estava no cardápio; foi descontinuada em 2017). Embora não haja uma resposta errada, o PyTorch está se consolidando como o favorito entre muitos desenvolvedores devido ao seu design flexível e abrangente ("Pythonic") e à facilidade de uso. Há muito tempo preferido entre acadêmicos e pesquisadores, o setor também o usa cada vez mais para casos de uso ambiciosos e escaláveis. O Autopilot da Tesla, por exemplo, foi construído usando o PyTorch, e a plataforma de computação em nuvem da Microsoft, o Azure, é compatível com ele. O PyTorch se tornou tão popular que um ecossistema de ferramentas de suporte (como Torchvision e TorchText) cresceu em torno dele. Tanto o Tensorflow quanto o Pytorch usam um grafo computacional — uma estrutura de dados que representa o fluxo de operações e variáveis durante o treinamento do modelo.
A IBM é membro da PyTorch Foundation; ela usa o PyTorch com seu portfólio do watsonx .