PyTorch awalnya dikembangkan oleh para peneliti di Meta pada akhir 2016. Ini adalah port Python dari library Torch yang lebih lama, yang intinya adalah tensor. Pada tahun 2022, saat PyTorch pindah ke Linux Foundation, lebih dari 2.400 kontributor dilaporkan memiliki lebih dari 150.000 proyek menggunakan PyTorch. (Machine learning sumber terbuka adalah paradigma dominan, karena bidang ini berkembang dari kolaborasi yang luas.) Seperti TensorFlow, PyTorch juga memungkinkan pengembang untuk melakukan Operasi seperti Numpy, tetapi menggunakan GPU alih-alih CPU—menjadikan PyTorch kerangka kerja pembelajaran mendalam lainnya.
“PyTorch atau TensorFlow?” sering menjadi pertanyaan awal bagi mereka yang memulai proyek machine learning (Sebelumnya, library bernama Theano juga menjadi pilihan, tetapi tidak digunakan lagi pada tahun 2017). Meskipun tidak ada jawaban yang salah, PyTorch muncul sebagai favorit di antara banyak developer karena desainnya yang fleksibel dan mudah digunakan ("Pythonic") serta kemudahan penggunaannya. Sudah lama disukai di kalangan akademisi dan peneliti, industri juga semakin sering menggunakannya untuk contoh penggunaan yang ambisius dan dapat diskalakan. Autopilot Tesla, misalnya, dibangun menggunakan PyTorch, dan platform komputasi awan Microsoft Azure mendukungnya. PyTorch telah menjadi sangat populer sehingga ekosistem alat pendukung (seperti Torchvision dan TorchText) telah berkembang di sekitarnya. Baik Tensorflow dan Pytorch menggunakan grafik komputasi—struktur data yang mewakili aliran operasi dan variabel selama pelatihan model.
IBM adalah anggota dari PyTorch Foundation; IBM menggunakan PyTorch dengan portofolio watsonx.