@HXeBoLaX no estoy muy puesto en el tema, pero lo que entendía es que PyTorch es mayormente C++. Creo más probable que simplemente lo que estás usando de PyTorch sea menos eficiente que otras alternativas, pero no especialmente porque sea Python.
(Pero insisto, yo no toco ML ni con un palo, así que ni idea.)