Faire du parallélisme en python

Utiliser des Threads est extrêmement simple en python, malheureusement ces Threads s’exécuteront sur un seul cœur de votre processeur. C’est dû au GIL (Global Interpreter Lock) de python.

Dès que l’on souhaite utiliser toutes les ressources possibles il faut passer par des Process et utiliser des classes du module multiprocessing qui sont prévues pour être en mémoire partagée (Value, Array, …).

Pour faciliter un cas d’utilisation j’ai mis en place une petite bibliothèque dont voici le code :

Les problèmes couverts par MultiProcessPool sont ceux pour lesquels vous avez besoin d’effectuer la même opération sur chaque élément d’une liste. Voici un exemple d’utilisation si vous souhaitez doubler la valeur de tous les éléments d’une liste :

Vous pouvez l’installer avec pip :

Faire du parallélisme en python par La Réponse est 42 est sous Licence Creative Commons Internationale Attribution-Partage à l'identique 4.0.

Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *