Le directeur interrégional des services pénitentiaires est tenu de retirer l'agrément lorsque le procureur de la République en fait la demande écrite.
Il peut en outre retirer l'agrément par décision motivée prise au vu d'un rapport du chef de l'établissement pénitentiaire, notamment en cas de manquement par un mandataire aux règles relatives à la sécurité et au bon ordre de l'établissement.
En cas d'urgence et pour des motifs graves, le chef d'établissement peut suspendre provisoirement l'agrément du mandataire, dans l'attente de la décision du directeur interrégional. La durée de suspension provisoire ne peut excéder deux mois.