Outre les cas de retrait énoncés par l'article L. 441-2, le président du conseil général peut à tout moment retirer l'agrément lorsque les conditions auxquelles son octroi est subordonné ne sont plus réunies et notamment lorsque le contrôle et le suivi social et médico-social ne peuvent être exercés.
Le retrait n'est prononcé qu'après que la personne agréée a été invitée par lettre recommandée avec demande d'avis de réception à régulariser sa situation dans un délai déterminé et que cette invitation est restée sans effet.