Le changement ou le retrait de l'affectation à un architecte en chef des monuments historiques, d'un ou plusieurs monuments historiques ou de la circonscription mentionnés au II de l'article 3, peuvent être prononcés par arrêté du ministre chargé de la culture, pris dans l'intérêt du service ou à la demande de l'intéressé.