Le secrétariat de l'observatoire est assuré par le secrétaire général du comité interministériel du handicap en lien avec le directeur général de la cohésion sociale et le service en charge de l'accessibilité au ministère chargé du développement durable. Il bénéficie, en tant que de besoin, du concours des services relevant des ministres membres du comité interministériel du handicap.