Skip to main content
Skip to content

Interprétation des métriques d’utilisation et d’adoption pour GitHub Copilot

Copilot Les métriques d’utilisation et d’adoption révèlent des modèles dans la façon dont les développeurs interagissent avec Copilot votre entreprise.

Qui peut utiliser cette fonctionnalité ?

Propriétaires d’entreprise, responsables de facturation d’entreprise, propriétaires d’organisations et personnes disposant d’une organisation personnalisée ou d’un rôle d’entreprise avec l’autorisation « Afficher les métriques de l’organisation Copilot » ou « Afficher les métriques d’entreprise Copilot ».

Une fois que vous avez consulté le Copilot tableau de bord des métriques d’utilisation, vous pouvez utiliser cet article pour interpréter chaque graphique et identifier les opportunités d’adoption et d’engagement.

Utilisez les principaux graphiques d’utilisation dans le tableau de bord pour comprendre les modèles d’adoption et d’engagement globaux. Ces graphiques vous aident à identifier l’endroit où l’utilisation augmente, diminue ou diminue, afin de pouvoir prendre des mesures pour maintenir l’engagement.

Unité de mesureCe qu’il montreComment l’interpréter
Utilisateurs actifs quotidiens de l’IDE (DAU)Utilisateurs uniques ayant interagi avec Copilot chaque jour.La croissance soutenue de DAU signale un engagement cohérent ; Des baisses nettes peuvent indiquer des problèmes de configuration ou un intérêt réduit.
Utilisateurs actifs hebdomadaires de l’IDE (WAU)Utilisateurs uniques actifs sur une fenêtre glissante de sept jours.Un rapport WAU-licence sain (>60%) indique une utilisation continue forte.
Taux d'acceptation des complétions de codePourcentage de suggestions acceptées.Un taux croissant suggère une augmentation de la confiance et de l’utilité ; une baisse peut indiquer des suggestions incompatibles ou des contraintes dans le flux de travail.

Examen de l’adoption des fonctionnalités

Les graphiques « Demandes par mode conversation » et « Adoption de l’agent » montrent comment les développeurs utilisent Copilot Chat et Copilot agent.

SignalCe qu’il vous ditCe que vous devez surveiller
Demandes par mode conversationRépartition des interactions de conversation par mode : Demander, Modifier, Planifier ou Agent.Une distribution équilibrée suggère que les utilisateurs explorent plusieurs fonctionnalités. L’utilisation intensive d’un mode peut mettre en évidence l’endroit où l’activation doit se concentrer.
Adoption de l’agentPourcentage d’utilisateurs actifs qui ont utilisé Copilot agent.La croissance au fil du temps montre que les développeurs progressent de l’achèvement de base vers des fonctionnalités plus avancées Copilot .

Analyse de l’adoption des personnalisations via l’API Copilot CLI

Pour évaluer la façon dont les développeurs adoptent Copilot CLI des personnalisations, utilisez l’API de métriques d’utilisation. Il indique les compétences, les agents personnalisés, l’activité de connexion au serveur MCP (Model Context Protocol), les commandes slash et les plugins pour les entreprises et les organisations. Les champs s’affichent dans les rapports par utilisateur sur 1 jour et les rapports agrégés sur 1 jour, dans les rapports par utilisateur sur 28 jours et les rapports agrégés sur 28 jours day_totals. Ils ne sont pas disponibles dans le tableau de bord. Pour connaître les définitions de champ, consultez Données disponibles dans les métriques d’utilisation Copilot.

interaction_count représente un événement différent pour chaque catégorie : appels de compétence, démarrage de l’agent personnalisé, connexion MCP ou tentatives de reconnexion, appels de commandes obliques ou appels de compétence associés au plug-in. Ces valeurs comptent les événements d’activité, et non les utilisateurs. Les nombres MCP incluent les tentatives de connexion réussies et ayant échoué, mais pas les appels d’outils via un serveur déjà connecté ou un serveur en cours d’utilisation. Chaque interaction de plug-in est déjà incluse dans les nombres d’interactions de compétence, tandis que les interactions de compétence qui ne sont pas associées à un plug-in apparaissent uniquement dans les totaux des compétences. N’additionnez pas les nombres d’interactions des plug-ins et des compétences.

Pour identifier de forts signaux d’adoption, recherchez des personnalisations nommées qui apparaissent dans les listes de nombreux utilisateurs. Chaque tableau contient uniquement les cinq entrées dont le nombre d’interactions est le plus élevé pour cet enregistrement. Par conséquent, n’interprétez pas une entrée absente comme une utilisation nulle ou utilisez les tableaux pour calculer un taux d’adoption exact.

Les nombres distincts indiquent le nombre d’identificateurs d’éléments différents ayant une activité. Dans l’étendue de l’entreprise et de l’organisation, un identificateur compte une fois même si de nombreux utilisateurs interagissent avec lui, n’ajoutez pas de nombres distincts par utilisateur pour reproduire une valeur d’agrégation. Comparez les comptes distincts d’un enregistrement à l’autre ou day_totals pour voir si la diversité des personnalisations associées à l’activité évolue.

SignalCe qu’il suggèreAction suggérée
Une compétence nommée, un agent personnalisé, une commande de barre oblique ou un plug-in a un nombre élevé d’interactions entre de nombreux utilisateursLa personnalisation est largement utile et peut être un bon candidat à la normalisation.Promouvez-le par le biais d’exemples internes, de documents d’intégration ou d’une bibliothèque de personnalisation partagée.
Une personnalisation nommée apparaît dans les cinq premiers pour seulement quelques utilisateurs, mais a un nombre élevé d’interactions pour ces utilisateursL’activité observée se concentre parmi un petit groupe. D’autres utilisateurs peuvent avoir une activité en dehors de leurs cinq premières entrées.Demandez à ces utilisateurs de partager des exemples de flux de travail. Utilisez ensuite les commentaires des développeurs ou d’autres données internes pour évaluer l’adoption plus large avant de développer l’activation.
Le nombre de valeurs distinctes est élevé, mais la plupart des interactions sont regroupées sous otherLes développeurs utilisent de nombreuses personnalisations définies par le client dont les noms ne sont pas exposés dans le rapport.Passez en revue vos sources et catalogues de personnalisation internes pour identifier les opportunités de consolidation, de document ou de gouvernance des options qui se chevauchent.
Le nombre d’interactions reste faible pour une compétence, un agent personnalisé, une commande slash ou un plugin que vous vous attendez à voir les développeurs utiliserLes développeurs peuvent ne pas savoir que la personnalisation existe ou quand elle est utile.Améliorez la détectabilité avec des exemples axés sur les tâches et incluez la personnalisation dans les sessions d’intégration ou d’activation pertinentes.
L’activité de connexion MCP est supérieure ou inférieure à ce qui est prévuLes développeurs peuvent se reconnecter à plusieurs reprises, rencontrer des tentatives de connexion ayant échoué ou le déploiement planifié n’a peut-être pas atteint l’audience prévue. Le nombre de connexions seul ne montre pas si les développeurs utilisent activement des outils MCP.Vérifiez votre processus de configuration et de déploiement MCP, puis utilisez d’autres données internes ou commentaires des développeurs pour évaluer l’utilisation continue du serveur.
L’adoption augmente après une activité d’activationL’activité a peut-être aidé les développeurs à découvrir des personnalisations utiles.Comparez plusieurs périodes de rapport et rassemblez les commentaires des développeurs avant de décider s’il faut développer l’activité.

Examen de l’adoption du modèle

Les graphiques « Utilisation du modèle par jour » et « Utilisation du modèle par mode conversation » vous aident à comprendre les modèles IA les plus fréquemment utilisés.

GraphiqueDescriptifInformations à extraire
Utilisation du modèle par jourAffiche les modèles IA qui alimentent Copilot Chat l’activité.Identifiez si les utilisateurs s’intéressent principalement aux modèles par défaut ou à des expériences avec des modèles plus récents.
Utilisation du modèle par mode de conversationDécompose l’utilisation du modèle par mode conversation (Demander, Modifier, Planifier, Agent).Surveillez l’évolution de l’adoption du modèle à mesure que de nouveaux modèles sont publiés.

Remarque

Les diagrammes d’utilisation du modèle représentent actuellement uniquement l’activité de conversation. Les données d’achèvement ne sont pas incluses dans les répartitions de modèle.

Examen de l’utilisation de la langue

Les graphiques « Utilisation du langage » et « Utilisation du langage par jour » montrent les langages de programmation que les développeurs utilisent le plus souvent avec Copilot.

GraphiqueDescriptifComment l’utiliser ?
Utilisation de la langueAffiche la répartition de l’activité Copilot Chat par langage de programmation.Identifiez où Copilot Chat apporte le plus de valeur et où un support ou un accompagnement supplémentaires pourraient être utiles.
Utilisation de la langue par jourSuit les fluctuations quotidiennes de l’activité linguistique.Détectez les changements dans les priorités de développement ou confirmez si de nouvelles équipes ou projets conduisent à une augmentation de l'activité.

Examen des cohortes d’adoption

La distribution de cohorte d’adoption du tableau de bord d’impact montre le partage des utilisateurs dans chaque phase et la façon dont cette distribution se déplace au fil du temps. Pour connaître les significations de chaque phase et le fonctionnement de la classification, consultez Métriques d’utilisation de GitHub Copilot.

SignalCe qu’il suggèreAction suggérée
Réduction de la part de la phase 1, augmentation de celle de la phase 2 ou de la phase 3Les utilisateurs progressent de la saisie semi-automatique du code vers les flux de travail pilotés par l’agent.Continuer l’activation actuelle ; envisagez de partager des histoires de réussite internes pour soutenir l’élan.
Part d’utilisateurs passifs importante ou croissanteDe nombreux utilisateurs sous licence n’ont pas encore atteint le seuil d’engagement pour une phase.Vérifiez l’attribution de la licence et la configuration de l’IDE ; proposez un accompagnement de prise en main pour réengager les utilisateurs inactifs. Vérifiez également si les utilisateurs concernés utilisent principalement une surface qui ne fait pas partie des critères de classification d’une phase, telle que Copilot Chat sur GitHub.com.
Progression bloquée de la phase 1 à la phase 2Les utilisateurs sont à l’aise avec les complétions et le chat, mais n’ont pas adopté les interfaces agentiques.Suivez une carte de recommandation, par exemple pour configurer Copilot cloud agent, ou lancez une démonstration des flux de travail des agents.
Progression bloquée de la phase 2 à la phase 3Les utilisateurs ont adopté une surface d’agent, mais n’ont pas superposé de surfaces d’agent supplémentaires.Suivez une fiche de recommandation, par exemple en activant Copilot code review, afin d’introduire une deuxième surface d’agent.
La phase d’un utilisateur passe d’un jour à l’autre sans changer ses habitudesL’attribution de la phase est recalculée quotidiennement à partir d’une fenêtre glissante de 28 jours ; la phase d’un utilisateur change donc à mesure que les jours les plus anciens sortent de cette fenêtre.Il s’agit d’un comportement attendu, et non d’une erreur de données ; aucune action n’est nécessaire.

Lorsque vous voyez une carte de recommandation dans le tableau de bord, par exemple pour configurer Copilot cloud agent, activer Copilot code review ou envoyer un rappel d’intégration, suivez le guide pratique associé pour terminer la configuration. Chaque recommandation est générée à partir de la distribution actuelle de la cohorte de votre organisation et cible l’écart le plus susceptible de déplacer les utilisateurs vers une adoption plus approfondie.

Examen du multiplicateur d’adoption

Le multiplicateur d’adoption compare les utilisateurs engagés (phase 1, 2 ou 3) aux utilisateurs passifs sur le code expédié (demandes de tirage fusionnées par utilisateur par mois) et le temps de fusion des demandes de tirage. Cela montre l’impact relatif de l’adoption plus approfondie, indépendamment du nombre d’utilisateurs qui entrent dans chaque phase.

SignalCe qu’il suggèreAction suggérée
Les utilisateurs engagés fusionnent davantage de pull requests chaque mois, par utilisateur, que les utilisateurs passifsUne adoption plus poussée Copilot est associée à une productivité individuelle plus élevée.Utilisez cette comparaison pour étayer l’argument en faveur de la poursuite des investissements dans la montée en compétence.
Les utilisateurs engagés fusionnent moins de pull requests par utilisateur et par mois que les utilisateurs passifsLes utilisateurs engagés peuvent consacrer plus de temps à des travaux plus volumineux ou plus complexes, ou la comparaison peut refléter les différences dans la composition de l’équipe plutôt que sur la profondeur de l’adoption.Croisez ces informations avec la répartition des cohortes d’adoption et les données au niveau des équipes avant de tirer des conclusions ; évitez de considérer le multiplicateur comme un indicateur autonome de productivité.
Les utilisateurs engagés fusionnent les pull requests plus rapidement que les utilisateurs passifsUne adoption plus large est associée à un cycle de vie des pull requests plus court.Utilisez cette comparaison avec les métriques du cycle de vie des pull requests pour évaluer l’impact global sur la livraison.
Le multiplicateur reste stable malgré la croissance de la part des phases 2 ou 3L’adoption de l’agent ne s’est pas encore traduite par une différence mesurable en termes de résultats entre les utilisateurs engagés et les utilisateurs passifs.Vérifiez si l’utilisation de l’agent se concentre chez quelques utilisateurs ou au sein de quelques équipes, et si suffisamment de temps s’est écoulé depuis le déploiement pour que l’impact se manifeste.

Remarque

Le multiplicateur d’adoption compare deux populations différentes d’utilisateurs, pas les mêmes utilisateurs au fil du temps. Les différences dans la composition de l’équipe, la complexité du projet ou l’ancienneté entre les utilisateurs engagés et passifs peuvent influencer la comparaison autant que Copilot l’adoption elle-même.

Examen du retour sur investissement potentiel

La section Retour sur investissement potentiel compare le Copilot coût, le pourcentage estimé de la masse salariale et les pull requests par développeur et par mois entre les phases d’adoption précoce et axée sur les agents. Considérez ces comparaisons comme des corrélations indicatives, et non comme la preuve qu’une variation du taux d’adoption a entraîné une variation des résultats.

SignalCe qu’il suggèreAction suggérée
Les utilisateurs qui privilégient l’agent fusionnent davantage de demandes de tirage, pour un coût similaire ou inférieur en pourcentage de la masse salarialeLe recours prioritaire aux agents est associé à un volume plus élevé de pull requests au regard de l’investissement estimé.Comparez ce signal au multiplicateur d’adoption et aux tendances observées sur plusieurs périodes avant de vous en servir pour orienter les investissements d’accompagnement.
Les utilisateurs privilégiant l’agent fusionnent moins de pull requests ou ont un coût plus élevé en pourcentage de la masse salarialeLes différences de type de travail, de composition d’équipe ou de maturité d’adoption peuvent affecter la comparaison.Passez en revue la distribution des cohortes et le contexte au niveau de l’équipe avant de tirer des conclusions sur le retour sur investissement.
Le pourcentage de paie change après avoir sélectionné un coût de développeur différentLe tableau de bord recalcule l’estimation à l’aide d’une hypothèse de compensation différente, sans afficher de modification de l’utilisation.Utilisez la même bande de rémunération lors de la comparaison de périodes ou d’organisations différentes.

Agir sur vos analyses

Utilisez les tendances d’utilisation, d’adoption des fonctionnalités et d’activité linguistique pour guider la planification de l’activation et du déploiement.

ObservationCause potentielleAction suggérée
Adoption élevée dans certaines équipes, mais faible dans d’autresCertaines équipes n’ont Copilot Chat peut-être pas activé ou configuré correctement.Vérifier l’attribution de licence et la configuration de l’IDE ; offrir l’onboarding au niveau de l’équipe.
Utilisation stable mais faible adoption de l’agentLes développeurs peuvent ne pas connaître les Copilot agent fonctionnalités.Partagez des démonstrations internes ou des histoires de réussite.
Baisse du taux de DAU ou d’acceptationProblèmes de configuration ou pertinence réduite des suggestions.Encouragez les commentaires et vérifiez les versions d’IDE et d’extension.

Conseil

Envisagez de combiner des tendances de tableau de bord avec des commentaires provenant d’enquêtes ou de rétrospectives pour obtenir une image complète de Copilotl’impact sur la productivité des développeurs.