Méthodologie

Portée

CAIM documente les préjudices liés à l'IA et les conditions qui les produisent, à travers deux types de fiches :

• Fiches d'incidents : documentent des événements discrets où le développement, le déploiement ou l'utilisation d'un système d'IA a produit un préjudice ou un quasi-préjudice.
• Fiches de dangers : documentent des conditions structurelles qui créent des chemins réalistes vers un préjudice, que le préjudice se soit déjà produit ou non.

Ce sont des choses de nature différente : un danger est une condition persistante ; un incident est un événement discret. Un même danger peut produire de nombreux incidents au fil du temps, et le danger persiste même après que des incidents se sont produits, tout comme une intersection dangereuse reste un danger après chaque collision. Le lien materialized_from sur les fiches d'incidents capture cette relation : les incidents sont la preuve qu'un danger est réel. Ce modèle suit celui de la sécurité aérienne, où les enquêtes sur les accidents et les signalements volontaires de dangers alimentent le même objectif de sécurité.

Quels systèmes sont dans la portée

Un système d'IA est un système qui utilise l'apprentissage automatique, les réseaux de neurones, les modèles de fondation, ou des systèmes construits sur ceux-ci. Cela comprend les modèles statistiques entraînés sur des données, l'apprentissage profond, les modèles génératifs et les systèmes hybrides incorporant de tels composants.

Les systèmes dont le comportement est entièrement spécifié par des règles rédigées par des humains (instruments de notation déterministes, questionnaires structurés, automatisation à base de règles, outils d'extraction de données) sont hors portée, même lorsqu'ils sont décrits comme « algorithmiques » ou « IA ».

Cette définition sera révisée à mesure que la technologie évolue.

Ce qui est hors portée

• Les systèmes à base de règles, instruments de notation déterministes, questionnaires structurés et outils d'extraction de données, même lorsqu'ils sont déployés à grande échelle dans des décisions conséquentes
• L'automatisation simple (p. ex., publipostage, macros de tableur, déclencheurs de flux de travail basiques) où le système n'a aucune fonction de prise de décision et aucun chemin plausible vers un préjudice
• Les dangers purement théoriques sans preuve documentée d'une condition précurseur
• Les événements où l'IA est mentionnée de manière accessoire mais n'a joué aucun rôle matériel dans le chemin vers le préjudice

Incidents

Un événement ou une série d'événements dans lesquels le développement, le déploiement ou l'utilisation d'un système d'IA est plausiblement impliqué dans un préjudice ou un quasi-préjudice. Cela inclut l'utilisation abusive matériellement facilitée par l'IA.

Dangers

Une condition précurseur crédible, une défaillance ou un schéma de quasi-incident indiquant un chemin réaliste vers un préjudice, même si le préjudice a été évité ou n'a pas encore été observé. Les dangers sont inclus parce que les quasi-incidents sont souvent les cas les plus informatifs pour la prévention.

Les fiches de dangers exigent des preuves documentées de la condition précurseur : une constatation réglementaire, une enquête, une évaluation technique publiée ou l'équivalent. Une lacune politique seule ne suffit pas ; il doit y avoir des preuves que la lacune a créé des conditions où le préjudice est plausible et imminent.

Implication matérielle de l'IA

Un cas est dans la portée lorsqu'un système d'IA est un facteur significatif dans le chemin vers le préjudice, et non simplement accessoire. Le critère est de savoir si le comportement, la conception, le déploiement ou la gouvernance du système d'IA a matériellement façonné le résultat.

Cas limites, exemples pratiques :

Lien avec le Canada

Un cas a un lien avec le Canada si un ou plusieurs des critères suivants s'appliquent :

• Des personnes, des institutions ou des infrastructures au Canada ont été matériellement touchées
• Une organisation canadienne a développé, déployé ou exploité le système d'IA
• Un événement international a des implications documentées pour les systèmes, les populations ou la gouvernance du Canada

Calibration de la sévérité

CAIM utilise une échelle de sévérité ordinale. Pour assurer la cohérence entre les éditeurs et dans le temps, chaque niveau est ancré par des critères opérationnels et des exemples de référence.

Lorsque la sévérité est incertaine, les fiches utilisent « inconnu » plutôt que de deviner. La sévérité peut être relevée ou abaissée à mesure que de nouvelles informations émergent ; tous les changements sont documentés dans le journal des modifications.

Portée de l'impact

La portée de l'impact décrit l'échelle des personnes ou entités affectées. Comme la sévérité, elle utilise une échelle ordinale avec « inconnu » permis.

Le pipeline

CAIM fonctionne à travers un pipeline en sept étapes combinant surveillance automatisée et révision éditoriale humaine. Les étapes automatisées utilisent des grands modèles de langage (LLM) pour le triage et l'extraction structurée ; chaque fiche est révisée par un éditeur humain avant publication.

1. Surveillance

Balayage automatisé de sources canadiennes en anglais et en français : médias d'information, avis réglementaires fédéraux, bases de données juridiques, publications technologiques et bases de données internationales d'incidents. Les sources sont catégorisées par fonction :

• Sources de détection (balayées en continu) : médias canadiens, avis réglementaires, bases de données judiciaires, bases de données d'incidents (AIID)
• Sources de corroboration (consultées sur demande lors de la rédaction) : décisions du CPVP, Hansard, commissaires provinciaux
• Sources de contexte (référencées lors de la rédaction) : OCDE AIM, AIAAIC, publications AISI

En plus de la surveillance automatisée, les rapports peuvent être soumis directement via des soumissions structurées ou un canal confidentiel pour les cas sensibles nécessitant une protection des sources ou une divulgation coordonnée.

2. Filtrage

Un pré-filtre par mots-clés (expressions régulières larges, délibérément sur-inclusives, bilingues) réduit le volume d'éléments surveillés. Les éléments passant le filtre sont enrichis avec le texte intégral de l'article. Cette étape est déterministe et vérifiable — chaque correspondance de mots-clés est journalisée.

3. Triage

Chaque élément filtré est évalué par un LLM selon :

• Portée : Y a-t-il une implication matérielle de l'IA et un lien avec le Canada?
• Classification : Est-il mieux traité comme un incident ou un danger?
• Déduplication : Ce rapport est-il lié à une fiche existante, ou à d'autres éléments du même cycle de surveillance?

Toutes les décisions de triage sont journalisées avec leur raisonnement. Lorsque plusieurs articles décrivent le même événement, le triage les regroupe comme observations multiples d'un seul incident plutôt que comme des fiches distinctes.

4. Extraction et résolution

Pour les éléments qui passent le triage, le pipeline extrait une fiche structurée complète conforme au schéma CAIM et résout toutes les mentions d'entités et de systèmes par rapport au registre existant. La résolution d'entités et de systèmes — associer des mentions comme « le chien de garde fédéral en matière de vie privée » à la bonne entrée du registre — utilise les connaissances du LLM en remplacement de l'infrastructure traditionnelle de correspondance. Chaque résolution porte un niveau de confiance et un raisonnement vérifiable.

5. Analyse

Trois évaluations analytiques sont produites, chacune structurellement séparée de la fiche factuelle (voir EC-1) :

• Classification : étiquettes taxonomiques selon les axes standards (domaine, type de préjudice, voie de l'IA, phase du cycle de vie, facteur de risque systémique)
• Structure de contrôle : évaluation de l'adéquation de la gouvernance à chaque palier pertinent (organisationnel, sectoriel, provincial, fédéral, international)
• Trajectoire (dangers seulement) : évaluation de l'évolution de la condition de risque

6. Révision

Un réviseur humain examine chaque ébauche de fiche, incluant :

• La fiche structurée complète avec tous les champs remplis
• Les observations sources avec texte intégral
• Les décisions de résolution d'entités et de systèmes (pré-remplies pour la haute confiance, signalées pour la confiance moyenne ou faible)
• Les ébauches d'analyses (classification, structure de contrôle, trajectoire)
• Les résultats de l'AQ automatisée de caim-eval, un contrôle de qualité obligatoire vérifiant la factualité, l'attribution, la calibration et la cohérence interne

Aucune fiche n'est publiée sans révision éditoriale humaine. Le réviseur peut approuver, réviser, rejeter ou différer chaque élément. Pour les cas sensibles en matière de sécurité, un réviseur de sécurité gère les décisions de rédaction et la divulgation coordonnée.

7. Publication

Les fiches approuvées sont insérées dans la base de données avec toutes les références d'entités, de systèmes et d'observations. Les nouvelles entités et les nouveaux systèmes confirmés lors de la révision sont ajoutés au registre. Le site public est reconstruit.

Les fiches sont publiées avec une étiquette de vérification, des sources, des étiquettes taxonomiques et un numéro de version. Toutes les modifications subséquentes produisent de nouvelles versions avec un journal des modifications visible. Lorsque la publication responsable nécessite un délai, CAIM retient la fiche jusqu'à ce que la publication soit sûre, et publie des orientations défensives de haut niveau dans l'intervalle lorsque possible.

Corrections

Si une fiche est matériellement inexacte, elle est corrigée promptement et de manière transparente. Si les affirmations fondamentales ne peuvent être soutenues, les fiches peuvent être retirées avec une explication et des métadonnées de référence préservées. Les appels portent sur l'exactitude factuelle et la publication responsable.

Le format des fiches

Chaque fiche publiée comporte trois couches.

Couche narrative

Un récit compact et lisible :

• Ce qui s'est passé (ou a failli se passer)
• Dates clés et juridiction(s)
• Qui a été touché (catégories de parties prenantes)
• Contexte du système d'IA (ce qui peut être soutenu de manière responsable)
• Préjudices observés ou quasi-préjudices
• Ce qui est connu vs allégué vs incertain

Couche probante

Sourçage transparent :

• Liste des sources avec dates et type (médiatique, officielle, judiciaire, divulgation, académique)
• Lorsque utile, un tableau d'affirmations associant des affirmations spécifiques aux sources les appuyant et des notes de confiance

Couche structurée

Étiquettes taxonomiques permettant la recherche, le filtrage et l'analyse :

• Domaine : finance, santé, services publics, éducation, infrastructures essentielles, élections/intégrité de l'information, etc.
• Type de préjudice : fraude/usurpation, vie privée/exposition de données, discrimination/droits, défaillance de sécurité, cyberincident, désinformation, défaillance opérationnelle, imagerie non consensuelle, etc.
• Type d'implication de l'IA : défaut de développement, défaillance de déploiement, utilisation abusive, chaîne d'approvisionnement/outillage, défaillance de la supervision humaine, lacune de surveillance, etc.
• Phase du cycle de vie : conception, entraînement, évaluation, déploiement, surveillance, réponse aux incidents
• Sévérité et portée de l'impact : échelles ordinales calibrées avec des exemples de référence (voir ci-dessus) ; « inconnu » explicitement permis
• Palier de juridiction : fédéral, provincial/territorial, municipal ou multi-paliers, identifiant quel palier de gouvernement a l'autorité réglementaire principale sur le système ou le domaine
• Base du lien avec le Canada : quels critères de lien sont satisfaits

Recommandations de politique

Lorsque des autorités externes ont proposé des mesures pertinentes, les fiches incluent des recommandations de politique attribuées, liées au cas spécifique. Chaque recommandation cite sa source. CAIM n'émet pas ses propres prescriptions.

Échelle de vérification

Les fiches portent un statut de vérification pour que les lecteurs puissent toujours évaluer le degré de certitude de l'information.

CAIM distingue ce qui est connu, ce qui est allégué et ce qui demeure incertain. Lorsque l'information est incomplète, CAIM publie ce qui est soutenable et marque explicitement ce qui est inconnu.

Vérification des fiches de dangers

Pour les fiches d'incidents, l'échelle de vérification évalue la solidité des faits de l'événement. Pour les fiches de dangers, elle évalue la solidité de la documentation de la condition précurseur :

• Signalé : Une source crédible a identifié la condition, mais elle n'a pas été examinée de manière indépendante, p. ex., un reportage médiatique décrivant une lacune réglementaire.
• Corroboré : Plusieurs sources crédibles indépendantes documentent la condition, p. ex., un organisme de réglementation et des chercheurs indépendants ont identifié la même lacune ou défaillance précurseur.
• Confirmé : Une autorité primaire a formellement documenté la condition, p. ex., une enquête officielle, un audit ou une constatation réglementaire établit la condition précurseur comme un fait.

Le statut de vérification reflète la solidité des preuves de la condition précurseur elle-même, et non une prédiction de préjudice futur. L'évaluation du risque (la plausibilité du chemin vers le préjudice et la gravité potentielle des conséquences) est un jugement éditorial distinct, énoncé de manière transparente dans le récit, fondé sur des preuves lorsque possible, et révisable à mesure que de nouvelles informations émergent. Un danger peut être « confirmé » (la condition sous-jacente est bien documentée) tandis que la gravité du risque demeure incertaine ou contestée.

Taxonomie

La taxonomie de CAIM est conçue pour être stable, interprétable et interopérable. Les fiches sont codées selon les dimensions décrites ci-dessus (domaine, type de préjudice, type d'implication de l'IA, phase du cycle de vie, sévérité, palier de juridiction, base du lien). La taxonomie est publiée et versionnée ; les changements sont documentés.

Lorsque faisable, CAIM aligne ses champs avec les cadres internationaux de signalement d'incidents, en particulier le Moniteur d'incidents de l'IA de l'OCDE et l'AI Incident Database (AIID), pour soutenir la comparabilité et l'adoption institutionnelle.

Modèle de données

Le modèle de données de CAIM sépare les observations (niveau de base) de la classification (couches taxonomiques). Une fiche est publiable sans taxonomie appliquée. Toute classification peut évoluer indépendamment des observations sous-jacentes.

Rôles de base des entités

Chaque entité référencée dans une fiche porte un ou plusieurs rôles de base, un ensemble restreint et durable de relations organisationnelles :

• Développeur : a construit, entraîné ou créé le système d'IA
• Déployeur : a mis le système en utilisation opérationnelle
• Régulateur : a enquêté, audité ou émis des conclusions
• Partie touchée : a subi un préjudice ou a été soumise aux décisions du système
• Signaleur : a divulgué, documenté ou signalé l'incident ou le danger

Ces rôles permettent des requêtes structurées (« tous les déployeurs », « tous les incidents avec intervention d'un régulateur ») sans dépendre de la taxonomie.

Objets partagés

Le schéma définit cinq objets partagés référencés à travers les incidents et les dangers :

• Observation : une pièce de preuve externe — un article de presse, un rapport gouvernemental, un dossier judiciaire, un article académique. Le moniteur les organise mais ne les crée pas. Chaque observation enregistre son éditeur, sa date de publication, son type de source, et optionnellement quelle affirmation spécifique elle appuie.
• Entité : un acteur impliqué dans des situations de risque lié à l'IA — une entreprise, un régulateur, un tribunal, une institution ou un individu. Partagée entre les fiches.
• Système : un système d'IA — un modèle, un produit ou un service déployé — lié à son entité développeuse. Partagé entre les fiches.
• Réponse : une action de gouvernance prise en relation avec le risque lié à l'IA — législation, enquête, décision judiciaire, orientation, application. Chaque réponse enregistre l'acteur, la juridiction, la date, le statut et la description.
• Analyse : une évaluation analytique attachée à une fiche. Les analyses sont structurellement séparées de la fiche factuelle — elles représentent un jugement éditorial, pas une preuve.

Approches d'analyse

Chaque fiche peut avoir plusieurs analyses utilisant différentes approches. L'approche détermine le contenu de l'analyse :

• Classification : catégorise la fiche selon les axes taxonomiques — domaine, type de préjudice, voie de l'IA, phase du cycle de vie, facteur de risque systémique. Chaque entrée est étiquetée known ou potential. Alimente les requêtes inter-fiches et le regroupement des risques.
• Structure de contrôle : contribution analytique principale de CAIM. Évalue l'adéquation de la gouvernance à chaque palier pertinent (organisationnel, sectoriel, provincial, fédéral, international). Chaque palier est évalué comme absent, partial, adequate ou overwhelmed, avec raisonnement. Chaque niveau de gouvernance apparaît au plus une fois par analyse.
• Trajectoire : suit l'évolution d'une condition de risque dans le temps. Typiquement attachée aux dangers. Aborde le statut actuel (actif, atténué, en escalade, retiré), les preuves à l'appui, la confiance, et les déclencheurs ou facteurs atténuants observés.

Suivi des réponses

Les fiches suivent la boucle de rétroaction de gouvernance : ce qui a été fait en réponse, par qui, et avec quel résultat. Chaque entrée de réponse inclut l'acteur (lié à une entité), la juridiction, la date, le type d'action, le statut actuel et la description. Sur les incidents, cela suit les enquêtes, l'application de la loi, les changements de politique et les litiges. Sur les dangers, cela suit l'attention de gouvernance : rapports publiés, consultations lancées, législation introduite.

Contraintes et invariants

Le schéma impose l'intégrité structurelle par des contraintes formelles :

• EC-1 : Faits et analyses sont structurellement séparés. La mise à jour d'une analyse ne modifie jamais les champs factuels ou les observations.
• EC-2 : La matérialisation préserve les deux objets. Lorsqu'un danger produit un incident, le danger persiste avec sa propre identité et ses évaluations inchangées.
• EC-3 : Contraintes spécifiques aux approches — chaque entrée de classification porte une étiquette de confiance ; chaque niveau de gouvernance apparaît au plus une fois par analyse de structure de contrôle.

Et des invariants qui s'appliquent à travers toutes les transitions d'état :

• INV-1 : La vérification doit être appuyée par des preuves. corroborated exige ≥2 observations de différents éditeurs ; confirmed exige ≥1 observation de type source officielle, judiciaire, réglementaire ou divulgation.
• INV-2 : Les preuves sont en ajout seulement. Les observations ne sont pas retirées sauf en cas de fabrication ou de responsabilité juridique.
• INV-3 : Les fiches publiées ne sont jamais supprimées. Elles peuvent être marquées comme rédigées mais leur identité et leur existence restent visibles.

Liens unilatéraux

Toutes les relations sont déclarées d'un seul côté. Les recherches inverses sont calculées lors de la construction. Cela élimine les incohérences à mesure que le corpus grandit.

Intégrité à la construction

L'étape de construction valide le graphe complet : références de slugs, valeurs taxonomiques, parité bilingue, ordonnancement des évaluations et cohérence des relations. Les références brisées sont des erreurs de construction.

Analyse des risques systémiques

La contribution analytique la plus distinctive de CAIM est une méthodologie reliant les patterns d'incidents au niveau du déploiement aux trajectoires de risque catastrophique. C'est l'analyse de transition.

Facteurs de risque systémique

Chaque fiche est étiquetée avec des facteurs de risque systémique : des propriétés structurelles de la défaillance pertinentes à travers les échelles de risque :

Analyse de trajectoire

Les fiches de dangers portent des analyses de trajectoire qui suivent l'évolution de la condition de risque. Chaque évaluation de trajectoire aborde :

• Statut actuel : actif, atténué, en escalade ou retiré
• Preuves à l'appui : quelles observations soutiennent l'évaluation du statut
• Confiance : le degré de certitude de l'évaluation (faible, modérée, élevée)
• Déclencheurs et facteurs atténuants : ce qui pourrait faire escalader ou reculer le risque

Le fait qu'un danger ait produit des incidents est capturé séparément par les liens materialized_from sur les fiches d'incidents ; la trajectoire d'un danger décrit l'état de la condition sous-jacente, et non si des incidents se sont produits.

Quantités dérivées

CAIM calcule des patterns agrégés sur tout le corpus de fiches :

• Distribution des lacunes de gouvernance : à partir des analyses de structure de contrôle, combien de fiches présentent chaque valeur d'adéquation à chaque niveau de gouvernance
• Taux de matérialisation : fraction des dangers référencés par au moins un lien materialized_from d'incident
• Latence de réponse : délai entre la date d'ancrage (occurrence ou identification) et la première réponse de gouvernance liée
• Grappes de risque : à partir des analyses de classification, fiches regroupées par classification partagée, lacune de contrôle, entité ou système

Interopérabilité

Alignement avec l'OCDE

CAIM maintient deux couches de classification sur chaque fiche : une taxonomie native CAIM (primaire, plus riche, optimisée pour les utilisateurs de politiques canadiennes) et une couche d'interopérabilité OCDE AIM (optionnelle, remplie lors de l'étiquetage éditorial). Les deux couches coexistent sans aplatissement; aucune n'est redondante. Cela suit le modèle utilisé en sécurité aérienne, où les autorités nationales maintiennent des systèmes de classification détaillés tout en les mappant aux codes internationaux pour le signalement.

Les exportations de données incluent une vue compatible OCDE qui mappe les champs CAIM au schéma de l'OCDE. Les métadonnées éditoriales de CAIM (échelle de vérification, versionnage, indicateurs de rédaction, étiquettes bilingues) sont préservées dans un espace de noms d'extension.

Alignement avec l'AIID

CAIM adopte la distinction conceptuelle de l'AIID entre incidents (événements canoniques) et rapports (documents sources individuels). Les fiches incluent des identifiants de référence croisée AIID optionnels lorsque des correspondances existent. La taxonomie de CAIM fournit une table de correspondance vers les ensembles taxonomiques de l'AIID, les étiquettes locales (étiquettes bilingues, lien avec le Canada, métadonnées éditoriales) étant maintenues séparément.

Vie privée et publication responsable

Politique de dénomination

CAIM documente les patterns systémiques de préjudices liés à l'IA. L'unité d'analyse est le système, le déploiement et la lacune de gouvernance, et non les individus touchés. L'identité des personnes ayant subi un préjudice n'ajoute aucune valeur analytique ; les circonstances de leur préjudice, oui. En conséquence :

• Les personnes privées ayant subi un préjudice ne sont jamais nommées. Elles sont décrites par rôle et contexte démographique pertinent : « un recruteur ontarien », « un retraité de l'Î.-P.-É. », « un utilisateur de 14 ans ». Cela s'applique même lorsque le nom de la personne est disponible dans les médias. Le consentement à une entrevue médiatique n'est pas un consentement à l'inclusion permanente dans une base de données structurée et lisible par machine.
• Les organisations, les systèmes d'IA et les représentants publics agissant en capacité officielle sont nommés, car la responsabilité institutionnelle l'exige.
• Les professionnels agissant en capacité professionnelle (avocats, chercheurs, commissaires) peuvent être nommés lorsque leur rôle est pertinent à la fiche.
• Les accusés au criminel nommés dans des procédures judiciaires publiques sont traités au cas par cas. Les mineurs ne sont jamais nommés.
• Les parties civiles : les noms de causes (p. ex., Moffatt c. Air Canada) peuvent être référencés pour la traçabilité juridique, mais l'individu n'est pas profilé au-delà de ce que le dossier juridique exige.

Le critère est : cette fiche, en tant qu'entrée permanente et structurée dans une base de données publique, pourrait-elle causer un préjudice à l'individu qu'elle décrit? Les détails personnels sensibles (antécédents de santé mentale, pertes financières, situation de handicap) sont particulièrement susceptibles de suivre une personne nommée. CAIM ne contribue pas à ce résultat.

Mesures de publication responsable

Au-delà de la politique de dénomination, CAIM suit des mesures de protection supplémentaires :

• Les cas impliquant des mineurs bénéficient d'une protection renforcée; les noms ne sont jamais publiés, et les détails identifiants sont minimisés
• Les fiches évitent de reproduire du contenu préjudiciable inutilement et utilisent un langage centré sur la victime
• Pour les cas sensibles en matière de sécurité, CAIM suit les normes de divulgation coordonnée : il priorise l'atténuation et la sécurité, publie des orientations défensives de haut niveau, et retient les détails habilitants jusqu'à ce que le risque soit réduit
• CAIM ne devient pas une plateforme de harcèlement ou d'attaques réputationnelles ; les fiches sont sourcées, prudentes dans le langage, et axées sur ce qui s'est passé et ce qui peut être appris