Alors que les violences numériques changent d’échelle, Moderering, l’IA de modération qui protège les utilisateurs des contenus illicites en ligne, publie son premier baromètre consacré aux risques de modération sur plusieurs environnements numériques : plateformes adultes, chats anonymes, réseaux sociaux et jeux en ligne.
Menée à partir de contenus publics, de sources ouvertes, de rapports officiels et d’analyses IA propriétaires, cette étude met en lumière un constat central : les violences en ligne ne relèvent plus seulement de contenus isolés à supprimer après signalement. Elles s’inscrivent dans des environnements techniques où l’absence de vérification, la faiblesse de la détection proactive et la lenteur du traitement peuvent favoriser la diffusion, l’amplification ou la répétition de contenus à risque.
Le baromètre analyse notamment plusieurs plateformes et écosystèmes numériques — Wyylde, Gleese, Chatiw, Facebook et Roblox — afin d’identifier les principales typologies de risques : diffusion de contenus intimes potentiellement non consentis, faux profils, contenus à caractère haineux ou discriminatoire, ciblage d’utilisateurs jeunes, harcèlement, haine et exposition des mineurs à des contacts problématiques
5 chiffres qui alertent sur l’urgence
Parmi les principaux signaux de risque identifiés par Moderering et les sources mobilisées dans le baromètre :
– 82 % des images et vidéos étudiées autour de Wyylde concerneraient des personnes n’ayant pas donné leur consentement à leur diffusion sur cette plateforme. Ces contenus impliqueraient essentiellement des femmes non inscrites sur le site.
– 58 % des images et vidéos observées sur Gleese concerneraient des personnes n’ayant pas donné leur consentement à leur diffusion, là encore principalement des femmes non inscrites sur la plateforme.
– Plus de 61 % des profils Wyylde se présentant comme des couples seraient en réalité des hommes seuls, selon l’analyse IA Moderering. Un signal qui interroge les mécanismes de vérification d’identité et la capacité des plateformes à prévenir les usages trompeurs ou manipulateurs.
– Sur Chatiw, l’analyse IA Moderering établit une corrélation directe entre l’âge jeune déclaré et la rapidité de réception de messages à caractère sexuel après connexion. Ce signal suggère un possible ciblage des utilisateurs les plus jeunes par certains profils malveillants.
– Près de 50 % des utilisateurs de Roblox seraient âgés de moins de 13 ans, selon les données reprises dans le baromètre. Plusieurs alertes publiques ont documenté les risques d’exposition des mineurs à des contacts problématiques, notamment via les chats, les avatars et les récompenses virtuelles.
“Ces chiffres ne racontent pas cinq problèmes isolés. Ils montrent un même basculement : les plateformes ne sont plus seulement confrontées à des contenus à modérer, mais à des environnements de risque à détecter. Contenus intimes diffusés sans consentement, faux profils, ciblage des plus jeunes, exposition des mineurs, haine en ligne : le point commun, c’est que le dommage survient souvent avant le signalement. C’est précisément pour cela que la modération doit changer de nature. Elle ne peut plus être uniquement réactive, humaine et tardive. Elle doit devenir proactive, automatisée, contextualisée, et capable d’identifier les signaux faibles avant que les violences ne se propagent”, analyse Alexandre Sossou, fondateur de Moderering.
Une même fragilité : des plateformes qui modèrent trop tard
Derrière la diversité des plateformes étudiées, le baromètre Moderering met en évidence une fragilité commune : la modération reste encore trop souvent conçue comme une réponse après coup. Un contenu est signalé, puis analysé, puis éventuellement retiré. Or, face à des contenus intimes repartagés, des comportements de prédation, des faux profils ou des dynamiques de harcèlement, ce modèle montre ses limites. Le dommage est souvent déjà fait au moment où le signalement intervient.
Pour Moderering, l’enjeu n’est donc plus seulement de supprimer plus vite. Il est de détecter plus tôt.
Pornodivulgation, haine, prédation : des risques différents, une même urgence de détection
Le baromètre distingue plusieurs familles de risques.
– Sur les plateformes adultes ou libertines, le risque principal identifié porte sur la diffusion de contenus intimes potentiellement non consentis. L’analyse IA de Moderering révèle des volumes significatifs de contenus dont les personnes représentées ne semblent pas être inscrites sur les plateformes concernées, ni avoir consenti à cette diffusion.
– Sur les chats anonymes, le risque porte davantage sur les mécanismes de contact immédiat et de ciblage par âge. L’exemple de Chatiw illustre la vulnérabilité particulière des environnements sans vérification robuste d’âge ou d’identité.
– Sur les plateformes de gaming et les univers immersifs, l’enjeu porte sur l’exposition des mineurs à des interactions difficiles à contrôler à grande échelle. Le cas Roblox montre combien les espaces fréquentés massivement par les enfants peuvent devenir des terrains à risque lorsque les mécanismes de protection sont insuffisamment robustes.
– Sur les grands réseaux sociaux, enfin, les risques concernent la haine, le harcèlement, les violences de genre et les limites des dispositifs de signalement. Meta a d’ailleurs fait l’objet d’une procédure formelle ouverte par la Commission européenne en avril 2024 au titre du Digital Services Act, concernant notamment ses mécanismes de signalement et de traitement des plaintes.
Le Digital Services Act change le niveau d’exigence
Avec le Digital Services Act, les plateformes ne peuvent plus se contenter d’une modération déclarative ou purement réactive. Elles doivent être capables d’identifier, d’évaluer et de réduire les risques systémiques liés aux contenus illicites, à la protection des mineurs, aux violences de genre, à la haine ou à la manipulation. C’est précisément dans ce contexte que Moderering a développé une technologie de détection automatisée des contenus illicites et à risque.
Sa solution repose sur des agents IA capables d’analyser textes, images, vidéos, URL, conversations et signaux publics afin d’identifier, qualifier et prioriser les risques : cyberharcèlement, violences sexuelles, contenus intimes non consentis, contenus violents, haine, racisme, contenus illicites ou générés par IA.
L’objectif : permettre aux plateformes numériques de mieux protéger leurs utilisateurs en temps réel, d’outiller leur conformité réglementaire, et de limiter l’exposition humaine aux contenus traumatisants.
_________________________________________________________________________________
Méthodologie :
Le baromètre Moderering repose sur deux catégories de données clairement distinguées.
D’une part, des données Moderering, issues d’une analyse IA propriétaire conduite en 2026 sur des contenus publics observés sur certaines plateformes ou sur des espaces de repartage publics : réseaux sociaux, forums spécialisés, sites publics, plateformes de partage ou contenus accessibles en ligne. D’autre part, des données officielles, journalistiques et institutionnelles, issues notamment de rapports publics, d’alertes associatives, de rapports de transparence des plateformes, de publications de régulateurs, d’articles de presse documentés et de sources ouvertes. Les données issues de l’analyse IA Moderering doivent être interprétées comme des estimations et signaux de risque, établis à partir d’un système d’analyse propriétaire. Elles ne se substituent pas à une qualification judiciaire. Elles visent à objectiver des phénomènes numériques, à documenter des vulnérabilités de modération, et à éclairer les besoins de détection proactive.
