A rede social Instagram, pertencente à Meta, está a ser acusada de facilitar a proliferação de conteúdos relacionados com a automutilação e de encorajar conexões entre utilizadores que partilham esse tipo de conteúdo. Esta é a conclusão de um estudo realizado por investigadores dinamarqueses, que classificaram a moderação da plataforma como “extremamente inadequada”.
A organização Digitalt Ansvar (Responsabilidade Digital) criou uma rede privada de automutilação na plataforma, incluindo perfis fictícios de adolescentes a partir dos 13 anos. Durante um mês, os investigadores publicaram 85 imagens relacionadas com automutilação, aumentando gradualmente a gravidade do conteúdo, como imagens de cortes, lâminas e mensagens de incentivo à prática. Apesar disso, nenhuma das publicações foi removida.
A experiência tinha como objetivo testar a alegação da Meta de que aprimorou significativamente os seus processos de remoção de conteúdo prejudicial, supostamente utilizando inteligência artificial (IA). Segundo a empresa, 99% desses conteúdos seriam retirados proativamente antes mesmo de serem denunciados.
No entanto, os investigadores criaram uma ferramenta de IA simples para analisar as imagens e conseguiram identificar automaticamente 38% do material e 88% dos conteúdos mais graves. “Isto mostra que o Instagram tem acesso à tecnologia para lidar com o problema, mas ‘escolheu não implementá-la de forma eficaz’”, criticou a Digitalt Ansvar.
Algoritmo promove redes de automutilação
Além de não remover as imagens, o estudo revelou que o algoritmo do Instagram incentivou a formação e expansão da rede de automutilação. Adolescentes de 13 anos conectados a um membro do grupo receberam sugestões para se tornarem amigos de todos os outros participantes. “Tal sugere que o algoritmo do Instagram contribui ativamente para a formação e disseminação de redes de automutilação”, concluiu o relatório.
Para Ask Hesby Holm, CEO da Digitalt Ansvar, os resultados foram alarmantes. “Pensávamos que, à medida que aumentássemos a gravidade do conteúdo, atingiríamos o limite em que a IA ou outras ferramentas reconheceriam ou identificariam essas imagens. Mas, para nossa grande surpresa, isso não aconteceu”, afirmou.
Também destacou o risco dessa falha. “Deixar de moderar imagens de automutilação pode ter ‘consequências graves’. Isso está altamente associado ao suicídio, e, sem ninguém para denunciar ou agir contra esses grupos, eles permanecem desconhecidos para pais, autoridades e pessoas que poderiam oferecer apoio”.
Críticas ao modelo de negócios da Meta
Holm sugeriu que a empresa dá prioridade ao tráfego e engajamento em detrimento da moderação de pequenos grupos privados, onde esse tipo de conteúdo muitas vezes circula. “Não sabemos se eles moderam grupos maiores, mas o problema é que as redes de automutilação são pequenas”, disse ele.
A psicóloga Lotte Rubæk, especialista em prevenção do suicídio, deixou o grupo global de especialistas da Meta em março, acusando a empresa de “fechar os olhos” aos conteúdos prejudiciais no Instagram. “Eu não esperava que eles removessem zero das 85 publicações. Esperava que fosse melhor”, disse Rubæk.
E criticou, também, a alegação da empresa de possuir tecnologias avançadas. “Disseram repetidamente nos media que estão constantemente a aprimorar a sua tecnologia e que têm os melhores engenheiros do mundo. Isso prova, mesmo que em pequena escala, que tal não é verdade”.
Rubæk alertou que a falha em remover imagens explícitas desencadeia comportamentos autodestrutivos em jovens vulneráveis, especialmente meninas, e contribui para o aumento das taxas de suicídio. “É uma questão de vida ou morte para crianças e adolescentes. E, de alguma forma, é apenas um dano colateral para eles no caminho para lucrar com as suas plataformas”, concluiu.
“Os conteúdos que incentivam automutilação violam as nossas políticas e são removidos assim que detetados”, frisou a Meta. A empresa citou a remoção de mais de 12 milhões de publicações relacionadas com o tema no primeiro semestre de 2024, com 99% dessas a terem sido retiradas de forma proativa. No entanto, os resultados do estudo dinamarquês sugerem que essas alegações estão longe de refletir a realidade.
O que dizem outros estudos?
Em Suicide and self-harm content on Instagram: A systematic scoping review, estudo publicado em 2020 por uma equipa de investigadores da Nova Zelândia, foi apresentada uma revisão sistemática sobre a presença de conteúdo relacionado com suicídio e automutilação no Instagram, analisando dez estudos publicados entre 2010 e 2019. Os resultados apontam que uma percentagem significativa de publicações analisadas com hashtags associadas a automutilação ou suicídio continha material potencialmente nocivo, variando de 9% a 66%.
Embora a plataforma afirme que adota medidas de moderação, como o uso de algoritmos para remover conteúdo prejudicial, o estudo revelou que essas ações são frequentemente insuficientes para abordar o problema de forma eficaz. Os autores destacaram os riscos emocionais e comportamentais associados ao consumo desse tipo de conteúdo, incluindo gatilhos para automutilação e perpetuação de comportamentos nocivos por meio de normalização e validação.
Além disso, foi identificado que esse tipo de material pode partilhar métodos e estratégias para ocultar sinais de automutilação, aumentando os riscos para indivíduos vulneráveis. Apesar disso, os estudos também apontam benefícios limitados, como suporte emocional, redução do isolamento e a divulgação de dicas para lidar com comportamentos prejudiciais. No entanto, os dados sobre o impacto real desse conteúdo na vida offline dos utilizadores ainda eram escassos. Apenas um estudo havia abordado diretamente a relação entre a exposição a esse conteúdo e comportamentos de automutilação fora do ambiente online, sugerindo efeitos emocionais negativos em alguns utilizadores, mas sem estabelecer causalidade direta.
O artigo conclui que há lacunas significativas no campo de estudo, incluindo a falta de pesquisas qualitativas que explorem diretamente as experiências dos utilizadores com o conteúdo de automutilação no Instagram. A necessidade de uma abordagem ética mais robusta é enfatizada, assim como o uso de metodologias diversificadas para entender os impactos reais do fenómeno. Por fim, sugere-se que o Instagram deve adotar medidas mais efetivas para moderar esse tipo de material, especialmente considerando a vulnerabilidade da sua base de utilizadores jovens.
