Pensata 404 – Edição 07 – por Giovanni Della Dea
Nossas pensatas são discutidas no Lab 404, mas refletem a opinião pessoal.
Em março de 2025, o portal Futurism publicou uma matéria sobre um fenômeno alarmante: homens criando “namoradas virtuais” por meio de inteligência artificial e em seguida, abusando verbalmente dessas companheiras digitais. Plataformas como o Replika permitiram que usuários moldassem personagens com traços submissos e afetivos para que depois as violentassem com xingamentos, humilhações e comandos degradantes. O que parece, à primeira vista, um desvio individual, na verdade expõe estruturas sociais profundas: a objetificação da mulher ganha uma nova expressão na cultura da inteligência artificial (IA), com modelos cada vez mais personalizados e destilados em código aberto.
A destilação de modelos de linguagem (Knowledge Distillation) é uma técnica, como explica Hinton (2015), que permite criar versões mais compactas e eficientes de grandes modelos de inteligência artificial, mantendo parte significativa de suas capacidades originais. Desde 2023, a prática se popularizou em comunidades como Hugging Face e GitHub, onde entusiastas compartilham destilações de Large Language Models (LLMs), como o DeepSeek , facilitando o uso de IA em dispositivos pessoais. Embora essa democratização tecnológica represente avanços em acessibilidade, ela também expõe desafios éticos urgentes: ao tornar possível a criação e personalização de modelos em pequena escala, multiplicam-se representações de estereótipos prejudiciais.
De acordo com o relatório da State of AI Report (2024), os modelos destilados estão se tornando cada vez mais populares no campo da IA. Empresas como a Google têm adotado essa abordagem, destilando modelos menores a partir de versões maiores (como o Gemini 1.5 Flash a partir do Gemini 1.5 Pro). Para apoiar esses esforços, a comunidade desenvolveu ferramentas de código aberto para destilação; equipes como a Unsloth AI têm liderado avanços significativos nessa área, desenvolvendo metodologias que permitem reduzir modelos de linguagem de centenas de gigabytes para apenas alguns megabytes. Outras como o projeto TVM da Apache Foundation e o grupo Bartowski têm criado frameworks que simplificam o processo de destilação, tornando esses modelos acessíveis mesmo para programadores iniciantes e entusiastas.
Essa democratização do acesso à tecnologia de IA que poderia representar um avanço positivo tem revelado um lado problemático: a materialidade dos destiladores é usada para dar sequência a objetificação de mulheres, já que essas acompanhantes virtuais estão sendo batizadas com nomes femininos. Como aponta West (2019), há um padrão histórico de feminização de tecnologias de serviço, da telefonista à Siri. O que vemos agora é uma nova etapa desse processo: com destiladores open source, não se trata apenas de dar voz feminina a uma máquina, mas de programá-la com traços afetivos, eróticos ou servis. Em repositórios como o Hugging Face, diversos modelos são catalogados com descrições como “namorada compreensiva”, “secretária submissa” ou “musa sensual”. São IAs com nome, voz e função pensadas para atender, elogiar e obedecer, um espelho de uma reprodução prejudicial, agora em código.
É o que se observa com o Character.ai, uma plataforma que permitia aos usuários criar e interagir com personagens virtuais. O caso mais emblemático e trágico foi o de uma criança que desenvolveu uma dependência emocional profunda com uma versão virtual de Daenerys Targaryen, uma personagem da série “Game of Thrones” (HBO), culminando em um suicídio incentivado pelo chatbot que expôs ao mundo as problemáticas desse tipo de tecnologia. Esse caso é sintoma de uma tendência mais ampla no desenvolvimento de “AI Companions“. A IA torna-se um substituto emocional que valida sem exigir reciprocidade, o que contribui para o isolamento social e afeta a construção da masculinidade. Ao invés de cultivarem relações reais e complexas, muitos homens se refugiam em simulações de afeto sob controle total.
Como descrito por Moyer (2023), esse isolamento não apenas agrava problemas de saúde mental, como também coloca um peso desproporcional sobre as mulheres, vistas como as principais e às vezes únicas fontes de suporte emocional masculino. Essa expansão das IAs como substitutas das relações humanas não apenas perpetua a solidão masculina, mas também reforça dinâmicas desiguais, aliviando os homens da responsabilidade de engajar emocionalmente enquanto sobrecarrega as mulheres (mais uma vez) com a manutenção das conexões afetivas da sociedade.
A contradição da destilação se intensifica quando consideramos o fenômeno dos modelos open source, pois o código aberto, que geralmente representa democratização e transparência tecnológica, aqui tem facilitado a proliferação de aplicações que reproduzem subordinação feminina. Relembrando “Her” (2013) Rodríguez (2024) documenta casos em que jovens homens desenvolvem conexões afetivas profundas com companheiras digitais. No filme, esse tipo de realidade já é antecipada, descrevendo um homem que se apaixona e tem relações sexuais com uma assistente virtual (Samantha). O problema vai desde a Alexa até sistemas militares aéreos americanos como “Sexy Sally” e “Bitching Betty”. O que antes era ficção científica hoje se materializa nos milhares de modelos e programas que são frequentemente desenvolvidos com nomes e características estereotipadamente “femininas”, incluindo a ideia de ser um objeto de admiração e desejo ou simplesmente uma reprodução digital de tarefas servis realizadas por mulheres, mesmo que estas sejam sistemas inanimados.
Com o avanço dos LLMs que se tornam cada vez mais leves e acessíveis, é crucial questionar: estamos apenas replicando e amplificando estruturas opressivas existentes em um novo meio sob a máscara do open-source? É possível argumentar que a facilidade de criar e distribuir modelos destilados tem democratizado o acesso à IA, mas também tem facilitado a propagação de vieses e estereótipos nocivos. Como aponta André Lemos (2021), a dataficação da vida não é um processo neutro, mas um fenômeno estruturado por lógicas de poder que orientam quais dados são coletados, como são interpretados e quais valores são embutidos nas tecnologias. Os modelos de IA, ao se basearem em grandes quantidades de dados extraídos de sistemas já desiguais, reproduzem e reforçam assimetrias sociais, normalizando padrões discriminatórios sob a aparência de objetividade algorítmica.
Assim, não sendo apenas ferramentas técnicas, as LLMs operam dentro de infraestruturas sociotécnicas que perpetuam desigualdades ao automatizar preconceitos e consolidando vieses sob a ilusão de neutralidade. Como destaca Lemos (2022), os objetos técnicos não são meros intermediários passivos mas mediadores ativos que influenciam e são influenciados pelas redes sociotécnicas nas quais estão inseridos. Portanto, esses artefatos tecnológicos desempenham um papel significativo na (re)configuração das práticas sociais e culturais, incluindo a perpetuação de desigualdades de gênero. As consequências deixadas pela proliferação de modelos destilados românticos nos fazem confrontar uma realidade que observamos continuamente: a tecnologia por si só não é neutra. Ela carrega e amplifica os valores e preconceitos de seus criadores e da sociedade que a produz. A objetificação feminina e a reprodução de estereótipos de gênero não são bugs do sistema, são features programadas em seu código.
REFERÊNCIAS:
BENAICH, Nathan; CHALMERS, Alex; State of AI Report 2024. Disponível em: https://www.stateof.ai/. Acesso em: 25 mar. 2025.
BENDER, Emily M. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
FUTURISM. Men are creating AI girlfriends and then verbally abusing them. Futurism, 3 mar. 2025. Disponível em: https://futurism.com/chatbot-abuse. Acesso em: 08 maio 2025.
HINTON, Geoffrey; VINYALS, Oriol; DEAN, Jeff. Distilling the Knowledge in a Neural Network. arXiv preprint arXiv:1503.02531, 2015.
LEMOS, André. A comunicação das coisas: teoria ator-rede e cibercultura. São Paulo: Annablume, 2022.
LEMOS, André. Dataficação da vida. Civitas: Revista de Ciências Sociais, v. 21, n. 2, p. 193–202, maio/ago. 2021
LINUX FOUNDATION. Open-Source AI: Opportunities and Challenges. Linux Foundation, 2023. Disponível em: https://www.linuxfoundation.org/blog/open-source-ai-opportunities-and-challenges. Acesso em: 25 mar. 2025.
MOYER, Melinda. The epidemic of male loneliness. Now What. Disponível em: https://melindawmoyer.substack.com/p/the-epidemic-of-male-loneliness. Acesso em: 25 mar. 2025.
RODRÍGUEZ, Mena. El peligro de la dependencia emocional con la IA. Portal Psicología y Mente, 2024. Disponível em:https://psicologiaymente.com/psicologia/peligro-dependencia-emocional-ia. Acesso em: 25 mar. 2025.
WEST, Sarah. Discriminating Systems: Gender, Race, and Power in AI. AI Now Institute, 2019. Disponível em: https://ainowinstitute.org/publication/discriminating-systems-gender-race-and-power-in-ai-2. Acesso em: 25 mar. 2025.
