Ruha Benjamin1
Este é o quinto fascículo da série Legados da Eugenia, que apresenta ensaios de pensadores renomados dedicados a explorar a história da eugenia e as maneiras como ela molda nosso presente. A série é organizada por Osagie K. Obasogie em colaboração com o Los Angeles Review of Books e apoiada pelo Center for Genetics and Society, o Othering & Belonging Institute e Berkeley Public Health.
No outono de 2016, dei uma palestra no Instituto de Estudos Avançados (IAS – na sigla em inglês), em Princeton, intitulada “Os robôs são racistas?”. Algumas manchetes como “Os robôs podem ser racistas? O viés humano dos algoritmos”, “O problema do homem branco na Inteligência Artificial”, e “Um algoritmo é menos racista que um ser humano?” tinham chamado minha atenção nos meses anteriores. Que melhor lugar para discutir as crescentes preocupações com tecnologias emergentes, pensei, do que em uma instituição estabelecida durante a ascensão inicial do fascismo na Europa; que já hospedou intelectuais gigantes como J. Robert Oppenheimer e Albert Einstein e se orgulha de “proteger e promover a pesquisa independente”.
Minhas observações iniciais focaram em como as tecnologias emergentes refletem e reproduzem desigualdades sociais, usando exemplos específicos do que alguns chamam de “discriminação algorítmica” e “viés de máquina”. Seguiu-se uma vívida discussão. A troca mais memorável foi com um matemático que, educadamente, reconheceu a importância das questões que levantei, mas, depois, me garantiu que “à medida que a IA avança, ela eventualmente nos mostrará como resolver esses problemas”. Impressionada com sua fé sincera na tecnologia como uma força do bem, queria retrucar: “mas e aqueles que já estão sendo prejudicados pela implementação de IA experimental nos sistemas de saúde, de educação, da justiça criminal e muito mais? Eles devem esperar por um futuro mítico onde sistemas sencientes agem como sábios administradores da humanidade?”.
Avançamos quase dez anos e estamos vivendo na imaginação de evangelistas da IA correndo para construir a inteligência artificial geral (IAG), mesmo enquanto eles alertam sobre seu potencial para nos destruir. Esse evangelho de amor e medo insiste em “alinhar” a IA com os valores humanos para controlar essas divindades digitais. A OpenAI, a companhia por trás do ChatGPT, repetiu o sentimento do meu colega do IAS: “Estamos aprimorando as capacidades dos nossos sistemas de IA de aprender com o feedback humano e auxiliar os humanos a avaliar a IA. Nosso objetivo é construir um sistema de IA suficientemente alinhado que possa nos ajudar a resolver todos os outros problemas de alinhamento”. Eles imaginam um tempo em que, eventualmente, “nossos sistemas de IA possam assumir mais e mais dos nossos trabalhos de alinhamento e finalmente conceber, implementar, estudar e desenvolver melhores técnicas de alinhamento do que temos agora. Eles irão trabalhar junto com humanos para assegurar que seus próprios sucessores serão mais alinhados com os humanos”. Para muitos, isso não é reconfortante.
Em março de 2023, o Instituto Future of Life publicou uma carta aberta, agora assinada por mais de 33 mil pesquisadores, legisladores, CEOs e professores, pedindo uma moratória de seis meses sobre treinamentos de sistemas de IA até “estarmos confiantes de que seus efeitos serão positivos e seus riscos serão administráveis”. O divulgador de IA Eliezer Yudkowsky argumentou que uma pausa tão curta não se equipara ao risco existencial apresentado pelo desenvolvimento contínuo da IA, alertando que “o resultado mais provável de se construir uma IA super-humanamente inteligente, em qualquer circunstância remotamente parecida com as atuais, é que literalmente todos na Terra morrerão”. No final, não houve pausa, e a corrida para criar a IAG avançou. Muitos dos que soaram o alarme sobre um evento de extinção pela superinteligência da IA num futuro próximo se ocuparam em levantar bilhões em capital para superar seus concorrentes. Isso não é paradoxal, mas lucrativo. Por exemplo, Elon Musk inicialmente pediu por uma moratória no desenvolvimento da IAG, apenas para começar uma nova empresa que buscasse isso. O fundador da OpenAI, Sam Altman, defendeu mais regulamentação governamental da IAG, mas depois fez lobby com legisladores europeus para minimizar as regulações da IA. Jano, o deus romano das duas faces, parece ser o deus escolhido por eles.
Por trás dessa duplicidade reside um cálculo familiar: se os evangelistas da IA puderem nos convencer de que a IAG é possível, iminente e perigosa, poderemos ser obrigados a confiar nosso destino a eles. Hype e destruição, em outras palavras, são os dois lados da mesma (cripto)moeda. Os princípios, equipes e iniciativas de “segurança da IA” estão proliferando, em parte, para acumular poder e recursos e, em último caso, para projetar o futuro à sua própria imagem. O objetivo: nos induzir à aquiescência para que eles possam continuar seus negócios como sempre.
Analisei em outro lugar os impactos nocivos da IA. No resto deste ensaio, foco nos inputs insidiosos da IA – os valores e lógicas eugenistas daqueles que criam estes sistemas, encobrindo-os com a retórica da salvação. Palavras da moda de tirar o fôlego, como “eficiência”, “novidade” e “produtividade”, escondem uma visão egoísta: o futuro imaginado pelos evangelistas da IA destina-se apenas a uma pequena fatia da humanidade. O resto de nós ficará clamando para sobreviver em um planeta em ebulição. Considere os sistemas de armas autônomas que estão infernizando os Palestinos – por que dar a eles nomes açucarados como Lavanda e o Evangelho se não for para fazer essas armas letais parecerem benevolentes? Se ouvirmos atentamente as boas novas dos evangelistas tech, poderemos ouvir os gemidos daqueles soterrados sob os escombros do progresso.
Muitas das mesmas pessoas por trás das tecnologias que causam estragos hoje – algoritmos no local de trabalho intensificando o ritmo do serviço, programas de reconhecimento fácil levando a prisões injustas, sistemas de triagem automatizados racionando cuidados de saúde de qualidade e armas “inteligentes” dilacerando a carne com um clique – também se autopromovem como salvadores da humanidade. O fundador da Amazon, Jeff Bezos, anunciou que “é uma era de ouro. […] Estamos agora resolvendo problemas com aprendizado de máquina e inteligência artificial que estavam… no terreno da ficção científica nas últimas décadas”. Em um ensaio de 2015 para uma revista inter-religiosa, o cofundador do PayPal e da empresa de tecnologia de vigilância Palantir Technologies, Peter Thiel, argumentou que:
“Ciência e tecnologia são aliadas naturais nesse otimismo judaico-ocidental, especialmente se permanecermos abertos a uma estrutura escatológica na qual Deus trabalha através de nós na construção do reino dos céus hoje, aqui na Terra – em que o reino dos céus é tanto uma realidade futura como algo parcialmente alcançável no presente.”
Igualmente, o site da Universidade Singularity, uma companhia fundada por Ray Kurzweil e Peter Diamandis, afirma a crença da organização de que a “tecnologia e o empreendedorismo podem resolver os maiores desafios do mundo”. Como um grupo, a intelligentsia2 artificial promete nos guiar para o Futuro®, se posicionando como Guardiões das Galáxias, mesmo enquanto eles projetam a crise contra a qual devemos nos proteger.
* * *
No outono de 2019, participei de uma conferência organizada por estudantes em Princeton chamada Envision. O convidado de honra foi o já mencionado Peter Diamandis, que apareceu no telão e se dirigiu a um auditório lotado de estudantes de graduação ansiosos. O título da sua fala era “Abundância na Era Digital”, e ele começou repassando uma lista de “transformações” iminentes em vários setores – serviços de saúde, educação, finanças, imóveis, entretenimento – que as “convergências” tecnológicas sem precedentes permitiriam. Seu entusiasmo era contagiante.
Mas quando a sessão de perguntas começou, ficou claro que nem todo mundo tinha sido contagiado. Um estudante perguntou sobre os riscos envolvidos em incorporar tecnologias em todos esses setores em um ritmo tão rápido. Diamandis respondeu: “Então, primeiro de tudo, acho que é importante entender que não é uma escolha que temos. […] Essas tecnologias serão incorporadas”. Porém, imediatamente depois disso, ele celebrou o fato de que “estamos sempre buscando digitalizar, desmaterializar, desmonetizar e democratizar produtos e serviços”. Aparentemente, não temos escolha a não ser aderir a essa democracia digital. Aprendi que uma doutrina chave do evangelho da intelligentsia artificial é, inevitavelmente, sua própria versão da predestinação. Como observa o filósofo Émile P. Torres, um modo de entender a adoração da IA é como uma religião para ateus: “[J]á que Deus não existe, por que não criá-lo?”. Quando Diamandis finalmente respondeu à pergunta do estudante, ele identificou os “riscos” de uma companhia adotar uma tecnologia muito cedo ou muito tarde, e “isso deixa de lado todos os elementos sociais de emprego tecnológico e quaisquer questões morais e éticas que possam surgir”. Aqui, novamente, os “elementos sociais” são uma consideração posterior, aqueles problemas irritantes que “surgem” de vez em quando para causar estragos na vida das pessoas.
Como quando, em 2013, o capitalista de risco que se tornou governador do Michigan, Rick Snyder, adotou um programa de US$46 milhões chamado MiDAS (Michigan Integrated Data Automated System – ou Sistema Integrado de Dados Automatizado de Michigan, em português) para identificar eficientemente os moradores que cometiam fraudes de seguro. Depois que sua administração demitiu a maioria dos empregados do estado que normalmente revisariam os pedidos de seguro, o novo sistema automatizado do estado acusou erroneamente de fraude 20 mil pessoas. As pessoas não apenas perderam acesso a seguros desemprego; depois que pesadas multas de até US$100 mil foram aplicadas, as restituições de impostos e os salários dos indivíduos também foram penhorados. Cerca de 11 mil pessoas foram à falência, algumas perderam suas casas e outras, desproporcionalmente, divorciaram-se e se suicidaram. Esses são apenas alguns dos “elementos sociais” que surgem quando tecnologias automatizadas são integradas apressadamente em todas as facetas da vida.
Enquanto a intelligentsia artificial gostaria que minimizássemos esses riscos, devemos fazer o contrário: entender com sobriedade como as tecnologias emergentes criam novas compensações sociais e existenciais. Como refletiu Jennifer Lord, uma advogada de direitos civis e trabalhistas que lutou com sucesso “por sete anos para recuperar o dinheiro daqueles” residentes de Michigan “erroneamente acusados”:
“Fiquei surpresa com quão pouco isso preocupa a maioria das pessoas. Não sei se é o fato de que essa história estava surgindo ao mesmo tempo que a crise da água em Flint,3 então, se você estiver olhando para dois desastres ao mesmo tempo, aquele com copo de água marrom é muito perturbador. O caso MiDas apenas não pareceu acender a imaginação como pensei que acenderia. O estado de Michigan estava basicamente roubando dezenas de milhões de dólares dos seus cidadãos!”
“Como consertar isso daqui pra frente? Uma ideia é ter um grupo independente, bem informado e interdisciplinar verificando a tecnologia antes de qualquer aquisição ser feita. Só consigo imaginar um vendedor habilidoso vendendo à agência [estadual de desemprego] promessas de eficiência, corte de custo e aumento de lucro.”
Um vendedor habilidoso como Peter Diamandis, talvez, ou qualquer outro dos evangelistas tech, que pregam a inevitabilidade para a próxima geração: “Essas tecnologias serão incorporadas”, mas de um jeito mais ou menos democrático, então, não se preocupe.
A primeira coisa que eu disse quando assumi o palco do Envision depois de Diamandis desconectar foi lembrar àqueles na plateia (e a mim mesma) que nós temos uma escolha. Desde então, artistas, escritores e músicos enfrentaram e, em alguns casos, processaram empresas de IA por roubar trabalho criativo para treinar seus modelos. Como explicou uma carta aberta do Center for Artistic Inquiry and Reporting, publicada em 2 de maio de 2023:
“Os geradores de arte de IA são treinados em enormes bancos de dados, contendo milhões e milhões de imagens com direitos autorais, colhidas sem o conhecimento de seus autores, nem compensação ou consentimento. Esse é efetivamente o maior roubo de arte da história. Perpetrado por entidades corporativas aparentemente respeitáveis apoiadas pelo capital de risco do Vale do Silício. É assalto à luz do dia.”
Os protestos que abalaram Hollywood em 2023, liderados pelo SAG-AFTRA,4 também nos lembraram que temos uma opção. Os membros do sindicato lançaram uma greve bem-sucedida de cinco meses, resistindo à incursão da IA em seu setor, com seus cartazes expressando um desafio e raiva crescentes: “IA não é ARTE”, “ChatGPT escreveu isso”, “A IA não está tomando suas anotações idiotas”. Enquanto os executivos dos estúdios se tornavam seguidores do novo evangelho tech, indo atrás da IA para gerar roteiros, automatizar a atuação, cortar custos e reduzir os salários, escritores e atores efetivamente disseram: “De jeito nenhum! Nos recusamos a sermos apagados”. Como escreveu Brian Merchant, no Los Angeles Times, “Num momento em que se tornou cada vez maior a perspectiva de executivos e gestores de usarem a automação de software para minar o trabalho em profissões no mundo todo, a greve tornou-se uma espécie de batalha por procuração entre humanos e IA”. Para muitos, essa é a verdadeira questão existencial – não um apocalipse gerado pela IA – que impacta diretamente os meios de subsistência das pessoas e as histórias que contamos sobre nossas vidas: “Havia um medo palpável de que produtos tecnológicos, criados por caras ricos e, na sua maioria, brancos das startups do Vale do Silício, produzissem conteúdo que refletisse exatamente isso”, escreveu Merchant. E, no entanto, quando os evangelistas tech recitam as transformações da IA em toda a indústria, eles parecem não conseguir levar a sério os riscos do aqui e agora que levam as pessoas a fazerem piquetes.
A mesma arrogância que leva os titãs tech como Mark Zuckerberg, Sam Altman e Bill Gates a assumirem que um alto QI garante a eles a licença para construir sistemas universais para toda a humanidade explica porque aqueles que se presumem gênios acreditam que eles podem nos tirar da selva virtual. Altman declarou em 2019: “As pessoas mais bem-sucedidas que conheço acreditam em si mesmas quase ao ponto do delírio”. Maria Klawe, membra do conselho da Microsoft de 2009 a 2015, diz que Gates agia como se “as regras comuns de comportamento não se aplicassem a ele” e que ele era a “pessoa mais inteligente na sala”. As personalidades dominantes dos “nerds” arrogantes no setor sugerem que não ser descolado na juventude – talvez estar afastado do senso de comunidade – alimenta o desejo de prever, vigiar e controlar a sociedade. Como diz Altman: “Um grande segredo é que você pode dobrar o mundo à sua vontade numa quantidade surpreendente de vezes”. Idolatrar a própria inteligência, ao que parece, leva a um perigoso desejo de colocar o resto da humanidade de joelhos.
O ponto aqui é que a intelligentsia artificial está nos arrastando para um futuro arcaico, no qual a inteligência é quantificada, fixada e ranqueada, e a esperteza é fetichizada. Faríamos bem em lembrar que QI é, acima de tudo, um conceito eugenista, inventado para separar vencedores de perdedores e justificar as regras do jogo. Eugenia… no século XXI… entre aqueles que se imaginam futuristas?
* * *
Para que não esqueçamos, eugenia era originariamente uma filosofia e movimento popularizado pelos progressistas sociais. Muitos dos eugenistas proeminentes viam a si mesmos como zeladores da humanidade, trabalhando para garantir o florescimento humano pelo cultivo de bons genes (por exemplo, Concursos “Bebê Melhor”) e arrancando os ruins (por exemplo, esterilização). Eram eles, entre outros, inventores como Alexander Graham Bell, cientistas como o ganhador do prêmio Nobel, Francis Crick, políticos como Teddy Roosevelt, amados escritores como Helen Keller e H. G. Wells, e tantos presidentes e professores de universidades que não dá para nomear. Na verdade, Harry Chandler, editor do Los Angeles Times de 1917 a 1944, ajudou a popularizar a eugenia e defendeu a esterilização para resolver problemas sociais. Seu principal think tank, o Human Betterment Foundation, tinha sede no sul da California, não no Alabama ou Mississipi. Na linguagem atual, a fundação era uma “influencer” de políticas que ajudava a espalhar o evangelho da eugenia, forjando “laços entre os principais intervenientes do setor privado e funcionários estatais que realizavam o trabalho”.
Tomemos o grande dramaturgo irlandês, ativista e ganhador do prêmio Nobel de Literatura, George Bernard Shaw, que descreveu os judeus como “o real inimigo, o invasor do Oriente, o rufião, o parasita oriental”, argumentando que “o único socialismo possível e fundamental é a socialização da reprodução seletiva do homem”, e que devaneava que “a derrocada da aristocracia criou a necessidade do Super-homem”. Ou considere a franca defensora dos direitos reprodutivos da mulher (e amante de H. G. Wells), Margaret Sanger, que afirmou em 1921 que “o problema mais urgente hoje é como limitar e desencorajar a superfertilidade dos deficientes mentais e físicos”. Se os eugenistas do passado entendiam seu trabalho como progressista, então os autoproclamados futuristas que nos vendem fantasias da inteligência artificial são os precursores de uma nova eugenia.
Assim como no passado, a Eugenia 2.0 dos evangelistas tech é embrulhada numa linguagem de melhoramento, mas eles buscam um melhoramento mais que humano. Na verdade, a visão de mundo deles talvez seja mais bem entendida como pró-extincionista, pois, como argumenta Torres, esses futuristas distantes estão entusiasmados com a ideia de que os “humanos legados” podem dar lugar a uma espécie de pós-humanos mais inteligente, mais forte e mais aprimorada. A intelligentsia artificial promete nos guiar para esse futuro em que nos despimos de nossos trajes de carne mortal, flutuando em uma bem-aventurada realidade digital, fundindo-se com a tecnologia (a “singularidade”) e/ou transcendendo-a (transumanismo). Eles defendem que confiemos na ciência e na razão, um racionalismo muitas vezes interpretado de forma restrita como raciocínio quantitativo, se quisermos criar um bem duradouro e significante no mundo (altruísmo efetivo).
Enquanto os linhas-duras priorizam a sobrevivência no futuro distante (longotermismo) ao invés das enfadonhas preocupações de curto prazo, como pobreza, pandemias e genocídios, William MacAskill, um dos cofundadores do altruísmo efetivo e filósofo no Instituto Global Priorities da Universidade de Oxford, sugere, no seu livro de 2022, What We Owe the Future, que “podemos orientar positivamente o futuro enquanto também melhoramos o presente”. Dito isso, o filósofo de Oxford, Toby Ord, colega de MacAskill na criação do movimento altruísmo efetivo, no seu livro de 2020, The Precipice: Existential Risk and the Future of Humanity, argumenta que:
“já que […] quase toda a vida da humanidade está no futuro, quase tudo o que tem valor está no futuro também […] Arriscar destruir esse futuro, em favor de alguma vantagem limitada apenas ao presente, parece-me profundamente provinciano e perigosamente míope. […] [I]sso privilegia uma pequena minoria de humanos sobre uma esmagadora maioria ainda por nascer; isso privilegia esse século em particular sobre milhões, ou talvez bilhões, ainda por vir.”
Mas, falando de pequenas minorias, aqueles representados por “nós” nesses textos fundamentais estão construindo um movimento definido por uma mistura familiar de arrogância e salvacionismo. Embora encorajar mais pessoas a considerar como nossas ações no presente impactam o futuro seja uma busca valiosa com raízes em muitas tradições indígenas, os evangelistas tech estão se valendo dessas filosofias para envolver seus interesses próprios no manto da preocupação humanista.
O que faz esse pacote de crenças – transumanismo, extropianismo (evolução e expansão sem limites), singularitarianismo, cosmismo moderno (transumanismo com um foco em colonizar outros planetas), racionalismo, altruísmo efetivo e longotermismo – especificamente eugenista? De acordo com Torres e seu coautor, o cientista da computação Timnit Gebru (que cunhou o acrônimo TESCREAL para descrever esse conjunto de ideologias), elas “são inspiradas por ideais utópicos similares às visões da primeira onda de eugenistas […] e veem a IAG como parte integrante dessas visões. Enquanto isso, a corrida para construir a IAG está proliferando produtos que prejudicam os exatos mesmos grupos que foram prejudicados pela primeira onda eugenista”. Gebru e Torres explicam que as atitudes discriminatórias dos eugenistas do passado (racismo, xenofobia, classismo, capacitismo e sexismo) continuam difundidas dentro do movimento IAG, resultando em sistemas que prejudicam grupos marginalizados e centralizam o poder sob o pretexto de “segurança” e “benefício à humanidade”.
Em um pronunciamento que muitos vão reconhecer como racialmente carregado e codificado por classe, Nick Bostrom, antigo chefe do Instituto Future of Humanity, de Oxford, e autor do bestseller do New York Times, Superintelligence: Paths, Dangers, Strategies (2014), liga a alta fertilidade com o baixo QI, alegando que há “uma correlação negativa em alguns lugares entre conquistas intelectuais e fertilidade. Se tal seleção operasse por um longo período de tempo, poderíamos evoluir para uma espécie menos inteligente e mais fértil”. Em janeiro de 2023, ele respondeu às observações racistas que ele fez em uma LISTSERV em 1990. Novamente, a controvérsia destaca um problema maior dentro da intelligentsia artificial: o foco em inovadores ricos, predominantemente brancos e do sexo masculino como administradores do futuro. Independentemente de se acreditar ou não na defesa de Bostrom ou de se importar com seus julgamentos passados, a realidade é que aqueles que moldam o “futuro da humanidade” vêm de um segmento restrito da sociedade. Suas visões – sejam elas racistas, utópicas ou ambas – estão atualmente sobredeterminando nossa trajetória compartilhada. Como escreve o escritor Leighton Woodhouse sobre o altruísmo efetivo:
“[Ele] está em última instância enraizado no salvacionismo. É uma visão da mudança social de cima pra baixo, apropriada àqueles que estão acostumados a recriar o mundo à sua própria imagem do cume de suas profissões de alto status. Ele encoraja indivíduos com alto patrimônio líquido a usar sua riqueza para impor suas convicções morais sobre o mundo, quer o mundo goste ou não.”
Lembre-se, não é uma escolha que nós temos.
O que mais me impressiona a respeito da visão eugenista atual é o cálculo perverso que valoriza a intelligentsia artificial de “alto QI e alto-desempenho” em detrimento daqueles mais afetados pelas multicrises atuais, porque os primeiros são apresentados como os promotores da redenção digital da humanidade. O longotermista Nick Beckstead argumentou, em sua tese de doutorado de 2013, que a sobrevivência daqueles que são “mais inovadores” deveria ser prioridade:
“Salvar vidas em países pobres pode ter efeitos colaterais significativamente menores do que salvar e melhorar vidas em países ricos. Por quê? Países mais ricos têm substancialmente mais inovação, e seus trabalhadores são muito mais produtivos economicamente. Pelos padrões comuns – ao menos pelos padrões humanitários esclarecidos – salvar e melhorar vidas em países ricos é quase tão importante quanto salvar e melhorar vidas em países pobres, desde que as vidas sejam melhoradas em quantidades aproximadamente comparáveis. Mas agora me parece mais plausível que salvar uma vida em um país rico seja substancialmente mais importante do que salvar a vida em um país pobre, mantendo-se os demais fatores constantes.”
Em cada frase da retórica da intelligentsia artificial, ouvimos os ecos do cálculo eugenista: os fracos devem ser sacrificados para que os fortes sobrevivam.
A fetichização da inteligência é outra doutrina chave dessa narrativa redencionista. Eliezer Yudkowsky abriu o jogo em uma postagem de blog em 2008 intitulada “Competent Elites”: “Uma das maiores surpresas que tive quando saí da infância e entrei no mundo real foi o grau em que o mundo é estratificado pela competência genuína”. Ele continua contando uma experiencia em “uma reunião da elite do poder de nível médio” na qual o status elevado que imaginou para si não era tão notável: “Foi nesse momento que percebi que minha licença de criança prodígio havia expirado oficialmente e por completo”. Ele descreve sua surpresa ao saber que os capitalistas de risco e “CEO[s] de alguma coisa” com quem ele estava se misturando não eram apenas “idiotas de terno”. Pelo contrário, “essas pessoas da Elite do Poder eram visivelmente muito mais inteligentes do que os mortais médios. Nas conversas, eles falavam de forma rápida, sensata e em geral inteligente. Quando a conversa mudava para tópicos profundos e difíceis, eles entendiam rápido, cometiam poucos erros, estavam prontos para adotar as sugestões dos outros”. Ele chega a uma conclusão parecida depois de participar de um encontro no Singularity Summit: “Os maiores nomes de uma área acadêmica, ao menos aqueles em quem esbarro, geralmente parecem bem mais inteligentes do que o cientista médio”. Ao longo do texto, encontramos Yudkowsky avaliando as “auras” das pessoas como mais ou menos formidáveis – de “mortais médios” a “inteligentes de classe mundial” e aqueles que “brilham com uma força vital extra”. É uma Ode à Meritocracia: a estatura reflete a capacidade inerente. Ele reconhece o desconforto do seu leitor com tais avaliações, retornando no final à IA como a solução: “É mais fácil para mim falar sobre estas coisas, porque, certo ou errado, imagino que posso imaginar tecnologias de um tipo que poderiam preencher até mesmo essa lacuna”. Então, aí está. O propósito da IA é permitir que mortais médios possam brilhar de verdade!
* * *
Evangelistas da IA também perpetuam uma visão de mundo eugenista de maneiras mais insidiosas, particularmente ao minimizarem os custos do “progresso” econômico e tecnológico para o planeta e sua população. Nesta nova era, a sobrevivência está ligada à superinteligência, o domínio daqueles que “usam tecnologias avançadas para melhorar radicalmente a si mesmos, criando assim uma raça superior de ‘pós-humanos’”. Para aqueles como Bostrom, a humanidade como conhecemos – Homo sapiens de carne e osso – é coisa antiga. Em Superintelligence, Bostrom imagina que a seleção genética para traços como “inteligência, saúde, resistência e aparência” se tornará normalizada de tal modo que “nações enfrentariam a perspectiva de se tornarem estagnadas cognitivamente e perderiam em disputas econômicas, científicas, militares e de prestígio com concorrentes que adotassem as novas tecnologias de aprimoramento humano”. Esses evangelistas também vislumbram descendentes digitais no futuro profundo que receberão (ou deveriam receber) a mesma posição moral que você e eu. “[S]e as máquinas têm mentes conscientes”, sugere Bostrom, então “o bem-estar das mentes das máquinas em funcionamento pode até parecer o aspecto mais importante do resultado, já que elas podem ser numericamente dominantes”.
A partir dessa perspectiva, seres digitais semelhantes a humanos poderiam, em princípio, viver vidas muito mais ricas e variadas do que a de humanos biológicos. De acordo com Bostrom:
“o que pesa na balança é ao menos 10.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000 de vidas humanas (embora o verdadeiro número provavelmente seja maior). Se representarmos toda a felicidade experimentada durante uma vida inteira dessas com uma única lágrima de alegria, então a felicidade dessas almas poderia encher e reabastecer os oceanos da Terra a cada segundo, e continuar fazendo isso por cem bilhões de bilhões de milênios. É realmente importante termos certeza de que essas são realmente lágrimas de alegria.”
Pobre de nós, do ponto de vista da intelligentsia artificial, o potencial a longo prazo desses seres imaginários do futuro ganha precedência sobre o alívio do sofrimento humano presente – “projetos para se sentir bem” como eliminar a pobreza, enfrentar a mudança climática e prevenir guerras.
É imperativo que refutemos as fantasias de proselitistas pós-humanos como Bostrom e das elites do Vale do Silício que compartilham a visão dele. Muitos deles concordam com Sam Bankman-Fried de que a melhor coisa que eles podem fazer para a sociedade é “ficar podres de rico, pelo bem da caridade”. Bankman-Fried começou promovendo objetivos elevados, assinando o Giving Pledge de Bill Gates5 para doar a maior parte da riqueza de uma pessoa para a filantropia. Logo após se graduar em física no MIT em 2014, ele começou a trabalhar na Jane Street Capital, uma empresa de negociação proprietária, e depois no Centro para Altruísmo Efetivo, antes de entrar no mundo das criptomoedas. Três anos depois, ele fundou a Alameda Research, uma empresa de negociação de criptomoedas, e, em 2019, lançou outra corretora de criptomoedas, FTX, que rapidamente se tornou uma das maiores empresas cripto globalmente. Mas, em 2022, a FTX preencheu pedido de falência; a empresa colapsou após perder bilhões de dólares de investidores. No final, Bankman-Fried foi preso e extraditado das Bahamas, condenado por fraude e conspiração, e sentenciado a 25 anos de prisão. Apesar de todo o papo sobre altruísmo e fazer o bem, ele acabou usando ilegalmente fundos de clientes para cobrir suas próprias despesas, incluindo “comprar propriedades de luxo no Caribe, supostos subornos a autoridades chinesas e aviões particulares”.
Talvez o mais revelador seja a declaração feita pelo advogado de defesa do fraudador, Marc Mukasey: “Sam não era um serial killer financeiro impiedoso que saía todas as manhãs para machucar as pessoas […]. Sam Bankman-Fried não toma decisões com malícia no seu coração. Ele toma decisões com a matemática em sua cabeça”. Sim, e esse é o problema. A intelligentsia artificial está tentando projetar um mundo baseado na moralidade inerente (ou ao menos neutralidade) da matemática. Mas, como escreveu Aubrey Clayton, anteriormente nesta série de artigos, o movimento eugenista influenciou profundamente o nascimento e desenvolvimento da estatística e teste de hipótese. Recorrer ao raciocínio quantitativo está ligado ao perigo. Torres explica que o AE (Altruísmo Efetivo), o longotermismo e o movimento TESCREAL reduzem a ética de forma mais geral a um ramo da economia. Tudo se resume a cálculos de valor esperado (VE) e análise numéricas. Quando você inclui hipotéticas pessoas digitais do futuro nos cálculos de VE, o futuro distante sempre vence.
Mas o que explica a afinidade entre as elites tech e eugenia? Para começar, o intenso foco da intelligentsia artificial na otimização e aprimoramento transborda das ferramentas de engenharia digital para a engenharia da própria vida. Se, historicamente, a eugenia buscava “melhorar” a população humana através do controle reprodutivo, aqueles com recursos ilimitados hoje em dia estão desesperados para enganar a morte investindo em tecnologias que os ajudem a “evoluir” além desta estrutura mortal. A confluência defeituosa entre humanos e computadores é parte do problema. Se os cérebros são computadores, então não é de se admirar que aqueles que são os mestres do silício também se imaginem mestres da humanidade. De acordo com MacAskill, “Alguns empreendedores esperam abandonar totalmente os corpos carnais e viver em forma digital através da emulação computacional de seus cérebros”, incluindo Sam Altman, que é um cliente da Nectome, uma startup que “preserva cérebros com a esperança de que gerações futuras irão escanear e fazer upload deles”. O objetivo declarado da Neuralink, a empresa de biotecnologia fundada por Musk, é criar uma interface cérebro-computador “para restaurar a autonomia daqueles com necessidades médicas não atendidas”, como lesão da medula espinhal, mas também “desbloquear o potencial humano amanhã”. Como muitos observaram, o foco final da empresa não é a terapia, mas a aprimoração, conexões cérebro-computador que são “super-humanas”. Arrogância disfarçada de beneficência, uma característica dos antigos eugenistas, é ressuscitada na linguagem do melhoramento, aprimoramento, atualização. (Mas, como argumentei em outro lugar, esse desejo zeloso de transcender a humanidade ignora o fato de que nem todos tivemos a chance de ser plenamente humanos.)
Enquanto a eugenia é normalmente associada com as tentativas de governos para controlar e coagir a reprodução humana, a elite tech de hoje mostra preocupações similares sobre a queda na taxa de natalidade entre as populações com “QI alto”. As 12 crianças, e contando, de Elon Musk e os investimentos de Sam Altman em startups de tecnologia reprodutiva com foco em FIV (Fertilização In Vitro) e tiragem genética visam povoar o planeta com uma prole geneticamente superior. Em uma conferência de agosto de 2019 sobre inteligência artificial, Musk disse: “Supondo que haja um futuro benevolente com a IA, acho que o maior problema que o mundo enfrentará daqui a vinte anos é o colapso da população”. “O colapso da população devido aos baixos índices de natalidade é um risco muito maior para a civilização do que o aquecimento global”, ele tuitou em 2022. Peter Thiel acrescenta: “Acho que há algo muito estranho em um mundo no qual as pessoas não estão se reproduzindo. […] Provavelmente isso está de alguma forma ligado à estagnação, ao declínio […], à sensação de pessimismo em relação ao futuro”. E, apesar de ele dizer que não existe “nenhuma solução mágica”, entre seus investimentos em fertilidade e saúde da mulher, Thiel proveu US$3,2 milhões em financiamento inicial para uma startup chamada 28, “que monitora os ciclos menstruais das usuárias e dá a elas dicas sobre dietas e exercícios – tudo isso enquanto as encoraja a não usar métodos contraceptivos”.
Como Emily R. Klancher Marchant destacou nessa publicação, a simbiose entre o setor tech e o movimento pró-natalidade – preocupado com a queda da taxa de natalidade entre os de “alto desempenho” – reflete uma mentalidade eugenista. Ela começa seu ensaio com os capitalistas de risco que se tornaram defensores da natalidade, Malcolm e Simone Collins, e o objetivo deles de “salvar a humanidade tendo tantos bebês quanto possível”. Ao contrário de seus colegas cristãos, os Collins colocam sua fé nos dados e na ciência, e estão “focados em produzir o máximo de herdeiros – não para herdar bens, mas genes, perspectivas e visão de mundo”. Quando perguntado como sua pró-natalidade baseada em dados difere da eugenia, Malcolm Collins insistiu que é uma nova abordagem porque não é a reprodução seletiva patrocinada pelo estado, mas a escolha dos pais. Essa abordagem laissez-faire, no entanto, ignora o valor desigual das escolhas. Afinal, a taxa de natalidade não está caindo para todos. A preocupação é que as populações mais ricas – e seus genes cobiçados e correspondentes visões de mundo – estejam de alguma forma em perigo.
Thiel também está fazendo sua parte para a causa tentando prolongar sua própria vida e fundar uma versão dos Jogos Olímpicos chamada Enhanced Games (Jogos Aprimorados), no qual os participantes podem, para melhorar o desempenho, tomar medicamentos aprovados pela FDA e usar tecnologias protéticas. Literalmente as Olimpíadas com esteroides. Até recentemente, o apoio público de Thiel a Donald Trump o fazia se destacar no Vale do Silício, mas seu biógrafo, Max Chafkin, alerta que ele não é um caso isolado e que sua visão de mundo beira o fascismo: “[A] ideia de que as empresas devem poder fazer basicamente o que quiserem, que a democracia não é o valor mais importante, essas coisas se refletem nas decisões e ações que muitas empresas do Vale do Silício estão tomando”. Nos últimos meses, os apoiadores do Vale do Silício à presidência de Trump se tornaram mais visíveis – em junho, sua campanha realizou uma arrecadação de fundos na mansão do capitalista de risco David Sacks, em São Francisco, que arrecadou US$ 12 milhões.
* * *
Fundamentalmente, não é o suficiente refutar as ideologias eugenistas. As infraestruturas eugenistas – sistemas projetados para sacrificar as vidas e habitats da maioria global para assegurar o florescimento da minoria oligárquica – também precisam ser desmanteladas. Isso inclui chamar a atenção para os trabalhadores que realizam trabalhos digitais fantasmas que fazem a IA parecer mágica – trabalhadores do clique no Quênia e moderadores de conteúdo nas Filipinas – e reconhecer os custos humanos e ecológicos de produzir novos dispositivos elegantes. Todos os dias nós acordamos com manchetes anunciando o apetite insaciável de centros de processamento de dados que alimentam grandes modelos de linguagem e aplicativos de IA – “Por que a IA é tão Sedenta: Centros de Processamento de Dados Usam Quantidades Massivas de Água”, “Os Estados Repensam os Centros de Processamento de Dados Enquanto os ‘Devoradores de Eletricidade’ Sobrecarregam a Rede”, “Centros de Processamento de Dados Estão Drenando os Recursos em Comunidades com Escassez de Água”. Em maio de 2024, as emissões do Google pularam para “quase 50 [por cento] em cinco anos, à medida que o uso da IA aumenta[va]”, embora o Relatório Ambiental anual da empresa enfatizasse como “escalar a IA” é crucial para a mudança climática. De forma semelhante, no Relatório Anual da Microsoft de 2023, o CEO Satya Nadella disse acreditar que a “IA pode ser um poderoso acelerador para abordar a crise climática”. Bill Gates também argumentou que a IA irá impulsionar soluções climáticas, superando eventualmente os massivos custos de energia dos centros de processamento de dados. Falando para um público em Londres este ano, ele “pediu aos ambientalistas e governos que ‘não exagerassem’ nas preocupações com a enorme quantidade de energia requerida para executar novos sistemas de IA generativa”. Mas, um mês antes, a “Microsoft admitiu que suas emissões de gases de efeito estufa aumentaram em quase um terço desde 2020, em grande parte por causa da construção de centros de processamento de dados”.
Esse futurismo baseado em fé emprega um cálculo eugenista, pedindo que priorizemos benefícios hipotéticos em vez dos custos atuais para as pessoas e o planeta. Como notou a jornalista Karen Hao, depois de visitar o centro de processamento de dados da Microsoft no Arizona, “Com mais de 8.000 funcionando e gerando calor ao redor do mundo, e muitos outros a caminho, esse otimismo pode parecer nada mais do que fé: a tecnologia nos colocou nessa situação; talvez ela nos tire dela”. Esse é o evangelho dos evangelistas da IA: confie em nós, porque vocês não têm escolha.
Mas nós temos uma escolha. Não há razão nenhuma para confiar que as elites tech tenham alguma sabedoria a oferecer quando se trata de altruísmo efetivo ou alívio do sofrimento humano. Bilionários que constroem bunkers para sobreviver a um apocalipse da IA, tentando “interromper a morte” através de criopreservação e vasculhando o planeta em busca dos melhores locais para criar “cidades pop-up” e “estados em rede” não são administradores confiáveis do bem coletivo. Aqueles mais impactados pela “opressão do algoritmo”, “desigualdade automatizada”, “armas de destruição matemática”,6 “falta de inteligência artificial”, “colonialismo algorítmico” e “tecnologias da violência” têm maior compreensão do florescimento humano porque suas vidas dependem disso.
Em junho de 2024, juntei-me a centenas de organizadores, acadêmicos, defensores e trabalhadores em Chicago para a conferência Take Back Tech (Retomar a Tecnologia), organizada por Mijente e Media Justice. Nós criamos estratégias sobre como recuperar a tecnologia para o bem coletivo, abordando questões que vão desde o uso da IA no genocídio dos Palestinos até o desenvolvimento de infraestruturas tecnológicas autônomas que dão suporte a movimentos de base. O objetivo era contestar os legados eugenistas codificados no nosso mundo digital e cultivar legados de solidariedade, aprendendo com as gerações passadas e nos preparando para as futuras.
Durante meus comentários no último dia, expressei minha irritação com a IA – como, mesmo resistindo ao status quo tecnológico, a inteligência artificial dominava as conversas (e recursos). A única IA que quero discutir é a inteligência ancestral – os conhecimentos, experiências e a sabedoria que crescem sob os escombros do progresso. Estou farta da concepção limitada de inteligência que molda nossos sistemas e sociedades. Precisamos de mais investimento no conhecimento vindo de organizações e iniciativas como Allied Media Projects, Athena, Data For Black Lives, Our Data Bodies, May First Movement Technology, No Tech For Apartheid, 7amleh, Algorithmic Justice League e Data Workers’ Inquiry. Precisamos urgentemente ouvir e aprender com aqueles cujos trabalhos e as terras são indispensáveis, mas tratados como descartáveis.
No meu caminho de volta de Chicago, comecei a ler um dossiê inovador, “Os Congoleses Lutam por Sua Própria Riqueza”, lançado em junho de 2024. Ele nos lembra que, enquanto o cobalto, o lítio e o coltan são essenciais para a Quarta Revolução Industrial, a República Democrática do Congo (RDC) fornece a maioria desses minerais. Em 2022, as exportações da RDC valeram US$ 25 bilhões, com reservas inexploradas no valor de US$ 24 trilhões. Mesmo assim, os trabalhadores congoleses vivem com menos do que US$ 2,15 por dia devido à “pilhagem da terra e de seus recursos para obter lucro a qualquer custo” de empresas multinacionais, como a Glencore, em colaboração com oligarquias corruptas e grupos de milícias.
Essa é a infraestrutura eugenista que expõe os congoleses a um trabalho exaustivo e às partículas tóxicas que entram em nossos iPhones e outras tecnologias. O dossiê observa que, em 2014, a UNICEF estimou que “quarenta mil desses mineiros artesanais são crianças de apenas oito anos, embora os números do governo congolês e das empresas de mineração sugiram que isso subrepresenta dramaticamente a realidade”. A riqueza da indústria tecnológica é subsidiada pelos salários suprimidos dos trabalhadores da RDC. Em outras palavras, as fantasias distorcidas de alguns continuam a depender do trabalho torturante de outros.
Como disse Amos Hochstein, conselheiro sênior de Joe Biden para energia e investimentos, “Um carro elétrico é essencialmente uma bateria, e o que está na bateria é a África”. Mesmo nossos esforços para criar tecnologias “mais verdes” são baseados na pilhagem dos recursos africanos e no empobrecimento da mão de obra africana. Para combater tais infraestruturas eugenistas, devemos atender ao chamado daqueles que estão nas linhas de frente, como a juventude congolesa que insiste que o “Congo não está à venda” e clama por uma “inteligência coletiva para responder com ideias claras aos desafios que enfrentamos” – administrando e desmilitarizando a terra, reinvestido a riqueza na indústria local, reconstruindo o contrato social e exigindo uma governança justa.
No mínimo, deveríamos reconhecer os compromissos éticos vazios da intelligentsia artificial e as maquinações enganosas daqueles que se imaginam os administradores da humanidade. A escolha não é entre altruísmo efetivo e inefetivo, mas entre solidariedade e indiferença para com aqueles que os planejadores de longo prazo abandonariam.
Para seguir em frente, temos que contar com o que chamei de ustopia.7 Enquanto as utopias são a matéria dos sonhos e as distopias a matéria dos pesadelos, as ustopias são o que nós criamos juntos quando estamos acordados. Não é o suficiente refutar os legados da eugenia que animam os futuros falsos da intelligentsia artificial; precisamos também assumir a responsabilidade de inaugurar legados de solidariedade que refletem nossa interdependência intrínseca como povo e como planeta. Parafraseando a falecida Octavia E. Butler, cujo premonitório romance de 1993, A Parábola do Semeador, começa no verão de 2024 – pode ser o fim do mundo, mas existem outros mundos.
* * *
(Este texto foi originalmente publicado no Los Angeles Review of Books, em 18 de outubro de 2024. Agradecemos encarecidamente à autora e ao periódico por cederem os direitos da tradução. Para ler o original, clique aqui. Tradução de Davi Alexandre Tomm. Revisão de João Gabriel Alcântara Manfrim.)
- Professora de Estudos Afro-Americanos na Universidade de Princeton, diretora-fundadora do Ida B. Wells Just Data Lab e autora premiada dos livros: People’s Science: Bodies and Rights on the Stem Cell Frontier , de 2013; Race After Technology: Abolitionist Tools for the New Jim Code, de 2019; Viral Justice: How We Grow the World We Want, de 2022; e Imagination: A Manifesto, de 2024. ↩︎
- A autora aqui faz um jogo com o termo intelligentsia, que tem uma longa história, com sua origem provavelmente remontando a Rússia czarista do século XIX. Era usada para nomear um grupo de intelectuais envolvidos com trabalhos criativos, que eram contra o regime czarista, propondo uma reconstrução da sociedade em bases racionais, com um sistema político constitucional, o fim da servidão, e a defesa dos direitos humanos fundamentais. A partir daí a palavra passou a ser usada em diferentes contextos para se referir a um grupo de intelectuais, geralmente com tendências progressista, humanistas e sociais, que não pertencem necessariamente a uma determinada classe, ao mesmo tempo que não se ligam a um espectro político específico, defendendo certos interesses “humanistas” que estariam acima dessas divisões. Além disso, normalmente, tratava-se de intelectuais ligados a uma visão liberal burguesa do século XIX. Com o tempo, o termo passou a se referir, de modo mais geral, a grupos de intelectuais que tem alguma influência política ou cultural num determinado país. [N.T.] ↩︎
- Flint é uma cidade também no estado do Michigan. A crise hídrica no local ocorreu entre 2014 e 2019, quando a água potável foi contaminada por chumbo e, possivelmente, pela bactéria Legionella, causadora de um tipo de pneumonia, chamada de doença do legionário, além de uma doença semelhante à gripe, chamada de febre de Pontiac. [N.T.] ↩︎
- Screen Actors Guild – American Federation of Television and Radio Artists (Guilda de Atores – Federação Americana de Artistas de Televisão e Rádio) é um sindicato que representa profissionais que vão desde atores de cinema e televisão a músicos, cantores e jornalistas, entre outros. Atualmente o sindicato representa cerca de 160 mil profissionais. [N.T.] ↩︎
- Organização filantrópica fundada em 2010, por Bill e Melinda Gates, junto com Warren Buffet. A organização incentiva as pessoas e famílias com grandes riquezas em todo o mundo a contribuir com uma parte significativa de sua riqueza para causas sociais. [N.T.] ↩︎
- Em inglês, “weapons of math destruction”, um nome dado pela matemática americana Cathy O’Neil, num livro com esse título, de 2016. Refere-se aos impactos sociais dos algoritmos, que são usados pelas Big Datas para reforçar a desigualdade existente no mundo. Em inglês, o nome faz um jogo de palavras intraduzível para o português, com “weapons of mass destruction”, que são as armas de destruição em massa. [N.T.] ↩︎
- A autora faz um jogo com a palavra utopia, colocando ‘us’ (nós) como prefixo, o que no português ficaria algo como nóstopia, mas que perderia qualquer semelhança com a palavra original. [N.T.] ↩︎
Carbono, vol. 8 – julho de 2025.
ISSN: 3085-7066