O viés algorítmico pode impactar vários aspectos de nossas vidas, desde a obtenção de recomendações de conteúdo online até a procura de emprego e a tomada de decisões financeiras.
O preconceito está na natureza humana. Pessoas diferentes têm gêneros, raças, educações, formações educacionais, culturas, crenças, experiências diferentes e assim por diante.
Assim, suas opiniões, pensamentos, gostos e desgostos e preferências variam entre si. Eles podem desenvolver certos preconceitos a favor ou contra determinadas categorias.
As máquinas não são diferentes. Eles também podem ver pessoas, coisas e eventos de maneira diferente devido a preconceitos introduzidos em seus algoritmos. Devido a esses preconceitos, os sistemas de IA e ML podem produzir resultados injustos, prejudicando as pessoas de várias maneiras.
Neste artigo, discutirei o que são vieses algorítmicos, seus tipos e como detectá-los e reduzi-los para aumentar a justiça nos resultados.
Vamos começar!
últimas postagens
O que são preconceitos algorítmicos?
Um viés algorítmico é a tendência dos algoritmos de ML e IA de refletir preconceitos semelhantes aos humanos e gerar resultados injustos. Os preconceitos podem ser baseados em sexo, idade, raça, religião, etnia, cultura e assim por diante.
No contexto da inteligência artificial e da aprendizagem automática, os preconceitos algorítmicos são erros sistemáticos e repetíveis introduzidos num sistema que produzem resultados injustos.
Vieses em algoritmos podem surgir devido a vários motivos, como decisões relacionadas a como os dados são coletados, escolhidos, codificados ou usados no treinamento do algoritmo, o uso pretendido, o design do algoritmo, etc.
Exemplo: você pode observar preconceitos algorítmicos em um resultado de mecanismo de pesquisa, levando a violações de privacidade, preconceitos sociais, etc.
Há muitos casos de preconceitos algorítmicos em áreas como resultados eleitorais, disseminação de discurso de ódio online, saúde, justiça criminal, recrutamento, etc. Isto está a agravar os preconceitos existentes em género, raça, economia e sociedade.
Tipos de preconceitos algorítmicos
#1. Viés de dados
O viés de dados ocorre quando os dados necessários para treinar um modelo de IA não representam adequadamente cenários ou populações do mundo real. Isso pode resultar em conjuntos de dados desequilibrados ou distorcidos.
Fonte: TELUS Internacional
Exemplo: suponha que uma solução de software de reconhecimento facial seja treinada principalmente para a população branca. Portanto, pode ter um desempenho ruim quando encarregado de reconhecer pessoas com tons de pele mais escuros, afetando-as.
#2. Viés de medição
Esse viés pode surgir devido a um erro no processo de medição ou coleta de dados.
Exemplo: se você treinar um algoritmo de diagnóstico de saúde para detectar uma doença com base em algumas métricas, como consultas médicas anteriores, isso pode atrapalhar o julgamento e causar preconceitos, ao mesmo tempo que ignora os sintomas reais.
#3. Viés de modelo
Os preconceitos do modelo surgem durante a concepção do algoritmo ou do modelo de IA.
Exemplo: suponha que um sistema de IA tenha um algoritmo projetado para maximizar os lucros de qualquer maneira; pode acabar priorizando ganhos financeiros em detrimento da ética empresarial, segurança, justiça, etc.
#4. Viés de avaliação
O viés de avaliação pode ocorrer quando os fatores ou critérios para avaliar o desempenho de um sistema de IA são tendenciosos.
Fonte: Limpar revisão
Exemplo: Se um sistema de IA de avaliação de desempenho utilizar testes padrão que favorecem uma categoria específica de funcionários de uma empresa, poderá promover desigualdades.
#5. Viés de relatórios
O viés de relatório pode ocorrer quando o conjunto de dados de treinamento não reflete com precisão a realidade em sua frequência de eventos.
Exemplo: se uma ferramenta de segurança de IA não funcionar bem em uma categoria específica, ela poderá sinalizar toda a categoria como suspeita.
Isto significa que o conjunto de dados no qual o sistema foi treinado marcou cada incidente histórico relacionado a essa categoria como inseguro devido à maior frequência de incidentes.
#6. Viés de seleção
O viés de seleção surge quando os dados de treinamento são selecionados sem randomização adequada ou não representam bem a população total.
Exemplo: Se uma ferramenta de reconhecimento facial for treinada com base em dados limitados, poderá começar a mostrar alguma discriminação contra dados que encontra menos, como a identificação de mulheres negras na política do que de homens e indivíduos de pele mais clara na política.
#7. Viés implícito
O preconceito implícito surge quando o algoritmo de IA faz suposições com base em certas experiências pessoais, que podem não se aplicar explicitamente a categorias ou pessoas mais amplas.
Exemplo: se um cientista de dados que está projetando um algoritmo de IA acredita pessoalmente que as mulheres gostam principalmente de rosa e não de azul ou preto, o sistema pode recomendar produtos adequados, o que não se aplica a todas as mulheres. Muitos amam azul ou preto.
#8. Viés de atribuição de grupo
Esse viés pode acontecer quando os projetistas do algoritmo aplicam coisas destinadas a determinados indivíduos a um grupo completo, independentemente de esses indivíduos fazerem parte do grupo ou não. O viés de atribuição de grupo é comum em ferramentas de recrutamento e admissão.
Exemplo: Uma ferramenta de admissão pode favorecer candidatos de uma escola específica, discriminando outros alunos que não pertencem a essa escola.
#9. Viés Histórico
A coleta de conjuntos de dados históricos é importante ao coletar conjuntos de dados para treinar um algoritmo de ML. Mas se você não prestar atenção, pode ocorrer viés em seus algoritmos devido aos vieses presentes em seus dados históricos.
Exemplo: se você treinar um modelo de IA com 10 anos de dados históricos para selecionar candidatos para cargos técnicos, isso poderá favorecer candidatos do sexo masculino se os dados de treinamento contiverem mais homens do que mulheres.
#10. Viés de etiqueta
Ao treinar algoritmos de ML, pode ser necessário rotular muitos dados para torná-los úteis. No entanto, o processo de rotulagem dos dados pode variar muito, gerando inconsistências e introduzindo distorções no sistema de IA.
Exemplo: suponha que você treine um algoritmo de IA rotulando gatos em imagens usando caixas. Se você não prestar atenção, o algoritmo poderá falhar na identificação de um gato em uma imagem se seu rosto não estiver visível, mas poderá identificar aqueles com rostos de gato.
Isso significa que o algoritmo é tendencioso na identificação de fotos com gatos voltados para a frente. Não é possível identificar o gato se a imagem for tirada de um ângulo diferente quando o corpo estiver aparecendo, mas não o rosto.
#11. Viés de exclusão
Fonte: ResearchGate
O preconceito de exclusão surge quando uma pessoa específica, um grupo de pessoas ou uma categoria é excluída involuntariamente ou intencionalmente durante a recolha de dados, se forem considerados irrelevantes. Isso acontece principalmente durante o estágio de preparação de dados do ciclo de vida do ML, no momento de limpar os dados e prepará-los para uso.
Exemplo: suponha que um sistema de previsão baseado em IA precise determinar a popularidade de um produto específico durante o inverno com base em sua taxa de compra. Então, se um cientista de dados perceber algumas compras em outubro e remover esses registros, pensando que estão errados e considerando a duração padrão de novembro a janeiro. Mas há lugares em que o inverno ultrapassa esses meses. Portanto, o algoritmo será direcionado para os países que recebem o inverno de novembro a janeiro.
Como os preconceitos são introduzidos nos algoritmos?
Dados de treinamento
A principal fonte de viés algorítmico são os dados tendenciosos usados para treinar os algoritmos de IA e ML. Se os próprios dados de treinamento contiverem elementos de desigualdades e preconceitos, o algoritmo aprenderá esses elementos e perpetuará preconceitos.
Projeto
Ao projetar o algoritmo, o desenvolvedor pode, consciente ou inconscientemente, introduzir os reflexos de pensamentos ou preferências pessoais no sistema de IA. Portanto, o sistema de IA será tendencioso para determinadas categorias.
Tomando uma decisão
Muitas vezes, os cientistas de dados e os líderes tomam decisões com base nas suas experiências pessoais, ambiente, crenças e assim por diante. Essas decisões também se refletem nos algoritmos, o que causa vieses.
Falta de Diversidade
Devido à falta de diversidade na equipe de desenvolvimento, os membros da equipe acabam criando algoritmos que não representam toda a população. Eles não têm experiência ou exposição a outras culturas, origens, crenças, costumes, etc., e é por isso que seus algoritmos podem ser tendenciosos de uma certa maneira.
Pré-processamento de dados
O método usado para limpeza e processamento de dados pode introduzir vieses algorítmicos. Além disso, se você não projetar esses métodos cuidadosamente para combater o preconceito, isso poderá se tornar grave no modelo de IA.
Arquitetura
A arquitetura do modelo e o tipo de algoritmo de ML que você escolher também podem introduzir preconceitos. Alguns algoritmos atraem preconceitos mais do que outros, juntamente com a forma como são projetados.
Seleção de recursos
Os recursos que você escolheu para treinar um algoritmo de IA são uma das causas do preconceito. Se você não escolher os recursos levando em consideração seus impactos na imparcialidade do resultado, poderá surgir algum viés, favorecendo algumas categorias.
História e cultura
Se um algoritmo for alimentado e treinado com dados retirados da história ou de certas culturas, pode herdar preconceitos como preconceitos, crenças, normas, etc. Esses preconceitos podem afetar os resultados da IA, mesmo que sejam injustos e irrelevantes no presente.
Desvio de dados
Os dados que você usa para treinar seus algoritmos de IA hoje podem se tornar irrelevantes, inúteis ou obsoletos no futuro. Isso pode ser devido à mudança da tecnologia ou da sociedade. No entanto, estes conjuntos de dados ainda podem introduzir preconceitos e prejudicar o desempenho.
Ciclos de Feedback
Alguns sistemas de IA não só podem comunicar com os utilizadores, mas também adaptar-se aos seus comportamentos. Dessa forma, o algoritmo pode aumentar o preconceito existente. Assim, quando os preconceitos pessoais dos utilizadores entram no sistema de IA, pode gerar um ciclo de feedback tendencioso.
Como detectar preconceito algorítmico?
Defina o que é “justo”
Para detectar resultados injustos ou preconceitos em algoritmos, é necessário definir o que “justo” implica exatamente para o sistema de IA. Para isso, você pode considerar fatores como sexo, idade, raça, sexualidade, região, cultura, etc.
Determine as métricas para calcular a justiça, como igualdade de oportunidades, paridade preditiva, impactos, etc. Depois de definir “justiça”, fica mais fácil detectar o que não é justo e resolver a situação.
Dados de treinamento de auditoria
Analise seus dados de treinamento minuciosamente para procurar desequilíbrios e inconsistências na representação de diferentes categorias. Você deve examinar a distribuição de recursos e verificar se ela representa dados demográficos do mundo real ou não.
Para visualizar dados, você pode criar histogramas, mapas de calor, gráficos de dispersão, etc. para destacar disparidades e padrões que não podem ser revelados apenas com a ajuda de análises estatísticas.
Além das auditorias internas, você pode envolver especialistas e auditores externos para avaliar distorções do sistema.
Medir o desempenho do modelo
Para detectar preconceitos, tente medir o desempenho do seu modelo de IA para vários dados demográficos e categorias. Ajudaria se você dividisse o treinamento em grupos diferentes com base em raça, gênero, etc. Você também pode usar suas métricas de justiça para calcular as diferenças nos resultados.
Use algoritmos adequados
Escolha algoritmos que promovam resultados justos e possam resolver preconceitos no treinamento de um modelo de IA. Os algoritmos conscientes da justiça visam evitar preconceitos e, ao mesmo tempo, garantir previsões iguais em várias categorias.
Software de detecção de polarização
Você pode usar ferramentas e bibliotecas especializadas que reconhecem a imparcialidade para detectar preconceitos. Essas ferramentas oferecem métricas de justiça, visualizações, testes estatísticos e muito mais para detectar preconceitos. Alguns mais populares são AI Fairness 360 e IBM Fairness 360.
Busque feedback do usuário
Peça feedback aos usuários e clientes sobre o sistema de IA. Incentive-os a fazer avaliações honestas caso sintam qualquer tipo de tratamento injusto ou preconceito no sistema de IA. Esses dados ajudarão você a descobrir problemas que podem não ser sinalizados em ferramentas automatizadas e outros procedimentos de detecção.
Como mitigar preconceitos em algoritmos
Diversifique sua empresa
Criar diversidade em sua empresa e na equipe de desenvolvimento permite detecção e remoção mais rápidas de preconceitos. A razão é que os preconceitos podem ser percebidos rapidamente pelos usuários afetados por eles.
Portanto, diversifique sua empresa não apenas em dados demográficos, mas também em habilidades e conhecimentos. Incluir pessoas de diferentes géneros, identidades, raças, cores de pele, origens económicas, etc., bem como pessoas com diferentes experiências e antecedentes educativos.
Dessa forma, você poderá coletar perspectivas, experiências, valores culturais, gostos e desgostos abrangentes, etc. Isso o ajudará a melhorar a justiça de seus algoritmos de IA, reduzindo preconceitos.
Promova a transparência
Seja transparente com sua equipe sobre o objetivo, algoritmos, fontes de dados e decisões relativas a um sistema de IA. Isto permitirá aos utilizadores compreender como funciona o sistema de IA e por que gera determinados resultados. Essa transparência promoverá a confiança.
Algoritmos de reconhecimento de justiça
Use algoritmos conscientes da justiça ao desenvolver o modelo para garantir que resultados justos sejam gerados para diferentes categorias. Isso se torna evidente se você criar sistemas de IA para setores altamente regulamentados, como finanças, saúde, etc.
Avalie o desempenho do modelo
Teste seus modelos para examinar o desempenho da IA em vários grupos e subgrupos. Isso ajudará você a compreender problemas que não são visíveis nas métricas agregadas. Você também pode simular diferentes cenários para verificar seu desempenho nesses cenários, inclusive os complexos.
Siga as diretrizes éticas
Formule algumas diretrizes éticas para o desenvolvimento de sistemas de IA, respeitando a justiça, a privacidade, a segurança e os direitos humanos. Você deve aplicar essas diretrizes em toda a sua organização para que a justiça aumente em toda a organização e se reflita nos resultados do sistema de IA.
Definir controles e responsabilidades
Defina responsabilidades claras para todos os membros da equipe que trabalham no design, desenvolvimento, manutenção e implantação do sistema de IA. Você também deve definir controles adequados com protocolos e estruturas rígidos para lidar com preconceitos, erros e outras preocupações.
Além do acima exposto, você deve realizar auditorias regulares para reduzir preconceitos e buscar melhorias contínuas. Além disso, mantenha-se atualizado com as mudanças recentes em tecnologia, demografia e outros fatores.
Exemplos do mundo real de preconceitos algorítmicos
#1. Algoritmo da Amazon
A Amazon é líder no setor de comércio eletrônico. No entanto, a sua ferramenta de recrutamento que utilizaram IA para avaliar candidatos a empregos de acordo com as suas qualificações mostraram preconceito de género. Este sistema de IA foi treinado usando currículos de candidatos anteriores em funções técnicas.
Infelizmente, os dados apresentavam um número maior de candidatos do sexo masculino, o que a IA aprendeu. Portanto, favoreceu involuntariamente candidatos do sexo masculino para cargos técnicos em detrimento das mulheres que estavam sub-representadas. A Amazon teve que descontinuar a ferramenta em 2017, apesar de fazer esforços para reduzir o preconceito.
#2. Algoritmos racistas de saúde nos EUA
Um algoritmo que os hospitais dos EUA usavam para prever pacientes que precisavam de cuidados adicionais foi fortemente tendencioso em relação aos pacientes brancos. O sistema avaliou as necessidades médicas dos pacientes com base no histórico de despesas com saúde, correlacionando o custo com as necessidades médicas.
O algoritmo do sistema não considerou como os pacientes brancos e negros pagaram pelas suas necessidades de saúde. Apesar da doença não controlada, os pacientes negros pagaram principalmente pelas emergências. Assim, foram categorizados como pacientes mais saudáveis e não se qualificaram para cuidados adicionais em comparação aos pacientes brancos.
#3. Algoritmo discriminatório do Google
O sistema de anúncios online do Google foi encontrado discriminando. Ele mostrou cargos com altos salários, como CEOs, para homens significativamente maiores do que para mulheres. Mesmo que 27% dos CEOs dos EUA sejam mulheres, a representação delas é muito menor no Google, cerca de 11%.
O algoritmo poderia ter mostrado o resultado aprendendo o comportamento do usuário, como se as pessoas que visualizam e clicam em anúncios para cargos bem remunerados sejam homens; o algoritmo de IA mostrará esses anúncios mais para homens do que para mulheres.
Conclusão
O viés algorítmico nos sistemas de ML e IA pode levar a resultados injustos. Esses resultados podem impactar indivíduos em diversas áreas, desde saúde, segurança cibernética e comércio eletrônico até eleições, emprego e muito mais. Pode levar à discriminação com base no género, raça, demografia, orientação sexual e outros aspectos.
Portanto, é importante reduzir os preconceitos nos algoritmos de IA e ML para promover a justiça nos resultados. As informações acima o ajudarão a detectar preconceitos e reduzi-los para que você possa criar sistemas de IA justos para os usuários.
Você também pode ler sobre Governança de IA.