Conheça algumas histórias desastrosas que dificilmente serão esquecidas e anote como referência do que não fazer.
O número de empresas que entendem o valor dos dados está aumentando em ritmo acelerado. A valorização de informações está tão desenvolvida que os dados estão sendo considerados como “o novo petróleo”. Mas o que fazer com essa riqueza nas mãos? Como os dados estão sendo analisados e aproveitados de acordo com seu valor?
Para comprovar a importância desse cuidado com os dados, compartilhamos com vocês alguns desastres em IA e Analytics, de acordo com o site CIO from IDG:
Falha em sinalização de pacientes negros
Um algoritmo de saúde usado para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco” falhou ao sinalizar pacientes negros, de acordo com um estudo publicado na Science em 2019. Usado para direcionar os pacientes crônicos para prevenir complicações graves à esses programas nos Estados Unidos, o algoritmo apresentou maior probabilidade de recomendar pacientes brancos do que negros. O estudo apontou diversos fatores que contribuíram para esse caso. O desenvolvedor, que não foi identificado, começou a desenvolver soluções para essa situação.
Chatbot e seus posts preconceituosos
Em 2016, um chatbot com AI, chamado Tay, foi lançado pela Microsoft no Twitter, para um experimento de “compreensão conversacional”. Para o chatbot interagir na rede, foi usada uma combinação de machine learning e processamento de linguagem natural, sendo introduzidos com dados públicos anônimos e materiais pré-escritos por comediantes, e então Tay foi liberado para aprender e evoluir com as interações no Twitter. Foram mais de 95.000 tweets em 16 horas, o problema é que de forma acelerada eles se tornaram racistas, misóginos e antissemitas. A ação foi suspensa imediatamente. Na época, o caso foi esclarecido pela Microsoft que se pronunciou, pois as ofensas não representam a empresa. Se desculparam pelos tweets que, embora muito ofensivos, não foram intencionais. O que houve com Tay foi consequência de um grupo de usuários que twittaram para ele comentários com esse teor, fazendo com o que o chatbot aprendesse e incorporasse esse material em seus próprios tweets.
Ferramenta de recrutamento habilitada com IA que recomendou apenas homens
Com o objetivo de ajudar o RH a selecionar os melhores candidatos, em 2014, a Amazon começou a usar uma ferramenta de recrutamento com IA. O problema foi que o software recrutava apenas homens.
Nesse caso, os modelos de machine learning do sistema foram treinados com currículos enviados à empresa ao longo de 10 anos, sendo a maioria enviados por homens. A consequência disso foi que currículos com a palavra “mulher” foram desconsiderados do sistema e as candidatas de faculdades só para mulheres foram prejudicadas.
A Amazon informou que a ferramenta nunca foi usada de fato pelos recrutadores e, sem garantir a neutralidade da ferramenta, a empresa encerrou o projeto.
Violação de privacidade
Em 2002, o departamento de marketing da Target deu início à um projeto de analytics, com o objetivo de identificar as clientes grávidas, levando em conta períodos da vida que geram mudanças nos hábitos de compra. Foram coletados dados dos clientes como por meio de códigos de compradores, cartões de créditos e pesquisas. Além disso, o varejista misturou esses dados com os demográficos e adquiridos por terceiros. O que chamou atenção para esse projeto, foi que a Target, com essa investigação sobre clientes, teria revelado à família de uma adolescente sobre sua gravidez.
Mesmo com esse caso polêmico, o marketing direcionado não foi interrompido, e a empresa misturou nos anúncios para mulheres grávidas produtos aleatórios, com a ideia de não assustar os clientes.
Milhares de casos de Covid perdidos por limitações de dados no Microsoft Excel
Em meio a pandemia mundial, o Public Health Engalnd – PHE, órgão responsável por registrar novas infecções por Covid-19 no Reino Unido, perdeu quase 16.000 notificações de casos de coronavírus entre 25 de setembro e 2 de outubro de 2020 por limite de dados excedidos na planilha. O Excel determina um limite de linhas e colunas em suas planilhas. Isso dificultou a identificação e notificação de pessoas próximas à pacientes infectados.
A saída para o PHE foi conter a situação com uma divisão de arquivos grandes e a condução de uma revisão completa dos sistemas para que incidentes como este não se repitam.
Esse caso, em específico, poderia ter sido evitado se houvesse um trabalho de tratamento nos dados, como o ETL por exemplo. Utilizando esses dados tratados seria possível acompanhar pelo Microsoft Power BI, veja um exemplo aplicado aos dados do Covid pela prefeitura de MG:
Qual desses casos você achou mais desastroso?
E para evitar incidentes com dados dentro da sua empresa, conte com nosso apoio. Agende um horário para conversar com nossos dataholics.