Software se esforça para passar em testes básicos.
O software de reconhecimento comercial, desenvolvido pela Amazon e comercializado para as autoridades norte-americanas como uma ferramenta poderosa de combate ao crime, se esforça para passar por testes básicos de precisão, como identificar corretamente o sexo de uma pessoa.
Pesquisadores do MIT Media Lab disseram que o sistema Rekognition teve um desempenho mais preciso ao avaliar rostos de pele mais clara, levantando preocupações sobre como resultados tendenciosos poderiam manchar o uso da tecnologia de inteligência artificial pela polícia e em locais públicos, incluindo aeroportos e escolas.
O sistema da Amazon teve um desempenho impecável na previsão do sexo de homens de pele mais clara, disseram os pesquisadores, mas identificou erroneamente o gênero de mulheres de pele mais escura em cerca de 30% de seus testes. Sistemas de reconhecimento facial rivais da Microsoft e de outras empresas tiveram melhor desempenho, mas também eram propensos a erros.
O problema, dizem os pesquisadores e engenheiros de inteligência artificial, é que os vastos conjuntos de imagens que os sistemas foram treinados inclinam fortemente para os homens brancos. A pesquisa mostra, no entanto, que alguns sistemas rapidamente se tornaram mais precisos no último ano, após um maior investimento corporativo na melhoria dos resultados.
A defesa da Amazon
A Amazon contestou as descobertas do estudo, dizendo que a pesquisa testou algoritmos que funcionam de maneira diferente dos sistemas de reconhecimento facial testados pelo Federal Bureau of Investigation (FBI) e implantados por departamentos de polícia na Flórida e no estado de Washington.
Matt Wood, um executivo da Amazon Web Services que supervisiona IA e aprendizado de máquina, disse em um comunicado que os pesquisadores basearam seu estudo em algoritmos de “análise facial”, que podem detectar e descrever os atributos de uma face em uma imagem, como pessoa está sorrindo ou usando óculos.
Os algoritmos de “reconhecimento facial”, por outro lado, são usados para corresponder diretamente imagens de diferentes faces, e seriam mais comumente usados em casos como a identificação de um fugitivo procurado ou de uma criança desaparecida.
Para Wood, “Não é possível tirar uma conclusão sobre a precisão do reconhecimento facial para qualquer caso de uso – incluindo a aplicação da lei – com base nos resultados obtidos usando análise facial”. Os resultados “não representam como um cliente usaria o serviço hoje”.
Wood também disse que o teste foi feito em software desatualizado e que tentativas internas recentes para replicar os testes mostraram resultados mais precisos do que as descobertas dos pesquisadores. A Amazon disse em novembro de 2018 que atualizou seus recursos de análise facial e reconhecimento facial para combinar com mais precisão os rostos e “obter melhores atributos de idade, sexo e emoção”.
Funcionamento do sistema
Os sistemas de identificação facial funcionam dividindo imagens em códigos numéricos complexos, conhecidos como hashes, que podem ser comparados rapidamente em um vasto banco de dados de outras imagens. Tecnologias de IA semelhantes são usadas para sugerir etiquetas de fotos no Facebook, desbloquear o iPhone da Apple ou confirmar a identidade de um viajante em aeroportos nos Estados Unidos.
Quando os algoritmos de reconhecimento facial ou de análise facial retornam resultados, eles incluem avaliações de sua própria confiança em suas descobertas: uma correspondência direta pode ser de 99%, enquanto uma correspondência mais confusa ou mais inconclusiva seria mais baixa.
Executivos da Amazon e de outras empresas desafiaram pesquisas semelhantes ao argumentar que forçar os algoritmos a escolher uma resposta masculina ou feminina específica pode fornecer resultados enganosos, contrariando a maneira pela qual policiais, engenheiros e outros usuários são treinados para usar a tecnologia na realidade.
Discussão sobre implantação da IA da Amazon
Pesquisadores independentes disseram que as descobertas levantam questões importantes sobre a implantação da IA da Amazon.
Para Clare Garvie, membro sênior do Centro de Direito da Georgetown. Privacidade e Tecnologia que estuda o software de reconhecimento facial, “Pedir a um sistema que faça a classificação de gênero é, em muitos aspectos, uma tarefa mais fácil para a aprendizagem de máquina do que a identificação, onde as possibilidades são muito mais do que binárias e podem chegar a milhões”. Para ela, a “atitude defensiva e a falta de disposição da Amazon em olhar mais de perto esse potencial problema em seus produtos falam muito”.
A coautora do estudo, Joy Buolamwini, conduziu uma pesquisa semelhante no ano passado. Ela disse ao Washington Post que a metodologia do estudo é eticamente correta, amplamente replicada e citada por empresas como IBM e Microsoft como fundamental para ajudar a melhorar a justiça e os sistemas.
Ela chamou a defesa da Amazon de “uma deflexão” e disse que a análise facial e a classificação de gênero são ferramentas fundamentais que podem ser usadas pelos algoritmos para ajudar a acelerar uma busca por reconhecimento facial.
Um relatório de pesquisadores da Georgetown Law, em 2016, descobriu que as imagens faciais de metade de todos os adultos americanos, ou mais de 117 milhões de pessoas, estavam acessíveis em um banco de dados de reconhecimento facial da lei.
“Reconhecer um problema conhecido da indústria e trabalhar para soluções em vez de deflexão deu à Microsoft e à IBM uma plataforma para se posicionarem como desenvolvedores responsáveis da tecnologia da IA. No entanto, a Amazon decide responder, a pesquisa foi vetada muitas vezes e já levou à mudança na indústria ”, disse ela ao The Post.
Testes de sistemas
O Instituto Nacional de Padrões e Tecnologia do Departamento de Comércio dos Estados Unidos, que avalia os sistemas de reconhecimento facial com precisão, disse que testou sistemas de 39 desenvolvedores e tem visto uma crescente precisão nos últimos anos. Mas os testes são voluntários, e empresas como Amazon e Google se recusaram a participar. Buolamwini instou a Amazon a apresentar seus modelos para os testes públicos de benchmark. Ela também pediu à Amazon que alerte os clientes sobre os vieses do sistema e “interrompa imediatamente seu uso em contextos de alto risco, como policiamento e vigilância governamental”.
Testes conduzidos pela União Americana das Liberdades Civis no verão passado descobriram que Rekognition não combinou as fotos de 28 membros do Congresso com fotos tiradas de pessoas que foram presas, com taxas de erro mais altas para pessoas de cor. A Amazon disse que esses testes foram incorretamente administrados de forma a distorcer os resultados.
Um estudo realizado no ano passado por Buolamwini e pela cientista da computação Timnit Gebru encontrou erros semelhantes de classificação de gênero – e amplas lacunas de precisão entre tons de pele mais claros e escuros – nos sistemas desenvolvidos pela IBM.
A IBM e a Microsoft anunciaram que haviam aprimorado seus algoritmos e estavam apresentando resultados mais precisos em todos os gêneros e tons de pele. O novo estudo confirmou que as precisões dessas empresas melhoraram, mas que os sistemas ainda eram mais propensos a dar um gênero impreciso para rostos de pele mais escura.
Os testes foram realizados em agosto de 2018, usando imagens faciais de cerca de 1.200 membros de parlamentos nacionais de seis países da Europa e da África. A taxa de erro da Amazon para todos os rostos, segundo o estudo, foi de cerca de 8 por cento, comparada com 4 por cento para a IBM e menos de 1 por cento para a Microsoft.
“O potencial para o uso de armas e abuso das tecnologias de análise facial não pode ser ignorado”, escreveram Buolamwini e a co-autora do estudo, Deborah Raji.
Debates sobre os sistemas
A promessa da tecnologia de reconhecimento facial, que poderia identificar pessoas de longe, desencadeou uma corrida multimilionária entre as empresas de tecnologia, que argumentam que a tecnologia pode acelerar as investigações policiais, melhorar a segurança pública e salvar vidas. Uma autoridade do contraterrorismo do FBI, falando em novembro em uma conferência da Amazon Web Services, disse que a agência teve resultados notáveis ao testar o software em dados do tiroteio em massa em Las Vegas em 2017.
Mas questões relacionadas à precisão dos sistemas – e preocupações de que a tecnologia poderia ser usada para vigiar pessoas sem seu conhecimento ou consentimento, sufocando protestos públicos e liberdade de expressão – levaram os defensores dos direitos civis e da privacidade a se manifestar contra uma tecnologia que eles temem resultados potencialmente mortais. Uma falha no software, por exemplo, poderia motivar a polícia ou o pessoal de segurança a reagir violentamente contra uma pessoa marcada incorretamente como um criminoso procurado.
A tecnologia alimentou um debate crescente no Vale do Silício e em Washington sobre como regulamentar possíveis perigos, com alguns legisladores pedindo uma lei nacional mais robusta que governe o uso e a privacidade. Alguns funcionários da Amazon e acionistas pediram que a empresa não venda softwares de reconhecimento facial para a polícia, e executivos de outras empresas pediram que o governo controle a indústria.
Satya Nadella, presidente-executivo da Microsoft, que está desenvolvendo software de reconhecimento facial e pediu por regulamentação mais forte, disse que o negócio de reconhecimento facial é “simplesmente terrível” e “absolutamente uma corrida para o fundo”.
“É tudo em nome da competição. Quem ganha um acordo pode fazer qualquer coisa. Isso não vai acabar bem para nós como uma indústria ou para nós como sociedade ”, disse Nadella. “É melhor ter um mínimo de regras pelas quais todos nós jogamos, então protegemos o que realmente importa”.
A implantação da tecnologia ultrapassou rapidamente a regulamentação, e agora os sistemas de reconhecimento facial podem ser encontrados em aeroportos, salas de concerto e restaurantes. Crianças, pais e visitantes de escolas e centros comunitários nos Estados Unidos também estão sendo examinados pelos sistemas não comprovados de possíveis ameaças à segurança.
(Com informações do The Washington Post, em Medium.)
