Oferecido por
Descrever um sistema de tomada de decisão como um “algoritmo” é frequentemente uma maneira de desviar a responsabilidade pelas decisões humanas. Para muitos, o termo implica um conjunto de regras baseadas objetivamente em dados ou evidências empíricas. Também sugere um sistema que é altamente complexo — talvez tão complexo que um ser humano teria dificuldade para entender seu funcionamento interno ou antecipar seu comportamento quando implantado.
Mas essa caracterização é precisa? Nem sempre.
Por exemplo, no final de dezembro, a má distribuição das vacinas contra a Covid-19 do Stanford Medical Center foi atribuída a um “algoritmo” de distribuição que favorecia administradores de alto escalão em relação aos médicos de linha de frente. O hospital afirmou ter consultado especialistas em ética para projetar seu “algoritmo muito complexo”, que um representante disse que “claramente não funcionou direito”, conforme relatou a MIT Technology Review americana na época. Embora muitas pessoas tenham interpretado o uso do termo como indicação de que Inteligência Artificial ou machine learning estavam envolvidos, o sistema era na verdade um algoritmo médico, que é funcionalmente diferente. Era mais parecido com uma fórmula muito simples ou uma árvore de decisão projetada por um comitê humano.
Essa desconexão destaca um problema crescente. À medida que os modelos preditivos proliferam, o público se torna mais cauteloso quanto ao seu uso na tomada de decisões críticas. Mas, à medida que os legisladores começam a desenvolver padrões para avaliar e auditar algoritmos, eles devem primeiro definir a classe de ferramentas de tomada de decisão ou de suporte à decisão às quais suas políticas se aplicarão. Deixar o termo “algoritmo” aberto à interpretação pode colocar alguns dos modelos de maior impacto fora do alcance das políticas elaboradas para garantir que tais sistemas não prejudiquem as pessoas.
Como identificar um algoritmo
Então, o “algoritmo” de Stanford é um algoritmo? Isso depende de como você define o termo. Embora não haja uma definição universalmente aceita, uma comum vem de um livro de 1971 escrito pelo cientista da computação Harold Stone, que afirma: “Um algoritmo é um conjunto de regras que definem precisamente uma sequência de operações”. Essa definição abrange tudo, desde receitas até redes neurais complexas: uma política de auditoria baseada nela seria ridiculamente ampla.
Em estatística e machine learning, geralmente pensamos no algoritmo como o conjunto de instruções que um computador executa para aprender a partir dos dados. Nesses campos, as informações estruturadas resultantes são normalmente chamadas de modelo. As informações que o computador aprende a partir dos dados por meio do algoritmo podem parecer “pesos” pelos quais se multiplica cada fator de entrada ou podem ser muito mais complicadas. A complexidade do próprio algoritmo também pode variar. E os impactos desses algoritmos dependem, em última análise, dos dados aos quais eles são aplicados e do contexto em que o modelo resultante é implantado. O mesmo algoritmo pode ter um impacto líquido positivo quando aplicado em um contexto e um efeito muito diferente quando aplicado em outro.
Em outros domínios, o que é descrito acima como um modelo é chamado de algoritmo. Embora isso seja confuso, também é preciso na definição mais ampla: modelos são regras (aprendidas pelo algoritmo de treinamento do computador em vez de indicadas diretamente por humanos) que definem uma sequência de operações. Por exemplo, no ano passado no Reino Unido, a mídia descreveu a falha de um “ algoritmo ” em atribuir pontuações justas a alunos que não puderam realizar seus testes por causa da Covid-19. Certamente, o que esses relatórios estavam discutindo era o modelo — o conjunto de instruções que traduzia entradas (o desempenho anterior de um aluno ou a avaliação de um professor) em saídas (uma pontuação).
O que parece ter acontecido em Stanford é que humanos — incluindo especialistas em ética — determinaram que série de operações o sistema deveria usar para determinar, com base em dados como a idade e o departamento de um funcionário, se essa pessoa deveria estar entre os primeiros para obter uma vacina. Pelo que sabemos, essa sequência não foi baseada em um procedimento de estimativa otimizado para algum alvo quantitativo. Era um conjunto de decisões normativas sobre como as vacinas deveriam ser priorizadas, formalizadas na linguagem de um algoritmo. Essa abordagem se qualifica como um algoritmo na terminologia médica e sob a definição ampla, embora a única inteligência envolvida seja a de humanos.
Concentre-se no impacto, não na definição
Os legisladores também estão avaliando o que é um algoritmo. Introduzido no Congresso dos EUA em 2019, HR2291 , ou a Lei de Responsabilidade Algorítmica, usa o termo “sistema automatizado de tomada de decisão” e o define como “um processo computacional, incluindo um derivado de machine learning, estatística ou outro processamento de dados ou técnicas de inteligência artificial, que toma uma decisão ou facilita a tomada de decisão humana, que por sua vez impacta os consumidores”.
Da mesma forma, a cidade de Nova York está considerando a Int 1894 , uma lei que introduziria auditorias obrigatórias de “ferramentas automatizadas de decisão de emprego”, definidas como “qualquer sistema cuja função seja governada pela teoria estatística, ou sistemas cujos parâmetros são definidos por tais sistemas”. Notavelmente, ambos os projetos de lei exigem auditorias, mas fornecem apenas diretrizes de alto nível sobre o que é uma auditoria.
À medida que os tomadores de decisão no governo e na indústria criam padrões para auditorias algorítmicas, é provável que haja divergências sobre o que é considerado um algoritmo. Em vez de tentar chegar a um acordo sobre uma definição comum de “algoritmo” ou uma técnica de auditoria universal específica, sugerimos avaliar os sistemas automatizados principalmente com base em seu impacto. Ao nos concentrarmos no resultado em vez de nas definições, evitamos debates desnecessários sobre a complexidade técnica. O que importa é o potencial de dano, independentemente de estarmos discutindo uma fórmula algébrica ou uma rede neural profunda.
O impacto é um fator crítico de avaliação em outros campos. Ele está integrado ao esqueleto clássico do DREAD em segurança cibernética, que foi popularizado pela Microsoft no início dos anos 2000 e ainda é usado em algumas empresas. O “A” em DREAD pede aos avaliadores de ameaças que quantifiquem os “usuários afetados” perguntando quantas pessoas sofreriam o impacto de uma vulnerabilidade identificada. Avaliações de impacto também são comuns em análises de direitos humanos e sustentabilidade, e vimos alguns dos primeiros desenvolvedores de avaliações de impacto de IA criarem notas semelhantes. Por exemplo, a Avaliação de Impacto Algorítmico do Canadá fornece uma pontuação com base em perguntas qualitativas como “Os clientes nesta linha de negócios são particularmente vulneráveis? (sim ou não)”.
O que importa é o potencial de dano, independentemente de estarmos discutindo uma fórmula algébrica ou uma rede neural profunda.
Certamente há dificuldades em introduzir um termo vagamente definido como “impacto” em qualquer tipo de avaliação. A estrutura DREAD foi posteriormente suplementada ou substituída por STRIDE, em parte devido aos desafios de reconciliar diferentes crenças sobre o que a modelagem de ameaças implica. A Microsoft parou de usar o DREAD em 2008.
No campo da IA, conferências e periódicos já introduziram declarações de impacto com vários graus de sucesso e controvérsia. Está longe de ser infalível: avaliações de impacto que são puramente estereotipadas podem ser facilmente enganadas, enquanto uma definição excessivamente vaga pode levar a avaliações arbitrárias ou impossivelmente longas.
Ainda assim, é um passo importante à frente. O termo “algoritmo”, qualquer que seja sua definição, não deve ser um escudo para absolver os humanos que projetaram e implantaram qualquer sistema de responsabilidade pelas consequências de seu uso. É por isso que o público está cada vez mais exigindo responsabilidade algorítmica — e o conceito de impacto oferece um terreno comum útil para diferentes grupos que trabalham para atender a essa demanda.
Kristian Lum é professor assistente de pesquisa no Departamento de Ciência da Informação e Computação da Universidade da Pensilvânia.
Rumman Chowdhury é o diretor da equipe de Ética, Transparência e Responsabilidade de Máquinas (em inglês, META) no Twitter. Anteriormente, ela foi CEO e fundadora da Parity, uma plataforma de auditoria algorítmica e líder global de IA responsável na Accenture.
MIT Technology Review
