Imagine un mundo donde los algoritmos artificialmente inteligentes toman decisiones que afectan su vida cotidiana. Ahora, imagina que tienen prejuicios.
Este es el mundo en el que ya vivimos, dice la científica de datos, PhD de Harvard y la autora Cathy O'Neil. (Lea la primera parte de nuestra discusión con el Dr. O'Neil aquí). Nos sentamos con el nominado al Premio Nacional del Libro para averiguar qué podemos hacer sobre los prejuicios en la era de los grandes datos. CT: ¿La IA tiene prejuicios?
CO: Debe suponerse que todos los algoritmos que no se han hecho explícitamente justos tienen prejuicios. Porque como personas, tenemos prejuicios. Si reconocemos eso, y estamos creando estos algoritmos con nuestros valores y nuestros datos, entonces no deberíamos asumir que algo mágicamente ha sucedido para hacer las cosas justas. No hay magia allí.
CT: ¿De dónde obtienen los algoritmos sus datos?
CO: Depende del algoritmo. A veces, las redes sociales, para cosas como la orientación al mercado político o la publicidad o las universidades con fines de lucro y los préstamos abusivos, pero muchos de los datos no se recopilan en las redes sociales, ni siquiera en línea.
La recopilación de datos está cada vez más vinculada a la vida real, como conseguir un trabajo, trabajar en su trabajo, ir a la universidad o ir a prisión. Esas cosas no son cosas que podemos eludir con las leyes de privacidad. Son cuestiones de poder, donde las personas que son objetivo de los algoritmos no tienen poder, y las personas que recopilan la información y construyen e implementan los algoritmos tienen todo el poder. No tiene ningún derecho de privacidad si es un acusado penal, no tiene ningún derecho de privacidad en su trabajo y no tiene muchos derechos de privacidad si está solicitando un trabajo porque Si no responde las preguntas que le ha hecho su futuro empleador, es probable que no obtenga el trabajo.
Deberíamos pensar menos en la privacidad y más en el poder cuando se trata de algoritmos y el daño [que pueden causar].
CT: ¿Qué podemos hacer para mejorarlo?
CO: Podemos reconocer que estos algoritmos no son inherentemente perfectos, y probarlos por sus defectos. Deberíamos tener auditorías y monitores continuos, especialmente para decisiones importantes como la contratación, la condena penal o la evaluación de personas en sus trabajos, para asegurarnos de que los algoritmos actúen de la manera que queremos, no de manera discriminatoria o injusta.
Ailsa Johnson / © Culture Trip
CT: ¿Cuáles son los mejores y peores escenarios para el futuro basado en datos?
CO: El peor de los casos es lo que tenemos ahora: que todos esperamos ciegamente que los algoritmos sean perfectos, a pesar de que ya deberíamos saberlo mejor. Y propagamos injusticias e injusticias pasadas. Y seguimos ignorando los defectos de estos algoritmos.
El mejor de los casos es que reconocemos que estos algoritmos no son inherentemente mejores que los humanos. Decidimos qué queremos como humanos, por qué nos esforzamos. Cómo queremos que se vea la sociedad, y enseñamos esos valores. Si lo hacemos con éxito, estos algoritmos podrían ser mejores que los humanos.
CT: ¿Qué papel puede jugar la gente común?
CO: El papel más importante que puede desempeñar un individuo es no confiar implícitamente en ningún algoritmo. Tener una enorme cantidad de escepticismo. Si está siendo evaluado con un algoritmo, pregunte '¿Cómo sé que es justo, cómo sé que es útil, cómo sé que es correcto? ¿Cuál es la tasa de error? ¿Para quién falla este algoritmo? ¿Le falla a las mujeres o a las minorías? Haz ese tipo de pregunta.
La segunda cosa, más allá del escepticismo, es que si crees que un algoritmo es injusto contigo o con otras personas, debes organizarlo con esas otras personas. Un ejemplo reciente son los maestros. Los modelos estadísticos sobre maestros de valor agregado son generadores de números terribles, casi aleatorios. Pero estaban siendo utilizados para decidir qué maestros deberían obtener la tenencia y qué maestros deberían ser despedidos, en todo Estados Unidos.
Mi sugerencia es que hagan que su sindicato retroceda. Y esto sucedió en algunos lugares. Pero es sorprendente la poca resistencia que había debido a la naturaleza matemática del sistema de puntuación.
CT: ¿Cómo te metiste en 'big data'?
CO: Trabajé en Wall Street y presencié la crisis financiera desde adentro. Me disgustaba la forma en que las matemáticas se usaban para aprovecharse de las personas o para engañarlas. Vi el tipo de daño que podría provenir de las mentiras matemáticas, lo que llamo "la armamentización de las matemáticas".
Decidí alejarme de eso, así que me uní a Occupy Wall Street y comencé a trabajar como científico de datos. Poco a poco me di cuenta de que también estábamos viendo exageraciones erróneas y engañosas sobre algoritmos de datos engañosos que estaban sucediendo fuera de Wall Street, y que eso conduciría a un gran daño. La diferencia fue que, si bien las personas de todo el mundo notaron la crisis financiera, no pensé que las personas notarían las fallas de estos algoritmos de big data, porque generalmente ocurren a nivel individual.
Lea la primera parte de nuestra discusión con el Dr. O'Neil aquí. El libro de la Dra. Cathy O'Neil, The Weapons of Math Destruction: How Big Data aumenta la desigualdad y amenaza la democracia, ya está disponible.
