Microsoft lanza un servicio de seguridad de contenidos mediante IA

El servicio incluye la detección de texto e imágenes, e identifica el contenido que Microsoft califica de "ofensivo, arriesgado o indeseable", incluyendo blasfemias, contenido para adultos, violencia y ciertos tipos de discurso

Microsoft ha lanzado un nuevo servicio enfocado en ayudar a detectar y filtrar contenido generado por inteligencia artificial que pueda ser perjudicial. Este servicio se llama Azure AI Content Safety y puede ser utilizado tanto por servicios como por aplicaciones para analizar el contenido generado por los usuarios con el respaldo de la Inteligencia Artificial.

Este servicio abarca tanto la detección de texto como la de imágenes, y su principal objetivo es identificar contenido que Microsoft considera como ofensivo, indeseable o que implica algún tipo de riesgo. Este contenido incluye obscenidades, lenguaje grosero, insultos, contenido inapropiado para menores, material sangriento, actos violentos y ciertos tipos de discursos perjudiciales.

Azure AI Content Safety tiene la capacidad de manejar diversas categorías de contenido y es compatible con múltiples idiomas. Además, puede detectar amenazas, lo que facilita la tarea de moderar contenido generado por inteligencia artificial.

El servicio incorpora funciones para revisar imágenes, utilizando algoritmos de inteligencia artificial para examinar, analizar y moderar contenido visual. Esto garantiza que los usuarios cuenten con medidas de seguridad sólidas para filtrar contenido generado por IA.

Además, permite la moderación de contenido en varios idiomas y utiliza métricas exhaustivas para determinar la gravedad del contenido en una escala del 0 al 7. El contenido clasificado como 0-1 se considera seguro y apropiado para todas las edades. El contenido marcado como 2-3 puede contener prejuicios, ser moralista o tener un sesgo, pero su nivel de peligro se considera bajo.

El contenido que se clasifica como de nivel medio de peligrosidad, es decir, 4 o 5, se refiere a contenido con lenguaje ofensivo, insultante o intimidatorio, así como textos o imágenes que se burlan de otros individuos. También se incluyen en esta categoría los ataques contra diversos grupos identitarios.

La clasificación de contenido de alto peligro, correspondiente a los niveles 6 y 7, se reserva para aquellos contenidos que promueven actos perjudiciales, elogian o respaldan cualquier tipo de actividad dañina dirigida hacia grupos identitarios.

Azure AI Content Safety también utiliza un sistema de filtrado multicategoría para identificar y categorizar contenido perjudicial en diversas áreas críticas, como el odio, la violencia, la autolesión y el contenido sexual. Este servicio es de pago y se factura mediante un sistema de pago por uso.