Preguntas y respuestas: Evaluación del ROI de la implementación de IA

Preguntas y respuestas: Evaluación del ROI de la implementación de IA

Muchos equipos de desarrollo están comenzando a experimentar cómo utilizar la IA para beneficiar su eficiencia, pero para tener una implementación exitosa, deben tener la capacidad de evaluar si su inversión en IA realmente está proporcionando un valor proporcional a esta inversión. Una encuesta reciente de Gartner de mayo de este año dijo que el 49% de los encuestados dijo que la principal barrera para la adopción de la IA es la dificultad para estimar y demostrar el valor de los proyectos de IA. En el episodio más reciente de nuestro podcast What the Dev?, Madeleine Corneli, gerente principal de producto de IA/ML en Exasol, se unió a nosotros para compartir consejos sobre cómo hacer precisamente eso. Aquí hay una versión editada y abreviada de esa conversación: Jenna Barron, editora de noticias de SD Times: La inteligencia artificial está en todas partes. Y parece casi inevitable, porque parece que cada herramienta de desarrollo ahora tiene algún tipo de asistencia de IA incorporada. Pero a pesar de su disponibilidad y accesibilidad, no todos los equipos de desarrollo lo utilizan. Y una encuesta reciente de Gartner de mayo de este año dijo que el 49% de los encuestados cree que la principal barrera para la adopción de la IA es la dificultad para estimar y demostrar el valor de los proyectos de IA. Más adelante entraremos en detalles sobre cómo evaluar el ROI, pero solo para comenzar nuestra discusión, ¿por qué cree que las empresas tienen dificultades para demostrar valor aquí? Madeleine Corneli: Creo que todo comienza con la identificación de los usos y casos de uso apropiados para la IA. Y creo que lo que estoy escuchando mucho tanto en la industria como en el mundo en este momento es que necesitamos usar IA, que es imperativo usar IA, aplicar IA y ser impulsado por la IA. Pero si pelas la cebolla, ¿qué significa realmente? Creo que muchas organizaciones y muchas personas realmente luchan por responder la segunda pregunta: ¿Qué estamos tratando de lograr realmente? ¿Qué problema estamos tratando de resolver? Y si no sabes qué problema estás tratando de resolver, no puedes medir si resolviste o no el problema, o si tuviste o no un impacto. Así que creo que este es el corazón de la lucha por medir el impacto. JB: ¿Tiene algún consejo sobre cómo las empresas pueden hacer esta pregunta y llegar al fondo de lo que están tratando de lograr? MC: He pasado 10 años trabajando en diversas industrias analíticas y he adquirido algo de experiencia trabajando con clientes para intentar plantear estas preguntas. Y aunque hoy hablamos de inteligencia artificial, es más o menos la misma pregunta que nos venimos haciendo desde hace muchos años, que es: ¿qué estás haciendo que te resulte difícil hoy? ¿Están sus clientes frustrados? ¿Qué podría ser más rápido? ¿Que podría ser mejor? Y creo que todo comienza simplemente mirando su negocio, su equipo o lo que está tratando de lograr, ya sea construir algo, entregar algo o crear algo. ¿Y dónde están los puntos críticos? ¿Qué lo hace difícil? Comience con la intención de su empresa y trabaje hacia atrás. Y también cuando piensas en los miembros de tu equipo, ¿qué es lo que les resulta difícil? ¿Dónde pasan la mayor parte de su tiempo? ¿Y dónde pasan el tiempo que no disfrutan? Y empiezas a involucrarte en más tareas manuales y empiezas a hacerte preguntas que son difíciles de responder, ya sean solicitudes de empleo o simplemente ¿dónde encuentro esta información? Y creo que centrarse en la intención de su negocio, y también en la experiencia de sus empleados, y comprender dónde hay fricciones son realmente excelentes lugares para comenzar a medida que intenta responder estas preguntas. JB: Entonces, ¿cuáles son algunas de las métricas específicas que podrían usarse para mostrar el valor de la IA? MC: Hay muchos tipos diferentes de parámetros y existen diferentes marcos que la gente usa para pensar en los parámetros. Las métricas de entrada y salida son una forma común de desglosar esto. Las métricas de entrada son algo que realmente puedes cambiar y sobre lo que tienes control, mientras que las métricas de salida son las cosas en las que realmente estás tratando de influir. Un ejemplo común es la experiencia del cliente. Si queremos mejorar la experiencia del cliente, ¿cómo la medimos? Es un concepto muy abstracto. Tienes puntuaciones de experiencia del cliente y cosas así. Pero es una métrica de resultados, es algo que desea mejorar y cambiar tangiblemente, pero es difícil de hacer. Por lo tanto, una métrica de entrada podría ser la rapidez con la que resolvemos los tickets de soporte. No necesariamente le dice que está creando una mejor experiencia para el cliente, pero ¿es algo sobre lo que tiene control y que afecta la experiencia del cliente? Creo que con la IA tienes métricas tanto de entrada como de salida. Entonces, si realmente está buscando mejorar la productividad, es algo bastante confuso de medir. Entonces debes elegir estas métricas de proxy. Entonces, ¿qué tan rápido eran las pruebas antes versus qué tan rápido son ahora? Y realmente depende del caso de uso, ¿verdad? Entonces, si hablamos de productividad, el tiempo ahorrado será una de las mejores métricas. Ahora bien, gran parte de la IA no se centra en la productividad, sino que es algo experiencial, ¿verdad? Es un chatbot. Es un widget. Es un mecanismo de puntuación. Es una recomendación. Estas son cosas que son intangibles en muchos sentidos. Por eso hay que utilizar métricas proxy. Y creo que las interacciones con la IA son un buen punto de partida. ¿Cuántas personas vieron realmente la recomendación de IA? ¿Cuántas personas vieron realmente la puntuación de IA? ¿Y entonces se tomó una decisión? ¿O se tomaron medidas debido a esto? Si está creando una aplicación de cualquier tipo, normalmente puede medir estas cosas. ¿Alguien ha visto inteligencia artificial? ¿Y eligieron esto? Creo que si puedes concentrarte en esas métricas, ese es un muy buen punto de partida. JB: Entonces, si un equipo comienza a medir algunas métricas específicas y no obtiene resultados favorables, ¿es una señal de que deberían renunciar a la IA por ahora? ¿O simplemente significa que tienen que reelaborar cómo lo usan, o tal vez no tienen algunas bases importantes que realmente deben existir para cumplir con esos KPI? MC: Es importante empezar reconociendo que no lograr un objetivo en el primer intento está bien. Y especialmente porque todos somos muy nuevos en la IA, incluso los clientes que todavía están evolucionando sus prácticas analíticas, hay muchos errores y fallas. Y eso está bien. Entonces estas son grandes oportunidades para aprender. Por lo general, si no logra alcanzar una métrica o un objetivo que ha establecido, lo primero que debe hacer es volver a verificar su caso de uso. Entonces digamos que creaste un widget de IA que hace una cosa y dices, quiero que alcance este número. Digamos que se te pasa el número o vas demasiado lejos o algo así, la primera comprobación es: ¿fue realmente un buen uso de la IA? Ahora, eso es difícil, porque estás volviendo a la mesa de dibujo. Pero como todos somos tan nuevos en esto, y creo que debido a que a las personas en las organizaciones les resulta difícil identificar las aplicaciones de IA apropiadas, uno tiene que preguntarse continuamente, especialmente si no cumple con las métricas, lo que crea una especie de incertidumbre existencial. pregunta. Y podría ser que sí, esta es la aplicación correcta de la inteligencia artificial. Así que si puedes revalidarlo, genial. Entonces, la siguiente pregunta es: ¿Nos perdimos nuestra métrica? ¿Fue la forma en que aplicamos la IA? ¿Fue el modelo en sí? Luego comienzas a limitarte a preguntas más específicas. ¿Necesitamos un modelo diferente? ¿Necesitamos volver a desarrollar nuestro modelo? ¿Necesitamos mejores datos? Y luego tienes que pensar en ello en el contexto de la experiencia que intentas brindar. Era el modelo correcto y todo eso, pero ¿realmente estábamos brindando esa experiencia de una manera que tuviera sentido para los clientes o para las personas que la usaban? Estos son como los tres niveles de preguntas que debes hacer: ¿Fue esta la aplicación correcta? ¿Estaba logrando las métricas adecuadas de precisión? ¿Se entregó de una manera que tuviera sentido para mis usuarios? Consulte otras transcripciones de podcasts recientes: Por qué más de la mitad de los desarrolladores están experimentando agotamiento al superar el bombo publicitario de las herramientas de desarrollo de IA

About Francisco

Check Also

La base para un desarrollo de software exitoso

La base para un desarrollo de software exitoso

Bienvenido a nuestra serie de cinco partes sobre cómo dominar el desarrollo de software. Durante …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *