Lab 3: Gobernando un prompt de IA generativa sobre un modelo externo (Azure OpenAI)

Prerrequisitos

• Antes de comenzar este laboratorio, debes haber completado los pasos 2 y 3 del Lab 1: Gobernando prompts de IA generativa, para tener configurados el Project y Deployment space.
• Además, debes tener a mano las credenciales del Cloud Pak for Data en el que estás trabajando y las de acceso a Azure OpenAI.

En este laboratorio, gobernarás un prompt para modelo fundacional de una plataforma externa, Azure OpenAI. En este caso, el departamento de soporte quiere utilizar un modelo de IA generativa para generar una propuesta de acciones para el agente asignado a un ticket de soporte, lo que creen que también reducirá significativamente la carga de trabajo del equipo y los tiempos de respuesta. De nuevo, es necesario configurar un sistema capaz de monitorizar y evaluar el prompt para atajar sus preocupaciones antes de ponerlo en producción.

Para esto, configurarás un activo de watsonx.ai llamado Detached Prompt Template, haciendo uso de las APIs disponibles para la plataforma y viendo cómo se integran con la interacción vía interfaz.

1. Definir un Caso de Uso de IA

Debes crear un AI use case para gobernar el prompt de resumen de tickets.

1. Abre el menú lateral en la esquina superior izquierda.

2. Haz click en el item AI Governance para desplegarlo.

3. Haz click en el item AI use cases.

   

4. Pulsa el botón de New AI use case, que abrirá una nueva ventana.

   

5. Pon un Name al caso de uso.

6. Pon una Description para la necesidad de negocio que se está intentando resolver.

7. Utiliza el desplegable para asignar el Risk Level apropiado.

8. Utiliza el desplegable para asignar el Inventory apropiado.

   

9. Asigna un Status en el desplegable del lateral derecho.

10. Pulsa Create. Después de unos minutos, el caso de uso estará creado.

    

11. Baja hasta la sección Associated workspaces, dónde están las tres etapas del ciclo de vida del modelo: Develop, Validate, y Operate. Los espacios de trabajo (Projects o Deployment spaces) pueden asociarse con cualquiera de estas etapas. En la ficha Development, pulsa en Associate workspace, lo que abrirá una ventana.

    

12. En la sección Projects, marca el proyecto creado previamente.

13. Haz click en Save para guardar esta asociación.

    

14. Repite para la ficha Validation, marcando el espacio creado previamente.

    

    

2. Crea un Prompt Template para un modelo externo

En esta sección crearemos el Detached Prompt Template. Este activo no se puede generar desde la interfaz, por lo que utilizaremos la API de watsonx.governance en un notebook en el proyecto.

1. Abre el menú lateral en la esquina superior izquierda.

2. Haz click en el item Projects para desplegarlo.

3. Haz click en el item All projects.

   

4. Abre el proyecto creado previamente.

   

5. Pulsa el botón de New asset, que abrirá una nueva ventana.

   

6. Haz click en Work with data and models in Python or R notebooks with Jupyter notebook editor, lo que abrirá una nueva ventana.

   

7. Pulsa en la opción Local file.

8. Asigna un Name.

9. Sube este notebook en Notebook file.

10. Pulsa Create.

    

11. Una vez abierto el notebook, ejecuta cada una de las celdas siguiendo las instrucciones, y editando los valores requeridos de las credenciales.

    ¿Dónde puedo encontrar las credenciales?

    Credenciales Cloud Pak for Data

    • CPD_URL: la URL del Cloud Pak con el que estás trabajando. Simplemente, copia la URL de la barra de dirección.
    • CPD_USERNAME: el usuario que utilizas para iniciar sesión en el Cloud Pak.

    • CPD_APIKEY: una API key generada para tu usuario. Deberás crearla y guardarla en un lugar seguro, ya que no podrás recuperarla sin revocarla.

      

    • PROJECT_ID: el identificador del Project donde se desplegará el Detached Prompt Template.

      

    Credenciales Azure OpenAI

    Te las proporcionará el equipo de la formación.

    

12. Al finalizar la ejecución, habrás creado un Detached Prompt Template disponible como activo en el proyecto.

3. Trackea el Prompt Template para un modelo externo

En este paso se busca asociar el detached prompt template al AI use case creado previamente, para realizar el seguimiento del modelo y poder visualizarlo en su ciclo de vida.

1. Localiza el Detached Prompt Template creado, y pulsa en los tres puntos del lateral derecho para abrir el menú.

   

2. Pulsa en Go to AI Factsheet, para abrir la ficha del prompt template.

   

3. Revisa la información recopilada en esta pantalla, incluyendo datos sobre el modelo fundacional externo en el que se construye, el prompt, y su tarea.

4. Sube hacia la primera sección, y pulsa Track AI use case para asignar el detached prompt template al caso de uso creado.

   

5. Selecciona el último AI use case creado y pulsa Next.

   

6. En la pantalla Define approach, deja el Default Approach y pulsa Next.

   

7. Deja seleccionada la opción Experimental y haz clic en Next para avanzar a la pantalla de revisión (Review).

   

8. Haz clic en Track asset para comenzar a rastrear el modelo.

   

9. La AI Factsheet se recargará e incluirá la información del caso de uso.

   

4. Evalúa el Prompt Template para un modelo externo

En esta sección evaluaremos el Detached Prompt Template de nuevo desde un Jupyter notebook haciendo uso de la API de OpenScale.

1. Repite los pasos de la sección 2 para subir este notebook al proyecto.

2. Ejecuta cada una de las celdas siguiendo las instrucciones, y editando los valores requeridos de las credenciales.

   ¿Dónde puedo encontrar las credenciales y el asset ID?

   Credenciales Cloud Pak for Data

   • CPD_URL, CPD_USERNAME, CPD_APIKEY, PROJECT_ID: los mismos valores que utilizaste en el paso 2.11

   • ASSET_ID: el identificador del Detached Prompt Template creado.

     

3. Al finalizar la ejecución, habrás evaluado un Detached Prompt Template, y los resultados estarán disponibles en la AI Factsheet asociada.

5. Tarea: Explora OpenScale

¡Hazlo tú!

Explora la interfaz de OpenScale:

• Configurando monitores
• Lanzando nuevas evaluaciones

• Revisando la información del modelo

  

6. Tarea: Genera un report del Prompt Template

¡Hazlo tú!

Genera un report en PDF del Prompt Template desde su AI Facsheet.

7. Conclusiones

¡Enhorabuena! Has completado este laboratorio.

¿Qué hemos aprendido?

• Hemos el SDK de Python del servicio de AI Factsheets para interactuar con watsonx.governance.
• Hemos utilizado el SDK de Python del servicio de IBM Watson OpenScale para interactuar con watsonx.governance.
• Hemos creado y evaluado un Prompt Template sobre un modelo externo a la plataforma de watsonx.ai.

Siguientes pasos

• Lab 4: Construyendo métricas personalizadas