DEV Community: Maritzag

Ejecutar un Stored Procedure de Oracle desde Data Factory

Maritzag — Fri, 08 Jan 2021 00:59:34 +0000

En el momento de la publicación de este tutorial, Data Factory no tiene un conector que permita ejecutar un stored procedure en una base de datos oracle. En este tutorial mostraremos cómo a través de una actividad lookup de un pipeline de Data Factory lograremos ejecutar un Stored Procedure o instrucciones DML en Oracle.

Prerrequisitos

Crear un recurso de Data Factory en el Portal de Azure

Pasos

1. Crear una actividad Lookup.
De acuerdo con la documentación oficial una actividad Lookup nos permite recuperar un dataset de cualquiera de los orígenes de datos compatibles con Azure Data Factory.
Como podemos observar la actividad está diseñada para consultar una tabla o la ejecución de una sentencia SELECT de oracle.

En Query podemos especificar cualquier instrucción SQL, sin embargo, si la sentencia no es un SELECT válido, Data Factory intentará ejecutar las instrucciones en la base de datos Oracle pero al no recibir el resultado de una consulta, generará un error así haya ejecutado correctamente las instrucciones del query en el servidor de la base de datos.
2. Crear una sentencia SELECT sobre la tabla DUAL
Debido a que los Stored Procedures no se pueden ejecutar dentro de una sentencia SELECT. Debemos crear una función en Oracle que se encargue de ejecutar el procedimiento.
2.1 Ejecución de una función Oracle desde el query de una actividad de Lookup.
Antes de ejecutar el procedimiento almacenado, revisemos el proceso de ejecutar una función en oracle desde Data Factory empleando la tabla DUAL.
Para esto, hemos creado una función en Oracle que cuenta el número de registros de la tabla EMPLEADOS.

--Tabla
CREATE TABLE empleados(
   emp_id NUMBER(9),
   nombre VARCHAR2(100),
   CONSTRAINT empleados_pk PRIMARY KEY(emp_id),
);
--Función
create or replace function func_contar_empleados
return integer 
is
   n integer:= 0;
begin
  for r in (select emp_id from empleados) loop
        n := n + 1;
  end loop;
  return n;
end;

En Data Factory configuramos el query agregando la siguiente consulta:

SELECT  func_contar_empleados() FROM DUAL;

Al ejecutar el pipeline podemos verificar que la consulta se ejecutó correctamente.

2.2 Ejecución de Stored Procedure a través de una Función Oracle.
Un Stored Procedure de Oracle es un bloque de código PL/SQL que comunmente va a estar asociado a instrucciones DML.
Para ejecutar el Sotred Procedure hemos creado una función en Oracle que recibe los parámetros y en su implementación hace el llamado al Stored Procedure.

create or replace procedure insert_empleado (numero in NUMBER, nombre in VARCHAR2) is
 begin
    INSERT INTO empleados (emp_id, nombre)
    Values(numero, nombre);
COMMIT;
end;

create or replace function funcinsert_empleado (numero in NUMBER, nombre in VARCHAR2)
return VARCHAR2 
is
begin
  insert_empleado (numero, nombre);
  return 'done';
end;

Siguiendo los pasos de ejecución de una función en Oracle usando la tabla DUAL, tendríamos la siguiente consulta:

SELECT  funcinsert_empleado ('1', 'Roger Federer') 
FROM DUAL;

Sin embargo, cuando intentamos ejecutar la instrucción obtenemos un error de Oracle que nos notifica que no podemos ejecutar operaciones DML dentro de una instrucción SELECT.

2.3 Ejecutar una función Oracle como una transacción Autónoma.
Debido a que Oracle no permite por defecto la ejecución de instrucciones DML, debemos especificar que la ejecución de la función se realizará como una TRANSACCIÓN AUTONOMA.
Las Transacciones autónomas van acompañadas de la cláusula AUTONOMOUS_TRANSACTION Pragma. Esta directiva cambia la manera como se ejecutan los subprogramas en una transacción.

create or replace function funcinsert_empleado (numero in NUMBER, nombre in VARCHAR2)
return VARCHAR2 
is
PRAGMA AUTONOMOUS_TRANSACTION;
begin
  insert_empleado (numero, nombre);
  return 'done';
end;

La solución aquí planteada permite ejecutar la función que ejecuta el procedimiento almacenado garantizando una transacción autónoma en la ejecución de las instrucciones DML.

SELECT  funcinsert_empleado ('1', 'Roger Federer') 
FROM DUAL;

Con estos ajustes, Data Factory ya puede ejecutar la sentencia SELECT.

Tenga en cuenta que, al ejecutar la consulta desde Data Factory, el id del empleado que está pasando como parámetro no se encuentre registrado en la tabla EMPLEADOS, ya que esto generaría un error de primary key.

Conclusiones

Este tutorial muestra cómo usar la actividad de Lookup de Data Factory para ejecutar un Stored Procedure o instrucciones DML en una base de datos de Oracle.
Si tiene varios Stored Procedures podría definir condicionales dentro de la función que se llama desde la instrucción SELECT y dependiendo de un parámetro, determinar qué Stored Procedure ejecutar.

¡Gracias por leer!

Si tienes una duda, no dudes en escribir.
maritzag.

Crear un clasificador de imágenes usando Custom Vision

Maritzag — Wed, 15 Apr 2020 23:20:05 +0000

En esta guía se mostrará como emplear Custom Vision para la creación de un clasificador de imágenes.

Prerrequisitos

• Imágenes para entrenar y probar el clasificador. Puedes descargar las imágenes empleadas en este tutorial aquí.
• Cuenta en azure, sino tiene solicite una cuenta de acceso gratuito aquí.

Portal Custom Vision
Inicie sesión en la página web de Custom Vision con su cuenta de Azure.

Pasos

Crear Proyecto

Seleccione la opción Nuevo Proyecto en el área de trabajo que se muestra cuando inicia sesión.
Especifique el nombre, descripción y recurso de custom vision del proyecto. El recurso hace referencia a un elemento administrable que se gestiona a través de Azure Portal.
Si no tiene un recurso de custom vision creado, podrá crear uno nuevo desde la creación del proyecto. Para la creación del nuevo recurso se debe especificar el nombre, suscripción, grupo de recursos, tipo, entre otros. La suscripción hace referencia al método de pago empleado para pagar los servicios de azure, el grupo de recursos corresponde a un contenedor que agrupa los recursos de una solución y el tipo representa en este caso, un servicio de entrenamiento y predicción.
Si no tiene grupos de recursos creados, podrá crearlos desde este panel o podría ir directamente a Azure Portal para hacerlo. Si crea el grupo desde este panel solo tendrá que especificar el nombre y la ubicación geográfica en dónde lo desplegará.
Una vez haya creado el grupo de recursos, podrá seleccionarlo en la creación del proyecto y podrá realizar la configuración del tipo de clasificador que desea.
Para la configuración del proyecto seleccione Clasificación en Tipos de Proyecto. En Tipos de clasificación seleccione Multinivel si cada imagen puede pertenecer a varias clases o etiquetas, en caso contrario, elija Multiclase, para este tipo se considera que cada imagen solo puede estar asociada a una clase. El tipo de clasificación puede ser modificado en cualquier momento.
El dominio es un parámetro empleado para optimizar el clasificador. Así, cada dominio ejecturá una versión optimizada para el tipo de imágenes que está procesando. Si no está seguro el domino al que pertenecen las imágenes, seleccione General. Los dominios compactos permiten exportar el modelo del entrenamiento.

Selección de imágenes de entrenamiento.

La selección de imágenes para entrenamiento debe considerar una serie de requerimientos básicos para que el clasificador esté en la capacidad de identificar variaciones de la forma estandar del objeto u objetos contenidos en las imágenes. En este sentido, se recomienda tener el mayor número de imágenes disponibles de cada clase, de tal manera que representen diferentes características como ángulos de cámara, iluminación, fondo, tamaño, número de objetos o personas, entre otras.

Adicionalmente, se debe garantizar que las imágenes tienen un tamaño menor a 6MB y corresponden a un formato .jpg, .png, .bmp o .gif

Carga de las imágenes con sus etiquetas. A través del portal se podrá cargar y etiquetar manualemente las imágenes para el entrenamiento del clasificador. Para agregar las imágenes haga click en el botón Adicionar imágenes o + como se indica en la siguiente figura.
Vaya a la carpeta en dónde se encuentren las imágenes, seleccionelas y haga click en abrir para agregar las imágenes.
Especifique la o las etiquetas (clases) de las imágenes seleccionadas. Tenga en cuenta que, si en su problema de clasificación cada imagen solo puede tener una etiqueta, deberá realizar el proceso de agregar y etiquetar las imágenes por cada etiqueta. Para agregar una etiqueta escriba la descripción en la caja de texto marcada con el cuadro rojo y presione enter. Cuando haya agregado todas las etiquetas, haga click en Cargar archivos Una vez las imágenes se han cargado, tendrá la siguiente notificación Cuando haya cargado todas las imágenes, podrá usar las opciones marcadas con el cuadro rojo de la izquiera para conusltar las imágenes de cada etiqueta, agregar etiquetas o consultar las imágenes sin etiqueta. Con las opciones marcadas por el cuadro rojo superior, podrá agregar imágenes, borrar imágenes, etiquetar las imágenes seleccionadas o quitar la selección de las imágenes.

Entrenamiento del Clasificador

Para entrenar el modelo de clasificación haga click en Entrenar
En el cuadro de dialogo que aperece, seleccione entrenamiento rápido y haga click en Entrenar

Evaluación del Clasificador

Los resultados del entrenamiento son presentados en términos de 3 métricas de clasificación de Aprendizaje de Máquina. Precisón, Recall y AP. Las tres métricas buscan evaluar la confiabilidad del modelo de clasificación. Adicionalmente, cada vez que se agreguen nuevas imágenes al clasificador, se podrá volver a evalular el modelo y el resultado será una nueva iteración. Cada iteración podrá ser publicada para que sea consultada como servicio por cualquier aplicación a través de la opción Publicar mostrada en el cuadro rojo superior.

Una vez seleccione la opción Publicar, se desplegará un cuadro de dialogo en el que se debe especificar el nombre de la iteración, el recurso de Azure en el que se desplegará y posteriormente debe dar click en la opción Publicar.
Para consultar la información del servicio, haga click en el icono de configuración y se desplegará la información de la configuración del proyecto y los datos de Clave de Aplicación y Endpoint que permiten consultar el servicio.

Probar el servicio

Para probar el servicio, haga click en el botón Test rápido Se desplegará un cuadro de dialogo en el que podrá seleccionar una imagen para probar el clasificador por medio de una URL o un archivo local.
Adicionalmente, podrá seleccionar la iteración que desea emplear para la consulta. Una vez se consulta la imagen, el servicio se prueba y se despliegan los porcentajes de probabilidad de la imagen para cada clase o etiqueta.

Siguiente paso

Crea tu propio clasificador de imágenes.

¡Gracias por leer!
Si tienes una duda, no dudes en contactarme.

Nos vemos en Twitter.