ETL: extraer, transformar y cargar

ETL es una herramienta que le permite extraer datos de su base de datos de producción (Actian Zen/Pervasive), transformar los datos (por ejemplo, fecha de cadena en el tipo de datos de fecha adecuado) y cargarlos en una instancia de PostgreSQL o Microsoft SQL Server de su elección. .

Esto se hace configurando rutinas que contienen esquemas, que instruyen al servicio sobre qué datos extraer, qué hacer con ellos y en qué intervalo debe hacerlo. Los esquemas también permiten al usuario seleccionar un conjunto limitado de datos que satisfaga sus necesidades exactas en lugar de tablas completas. Al seleccionar qué datos transferir, la aplicación proporcionará sugerencias inteligentes basadas en relaciones de clave principal/foránea para extraer información más descriptiva de las tablas asociadas (por ejemplo, nombre del cliente usando número de cliente).

Una vez que los datos se mueven a la base de datos alternativa, puede usarlos para aprovechar el rendimiento mejorado y la carga reducida en su entorno de producción, para todas sus necesidades de generación de informes.

Si bien no es un requisito, Global Shop recomienda enfáticamente instalar la base de datos alternativa en un servidor separado dentro de su red de área local (LAN) para experimentar todos los beneficios.

Configurando tu base de datos alternativa

Las instrucciones para instalar una de las dos bases de datos alternativas se pueden encontrar en sus respectivos sitios.

PostgreSQL: https://www.postgresql.org/docs/13/tutorial-install.asp

Nota: Las versiones admitidas de PostgreSQL son 13 y superiores.

Servidor Microsoft SQL: https://docs.microsoft.com/en-us/sql/database-engine/install-windows/install-sql-server?view=sql-server-ver15

Nota: Las versiones compatibles de Microsoft SQL Server son 2016 SP2 y posteriores.

Durante el proceso de instalación, asegúrese de anotar el nombre del servidor host (o la dirección IP), el puerto en el que está escuchando, así como las credenciales de usuario/contraseña y el nombre de la base de datos que se configuró.

Ejecutando ETL

ETL se puede encontrar en su directorio \\ServerName\Apps\Global\Plugins, bajo el nombre DatabaseTransfer.SetupWizardUi.

ETL es una aplicación estilo asistente que lo guiará a través de los pasos para configurar las credenciales, las rutinas y los esquemas de su base de datos para que se ejecute el servicio.

La pantalla inicial le ofrece una descripción general de los pasos necesarios.

Haga clic en Siguiente para comenzar.

Conexiones de base de datos

La página de conexiones de la base de datos es donde ingresa las cadenas de conexión para la base de datos de producción (Actian Zen/Pervasive) y la base de datos de destino (PostgreSQL/Microsoft SQL Server).

Ingrese sus cadenas de conexión válidas y seleccione el Tipo de base de datos de transferencia apropiado de la lista desplegable. Las cadenas de conexión de muestra para cada tipo de base de datos se pueden encontrar a continuación.

Ejemplos de cadenas de conexión:

Actian: Nombre del servidor = nombre del servidor; Nombre de la base de datos = GLOBALCCC; ID de usuario = nombre de usuario; Contraseña = contraseña;

PostgreSQL: ID de usuario=nombre de usuario;Contraseña=contraseña;Host=nombre de servidor;Puerto=1234*;Base de datos=base de datos;

*El puerto estándar de PostgreSQL es 5432. Tenga en cuenta el puerto que configuró al instalar PostgreSQL

Microsoft SQL Server: Servidor=nombreservidor; Base de datos=base de datos; ID de usuario=nombre de usuario; Contraseña=contraseña;

Nota: Los campos en cursiva deben reemplazarse con valores reales/apropiados.

Una vez que haya ingresado sus cadenas de conexión, la aplicación intentará conectarse a las bases de datos usando las credenciales provistas y le notificará según el ícono a la derecha de cada campo de cadena de conexión.

Un icono de precaución amarillo significa que está intentando establecer una conexión válida utilizando la cadena de conexión proporcionada. Espere hasta que el icono cambie o se elimine.

Un ícono de error rojo significa que el intento de conexión ha fallado usando la cadena de conexión provista. Revise y ajuste su cadena de conexión.

Una vez que se hayan validado las cadenas de conexión, los iconos desaparecerán y aparecerá el siguiente botón en la parte superior derecha de la pantalla. Ahora puede avanzar al siguiente paso haciendo clic en Siguiente.

programar rutinas

La pantalla de programar rutinas es donde administra las rutinas que desea que Transfer Wizard procese a través de su servicio. Inicialmente no habrá rutinas. Puede agregar, editar y eliminar rutinas o agregar/editar esquemas para rutinas existentes, utilizando el menú contextual del botón derecho dentro de la cuadrícula. También puede crear una prueba de una rutina existente haciendo clic en el elemento de menú 'Esquema de prueba'. Esto creará una entrada duplicada de la rutina que se ejecutará inmediatamente después de la finalización del asistente de configuración. Asegúrese de crear el esquema deseado antes de hacer clic en el elemento 'Probar esquema'.

Rutinas

Nombre: asigne a la rutina recién creada un nombre significativo.

Tipo de programa: seleccione una de las siguientes opciones para determinar con qué frecuencia se ejecutará la rutina. Las opciones actuales son: Diariamente, Semanalmente, Mensualmente, Anualmente

Programar hora: seleccione la hora del día en que desea que se ejecute la rutina. Nota: Si bien puede seleccionar cualquier hora que desee, le recomendamos encarecidamente que ejecute todas las rutinas fuera de las horas pico o menos. Cuando se ejecuta la rutina, se ejecutará en su base de datos de producción, por lo que las operaciones que consumen muchos recursos podrían provocar una ralentización del rendimiento en el entorno de producción.

Tipo de transferencia: seleccione el tipo de transferencia que desea que ejecute esta rutina. Las opciones actuales son: Incremental, Instantánea

Instantánea: el tipo de instantánea tomará todos los datos devueltos desde el entorno de producción y hará una copia exacta para colocarla en la base de datos de destino. Sobrescribirá todos los registros existentes en la base de datos de destino. Las mesas que NO tienen un campo de fecha deberán utilizar este tipo de transferencia.

Incremental: el tipo incremental tomará todos los registros que tengan un valor de fecha que se encuentre dentro del rango de (Fecha de hoy: días de compensación de transferencia), dentro del campo seleccionado en la configuración del esquema. Esto es más adecuado para tablas históricas donde los datos son estáticos, en los que los registros existentes normalmente no cambian.

Compensación de transferencia: la compensación de transferencia solo está disponible cuando se utiliza el tipo de transferencia síncrona. Seleccione uno de los valores del menú desplegable. Este valor se usará para calcular qué tan atrás (en días) debe mirar el programa, al determinar qué registros transferir. Comparará la fecha seleccionada como 'Columna síncrona' con el valor (Hoy-X), donde 'X' es el desplazamiento de la transferencia. Si hoy es el 18/09/2020 y la compensación de la transferencia es 8, tomará todos los registros que tengan un valor de fecha del 10/09/2020 o superior, para transferirlos.

esquemas

Los esquemas son donde definirá qué datos le gustaría transferir. También es donde aplicará cualquier máscara y definirá el campo de fecha que se analizará para las rutinas de tipo de transferencia síncrona.

Navegue por la lista de mesas a la izquierda usando el panel de búsqueda o desplazándose hacia abajo hasta la mesa deseada. Al hacer clic en el campo de la casilla de verificación de las tablas, se marcará la tabla que se transferirá para la rutina seleccionada actualmente, que se ve en la parte superior.

Cuando se selecciona una tabla para transferirla, de forma predeterminada, los campos clave de esa tabla se seleccionarán para transferirse y no se pueden deseleccionar. En la lista de campos de la cuadrícula de la derecha, seleccione cualquier campo adicional de la tabla que le gustaría transferir junto con las claves. Para un rendimiento óptimo, se recomienda que solo seleccione los datos que necesita.

[probablemente quiera tener máscaras de campo/columnas sincrónicas/sugerencias de claves externas como subtema aquí]

Si bien se pueden seleccionar varias tablas no relacionadas para un solo esquema, solo se puede definir un esquema por rutina.

Cuando termine de definir el esquema para esta rutina, haga clic en el botón Siguiente para completar el proceso.

Máscaras de campo/Columnas síncronas

Utilice el menú contextual del botón derecho en la cuadrícula de campos de la tabla para enmascarar campos o seleccionarlos como su columna de transferencia síncrona (si el tipo de transferencia de la rutina está marcado como Síncrono).

Los campos que tienen un valor en la columna 'Tipo de datos de máscara' se pueden transformar a su tipo de datos apropiado antes de cargarlos en la base de datos de destino seleccionando el elemento de menú 'Usar máscara' en el menú contextual.

Los campos que tienen un tipo de System.DateTime se pueden seleccionar para determinar qué registros extraer durante una rutina síncrona. Esto se logra seleccionando el elemento de menú 'Usar columna síncrona' del menú contextual. Si se selecciona un campo para usarlo como columna síncrona, se seleccionará automáticamente 'Usar máscara' y no se podrá deseleccionar. Al anular la selección del campo como columna síncrona, se eliminarán las opciones de uso como columna síncrona y máscara de uso.

Leyenda de colores:

campo seleccionado

Columna síncrona

Máscara aplicada

Sugerencias de clave externa

Los campos que tienen una sugerencia de relación de clave externa tendrán un control '+' habilitado en la columna del extremo izquierdo, como se muestra arriba. Al hacer clic en esto, se proporcionará una subcuadrícula que enumera la tabla sugerida que tiene más datos descriptivos que el "número" o el "código" que contiene el campo. En este caso, sugiere la tabla VENDEDORES para permitirle obtener el nombre del vendedor en lugar del código del vendedor.

Al seleccionar la casilla de verificación junto a la tabla sugerida, en la subcuadrícula, solo se establecerán los valores clave de las tablas sugeridas que se transferirán a través de este esquema. Deberá navegar a la tabla sugerida específica usando la lista de tablas a la izquierda. Desde allí, puede seleccionar los campos adicionales en esa tabla que le gustaría transferir.

Terminar

Una vez que se complete el proceso del asistente de configuración, puede hacer clic en Finalizar y el servicio ejecutará la rutina en función de cómo la configuró. Si no lo ha configurado antes, consulte la sección de configuración del Servicio del asistente de transferencia de base de datos a continuación.

Instalación del servicio ETL

Si bien su base de datos de destino ETL puede estar en cualquier lugar de su LAN, el servicio ETL debe estar instalado en su servidor Global Shop. Las instrucciones de instalación son las siguientes:

Inicie una instancia del símbolo del sistema (CMD.EXE), usando "Ejecutar como administrador"

Cambie el directorio de trabajo usando el CD %windir%\Microsoft.NET\Framework64\v4.0.30319

Ejecute installutil [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe

Deberías ver:

Utilidad de instalación de Microsoft (R) .NET Framework Versión 4.8.3752.0
Derechos de autor (C) Microsoft Corporation. Reservados todos los derechos.

Ejecutar una instalación tramitada.

Comenzando la fase de Instalación de la instalación.
Consulte el contenido del archivo de registro para el progreso del ensamblado [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe.
El archivo se encuentra en [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.InstallLog.
Instalando el ensamblado '[su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe'.
Los parámetros afectados son:
logtoconsole =
assemblypath = [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe
logfile = [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.InstallLog
Instalando servicio Transferencia de base de datos...
La transferencia de la base de datos del servicio se ha instalado correctamente.
Creando transferencia de base de datos de origen de EventLog en la aplicación de registro...

La fase de instalación se completó con éxito y la fase de confirmación está comenzando.
Consulte el contenido del archivo de registro para el progreso del ensamblado [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe.
El archivo se encuentra en [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.InstallLog.
Ensamblaje de confirmación '[su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe'.
Los parámetros afectados son:
logtoconsole =
assemblypath = [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.exe
logfile = [su ruta LOCAL a su directorio Global\PLUGINS]\DatabaseTransfer.Service.InstallLog

La fase de compromiso se completó con éxito.

La instalación tramitada se ha completado.

Después de eso, el servicio estará funcionando. Es visible desde NET START/STOP, o desde Services.msc, como "Transferencia de base de datos".

Otras versiones

• Versión 1
• Versión 2
• Versión 3
• Versión 4