Qué es SAP Data Services

SAP Data Services es una herramienta ETL (Extract, Transform and Load) que se utiliza para la extracción y procesamiento de datos. Con ella también podremos realizar tareas de mejora de datos (Data Quality). Forma parte de SAP BO (Business Objects)

Se usa principalmente en proyectos de integración de datos, donde éstos son leídos desde orígenes heterogéneos, son transformados y posteriormente son almacenados en un almacén de datos (Data Warehouse).

Esta herramienta consta de una interfaz gráfica (Data Services Designer), Repositorios (Repositorio Central, Local y de metadatos) y una consola para programar Jobs.

SAP-DATA-SERVICES-DESIGNER

SAP Data Services permite la ejecución de Jobs en tiempo real y por lotes a través de la gestión inteligente de la caché para proporcionar una única plataforma de integración de datos.

Esta ETL genera código SQL que está optimizado para el tipo de base de datos que tengamos como objetivo (Oracle, DB2, SQL Server, etc.). Esto reduce el coste de mantenimiento de un Data Warehouse y además nos permite tratar los datos de una forma más robusta que por otros métodos, como puede ser la codificación directa con SQL sobre la base de datos.

Con SAP Data Services podremos crear fácilmente, a través de su interfaz gráfica, flujos lógicos por los cuales pasarán los datos de origen para ser tratados y almacenados en un sistema destino.

Arquitectura de Data Services

Data Services está compuesto por varios componentes que son los que nos van a permitir realizar tareas de integración y/o de Data Quality (DQ) sobre los datos.

Los componentes principales serían los siguientes:

  • Interfaz gráfica (Designer)
  • Repositorios
  • Job Server
  • Motores (Engines)
  • Access Server
  • Adaptadores
  • Servicios en tiempo real
  • Consola de Administración
Arquitectura-SAP-Data-Services

Arquitectura SAP Data Services

Data Services Designer

Es un cliente para Windows utilizado para crear, probar y ejecutar manualmente Jobs. Estos Jobs estarán diseñados para tratar nuestros datos y llevarlos a un Data Warehouse en la gran mayoría de los casos.

Con esta interfaz gráfica podemos crear flujos lógicos que nos permitirán gestionar los datos , realizar mapeos, usar transformaciones, etc. simplemente seleccionando y arrastrando los diferentes objetos al área de trabajo.

Repositorios de Data Services

Los respositorios son un conjunto de tablas que almacenan los objetos del sistema y los creados por el usuario. Contienen los metadatos del origen y el destino así como las reglas de transformación. Se configura en una plataforma cliente-servidor abierta para facilitar el intercambio de metadatos con otras herramientas empresariales. Cada repositorio es almacenado en un Sistema de Gestión de Bases de Datos Relacional (RBDMS) como pueden ser ORACLE, Microsoft SQL SERVER, Sybase, etc.

Podemos distinguir varios tipos de repositorio:

Repositorio local

En el Designer se denomina “Local Object Library“, este repositorio se utiliza para almacenar las definiciones de los orígenes y destinos de datos. También almacena los objetos de Data Services que se emplean para transformar o limpiar datos.

Repositorio Central

En el Designer se le llama “Central Object Library” y es un componente opcional que se puede utilizar cuando trabajamos en un entorno en el que intervienen varios usuarios. Se emplea como una librería compartida que permite a los desarrolladores bloquear y subir objetos a la hora de hacer sus desarrollos. También es útil para llevar a cabo un correcto control de versiones en cada desarrollo.

Repositorio de perfilado

El Profiler Repository es usado para almacenar información que determina la calidad de los datos.

El Job Server

Cada repositorio tiene que estar asociado, por lo menos, a un Job Server. Éste se encarga de ejecutar cualquier desarrollo que hayamos hecho y con él se inicia el flujo de datos que hayamos diseñado.

Aquí se integran múltiples fuentes heterogéneas de datos y se realizan transformaciones complejas. El Job Server puede ejecutarse en modo “batch” o en tiempo real.

Data Services Engines

Cuando ejecutamos un Job, el Job Server activa lo que se conoce como Data Services Engines que permiten mejorar la extracción de los datos, las transformaciones y el movimiento de los datos desde su origen al destino.

Junto al Job Server, optimiza las consultas ejecutando las tareas en varios hilos, gestiona la caché y permite el procesamiento de datos en paralelo, lo que nos da escalabilidad y un alto rendimiento.

Consola de gestión de Data Services (CMS)

En inglés (Management Console). Esta consola nos permite acceder a las siguientes partes a través de una web.

CMS-SAP-DATA-SERVICES

Administrador

Esta parte incluye:

  • Programación, monitorización y ejecución de los batch jobs.
  • Configuración, comienzo y finalización de los servicios en tiempo real.
  • Configuración del job server, del access server y del repositorio.
  • Configuración y gestión de los adaptadores.
  • Gestión de usuarios.
  • Publicación de batch jobs y de servicios en tiempo real a través de “web services”.
  • Reporting de metadatos.
  • Promover objetos entre repositorios para las fases de desarrollo, calidad y producción.

Auto documentación

Puedes visualizar, analizar y ver gráficamente las relaciones que hay entre todos los objetos tal y como se muestran en el Designer, incluyendo sus relaciones, propiedades, etc.

Validación de datos

Evaluación de la fiabilidad de los datos basándose en las reglas de validación creadas en los jobs creados en Data Services, para revisar, evaluar e identificar posibles incoherencias en los datos de origen.

Análisis de impacto

Nos permite analizar el impacto de extremo a extremo para tablas y columnas de Data Services y del resto de objetos de la plataforma SAP BusinessObjects Business Intelligence, como los universos, vistas e informes.

Cuadro de mando operacional (Operational Dashboard)

Nos permite ver en un cuadro de mando el estatus y las estadísticas de ejecución de los jobs creados por uno o más repositorios en un período de tiempo determinado.

Data Quality Reports

Permite generar informes para exportar a SAP Crystal Reports con estadísticas de los jobs. Los tipos de informe son resúmenes de los jobs, informes sobre transformaciones específicas o sobre un grupo de transformaciones.

Otras herramientas

Existen otras herramientas que nos van a ayudar con la instalación de SAP Data Services. Por ejemplo el administrador de repositorios, nos permite crear, actualizar y comprobar las versiones de los repositorios locales, del repositorio central o del repositorio de perfiles.

También tenemos el administrador de servidores que nos permite asociar los repositorios al job server que le corresponda. Podemos asociar varios job server a diferentes máquinas, a un solo repositorio o cada job server a varios respositorios.

Una respuesta
  1. 20 junio, 2017

Deja un mensaje

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *