Administración de dependencias ETL con BusinessObjects Data Services (Parte 1)

¿Está satisfecho con la forma en que actualmente gestiona las dependencias en su ETL? Las dependencias entre trabajos (o partes de trabajos) son un aspecto importante de la gestión de ETL. Se refiere a preguntas como: ¿Desea ejecutar el trabajo B si el trabajo A falló? Imagine que tiene un trabajo C con subtarea 1 (tiempo de ejecución habitual: 3 horas) y subproceso 2 (tiempo de ejecución habitual: 2 minutos). Si el subproceso 1 ha sido satisfactorio y ha fallado el subproceso 2, ¿puede reiniciar el trabajo C sin reiniciar el subproceso 1?

Tan pronto como tenga más de 1 trabajo simple, tendrá que administrar sus dependencias. En este artículo (parte 1 de una serie de artículos sobre el manejo de dependencias de ETL) enumeraré primero algunas de las características que busco en un sistema de administración de dependencia ideal. A continuación, echaré un vistazo a algunas de las posibilidades ofrecidas por SAP Data Services 4. En la parte 2 (mi siguiente post), voy a proponer la arquitectura de un posible sistema de gestión de dependencias. En la parte 3, entraré en los detalles de la implementación en Data Services. Terminaré con la parte 4 diciéndole cómo fue la implementación, y si algunas mejoras son posibles.

El sistema de gestión de dependencias ideal

En este post voy a usar la palabra "proceso" para diseñar una serie de ETL operaciones que tienen un significado juntos. Ejemplo: extraer una tabla de origen, crear una dimensión o actualizar una tabla de hechos. El objetivo aquí es administrar las dependencias entre los procesos: la actualización de una tabla de hechos probablemente sólo debería permitirse si la actualización de las dimensiones correspondientes fue exitosa.

Un sistema de gestión de dependencias debería tener al menos las siguientes características:

• Ejecutar un proceso sólo si sus prerrequisitos se han ejecutado correctamente
• Después de un error, ofrezca la opción de volver a ejecutar todos los procesos o sólo los procesos que fallaron
• Trace el resultado de cada proceso (se ejecutó correctamente, falló, no se ejecutó)
• Ejecutar dinámicamente procesos dependientes (en vez de estaticamente, es decir, basados ​​en fecha / hora)

Las posibilidades

Vamos a enumerar algunas de las posibilidades ofrecidas por Data Services, con sus respectivos pros y contras.

1) Un trabajo con todos los procesos dentro. Esto es muy fácil de implementar, dinámico en términos de tiempos de ejecución, pero no permite las ejecuciones simultáneas. Lo que es más importante, significa que los fallos tienen que ser gestionados de manera que el fallo de un proceso no detenga todo el trabajo.

2) Un proceso por trabajo, con trabajos programados en momentos específicos. Esto es muy fácil de implementar, permite ejecuciones simultáneas, pero no es lo suficientemente dinámico. Si las duraciones del proceso aumentan con los meses / años, los trabajos pueden superponerse.

3) Un trabajo principal que llama a otros trabajos (por ejemplo, con comandos de ejecución o Servicios Web ).

4) Un proceso por trabajo, todos los trabajos se están programando en momentos específicos, pero la comprobación en una tabla de control si los pre-requisitos funcionaban bien. De lo contrario sólo dormir por algún tiempo antes de comprobar de nuevo.

5) Utilice el Programador BOE para gestionar trabajos basados ​​en eventos (cómo se describe bien en el SCN ). No lo he probado aún, pero me gusta este enfoque.

De forma predeterminada, las dos primeras posibilidades sólo gestionan el lado de "flujo" de la administración de dependencias (después de A, do B). Pero no manejan el lado condicional de la gestión de dependencias (hacer B sólo si A fue exitoso). En ambos casos, una tabla de control actualizada por secuencias de comandos SQL permitiría al ETL comprobar si los procesos de requisito previo se han ejecutado correctamente.

Lo que realmente no me gusta en las soluciones 2 a 5 es el hecho de que es difcil tener una visión general de lo que está pasando. Realmente no se puede navegar dentro de todo el ETL fácilmente. La solución 1 le da este resumen, pero a costa de tener un trabajo potencialmente enorme (sin la posibilidad de que los procesos se ejecuten simultáneamente).

También tenga en cuenta que las soluciones con varios trabajos necesitarán administrar la inicialización de las variables globales.

Lo que echo de menos en todas estas soluciones es un reinicio óptimo del ETL. Si 10 de mis 50 procesos fallaron, y sólo quiero reiniciar estos 10, ¿debo iniciarlos manualmente?

En mi siguiente post de blog voy a proponer una arquitectura que aborda este reinicio óptimo.

Hasta entonces, por favor, hágamelo saber sus pensamientos sobre cómo manejar sus dependencias de ETL. ¿Alguna de las 5 soluciones antes mencionadas? ¿Una mezcla? ¿Algo más? Y lo bien que funciona para usted.

¿Sabe qué es lo que impulsa su negocio?

Conocer su negocio y tomar decisiones más inteligentes con el fin de mantenerse al día con los riesgos cotidianos involucrados en el funcionamiento de su negocio es fundamental para sobrevivir en la economía global de hoy. Tomar decisiones efectivas requiere información. Esta información debe ser precisa y actualizada, y en el nivel de detalle adecuado que necesita para poder avanzar a una velocidad óptima. Análisis de negocio clave es lo que le permite dibujar información de los datos que recopila en las diferentes partes de su negocio. Cuando usted entiende exactamente lo que está impulsando su negocio, de dónde vienen las nuevas oportunidades y dónde se cometieron errores, puede ser proactivo para maximizar los ingresos existentes y revelar áreas de expansión. Las mejores decisiones se pueden tomar cuando usted tiene más visibilidad en el conocimiento vital que viene de su propia compañía.

Las soluciones SAP Business Intelligence (BI) proporcionan una ventana a su empresa. Un panel de control, por ejemplo, es una visión general única, confiable y en tiempo real de su empresa. Le ofrece una visión rápida, en formatos atractivos visuales que son fáciles de entender. También tiene pruebas de "qué si" que le permiten medir el impacto de un cambio en particular en el negocio. Esto también se puede hacer disponible en dispositivos móviles, por lo que puede tomar decisiones informadas on-the-move. Cuando tiene información en la que puede confiar, puede actuar rápidamente y mantenerse a la vanguardia del juego.

Con años de experiencia en BI, Clariba ha ayudado a varias compañías a obtener información de sus datos. Por ejemplo, el departamento de marketing de Vodafone Turquía solicitó nuestra ayuda para proporcionar al equipo de gestión del valor del cliente una herramienta de visualización y análisis dinámica y fácil de usar para las campañas de marketing. Con el tablero central que entregamos , El equipo de marketing fue capaz de analizar las campañas existentes y diseñar esquemas para los nuevos basados ​​en factores clave de éxito.

Puede obtener más información sobre las soluciones SAP BI aquí , Y también puede ver vídeos de SAP BI Solutions en YouTube . ¿Desea desbloquear esta información sobre qué impulsa su negocio hacia adelante? Contáctenos en info @ clariba o deje un comentario a continuación y descubra cómo SAP BI Solutions puede ayudarlo a lograrlo.

Sugerencias para instalar SAP BusinessObjects BI4 en español

Se dice que la instalación en español de SAP BusinessObjects BI4 se bloquea frecuentemente, e incluso cuando no funciona, algo todavía está mal en el lado del servidor, por lo que la consola de administración de la instalación de SAP BusinessObjects no funciona como debería y ciertas fórmulas utilizadas en el lado frontal mal funcionamiento. En este artículo se explican algunos trucos que se pueden aplicar al instalar SAP BusinessObjects en español para que los clientes puedan migrar con éxito al nuevo SAP BO BI4. Configuración de seguridad de carpetas

Al configurar la seguridad de una carpeta en la consola de administración de SAP BusinessObjects, aparece un problema. Esto se puede reproducir fácilmente instalando el software en español, procediendo a entrar en CMC y empezar a configurar la seguridad. El error siguiente se puede ver al ingresar en carpetas Seguridad de carpeta de nivel superior:

"Se produjo un error de servidor durante la confirmación por lotes de seguridad: Error de solicitud 0 de tipo 44 con error de servidor: Error de Administrador de complementos: No se pudo localizar el complemento solicitado CrystalEnterprise.ScopeBatch en el servidor (FWB 00006)"

No hay otra solución en lugar de cambiar la configuración regional del servidor de español (España) a inglés (Reino Unido), entonces este problema se resuelve.

Uso de la fórmula UserResponse

Se produce un problema en WebIntelligence cuando la configuración regional preferida es el español y los usuarios actualizan los informes. Avisos: Un indicador numérico se interpreta como un texto con un formato científico incorrecto cuando se utiliza la fórmula = UserResponse ().

El problema se puede reproducir tomando un objeto del universo oficial de SAP "STS Sudeste Demo", recuperando un objeto con un prompt y aplicando la fórmula UserResponse () como se indica a continuación

En el ejemplo indicado anteriormente la fórmula UserResponse () debe ser evaluada como "201010" en lugar de "2.0101 e5". Esto puede causar problemas graves, ya que es un cambio vs. Versiones de software anteriores, ya que esto podría incluirse en muchas fórmulas y filtros, y podría causar un proyecto de migración con los informes que utilizan esta fórmula de uso frecuente para ser ampliado dramáticamente.

Una solución para esto es, por el momento, mantener el Entorno de visualización preferido en inglés para cada usuario que actualiza la información.

Así, resumiendo, los consejos propuestos para una instalación exitosa en español son:

• Mantenga su servidor con Configuración regional del servidor en inglés (Reino Unido)
• Configure los usuarios de BI LaunchPad para que mantengan la configuración regional preferida en inglés
• Mantenga el valor de la propiedad Locale del producto de BI LaunchPad en español (España)

Como resultado, los usuarios visualizarán todo el front-end en español sin errores.

Esta solución ha sido probada en el último 4.0 SP4 que incluye FeaturePack 3.

El beneficio de estas soluciones es proporcionar al mercado de clientes en español la posibilidad de comenzar a migrar a la nueva plataforma SAP BI4 con éxito y disfrutar del producto en español sin errores. Espero que esto ayude. Si desea dejar su comentario u opinión, por favor no dude en hacerlo a continuación.

Clariba Obtiene el Centro de Expertos de SAP Partner Certification

Certificado PCoE

La auditoría de servicio y soporte de SAP confirma que Clariba puede brindar soporte a sus clientes de acuerdo con los estándares técnicos y organizativos actuales de SAP, recibiendo así la Certificación del Centro de Expertos (PCoE) de Partner.

El 30 de mayo, los empleados de Clariba recibieron la sorprendente noticia: habían pasado la auditoría final y SAP estaba otorgando a Clariba Support Center la certificación PCoE.

Esta fue la línea final de un proceso que comenzó en 2011 y requirió mucho esfuerzo por parte de los miembros del Centro de Soporte de Clariba, desde la instalación de SAP Solution Manager (el sistema utilizado para proporcionar soporte), hasta la certificación del personal del centro de soporte, creando todos los materiales de marketing y finalmente someterse a una auditoría de 6 horas para evaluar si todos los requisitos estaban en su lugar.

" Ha sido un proceso muy largo y complejo, ya que fue nuestra primera experiencia con aplicaciones nativas de SAP. Instalar y configurar SAP Solution Manager ha sido un gran desafío, pero ahora nos permite proporcionar soporte completo de SAP Enterprise a nuestros clientes. Utilizamos SAP Solution Manager para monitorear las instalaciones de nuestros clientes de forma remota, así como para conectarlos con la ingeniosa infraestructura de back-end de SAP. Además, SAP Solution Manager ofrece a nuestros clientes de soporte un Service Desk disponible 24 x7, para crear y rastrear sus incidentes y garantizar un servicio rápido y eficiente para problemas muy críticos en cualquier momento ", dice Carolina Delgado, gerente de soporte de Clariba .

La certificación de Partner Center of Expertise (PCoE) afirma que los procedimientos definidos, las pautas y los miembros certificados del equipo de soporte están disponibles para proporcionar servicios de soporte calificados, oportunos y confiables para las soluciones SAP BI.

“Como requisito para lograr la certificación PCoE, todos nuestros consultores de soporte tienen el Asociado de Soporte - Gestión de Incidentes en la certificación SAP BusinessObjects y como un compromiso de alta calidad y profesionalismo, requerimos que todos nuestros consultores estén certificados en el paquete SAP BusinessObjects. Ambas acreditaciones aseguran que nuestro personal de soporte tenga el conocimiento requerido para abordar y resolver eficientemente cualquier problema técnico que pueda surgir. Además, pueden aprovechar una amplia base de conocimiento que proviene de muchos años de experiencia en la instalación y desarrollo de SAP BusinessObjects, así como en una interacción continua con la comunidad de SAP ", menciona Carolina.

Proceso PCoE

Con esto en su lugar, el Centro de Soporte Clariba puede ofrecer soporte VAR entregado a sus clientes, proporcionando el conocimiento y las herramientas de soporte para las licencias de SAP BusinessObjects a través de un único punto de contacto ─ un socio familiar, ágil y disponible, asegurando que un punto definido y conocido de El contacto siempre está disponible para los clientes en caso de que surjan problemas en sus sistemas SAP BusinessObjects.

Carolina señala que el beneficio clave es la proximidad con los clientes y sus entornos. “En la mayoría de los casos, mantenemos sistemas de BI implementados por Clariba. Esto nos da la ventaja de comprender mejor el entorno del cliente, para que podamos brindar un servicio más preciso y personalizado ".

Como SAP Partner Center of Expertise (PCoE), Clariba puede ofrecer a sus clientes

un personal totalmente calificado de acuerdo con los estándares de calidad de SAP;

real-life SAP BusinessObjects implementation, training and support experience;

a relationship with the client organization built on trust and past successes;detailed knowledge of the organization’s history, systems and business processes when the BI system has been deployed by Clariba;

personal capacitado para la resolución rápida de problemas y enfocado en la satisfacción del cliente;

Muy sólida cooperación y relación con expertos de SAP en todo el mundo y una plataforma de soporte integrada que garantiza la mejor calidad de servicio.

Para más información sobre las ofertas del Centro de Soporte de Clariba, visite http://www.clariba.com/bi-services/support.php

BI and Social Media - A Powerful Combination (Part 1: Google Analytics)

Si echa un vistazo a las últimas tendencias de Business Intelligence (BI), verá una gran cantidad de menciones que giran en torno al tema "Redes sociales". Hay muchas ideas interesantes por ahí y parece seguro que esto se hará aún más prominente en el futuro cercano, ya que continúa creciendo y se está convirtiendo en una parte intrínseca de nuestra sociedad. Esto también significa que la información relacionada con las redes sociales se vuelve más valiosa con cada día que pasa, convirtiéndose en la nueva "mina de oro" para los consultores de Business Intelligence cuando se maneja correctamente. ¡No es de extrañar que hay muchos de nosotros que queremos comenzar a cavar!

En esta publicación de blog, compartiré la investigación que hice recientemente con el objetivo de determinar las posibles alternativas para extraer y usar información de Google Analytics para desarrollar informes y paneles de SAP BusinessObjects. Una nota importante es que no consideré las capacidades de análisis de datos y datos no estructurados de SAP BusinessObjects Data Integrator a propósito, para ver qué otras opciones había disponibles.

Extrayendo datos de Google Analytics

Lo primero que debe saber es que en diciembre 2011, Google lanzó el API de informes principales de Google Analytics (en reemplazo de su antiguo API de exportación de datos) lo que nos permite extraer datos de su aplicación. Aunque no es raro ver que la antigua API todavía se está utilizando, si está comenzando un nuevo desarrollo y tiene la oportunidad de elegir, vaya con la nueva versión, por supuesto. Considerando estas interfaces, encontré cuatro estrategias diferentes que se destacaban del resto.

Programmed Google Docs spreadsheet: It is a Google Docs spreadsheet available free of charge, which contains embedded Google Apps Script code to connect to the Google Analytics Data Export API. Once authenticated, it allows the user to define the dimensions, metrics and filters filling in the fields of the document with the desired values. Subsequently, this spreadsheet can be exported as a .CSV file and use it as a data source to be reported with several tools of SAP BusinessObjects such as Web Intelligence or Data Integrator, for example. Credits go to Mikael Thuneberg who developed this. 1

GA Data Grabber: It offers a 7-day trial version, the cost to purchase the Google  Analytics module is 299USD per year (at the present date). It consists of an Excel file containing Macros and Visual Basic code to run queries with any of the dimensions, metrics or filters available in the Google Analytics Core Reporting API. This is one of the best options I found so far, since it has a user interface that is very easy to use, good flexibility to select metrics, dimensions and filters, besides having a fairly comprehensive structure that facilitates the understanding of the type of information that can be obtained from the API. By having the data available in an Excel file there are more SAP BusinessObjects tools that can be involved in addition to Web Intelligence and Data Integrator, such as LiveOffice that allows direct integration with Xcelsius dashboards. 2

Reporting Utility of Google Analytics: This functionality is already included in the Google Analytics application. It is a relatively manual process, which requires the user to have some prior knowledge of the dimensions and metrics that can be obtained. However, custom reports can be created with specific information that can be exported to .CSV files so they can be incorporated into the reporting capabilities of SAP BusinessObjects.

Custom Application Development: If third party tools are not the desired option, then the best strategy to use is to develop a custom application in any common programming language, such as PHP, Ruby, Python, Java and JavaScript. The Google Analytics Core Reporting API lets you connect with these type of applications. In spite of representing the option that requires more effort to be implemented, it is also the one that permits to have a perfectly tailored, automatable and free solution. The data can be potentially stored in text files or custom databases from where any SAP BusinessObjects tools can draw information.

La documentación oficial siempre hace el truco

No quería entrar en demasiados detalles técnicos porque son muy susceptibles a cambios a lo largo del tiempo, y siempre es una buena práctica consultar la documentación oficial publicada por Google. En este sentido, te dejaré con algunos enlaces que serán muy útiles para profundizar los conocimientos técnicos necesarios para desarrollar una solución integrada con Google Analytics.

• Descripción general de la API de informes principales de Google Analytics:

https://developers.google.com/analytics/devguides/reporting/core/v3/

• Referencia de dimensiones y métricas (para comprender qué información se puede recuperar):

https://developers.google.com/analytics/devguides/reporting/core/dimsmets

• Registro de cambios de API de Google Analytics Core Reporting & Data Export:

https://developers.google.com/analytics/community/export_changelog

• Bibliotecas de cliente de API de informes centrales de Google Analytics:

https://developers.google.com/analytics/devguides/reporting/core/v3/gdataLibraries

• Consola de API de Google:

https://code.google.com/apis/console

Final Thought

Al igual que con todas las cosas que se convierten en "la última tendencia" y se desarrollan a un ritmo agitado, se espera que ocurran muchos cambios, lo que significa que más pronto que tarde habrá más y mejores opciones disponibles. Entonces, mi pensamiento final es mantener un ojo inquisitivo para todo lo que se está moviendo en las redes sociales y sus redes más populares, porque este es el futuro que ya está sucediendo.

Si tiene alguna pregunta o algo que añadir para ayudar a mejorar este post, no dude en dejar sus comentarios.

Referencias

1 Para más información: http://www.automateanalytics.com/2010/04/google-analytics-data-to-google-docs.html

2 Para más información: http://www.gadatagrabbertool.com/