Administración de dependencias ETL con BusinessObjects Data Services (Parte 1)

¿Está satisfecho con la forma en que actualmente gestiona las dependencias en su ETL? Las dependencias entre trabajos (o partes de trabajos) son un aspecto importante de la gestión de ETL. Se refiere a preguntas como: ¿Desea ejecutar el trabajo B si el trabajo A falló? Imagine que tiene un trabajo C con subtarea 1 (tiempo de ejecución habitual: 3 horas) y subproceso 2 (tiempo de ejecución habitual: 2 minutos). Si el subproceso 1 ha sido satisfactorio y ha fallado el subproceso 2, ¿puede reiniciar el trabajo C sin reiniciar el subproceso 1?

Tan pronto como tenga más de 1 trabajo simple, tendrá que administrar sus dependencias. En este artículo (parte 1 de una serie de artículos sobre el manejo de dependencias de ETL) enumeraré primero algunas de las características que busco en un sistema de administración de dependencia ideal. A continuación, echaré un vistazo a algunas de las posibilidades ofrecidas por SAP Data Services 4. En la parte 2 (mi siguiente post), voy a proponer la arquitectura de un posible sistema de gestión de dependencias. En la parte 3, entraré en los detalles de la implementación en Data Services. Terminaré con la parte 4 diciéndole cómo fue la implementación, y si algunas mejoras son posibles.

El sistema de gestión de dependencias ideal

En este post voy a usar la palabra "proceso" para diseñar una serie de ETL operaciones que tienen un significado juntos. Ejemplo: extraer una tabla de origen, crear una dimensión o actualizar una tabla de hechos. El objetivo aquí es administrar las dependencias entre los procesos: la actualización de una tabla de hechos probablemente sólo debería permitirse si la actualización de las dimensiones correspondientes fue exitosa.

Un sistema de gestión de dependencias debería tener al menos las siguientes características:

• Ejecutar un proceso sólo si sus prerrequisitos se han ejecutado correctamente
• Después de un error, ofrezca la opción de volver a ejecutar todos los procesos o sólo los procesos que fallaron
• Trace el resultado de cada proceso (se ejecutó correctamente, falló, no se ejecutó)
• Ejecutar dinámicamente procesos dependientes (en vez de estaticamente, es decir, basados ​​en fecha / hora)

Las posibilidades

Vamos a enumerar algunas de las posibilidades ofrecidas por Data Services, con sus respectivos pros y contras.

1) Un trabajo con todos los procesos dentro. Esto es muy fácil de implementar, dinámico en términos de tiempos de ejecución, pero no permite las ejecuciones simultáneas. Lo que es más importante, significa que los fallos tienen que ser gestionados de manera que el fallo de un proceso no detenga todo el trabajo.

2) Un proceso por trabajo, con trabajos programados en momentos específicos. Esto es muy fácil de implementar, permite ejecuciones simultáneas, pero no es lo suficientemente dinámico. Si las duraciones del proceso aumentan con los meses / años, los trabajos pueden superponerse.

3) One main job calling other jobs (for example with execution commands or Web Services).

4) Un proceso por trabajo, todos los trabajos se están programando en momentos específicos, pero la comprobación en una tabla de control si los pre-requisitos funcionaban bien. De lo contrario sólo dormir por algún tiempo antes de comprobar de nuevo.

5) Use the BOE Scheduler to manage jobs based on events (how-to is well described on the SCN). I’ve not tested it yet, but I like this approach.

De forma predeterminada, las dos primeras posibilidades sólo gestionan el lado de "flujo" de la administración de dependencias (después de A, do B). Pero no manejan el lado condicional de la gestión de dependencias (hacer B sólo si A fue exitoso). En ambos casos, una tabla de control actualizada por secuencias de comandos SQL permitiría al ETL comprobar si los procesos de requisito previo se han ejecutado correctamente.

Lo que realmente no me gusta en las soluciones 2 a 5 es el hecho de que es difcil tener una visión general de lo que está pasando. Realmente no se puede navegar dentro de todo el ETL fácilmente. La solución 1 le da este resumen, pero a costa de tener un trabajo potencialmente enorme (sin la posibilidad de que los procesos se ejecuten simultáneamente).

También tenga en cuenta que las soluciones con varios trabajos necesitarán administrar la inicialización de las variables globales.

Lo que echo de menos en todas estas soluciones es un reinicio óptimo del ETL. Si 10 de mis 50 procesos fallaron, y sólo quiero reiniciar estos 10, ¿debo iniciarlos manualmente?

En mi siguiente post de blog voy a proponer una arquitectura que aborda este reinicio óptimo.

Hasta entonces, por favor, hágamelo saber sus pensamientos sobre cómo manejar sus dependencias de ETL. ¿Alguna de las 5 soluciones antes mencionadas? ¿Una mezcla? ¿Algo más? Y lo bien que funciona para usted.

¿Sabe qué es lo que impulsa su negocio?

Conocer su negocio y tomar decisiones más inteligentes con el fin de mantenerse al día con los riesgos cotidianos involucrados en el funcionamiento de su negocio es fundamental para sobrevivir en la economía global de hoy. Tomar decisiones efectivas requiere información. Esta información debe ser precisa y actualizada, y en el nivel de detalle adecuado que necesita para poder avanzar a una velocidad óptima. Análisis de negocio clave es lo que le permite dibujar información de los datos que recopila en las diferentes partes de su negocio. Cuando usted entiende exactamente lo que está impulsando su negocio, de dónde vienen las nuevas oportunidades y dónde se cometieron errores, puede ser proactivo para maximizar los ingresos existentes y revelar áreas de expansión. Las mejores decisiones se pueden tomar cuando usted tiene más visibilidad en el conocimiento vital que viene de su propia compañía.

Las soluciones SAP Business Intelligence (BI) proporcionan una ventana a su empresa. Un panel de control, por ejemplo, es una visión general única, confiable y en tiempo real de su empresa. Le ofrece una visión rápida, en formatos atractivos visuales que son fáciles de entender. También tiene pruebas de "qué si" que le permiten medir el impacto de un cambio en particular en el negocio. Esto también se puede hacer disponible en dispositivos móviles, por lo que puede tomar decisiones informadas on-the-move. Cuando tiene información en la que puede confiar, puede actuar rápidamente y mantenerse a la vanguardia del juego.

With years of expertise in BI, Clariba has helped several companies to draw insight from their data. For example, Vodafone Turkey´s Marketing department sought our help to provide the Customer Value Management Team with a dynamic and user-friendly visualization and analysis tool for marketing campaigns. With the central dashboard we delivered, the marketing team was able to analyze existing campaigns and design outlines for new ones based on key success factors.

You can learn more about SAP BI solutions here, and you can also watch SAP BI Solutions videos on YouTube. Want to unlock this information on what drives your business forward? Contact us on info@clariba or leave a comment below, and discover how SAP BI Solutions can help you achieve it.

Sugerencias para instalar SAP BusinessObjects BI4 en español

The Spanish installation of SAP BusinessObjects BI4 is said to frequently crash, and even when it does not, something is still wrong in the server side so SAP BusinessObjects installation administration console does not work as it should and certain formulas used in the front-end side malfunction. This article explains some tricks that can be applied when installing SAP BusinessObjects in Spanish so customers can successfully migrate to the new SAP BO BI4. Folders Security Configuration

Al configurar la seguridad de una carpeta en la consola de administración de SAP BusinessObjects, aparece un problema. Esto se puede reproducir fácilmente instalando el software en español, procediendo a entrar en CMC y empezar a configurar la seguridad. El error siguiente se puede ver al ingresar en carpetas Seguridad de carpeta de nivel superior:

"Se produjo un error de servidor durante la confirmación por lotes de seguridad: Error de solicitud 0 de tipo 44 con error de servidor: Error de Administrador de complementos: No se pudo localizar el complemento solicitado CrystalEnterprise.ScopeBatch en el servidor (FWB 00006)"

No hay otra solución en lugar de cambiar la configuración regional del servidor de español (España) a inglés (Reino Unido), entonces este problema se resuelve.

Uso de la fórmula UserResponse

Se produce un problema en WebIntelligence cuando la configuración regional preferida es el español y los usuarios actualizan los informes. Avisos: Un indicador numérico se interpreta como un texto con un formato científico incorrecto cuando se utiliza la fórmula = UserResponse ().

El problema se puede reproducir tomando un objeto del universo oficial de SAP "STS Sudeste Demo", recuperando un objeto con un prompt y aplicando la fórmula UserResponse () como se indica a continuación

En el ejemplo indicado anteriormente la fórmula UserResponse () debe ser evaluada como "201010" en lugar de "2.0101 e5". Esto puede causar problemas graves, ya que es un cambio vs. Versiones de software anteriores, ya que esto podría incluirse en muchas fórmulas y filtros, y podría causar un proyecto de migración con los informes que utilizan esta fórmula de uso frecuente para ser ampliado dramáticamente.

Una solución para esto es, por el momento, mantener el Entorno de visualización preferido en inglés para cada usuario que actualiza la información.

Así, resumiendo, los consejos propuestos para una instalación exitosa en español son:

• Mantenga su servidor con Configuración regional del servidor en inglés (Reino Unido)
• Configure los usuarios de BI LaunchPad para que mantengan la configuración regional preferida en inglés
• Mantenga el valor de la propiedad Locale del producto de BI LaunchPad en español (España)

Como resultado, los usuarios visualizarán todo el front-end en español sin errores.

Esta solución ha sido probada en el último 4.0 SP4 que incluye FeaturePack 3.

El beneficio de estas soluciones es proporcionar al mercado de clientes en español la posibilidad de comenzar a migrar a la nueva plataforma SAP BI4 con éxito y disfrutar del producto en español sin errores. Espero que esto ayude. Si desea dejar su comentario u opinión, por favor no dude en hacerlo a continuación.

Clariba Obtiene el Centro de Expertos de SAP Partner Certification

Certificado PCoE

La auditoría de servicio y soporte de SAP confirma que Clariba puede brindar soporte a sus clientes de acuerdo con los estándares técnicos y organizativos actuales de SAP, recibiendo así la Certificación del Centro de Expertos (PCoE) de Partner.

El 30 de mayo, los empleados de Clariba recibieron la sorprendente noticia: habían pasado la auditoría final y SAP estaba otorgando a Clariba Support Center la certificación PCoE.

Esta fue la línea final de un proceso que comenzó en 2011 y requirió mucho esfuerzo por parte de los miembros del Centro de Soporte de Clariba, desde la instalación de SAP Solution Manager (el sistema utilizado para proporcionar soporte), hasta la certificación del personal del centro de soporte, creando todos los materiales de marketing y finalmente someterse a una auditoría de 6 horas para evaluar si todos los requisitos estaban en su lugar.

“It’s been a very long and complex process, since it was our first experience with SAP native applications. Installing and configuring SAP Solution Manager has been a big challenge, but now it  allows us to provide full SAP Enterprise Support to our customers. We use SAP Solution Manager to monitor our customer installations remotely as well as connect them with the resourceful SAP back-end infrastructure. In addition, SAP Solution Manager provides our support customers with a Service Desk available 24x7, to create and track their incidents and to ensure a fast and efficient service for very critical issues at any time” says Carolina Delgado, support manager at Clariba.

La certificación de Partner Center of Expertise (PCoE) afirma que los procedimientos definidos, las pautas y los miembros certificados del equipo de soporte están disponibles para proporcionar servicios de soporte calificados, oportunos y confiables para las soluciones SAP BI.

“Como requisito para lograr la certificación PCoE, todos nuestros consultores de soporte tienen el Asociado de Soporte - Gestión de Incidentes en la certificación SAP BusinessObjects y como un compromiso de alta calidad y profesionalismo, requerimos que todos nuestros consultores estén certificados en el paquete SAP BusinessObjects. Ambas acreditaciones aseguran que nuestro personal de soporte tenga el conocimiento requerido para abordar y resolver eficientemente cualquier problema técnico que pueda surgir. Además, pueden aprovechar una amplia base de conocimiento que proviene de muchos años de experiencia en la instalación y desarrollo de SAP BusinessObjects, así como en una interacción continua con la comunidad de SAP ", menciona Carolina.

Proceso PCoE

Con esto en su lugar, el Centro de Soporte Clariba puede ofrecer soporte VAR entregado a sus clientes, proporcionando el conocimiento y las herramientas de soporte para las licencias de SAP BusinessObjects a través de un único punto de contacto ─ un socio familiar, ágil y disponible, asegurando que un punto definido y conocido de El contacto siempre está disponible para los clientes en caso de que surjan problemas en sus sistemas SAP BusinessObjects.

Carolina señala que el beneficio clave es la proximidad con los clientes y sus entornos. “En la mayoría de los casos, mantenemos sistemas de BI implementados por Clariba. Esto nos da la ventaja de comprender mejor el entorno del cliente, para que podamos brindar un servicio más preciso y personalizado ".

Como SAP Partner Center of Expertise (PCoE), Clariba puede ofrecer a sus clientes

un personal totalmente calificado de acuerdo con los estándares de calidad de SAP;

real-life SAP BusinessObjects implementation, training and support experience;

a relationship with the client organization built on trust and past successes;detailed knowledge of the organization’s history, systems and business processes when the BI system has been deployed by Clariba;

personal capacitado para la resolución rápida de problemas y enfocado en la satisfacción del cliente;

Muy sólida cooperación y relación con expertos de SAP en todo el mundo y una plataforma de soporte integrada que garantiza la mejor calidad de servicio.

For more information on Clariba´s Support Center offerings visit http://www.clariba.com/bi-services/support.php

BI and Social Media - A Powerful Combination (Part 1: Google Analytics)

Si echa un vistazo a las últimas tendencias de Business Intelligence (BI), verá una gran cantidad de menciones que giran en torno al tema "Redes sociales". Hay muchas ideas interesantes por ahí y parece seguro que esto se hará aún más prominente en el futuro cercano, ya que continúa creciendo y se está convirtiendo en una parte intrínseca de nuestra sociedad. Esto también significa que la información relacionada con las redes sociales se vuelve más valiosa con cada día que pasa, convirtiéndose en la nueva "mina de oro" para los consultores de Business Intelligence cuando se maneja correctamente. ¡No es de extrañar que hay muchos de nosotros que queremos comenzar a cavar!

En esta publicación de blog, compartiré la investigación que hice recientemente con el objetivo de determinar las posibles alternativas para extraer y usar información de Google Analytics para desarrollar informes y paneles de SAP BusinessObjects. Una nota importante es que no consideré las capacidades de análisis de datos y datos no estructurados de SAP BusinessObjects Data Integrator a propósito, para ver qué otras opciones había disponibles.

Extrayendo datos de Google Analytics

The first thing you must know is that in diciembre 2011, Google released the Google Analytics Core Reporting API (in replacement of its old Data Export API) which allows us to extract data from its application. Although it is not rare to see the old API still being used, if you are starting a fresh development and have the opportunity to choose, then go with the new version of course. Considering these interfaces, I found four different strategies that stood above the rest.

Programmed Google Docs spreadsheet: It is a Google Docs spreadsheet available free of charge, which contains embedded Google Apps Script code to connect to the Google Analytics Data Export API. Once authenticated, it allows the user to define the dimensions, metrics and filters filling in the fields of the document with the desired values. Subsequently, this spreadsheet can be exported as a .CSV file and use it as a data source to be reported with several tools of SAP BusinessObjects such as Web Intelligence or Data Integrator, for example. Credits go to Mikael Thuneberg who developed this. 1

GA Data Grabber: It offers a 7-day trial version, the cost to purchase the Google  Analytics module is 299USD per year (at the present date). It consists of an Excel file containing Macros and Visual Basic code to run queries with any of the dimensions, metrics or filters available in the Google Analytics Core Reporting API. This is one of the best options I found so far, since it has a user interface that is very easy to use, good flexibility to select metrics, dimensions and filters, besides having a fairly comprehensive structure that facilitates the understanding of the type of information that can be obtained from the API. By having the data available in an Excel file there are more SAP BusinessObjects tools that can be involved in addition to Web Intelligence and Data Integrator, such as LiveOffice that allows direct integration with Xcelsius dashboards. 2

Reporting Utility of Google Analytics: This functionality is already included in the Google Analytics application. It is a relatively manual process, which requires the user to have some prior knowledge of the dimensions and metrics that can be obtained. However, custom reports can be created with specific information that can be exported to .CSV files so they can be incorporated into the reporting capabilities of SAP BusinessObjects.

Custom Application Development: If third party tools are not the desired option, then the best strategy to use is to develop a custom application in any common programming language, such as PHP, Ruby, Python, Java and JavaScript. The Google Analytics Core Reporting API lets you connect with these type of applications. In spite of representing the option that requires more effort to be implemented, it is also the one that permits to have a perfectly tailored, automatable and free solution. The data can be potentially stored in text files or custom databases from where any SAP BusinessObjects tools can draw information.

La documentación oficial siempre hace el truco

No quería entrar en demasiados detalles técnicos porque son muy susceptibles a cambios a lo largo del tiempo, y siempre es una buena práctica consultar la documentación oficial publicada por Google. En este sentido, te dejaré con algunos enlaces que serán muy útiles para profundizar los conocimientos técnicos necesarios para desarrollar una solución integrada con Google Analytics.

• Descripción general de la API de informes principales de Google Analytics:

https://developers.google.com/analytics/devguides/reporting/core/v3/

• Referencia de dimensiones y métricas (para comprender qué información se puede recuperar):

https://developers.google.com/analytics/devguides/reporting/core/dimsmets

• Registro de cambios de API de Google Analytics Core Reporting & Data Export:

https://developers.google.com/analytics/community/export_changelog

• Bibliotecas de cliente de API de informes centrales de Google Analytics:

https://developers.google.com/analytics/devguides/reporting/core/v3/gdataLibraries

• Consola de API de Google:

https://code.google.com/apis/console

Final Thought

Al igual que con todas las cosas que se convierten en "la última tendencia" y se desarrollan a un ritmo agitado, se espera que ocurran muchos cambios, lo que significa que más pronto que tarde habrá más y mejores opciones disponibles. Entonces, mi pensamiento final es mantener un ojo inquisitivo para todo lo que se está moviendo en las redes sociales y sus redes más populares, porque este es el futuro que ya está sucediendo.

Si tiene alguna pregunta o algo que añadir para ayudar a mejorar este post, no dude en dejar sus comentarios.

Referencias

1 For more info: http://www.automateanalytics.com/2010/04/google-analytics-data-to-google-docs.html

2 For more info: http://www.gadatagrabbertool.com/