Como partners expertos en el área de SAP Analytics hemos tenido en múltiple ocasiones la necesidad de disponer de una herramienta que permitiera medir el rendimiento de un servidor de SAP BusinessObjects BI (SAP BOBJ) al gestionar más y más datos o más y más usuarios. La necesidad era poder medir de forma científica y contrastable el rendimiento de un sistema SAP BusinessObjects y compararlo con otros servidores o bien el impacto de cambios en la configuración en el rendimiento del mismo.
In order to achieve this, we leveraged Apache Software Foundation's JMeter, as well as, plugins developed by this wonderful community. We then applied our Business Intelligence expertise to the results. With these capabilities in hand, we then moved on to develop a battery of test scenarios in order to account for several business cases that can be further tailored to suit any client's needs. The result is the Clariba SAP BusinessObjects BI Benchmark Solution.
¿En qué consiste?
Una serie de tests de estrés escalables sobre la plataforma SAP BI y los informes o cuadros de mandos de la misma
Una forma cuantificable de comparar el rendimiento en diferentes instalaciones existentes de SAP BusinessObjects BI o con la misma. Por ejemplo: tras realizar cambios en la configuración del Tomcat o alguno de los servicios de SAP BusinessObjects BI, se puede comprobar cuál ha sido el impacto de dicho cambio en el rendimiento del servidor.
Una forma de ayudar a los clientes a maximizar el uso de los recursos de hardware y software disponibles mejorando el rendimiento y en consecuencia la experiencia de usuario de la plataforma.
¿Como funciona?
Mediante diferentes tests programados, se ejecutan informes de demo de SAP WebIntelligence o SAP DesignStudio que provocan una carga en el servidor. Por ejemplo se pueden programar diferentes ejecuciones en paralelo simulando diferentes usuarios accediendo y refrescando los informes en paralelo. Además de medir el tiempo de respuesta del servidor ante este test, se analiza el uso del hardware así como funcionalidades de cacheo.
Usando las capacidades del JMeter podemos probar diferentes escenarios como por ejemplo el tiempo de carga de todos los componentes de un informe/Dashboard que incluyen Javascript, CSS, HTML, etc todos ellos servidos por el Tomcat. Pero también se puede probar el rendimiento del servidor usando la interfaz RestFUL que permite generar y refrescar informes sin pasar por la interfaz del BI Launchpad y por ello, usando directamente los servicios de la plataforma SAP BI (APS, Web Intelligence Processing Server)
Por ahora disponemos de un conjunto de 12 tests predefinidos que se pueden ejecutar en cualquier instalación de SAP BI Platform (plug and play) y que nos permiten, en base a los resultados, evaluar si la configuración del software y el dimensionamiento del hardware está optimizado o no.
¿Cual es el resultado?
A continuación el resultado de ejecutar el mismo benchmark en diferentes servidores con memoria y CPU. El throughput indica la capacidad de trabajo del servidor, como más alto mejor.
En el ejemplo anterior, los servidores 1 y 2 tienen un hardware parecido (aunque la CPU del servidor 2 se supone más rápida), sin embargo, el servidor 1, al estar mejor tuneado, ofrece un mejor throughput al ejecutar el mismo test de estrés. Además usando otros módulos del JMeter podemos medir exactamente el consumo de CPU y RAM en cada momento del test de estrés.
El test consiste en una simulación del escenario con el siguiente flujo:
1 El usuario se autentica en la plataforma SAP BusinessObjects BI
2 El usuario navega hasta una plataforma de SAP BusinessObjects BI
3 El usuario selecciona y abre un informe de SAP WebIntelligence
4 El usuario abre otra página del informe
5 El usuario refresca la información del informe
6 El usuario navega a otra página
7 El usuario cierra el informe
8 El usuario sale del BI Launchpad
Se puede ver como cada una de estas acciones ha derivado en picos del uso de la CPU. Por ejemplo, si hubiera un consumo alto y constante de CPU sería un síntoma de tener poca CPU o de tener un cuello de botella en otras partes del hardware (memoria o velocidad de lectura en el disco). Como hemos comentado, el test no se limita solo a uso de la CPU sino también al uso de la memoria RAM o del disco. A continuación se muestra el monitor de uso de la RAM:
Se puede observar que la memoria usada no ha tenido variaciones significativas dado que se ha abierto un informe sencillo de Web Intelligence y que el servidor puede manejar fácilmente esta carga de trabajo. En algunos casos se ha detectado una alta volatilidad del uso de la memoria RAM debido a una incorrecta definición de los parámetros del Garbage Collector de Java.
The analysis of the Clariba SAP BusinessObjects BI Benchmark Solution is not limited to the shown charts. At the end of every execution, a CSV file can be generated with more details, and can be then used for as the basis for an entire universe of insights:
¿Qué más se puede hacer?
Los tests mencionados trabajan usando informe de Web Intelligence o Design Studio de ejemplo así como un universo que se entrega por defecto en cada instalación de SAP BI. Supongamos que se quiere realizar un benchmark a medida para un determinado dashboard de Design Studio con la finalidad de medir el rendimiento tras cambiar parámetros de Tomcat o SAP BI Platform.
Using the Clariba SAP BusinessObjects BI Benchmark Solution we can prepare a script to test its performance and concurrency, as well as identify how different configurations impact its performance and behaviour in different scenarios – i.e. adapting the tests for a few users requesting a lot of data or many users requesting only a single report. “What would it happen if 200 users want to see the same dashboard?” is as simple as selecting a different test or further customizing the parameters from JMeter’s graphical interface.
Próximos pasos
Clariba ha empezado a usar estos tests en algunos cliente con la finalidad de evaluarlas ventajas y límites de sus configuraciones de SAP BI. Todo ello con la finalidad de evaluar el rendimiento de diferentes sistemas de forma comparativa y para evaluar posibles mejoras de la misma.
Estad atentos ya que habrá pronto más noticias de la Clariba SAP BusinessObjects BI Benchmark Solution y no dudéis en escribirnos para cualquier duda!