In previous posts we have covered the role thatGoogle Analytics and Facebookplay in BI projects focused on Social Media Analysis. Therefore, it was only a matter of time before we covered Twitter - the most popular micro-blogging network you can find on the web. Besides that, it will not be rare to find analysts and reviews that consider Twitter the social network that can potentially deliver the highest amount of meaningful information to analyze.At this point, I guess everyone has a general idea of what Twitter is and what it delivers, so the objective of this article will be to make an overview of a Sentiment Analysis showcase that we built extracting data from Twitter with SAP BusinessObjects Tools. Then, in future articles we will cover each phase of the development in more detail. Generally speaking, we consider Sentiment Analysis as the process of identifying, extracting and measuring data from a subjective information source, such as customer surveys, opinion polls, or tweets as in our case.
Extracción de datos
Como en cualquier proyecto de BI, el primer paso es definir los datos que necesita y cómo obtenerlo. Utilizando las herramientas de SAP BusinessObjects, la mejor manera de hacerlo es desarrollar un adaptador para Data Integrator utilizando el SDK que esta herramienta incluye en sus carpetas de instalación (consulte este artículo De SAP SDN que resultó ser muy útil).
Sin embargo, para hacer la demostración lo más rápido posible, utilizamos otro enfoque:
We developed a Java program that made use of Twitter’s getSearch API to extract tweets and place them in text files Note that for demo purposes this is more than enough, but for a broader project the flat files are not a satisfactory solution.
Con Data Integrator, configuramos un flujo ETL para extraer los datos de los archivos y almacenarlos en tablas de base de datos para acumular tweets suficientes para que la demo sea significativa.
También considere que en esta fase es muy importante ponerse cómodo con la API de Twitter y los diferentes parámetros que utiliza para poder aprovecharlo tanto como sea posible.
Análisis de datos y análisis de sentimientos
Una vez que pudimos colocar los tweets en archivos de texto y personalizar los parámetros de extracción como queremos, entonces podríamos analizar los tweets para empezar a ofrecer información de ellos. Para ello, seguimos estos pasos:
Obtenga los tweets crudos que almacenamos en la base de datos antes y realice un proceso de análisis con Data Integrator para deshacerse del formato JSON que usa la API de Twitter, lo que nos permite manipular los tweets como cadenas de texto.
Use the feature of Text Analysis that Data Integrator includes to perform the “Sentiment Analysis” process and classify the tweets in one of the different sentiment categories that we used. For the demo purposes that we had there is a SAP Blueprint called Text Data Processing Data Quality that contains Data Integrator jobs with a Voice of Customer implementation that already contains a set of extraction rules implemented for the English language. Therefore, you can make use of this blueprint and its rules to develop the Sentiment Analysis phase.
Construya un universo en la parte superior de las tablas con los datos analizados para que esté disponible para generar informes con cualquiera de las herramientas de SAP BusinessObjects que toman un universo como fuente de datos, por ejemplo, Xcelsius, WebIntelligence, Explorer, etc. Hizo un uso de un universo que vino incluido en el mismo modelo de datos de datos de procesamiento de datos de calidad que utilizamos para el punto anterior.
Visualización de datos
Por último viene la parte llamativa: presentar todo el trabajo duro que ha hecho. Para mostrar a los usuarios lo flexible que puede ser esta solución, decidimos presentar los datos con Explorador y algunas Vistas de Exploración construidas sobre sus Espacios de Información. Sin embargo, como se dijo antes, si se construye un universo en la parte superior de las tablas que resultaron del proceso de análisis de texto, entonces tendrá un gran número de posibilidades y herramientas para jugar, con el fin de producir la presentación que desee de acuerdo a su Requisitos y objetivos.
En futuros artículos, cubriremos cada una de estas secciones con mayor detalle. Sin embargo, con este diseño general esperamos que tengas una buena idea de lo que debes hacer para que tu demo de Análisis de Sentimientos ocurra.
Si tiene alguna pregunta o algo que añadir para ayudar a mejorar este post, no dude en dejar sus comentarios.