Archivo
Webinar sobre Análisis Semántico de Medios Sociales
En muchos aspectos seguimos analizando los medios sociales como si se tratara de medios tradicionales. Habitualmente, agregamos automáticamente diversas fuentes para detectar menciones y complementamos con análisis manual y basado en muestreos para extraer otros elementos más valiosos (ej.: opiniones). Pero el análisis de medios sociales debe aportar mucho más que un informe agregado y a posteriori sobre presencia y valoración de marca.
Es necesario encontrar una solución que (con los parámetros adecuados de calidad y coste) haga posible extraer todo el valor enterrado en esas conversaciones y, a la vez, dar respuesta a las enormes exigencias de volumen, variedad y velocidad de estos medios.
Las tecnologías semánticas y de procesamiento del lenguaje son capaces de extraer automáticamente el significado de todo tipo de conversaciones sociales, incluso allí donde se usa un lenguaje informal y con errores (caso de Twitter o aplicaciones de mensajería). Las más avanzadas llegan no sólo a descubrir menciones de nuestras marcas y competidores, sino a
- Analizar opiniones (sentimiento)
- Evaluar el impacto sobre la reputación corporativa
- Detectar intenciones de compra o abandono de productos
- Obtener perfiles demográficos del los usuarios
- Identificar relaciones, hechos, eventos, etc.
Combinar este análisis automático con la supervisión humana permite alcanzar un compromiso óptimo entre calidad, homogeneidad, volumen y velocidad en el análisis de medios sociales.
Acompáñanos en este webinar gratuito de Daedalus y descubre cómo las tecnologías semánticas pueden ayudarte a explotar al máximo lo que se dice en medios sociales. Más información y registro aquí.
Webinar: Explote al máximo lo que se dice en medios sociales usando tecnologías semánticas
- Día: Martes, 21 de mayo de 2013
- Hora inicio: 16:00 hora CET (Madrid)
- Duración: 45 min.
Esperamos contar con tu asistencia.
New version of Sentimentalytics: our plug-in for the semantic analysis of social media
We´ve just released a new version of Sentimentalytics, our browser plug-in that analyzes on the fly and semantically tags the timelines appearing on social networks and tools. Read more about the project’s origins in this post.
Our aim with Sentimentalytics is to free community managers and agencies from the need to read thousands of irrelevant posts and to allow them to focus on those conversations that deserve special attention because of their meaning.
By simply clicking on the Sentimentalytics button, these pages, timelines, query results, etc. appear dynamically annotated with tags indicating the mentioned entities, the language and the topic of the document as well as the sentiment, both general and associated with each entity.
These are some of Sentimentalytics’ benefits:
- It installs on any standard browser and operates fully integrated into the web interfaces of a variety of social networks and tools (Twitter, Facebook, Google+, TweetDeck, HootSuite and others).
- It applies semantic and natural language processing technologies to extract meaning and tag timelines. To achieve this, the plug-in uses Daedalus’ semantic technology -deployed in the cloud and accessible via APIs-, capable of analyzing content and its context and to identify ambiguous mentions.
- Sentimentalytics also features a dashboard that allows to directly navigate to those specific comments mentioning a given entity, dealing with a particular topic or containing opinions of a certain polarity or intensity.
- Additionally, the tagged content can be exported to a CSV file for treatment with reporting or data analysis tools.
- Multilingual: It analyzes contents in Spanish, English and French.
Sentimentalytics enables a “management by exception” and in real-time of social media and its standard version is completely free. Learn more in this presentation.
We’d like to take this opportunity to thank the friends (community managers and advanced users) who have contributed their suggestions to the development of the tool during its private beta phase.
And don’t forget to register at Sentimentalytics.com.
Nueva versión de Sentimentalytics, nuestro plug-in para el análisis semántico de medios sociales
Acabamos de publicar una nueva versión de Sentimentalytics, nuestro plug-in para navegador que analiza “al vuelo” y etiqueta semánticamente los timelines que aparecen en redes y herramientas sociales. En este post podéis leer sobre los orígenes del proyecto.
Nuestra idea con Sentimentalytics es liberar a community managers y agencias de la necesidad de leer miles de posts irrelevantes y permitirles concentrarse en aquellas conversaciones que merecen una atención especial en virtud de su significado.
Con solo hacer clic sobre el botón de Sentimentalytics, estas páginas, timelines, resultados de consultas, etc. aparecen anotados dinámicamente con etiquetas que indican las entidades que se mencionan, el idioma y el tema del documento, así como el sentimiento tanto general como asociado a cada entidad.
Estas son algunas de las ventajas de Sentimentalytics:
- Se instala en cualquier navegador estándar y funciona totalmente integrado en las interfaces web de una gran variedad de redes y herramientas sociales (Twitter, Facebook, Google+, TweetDeck, HootSuite y otras).
- Aplica tecnologías semánticas y de procesamiento de lenguaje natural para extraer el significado y etiquetar los timelines. Para ello el plug-in recurre a la tecnología semántica de Daedalus -desplegada en la nube y accesible vía APIs- capaz de analizar los contenidos en su contexto y de identificar menciones ambiguas.
- Sentimentalytics incorpora también un cuadro de mando que permite navegar directamente a aquellos comentarios específicos donde se menciona a una entidad dada, que tratan de un determinado tema o que contienen opiniones de una cierta polaridad e intensidad.
- Adicionalmente, permite exportar los contenidos etiquetados a un fichero CSV para su tratamiento con herramientas de reporting o de análisis de datos.
- Es multiidioma: analiza contenidos en español, inglés y francés.
Sentimentalytics facilita una “gestión por excepción” y en tiempo real de los medios sociales y su uso en versión estándar es completamente gratuito. Tenéis más información en esta presentación.
Queremos aprovechar la ocasión para agradecer a los amigos (community managers y usuarios avanzados) que con sus sugerencias han contribuido al desarrollo de la herramienta durante la anterior fase de beta privada.
No olvidéis registraros gratis en Sentimentalytics.com.
La ciudad a pie de calle: el Sensor Ciudadano
El fin último de las decisiones municipales es el bienestar del ciudadano. Partiendo de esa base, los administradores toman medidas de distinta índole, siempre con el objetivo de aumentar la calidad de vida de los habitantes de su ciudad.
El problema viene cuando hay problemas que la Administración local desconoce, o cuando los problemas toman mayor dimensión de lo que los gestores están considerando. En estos casos, la opinión ciudadana es la clave para poder resolver estas situaciones de la mejor forma posible. Y para obtener esta opinión de forma transparente y sencilla podemos utilizar el Sensor Ciudadano.
Daedalus ve el Sensor Ciudadano como el registro de eventos en la relación del ciudadano con su municipio. Es una forma innovadora de capturar información heterogénea, de alto nivel, muy descriptiva y de gran valor añadido, sobre todo si se observa de forma agregada.
Los eventos generados pueden registrarse de distintas formas:
- Utilizando el teléfono móvil del ciudadano como sensor. Para detectar contaminación acústica, por ejemplo, el usuario arranca una aplicación en su teléfono que registra el nivel de ruido y lo envía a un servidor. Este gesto, realizado por todos los usuarios, nos dará un mapa de los focos de ruido más destacables de la ciudad, que evoluciona en el tiempo (obras por las mañanas, fiestas los fines de semana…). Este tipo de sensado, además, permite expandir la red con menor coste, y proporciona nuevas vías de investigación con respecto al bienestar ciudadano.
- Utilizando los registros del usuario interactuando con la ciudad. Estos eventos denotan tendencias ciudadanas. Por ejemplo, el usuario pica el billete de tren para dirigirse a su trabajo. Esto, agregado a los eventos generados por el resto de usuarios que usen el tren, nos dará una idea de la densidad de viajeros que usan el tren para ir al trabajo cada mañana y qué trayecto hacen.
- Utilizando las redes sociales. De esta forma, la información capturada es más compleja y rica que la capturada por otros sensores, y es necesario procesarla de forma especial para sacarle todo el partido posible. Este método de recolectar información se basa en la tecnología desarrollada por Daedalus para análisis de opinión y sentimiento en redes sociales, ya utilizada en otros productos como Sentimentalytics.
- Con Twitter, se puede analizar el flujo de tuits en una zona determinada para saber de qué hablan los usuarios, y si es algo que consideramos relevante (un accidente de coche que provoca retenciones, un incendio, un festival de música…) podemos usar estos datos para elaborar un modelo (de ruido, de contaminación atmosférica, de flujo de tráfico…) con predicciones mucho más ajustadas.
- También se pueden recopilar opiniones y sentimientos de los ciudadanos sobre su municipio, haciendo un seguimiento en redes sociales con respecto a medidas específicas tomadas por la administración local (por ejemplo, la política de disminuir el consumo en climatización en transporte público).
En definitiva, el Sensor Ciudadano (desarrollado en el marco del Proyecto Ciudad2020 [1][2] y financiado por el CDTI) es una herramienta fundamental a la hora de ajustar las políticas municipales a la realidad del ciudadano, ya que proporciona una visión de la ciudad a pie de calle de forma transparente para los usuarios.
Y vosotros, ¿qué opináis? ¿Creéis que los ciudadanos participarían activamente utilizando su teléfono móvil como sensor? ¿Pensáis que la información en redes sociales sería útil para mejorar la calidad de vida en la ciudad?
Daedalus obtiene el mejor resultado en una comparativa internacional de tecnologías para análisis de medios sociales
Daedalus ha obtenido los mejores resultados en un taller internacional de evaluación competitiva de tecnologías para análisis de la reputación online celebrado en el marco de CLEF 2012.
Hace unas semanas tuvo lugar en Roma la edición 2012 de CLEF. El Conference and Labs of the Evaluation Forum (CLEF) es una iniciativa internacional que tiene por misión promover la investigación, la innovación y el desarrollo de sistemas de acceso a la información con énfasis en los contenidos multilingües, multiformato y no estructurados. Además de una conferencia, CLEF consiste en una serie de talleres en los que se muestran implantaciones novedosas y se realizan evaluaciones competitivas de este tipo de sistemas.
Este año CLEF ha incorporado por primera vez un taller de evaluación específico (RepLab) dedicado a los sistemas de gestión de la reputación online y Daedalus ha participado en él. El objetivo era comparar distintas tecnologías y soluciones para el análisis de la reputación a partir de información vertida en medios sociales, específicamente en Twitter.
El taller constaba de dos fases: la de entrenamiento de los sistemas (previa a la conferencia) y la fase de evaluación, en la que se entregaba a los participantes un corpus extraído de medios sociales que debían procesar automáticamente. Posteriormente se comparaban los resultados obtenidos por los distintos participantes.
Para el entrenamiento se suministró un corpus formado por tweets en español e inglés asociados a seis empresas diferentes. Para cada una de ellas se habían extraído 30000 tweets, utilizando el nombre de la empresa como criterio de búsqueda. Para la fase de evaluación el corpus de test se compiló utilizando la misma metodología y consistió en tweets relacionados con un total de 31 empresas de diversos sectores (banca, automoción, cosmética, comunicaciones…), diferentes a las utilizadas en el corpus de entrenamiento, y cada una de ellas representada por entre 19400 y 50000 tweets.
En este taller se plantearon dos escenarios de trabajo:
- Perfilado (profiling): el análisis de reputación se está convirtiendo en un indicador de relevancia para el marketing y la gestión de las relaciones con los clientes. Los medios sociales constituyen en este sentido una fuente de información fundamental para las empresas ya que les permiten medir directamente el sentir de los clientes hacia sus marcas y productos. En este contexto se plantearon dos tareas: filtrado (filtering) y clasificación de la polaridad (polarity classification). La primera de ellas tenía como objetivo determinar si un tweet estaba o no relacionado con una determinada empresa y la segunda -supuesto que el tweet se encuentra relacionado con la empresa objeto de análisis- clasificar su polaridad, es decir, establecer si el contenido del tweet tiene connotaciones positivas o negativas sobre la reputación de la empresa.
- Monitorización (monitoring): en un escenario real a la empresa le interesa medir el sentir general de sus clientes y/o competidores, no la opción individual de cada uno de ellos. Por tanto, el análisis de reputación debe ir orientado a la extracción de los temas más relevantes sobre los que opinan los ciudadanos y de los puntos fuertes (opiniones positivas) y puntos débiles (opiniones negativas) que manifiestan sobre ellos. En este escenario se planteó una tarea consistente en, dada una secuencia de tweets, generar agrupaciones atendiendo a su temática y dotar cada una de ellas de un indicador de relevancia atendiendo a su polaridad, novedad, impacto potencial, etc.
Daedalus participó en las tareas derivadas del escenario de perfilado para poner a prueba las diferentes tecnologías multilingües que sobre reconocimiento de entidades y análisis de sentimientos ha venido desarrollando la empresa en los últimos años.
Los resultados fueron inmejorables. En la tarea de filtrado, de un total de 33 experimentos evaluados los tres de Daedalus coparon las tres primeras posiciones. En la tarea de clasificación de polaridad, entre 38 experimentos evaluados el enviado por Daedalus quedó en primer lugar. Aquí podéis encontrar nuestra ponencia, explicando el enfoque que aplicamos y el artículo de los organizadores analizando los resultados obtenidos por los participantes. Sinceramente, algo de lo que creo que podemos sentirnos orgullosos.
Daedalus organiza el Taller de Análisis de Sentimientos en la SEPLN
En varias entradas de este blog hemos puesto de manifiesto el interés creciente que despierta la aplicación de las tecnologías semánticas para el análisis de medios sociales y cómo Daedalus ha apostado por el desarrollo de herramientas lingüísticas orientadas a satisfacer esta demanda (por ejemplo, Sentimentalytics).
En este contexto, durante el presente año Daedalus ha participado en diversos talleres de evaluación de soluciones para el análisis de sentimiento (opinión y/o reputación) sobre textos cortos extraídos de medios sociales. Estos talleres, con una marcada componente competitiva, tienen como objetivo identificar las diferentes técnicas y estrategias empleadas por los participantes y comparar las prestaciones de los diversos sistemas mediante la aplicación de métricas de evaluación.
Daedalus participó en calidad de organizador -junto con la Universidad Politécnica de Madrid y la Universidad de Jaén- en el TASS (Taller de Análisis de Sentimientos de la SEPLN) . Se trata de una iniciativa de evaluación experimental en el marco de la SEPLN (Sociedad Española para el Procesamiento del Lenguaje Natural) para fomentar la investigación en el campo del análisis de sentimiento en los medios sociales, específicamente centrado en el idioma español.
El principal objetivo de este taller fue promover el diseño de nuevas técnicas y algoritmos y la aplicación de los ya existentes para realizar un análisis de reputación basado en opiniones a partir de textos cortos extraídos de medios sociales (concretamente Twitter).
Se compiló un corpus formado por 70000 tweets escritos en español, por cerca de doscientas personalidades de diferentes sectores de impacto (política, economía, medios de comunicación y cultura), entre noviembre del 2011 y marzo de 2012. Para la fase de entrenamiento se proporcionó un subconjunto del corpus (en torno a 7200 tweets) etiquetado. El etiquetado se realizó por medios semiautomáticos aplicando tecnología desarrollada por Daedalus.
El corpus se proporcionó en formato XML, conforme al esquema de la figura. El texto de cada uno de los tweets fue eliminado para satisfacer las restricciones impuestas por Twitter, proporcionándose el resto de metadatos.
Para la cuantificación de la opinión, se establecieron seis grados de polaridad (muy positiva, positiva, neutra, negativa, muy negativa y sin opinión) y se definieron tres ámbitos de análisis: el documento, cada una de las entidades del documento y la temática.
En el taller se plantearon dos tareas:
- Análisis de Sentimiento (Sentiment Analysis): aplicación de técnicas de procesamiento de lenguaje natural y análisis de texto orientadas a la identificación y extracción de información subjetiva existente en el texto y, en función de ellas, definición de la polaridad global del texto o de la polaridad asociada a cada una de las entidades identificadas en el mismo.
- Análisis de tendencias (Trending Topic Coverage): aplicación de técnicas de clasificación textual para determinar las temáticas del texto y de técnicas de análisis de sentimientos para caracterizar la polaridad de cada una de ellas. Para esta tarea se definieron diez áreas temáticas presentes en el corpus (política, fútbol, literatura y entretenimiento entre otras).
En el taller se registraron un total de 15 grupos de los que únicamente 8 enviaron resultados. Todos ellos participaron en la primera de las tareas planteadas y 6 en la segunda.
La diversidad de los grupos participantes procedentes de diferentes áreas de conocimiento, tales como Recuperación de Información (Information Retrieval), Procesamiento de Lenguaje Natural/Lingüística Computacional, Máquinas de Aprendizaje/Minería de Datos/Análisis textual y Web Semántica, ha puesto de manifiesto que el Análisis de Sentimiento constituye un nicho de mercado emergente que está intentando ser abordado desde gran diversidad de enfoques tecnológicos.
En el contexto del XXVIII Congreso de la Sociedad Española para el Procesamiento del Lenguaje Natural – SEPLN 2012 celebrado los días 4, 5 y 7 de septiembre de 2012 en la Universidad Jaume I de Castellón de la Plana tuvo lugar un monográfico sobre el taller, en el que los diferentes grupos participantes, empresas y miembros de la comunidad investigadora compartieron sus experiencias, soluciones, inquietudes y expectativas.
[¿Quieres saber cómo las tecnologías Semánticas y de Procesamiento del Lenguaje permiten analizar y explotar opiniones, ideas… y otros contenidos generados por los usuarios? Visita el sitio web de Daedalus y descubre cómo estamos ayudando a las empresas de seguimiento y análisis de medios, tanto tradicionales como sociales.]
Sentimentalytics: expanding the market for social media analysis
The analysis of social media is fertile ground for semantic technologies. The ability to automatically process all types of social conversations searching for mentions, opinions or intentions provides community managers, agencies and companies with the opportunity to address problems of volume, variety and velocity related to information in social media.
In Daedalus, we have been working hard to improve language processing in social media by incorporating semantic knowledge and optimizing it to address the peculiarities of Twitter, chats and so on. Our customers are suppliers of tools and services for monitoring/analizing social (and traditional) media, owners of social media, and content generators.
This market activity confirms that there are some gaps in the current sector of social media analysis in Spanish, which is reflected in our initial interviews and surveys to stakeholders:
- Fragmented supply of tools: a multitude of free/pay, general/niche, local/ multinational products and services exist, with a wide dispersion in performance and price.
- Limited implementation of automatic text analysis technologies (many foreign suppliers often lack that functionality in Spanish) that limits the capabilities in terms of exhaustive (not sample-based) and real-time processing of social conversations.
- End-user demand (consumers of information) which reflects the typical dichotomy between large companies (there are only a few, and they have incorporated social media management in their activity) and Spanish SMEs (small-sized companies which are in the majority, and reluctant to innovation).
The Sentimentalytics concept
In this context, we in Daedalus considered developing some kind of tool that would serve to stimulate the market for social media analysis and to disseminate and popularize the application of semantic technologies withing this market. The tool protagonist in this “disruption experiment” should have the following characteristics:
- Target a currently “under-served” market segment: small agencies, community managers of SMEs, users interested in their personal brand…
- Be easy to install, learn and use; and compatible with present tools and practices.
- Be “good enough” in relation to some of the performance parameters that are standard in the market: social media to deal with, presentation of results…
- Offer a different and improved value proposition in relationship to some other parameters: work in real time, not to impose a sampling of messages to be treated, perform advanced automatic processing (eg.: detection of mentions that are ambiguous or in error, sentiment analysis, subject classification …) in Spanish and other languages
- Respect the business of our clients (suppliers of analytical tools that use our semantic APIs)
The result is called Sentimentalytics. Technically it is a plugin that runs on any standard browser and works in a non-intrusive way, integrated into the most popular social media and monitoring/managemet tools (eg.: Twitter, HootSuite …).
Sentimentalytics applies semantic technologies to automatically scan (and tag) the tweets, posts, and news shown on the different timelines, channels, etc. appearing in the user browser and to identify (and navigate) to those who deserve special attention. The plug-in communicates with our REST APIs deployed on the Amazon cloud, which is where the semantic processing takes place (Sentimentalytics is our own customer and an excellent touchstone for our technology).
What Sentimentalytics is NOT
Before going into Sentimentalytics and what it is useful for, it is interesting to clarify what it is not: Sentimentalytics is NOT (or aspires to be) an end-to-end social media monitoring / analysis tool. Providing such tools is the business of specialized suppliers (some of them are our customers ;- ), which can use the Daedalus APIs to analyze and enrich social media contents.
What is Sentimentalytics good for
Sentimentalytics is a utility that allows the management “by exception” of social (and traditional) media: social networks, blogs, microblogs, news sites.
Tagging using entities / polarities / categories and the filtering and navigation possibilities allow us to identify those expressions, opinions and topics that deserve individual treatment, for example: relevant mentions / topics, crisis potential…
This will free Community Managers and Agencies from the routine and thorough reading of irrelevant posts, enabling real-time response.
In social media monitoring, Sentimentalytics enables you to focus on what really matters.
Please find more information in this presentation.
Our roadmap
Sentimentalytics is being currently co-developed and evaluated together with a reduced set of representative users. In the coming weeks we will be adding features and new social media and languages to the currently supported.
We hope to start a private beta in September. If you want to participate, register at http://sentimentalytics.com to receive an invitation from us.
Sentimentalytics: expandiendo el mercado de análisis de medios sociales
El análisis de medios sociales es terreno abonado para las tecnologías semánticas. La posibilidad de procesar automáticamente todo tipo de conversaciones sociales en busca de menciones, opiniones o intenciones proporciona a Community Managers, Agencias y empresas la posibilidad de tratar los problemas de volumen, variedad y velocidad de la información en medios sociales.
En Daedalus hemos dedicado mucho esfuerzo a mejorar el procesamiento del lenguaje en medios sociales, incorporando conocimiento semántico y optimizándolo para tratar las peculiaridades de Twitter, chats, etc. Nuestros clientes están tanto en el sector de proveedores de herramientas y servicios de monitorización/análisis de medios sociales (y tradicionales) como en el de propietarios de medios sociales y generadores de contenidos.
Esta actividad en el mercado nos ha permitido confirmar algunas carencias en el sector actual de análisis de medios sociales en español, algo que habíamos detectado mediante nuestras entrevistas y encuestas iniciales a agentes del sector:
- Atomización de la oferta de herramientas: multitud de productos y servicios gratis/de pago, generalistas/de nicho, locales/multinacionales, con una gran dispersión en cuanto a prestaciones y precios
- Escasa aplicación de las tecnologías de análisis automático de texto (muchos proveedores extranjeros suelen carecer de esa funcionalidad en español) que limita las capacidades en cuanto a tratamiento exhaustivo (no basado en muestreo) y en tiempo real de las conversaciones sociales
- Demanda final -consumidores de la información- que refleja la dicotomía típica entre la gran empresa (poco numerosa, ha incorporado la gestión de medios sociales como parte de su actividad) y la PYME española (mayoritaria, muy pequeña y escasamente propensa a adoptar la innovación).
El concepto Sentimentalytics
En ese contexto, en Daedalus nos planteamos construir algún tipo de herramienta que sirviera para estimular el mercado de análisis de medios sociales y difundir y popularizar la aplicación en él de las tecnologías semánticas. La herramienta protagonista de este “experimento de disrupción” debería poseer las siguientes características:
- Dirigirse a un segmento de mercado actualmente ”infraservido”: pequeñas agencias, community managers de PYME, usuarios interesados en su marca personal…
- Ser fácil de instalar, aprender y usar y compatible con las herramientas y prácticas actuales
- Ser “suficientemente buena” en relación con algunos de los parámetros de prestaciones estándar en el mercado: medios sociales a tratar, presentación de resultados…
- Plantear una propuesta de valor diferente y mejorada en otros parámetros: funcionar en tiempo real, no imponer un muestreo de los mensajes a tratar, realizar un procesamiento automático avanzado (p. ej.: detección de menciones ambiguas o con errores, análisis de sentimiento, clasificación temática…) en español y otros idiomas
- Respetar el negocio de nuestros clientes (proveedores de herramientas de análisis que usan nuestras APIs semánticas)
El resultado se llama Sentimentalytics. Técnicamente consiste en un plugin para browser que corre en cualquier navegador estándar y trabaja de manera no intrusiva, integrado en los medios sociales y herramientas de monitorización/gestión más populares (p. ej.: Twitter, HootSuite…).
Sentimentalytics aplica tecnologías semánticas para escanear -y etiquetar- automáticamente los tweets, posts, y noticias mostrados en los diferentes timelines, canales, etc. que aparecen en el navegador de usuario y permite identificar (y navegar) a aquellos que merecen una atención especial. El plugin se comunica con nuestras APIs REST desplegadas en la nube de Amazon, que es donde se realiza el procesamiento semántico (Sentimentalytics es nuestro propio cliente y una excelente piedra de toque para nuestra tecnología).
Qué NO es Sentimentalytics
Antes de avanzar en qué es y para qué sirve Sentimentalytics resulta útil aclarar qué no es: Sentimentalytics NO es (ni aspira a ser) una herramienta end-to-end de monitorización/análisis de medios sociales al uso. El proporcionar ese tipo de herramientas es el negocio de los proveedores especializados (algunos, clientes nuestros ; -), que pueden usar las APIs de Daedalus para analizar y enriquecer los contenidos de medios sociales.
Para qué sirve Sentimentalytics
Sentimentalytics es una utilidad que permite realizar una gestión “por excepción” de los medios sociales (y tradicionales): redes sociales, blogs, microblogs, sitios de noticias.
El etiquetado con entidades/polaridades/categorías y las posibilidades de filtrado y navegación permiten identificar aquellas menciones, opiniones y temas que merecen un tratamiento individual, p. ej.: menciones/temas relevantes, potencial de crisis…
De este modo se libera a Community Managers y Agencias de la lectura rutinaria y exhaustiva de posts irrelevantes y se habilita la respuesta en tiempo real.
En la monitorización de medios sociales, Sentimentalytics facilita centrarse en lo que realmente importa.
Más información sobre Sentimentalytics en esta presentación.
Nuestro roadmap
Actualmente Sentimentalytics está en codesarrollo y evaluación con un conjunto reducido de usuarios representativos. Durante las próximas semanas iremos añadiendo prestaciones y nuevos medios sociales e idiomas sobre los actualmente soportados.
En septiembre esperamos abrir una beta privada. Si quieres participar y que te enviemos una invitación regístrate en http://sentimentalytics.com.
Analizando tuits en español
Se ha escrito mucho sobre la utilización que se hace del lenguaje en Twitter, desde Vargas Llosa hasta José Manuel Blecua, entre muchos otros, se han pronunciado sobre este asunto. Pero aquí nos interesa el tema desde el punto de vista del tratamiento automático, ¿qué retos supone trabajar con el lenguaje de Twitter?
En primer lugar, es necesario procesar las etiquetas específicas de Twitter: los nombres de los usuarios van precedidos de una @, cuando un tuit se retuitea se precede de las siglas RT, las hashtags se diferencian del resto de palabras porque llevan delante un carácter #, etc. Incluso es posible encontrar discusiones sobre el uso de las caritas sonrientes 
en los tuits, como en esta conversación en Linkedin. Desde el punto de vista del tratamiento automático, interpretar estas marcas específicas no supone complicación alguna.
En cambio, las abreviaturas de palabras pueden ser más problemáticas, entre otras cosas porque empeoran uno de los problemas tradicionales del procesamiento del lenguaje natural, la ambigüedad. Por ejemplo, en Twitter, es posible encontrar tanto las letras ‘pk’ como ‘xq’ como ‘pq’ para abreviar la palabra ‘porque’, o ‘tbn’ y ‘tb’ para representar la palabra ‘también’. Estas abreviaturas podrían confundirse con otras habituales en el lenguaje escrito o, si no se conoce la palabra completa a la que representan, impedirían un análisis más a fondo de la frase.
A lo anterior se suma la presencia de gran cantidad de errores de escritura, ya sean cometidos por los usuarios o por el autocompletado de palabras que incorporan algunos dispositivos.
Esos errores ortográficos se unen a la ausencia de puntuación. En la mayor parte de las ocasiones, en los tuits no se emplean comas, ni puntos y comas, ni puntos seguidos, etc., lo que complica en gran medida los procesos de segmentación, encargados de separar las frases o sintagmas que componen un texto.
También habría que considerar problemas de capitalización. Algunos usuarios no emplean mayúsculas al escribir nombres propios o, en otros casos, se emplean capitalizaciones propias de los medios de comunicación, escribiendo en mayúscula la primera letra de cada palabra. Es fácil deducir que estas diferencias de capitalización dificultan la identificación de entidades que se mencionan en los tuits.
Superadas las no pocas dificultades introducidas por la notación específica de Twitter, las abreviaturas, los errores ortográficos, la ausencia de puntuación y la capitalización, queda afrontar el reto de extraer el contenido semántico de la frase resultante. Eso sí, ahora se tiene a favor que el texto de entrada es más parecido al que se emplea en las páginas web “tradicionales” y existen ya herramientas capaces de enfrentarse a la extracción de entidades, el análisis sintáctico o el tratamiento de la anáfora cuando el texto de entrada es morfosintácticamente correcto. Este es el punto de partida para un análisis de sentimiento que vaya más allá de contemplar la estadística de aparición de determinadas palabras. El análisis sintáctico combinado con el tratamiento de la negación permite asociar el adjetivo adecuado con la polaridad correcta a la entidad que le corresponde. Si únicamente se tienen en cuenta las apariciones de determinadas palabras en una frase, es posible llegar a situaciones en las que mensajes como ‘@empresax trabaja muy bien no como su competencia’ se interpretan como neutros (aparece ‘muy bien’ y ‘no’) cuando en realidad son muy positivos.
Estas peculiaridades del lenguaje hacen que, si no se emplean herramientas específicamente desarrolladas para el idioma en el que se quiere trabajar, los procesos de monitorización de la marca y de análisis de sentimiento no proporcionen resultados fiables.
¿Qué opinas? ¿Las herramientas de análisis de buzz monitoring y análisis de sentimiento que utilizas trabajan bien en español?
[¿Quieres saber cómo las tecnologías Semánticas y de Procesamiento del Lenguaje permiten analizar y explotar opiniones, ideas… y otros contenidos generados por los usuarios? Visita el sitio web de Daedalus y descubre cómo estamos ayudando a las empresas de seguimiento y análisis de medios, tanto tradicionales como sociales.]
Sentiment analysis: capturing emotions
Automatic sentiment analysis is one more step towards translating human emotions into data. The immediacy and spontaneity of opinions in the social media allow for these sentiments to be more meaningful and to preserve their emotional content.
Sentiment analysis of non-structured data, which is also known as opinion mining, adds more features to automatic extraction of topics, entities and concepts: polarity identification (is the expression positive or negative?), intensity (how strong are emotions?), and subjectivity (is the source biased or objective?). The precision of sentiment analysis, and how challenging it is, have been topics discussed in this blog before. We have also mentioned how important semantics is throughout the process. Now we are dealing with some new perspectives and applications.
Perspectives
Social media analysis has stimulated the interest in sentiment analysis. However, we must note that opinion mining is not solely related to the social media. Analyzable information comes from sources which are external and autonomous (social networks, blogs/microblogs, online forums, the mass media…), but also internal or company-owned (interactions stored in the CRM, transcriptions of conversations registered in the incident management system, surveys of customers or employees…).
Another interesting question is the degree of formality and accuracy of the language (grammar and lexicon) in which the contents to analyze are expressed. It ranges from a careful and skilful use of language, which is common among conventional media, to the Twitter’s jargons full of ambiguities and abbreviations. This feature has an enormous influence on the precision and results from the automatic analysis performed.
The most widespread criticism of these techniques is that irony and sarcasm are impossible to handle by automatic analysis, and no doubt it is sometimes a difficult task even for the brain of ordinary people. It may explain why irony or sarcasm, compared to strong criticism or insults, are not so frequently employed.
According to the application, a sentiment analysis tool can incorporate rules for identifying expressions containing sarcasm. Next it can rule them out, as long as this does not produce a biased result, or leave them aside so as to be handled by human experts. This may be possible provided that our company is not affiliated to the Sarcasm Society. If so, we should better master this type of communication (by the way, the Society’s slogan is “We would LOVE to hear what you think”).
Not long ago, the outcome of the analysis was a single score for the sentiment classification at a document-level (post, tweet…). This value is obtained by adding/subtracting the scores associated with different positive/negative expressions from the text. However, it can lead to an aggregate value which is neutral and results from different extreme and opposite polarities on different aspects. This fact hides very interesting information about the strengths and weaknesses of our company or products.
To avoid that, the latest techniques pursue the identification of those targets on which opinions have been expressed, such as entities and its components and attributes. This is a feature-based sentiment analysis, where information is more fine-grained and exploitable.
Applications
Sentiment analysis is a field in constant growth. Many emerging scenarios show the applicability of these techniques and how helpful they are in producing specific results:
- Find out which are the weak (or strong) points within the different areas of the products, services and brands of your company. Act immediately and find solutions. Sentiment analysis is performed in order to discover which opinions are truly negative or positive. These opinions are expressed by opinion leaders and current (or potential) customers, and recorded both inside (i.e. incident management systems) and outside the company (i.e. online forums on product ratings and reviews).
- Prevent customer churn. What poses a risk of losing a present customer can be identified in the negative opinions which are interpreted as rejection. This information comes from both internal and external sources.
- Learn how you compare against your competitors. Evaluate the opinion on their brand/company/products. Compare it with that on your business on the basis of the aggregation of direct judgments and the analysis of comparative expressions from mainly external sources.
- Measure the level of satisfaction of the company’s employees and the labor climate. Open questions give the most valuable information in surveys conducted to listen to the “voice of the employee”. Within big companies, opinion processing allows for more efficient management of questionnaires (internal sources).
- Study the electorate’s opinion. Tracking the social media (external sources), political parties and other associations can learn about the people’s positions and trends, by listening to the “voice of the voter”.
- Predict a share price. The market sentiment is a common term within the financial investments vocabulary. Opinion mining over the mass media, social networks and online forums (external sources), together with the analytical treatment of internal data, provide us with predictors of the price of shares.
- Assess the impact on corporate reputation. Contrary to some analytical tool providers’ belief, reputation does not equal opinion. Corporate reputation is not assessed by adding polarities from the tweets mentioning the company during the last hour. Reputation is a multidimensional asset resulting from the accumulated effect of multiple interactions. Analyzing how a set of external opinions affects reputation is not a trivial issue and has to do with the different indicators and dimensions of reputation, and with the authority of the opinion issuer. We will discuss this further in our next post.
Capturing sentiments at the Point of Emotion
Finally, let’s reflect on how sentiment analysis is being applied to the social media. Traditionally, opinion analysis (for instance, market studies or political surveys) is based on recall. However, this approach is rather incomplete as people are required to remember past events outside the context where they were experimented.
On the contrary, the “Point of Emotion”, as A. Jeavons calls it here, is the common distinguishing feature for the majority of people who share online content, write posts and give opinions through the social media. In other words, they are emotionally invested in the product or experience about which they are opining. The immediacy and spontaneity of the social media, plus the permanent connection that cell phones offer, provide “micro-surveys” taking place where and when the experience is happening. In this way, opinion is expressed and published at the same time, and there is no delay in the middle.
Emotions are misleading depending on the context. But in order to know what consumers, influencers or voters really think, and to make predictions about their behavior, we need to find them at the Point of Emotion.
[Would you like to know how Semantic and Natural Language Processing Technologies allow analyzing and exploiting opinions, ideas... and other user-generated contents? Visit the Daedalus website and find out how we are helping both conventional and social media monitoring and analysis companies].
