martes, 16 de junio de 2015

        1.38  Analítica Avanzada & Big Data
                 y las ventas nocturnas


           DCC. Dafne Rosso Pelayo


La analítica avanzada en su empresa, es la clave para el crecimiento de su negocio.




Este articulo esta dirigido a todos aquellos gerentes, directores, empresarios y estrategas comerciales de los grandes almacenes departamentales que existen en México y en muchos países alrededor del mundo.

En México tenemos dos grandes conceptos de mercadotecnia  para lograr un mayor volumen de venta, estimular la economía del país y a su vez beneficiar el bolsillo de los clientes, estas son: Las ventas nocturnas y desde hace unos años “El Buen Fin

Una buena estrategia para alcanzar las metas de venta propuestas, en estos grandes almacenes (y en cualquier empresa) es trabajar con las partes interesadas de la empresa para generar comprensión, estrategia y sugerir acciones basadas en la información recabada en años anteriores, acciones que se apliquen en los datos con los que la empresa cuenta.
Por lo menos en México los almacenes en los que soy cliente desde hace más de 20 años, deberían tener mi historial de compras, créditos, montos de compra promedios, tipos de artículos, fechas frecuentes de compra, etc., estos almacenes deberían ser capaces de saber para mi perfil (y el de millones de clientes) que algunos aparatos electrodomésticos los renuevo cada cierto número de años, la información que deben de tener almacenada debería servirles para determinar los patrones de consumo de millones de consumidores que como yo, somos fieles clientes de estos almacenes de departamentos y no solo eso, deberían ser capaces de predecir que artículos y en que departamentos se realizarán nuestras siguientes compras.

¿Cuántos miles de millones de pesos están dejando de ganar?

La información es sumamente valiosa, con ella los modelos analíticos o de Machine Learning  que se pueden implementar enfocados a estas promociones, generarían un ROI de más del 100% adicional del que alcanzan hoy en día no sólo con estas promociones sino en sus días comunes.
Si no lo cree y piensa que esto no es posible, lo exhorto a que realice una búsqueda en la red sobre el retorno de inversión que generan los proyectos de analítica y que ha sido comprobada por fuentes especializadas como IDC*  y varias otras.


 
 
Acaso no conocen Amazon, Netfilix  y  varias  otras empresas que hoy en día cuentan con la tecnología para realizar sugerencias a sus clientes.

¿ Qué es lo que se puede implementar?

Lo más valioso es la información y ustedes ya la tienen, algunos (entre muchos otros) de los posibles análisis a efectuar sobre esta son:

  • Segmentación de clientes: Enfocado a determinar los grupos de clientes que tienen enfocado en patrones de comportamiento en el consumo. Y esto no sólo es un análisis del poder adquisitivo, es un análisis de PREFERENCIAS de consumo, independientemente del sector económico. Por ejemplo un televisor o una lavadora se adquieren independientemente del sector económico.  Señores empresarios ¿ya saben que televisiones o lavadoras se compran más y por qué? ¿Cuáles son las características más buscadas independientemente de la marca? ¿Ya saben que marcas prefiere un cliente? ¿Ya saben que marcas prefieren los clientes que compran televisores inteligentes?


  • Perfilado de Clientes: Enfocado a detectar los gustos, preferencias, fechas, asociaciones de características, de cada uno de los clientes a fin de mandar publicidad y promociones personalizadas. Se imaginan el volumen que podría aumentar su venta si un cliente en lugar de perder horas comparando marcas buscando los productos que usualmente quiere comprar si ustedes antes de la venta nocturna o antes del buen fin le mandan una publicidad con las marcas, productos, etc…, que esta persona compra usualmente y además le puede decir que otras marcas o productos compran aquellas personas que eligen los mismos productos.


  • Análisis de enlace: Enfocado a poder determinar de acuerdo al perfil de compras del cliente y de sus conocidos, que otro tipo de consumo le puede satisfacer a un cliente en específico. Ej. Suponga que a usted le gusta comprar vinos, este tipo de análisis le puede recomendar que vinos y además que tipo de licores comprar de acuerdo a la gente que usted conoce que también le gusta comprar vinos y que además copra licores. Es decir sus amigos que compran el producto A y B también gustan de comprar el producto C.


El número y tipos de análisis que pueden implementar para este tipo de almacenes es muy grande, imaginen lo que podrían alcanzar en ventas,  si en el momento en que detectan la primera compra del cliente,  a través de alguna aplicación móvil,  el cliente puede consultar en tiempo real por medio de su celular que otras posibles alternativas tiene en ese momento de acuerdo a sus preferencias, o bien, que solo le faltan $Y para alcanzar un monto de $X en donde se hace beneficiario a otra promoción. Incluso ustedes podrían saber por medio de los GPS en que departamento se encuentra en ese momento el cliente y enfocar más asertivamente las recomendaciones sugeridas.



Fig. 1. Algunos tipos de Análisis Avanzados para la BD de clientes


Machine Learning  contiene las técnicas necesarias para el  análisis de información, Big Data le permitirá manejar esos grandes volúmenes de información y poder analizarla en tiempo real.

Que esperan ¿sabe cuantos clientes nuevos podría generar un almacén con este tipo de servicios? ¿Cuánto está dejando usted de ganar cada día? Salgan ya a la búsqueda de científicos de datos y de personal capacitado en Machine Learnig e implementen la analítica avanzada en sus empresas.

Pero no se dejen engañar por los proveedores de software, no existe un producto de caja que haga todos los análisis que usted necesita, y las herramientas de inteligencia de Negocio (BI) no alcanzan para lograr estas metas. Los tableros indicadores y reportes basados en motores OLAP ayudan muy bien a ver el pasado pero no le ayudan a elaborar los análisis predictivos y de comportamiento que son necesarios para crecer; o acaso usted suele manejar viendo sólo el espejo retrovisor? Y sobre todo recuerde que ninguna herramienta sirve si no existe quien sepa usarla.

Los empresarios, directores, gerentes y ejecutivos muy comúnmente se quedan esperando por el proveedor que llegue a ofrecer la solución de caja a todos sus problemas.  Eso no existe.

En el siguiente artículo platicaremos sobre como crear un equipo de analítica avanzada en las empresas.



Copyright © 2015 Dafne Rosso Pelayo. Todos los derechos reservados.
                 


viernes, 29 de mayo de 2015


1.37  Analítica en las PYMES, el factor del éxito.

DCC. Dafne Rosso Pelayo
La inteligencia de negocio en la empresa, sólo puede lograrse mediante la adopción de medidas para alcanzarla.




Uno de los principales retos para lograr introducir las técnicas de Machine Learning y con ello la analítica avanzada en las empresas del país es el aspecto cultural, independientemente del giro y del tamaño de la empresa  un factor de éxito para introducir  la analítica al negocio, es la colaboración del empresario, director, CIO, líder de negocio, etc…, sin embargo, muchos de nuestros empresarios y líderes cuando escuchan hablar de analítica siguen pensando en un tablero y un conjunto de indicadores. La analítica de negocio es mucho, pero mucho más que un conjunto de tableros, les comparto a este respecto una liga que un buen amigo me proporcionó “Steps to an analytics-driven organization”.

La analítica como decimos no es sólo un conjunto de tableros e indicadores, la analítica debe de ser la estrategia que soporte la toma de decisiones y que permita la generación de nuevos mercados y valor económico al negocio.  

¿En dónde se puede aplicar la Analítica Avanzada?


La analítica permite por ejemplo:

  • Mejorar en grandes porcentajes las predicciones, pronósticos, planeaciones presupuestales, de demanda, consumos, etc. ,ya sean mensuales, anuales o incluso diarias.
  • Mejorar la distribución y logística  de los canales de distribución
  • Segmentar  a sus clientes basados en el comportamiento para introducir nuevas estrategias     personalizadas al cliente
  • Detección de fraudes
  • Previsión del abandono de clientes
  • Recomendación de productos en base al consumo de otro tipo de productos
  • Analizar la respuesta de la gente a una campaña comercial o hasta política
  • Determinar el número de alumnos que se inscribirán o desertaran a la escuela
  • Apoyo en la determinación de enfermedades
  • Reconocimiento de imágenes
  • Clasificación de documentos



El número de ejemplos y el campo de aplicación son enormes. La analítica cabe en todos lados, si no esta convencido piense en Amazon, en Netflix, en Google, en los anuncios de recomendaciones que observa cuando busca algún producto en particular en Internet, Spotify y muchas otras empresas.

Es que acaso no le gustaría poder actuar previniendo el futuro y poder tener los artículos que más se venden en tiempo de lluvia y que su tienda aún no tiene por qué las lluvias se esperaban hasta dentro de dos meses más?

De un conjunto de empresas un bajo porcentaje esta recurriendo ya a la analítica avanzada, ¿cree usted que pueda competir contra dichas empresas? ¿Qué cree que le pueda ocurrir al conjunto de empresas que no tengan los niveles de servicio o de reacción ante el mercado y competencia? Qué le ha ocurrido a las empresas de renta de  video contra los servicios en línea, o a las librerías contra Amazon, … ejemplos hay muchos.

La analítica toma ventaja sobre la estadística en varios tópicos y permite lidiar con la incertidumbre, con muchas variables involucradas, tanto con datos estructurados como con datos de texto como mensajes, documentos, Twitter, etc.

¿Qué herramientas de Analítica Avanzada utilizamos?


En el mercado hay varias herramientas libres como mencione en el artículo anterior que pueden ayudar a su empresa a implementar la analítica en el negocio, unas de estas son: R, Weka, Rapidminer las tres gratuitas y las más robustas entre muchas otras.

Si usted cuenta con un equipo de programadores existe Phyton, Java (usando apis).

La siguiente figura contiene un conjunto de herramientas estadísticas y analíticas para minería de datos y/o Machine Learning, algunas son libres (no tienen costo) otras se obtienen con licenciamiento en diversas modalidades.



 Fig 1. Algunas de las herramientas más usadas en Analítica

Por otro lado también existen herramientas de visualización de las cuales hablamos en el art. 29. Incluso ahora IBM ha puesto a disposición de la comunidad el uso de Watson en internet.

No hay pretexto.  Si quiere que su negocio crezca y se mantenga frente a la competencia no queda más remedio que aceptar que la tendencia del mercado dice la verdad. La analítica avanzada es el camino del éxito.

Copyright © 2015 Dafne Rosso Pelayo. Todos los derechos reservados.


miércoles, 13 de mayo de 2015

   1.36  Machine Learning en las PYMES.

    DCC. Dafne Rosso Pelayo


La inteligencia de negocio en la empresa, sólo puede lograrse mediante la adopción de medidas para alcanzarla.


Machine Learning bien conocido como Aprendizaje Automatizado en los últimos años ha incrementado notablemente su presencia en el mundo empresarial y en los negocios, y  se ha convertido en una técnica inmersa ya en los procesos de negocio de las empresas. Es un hecho también que en muchas empresas de países como por ejemplo - por citar sólo algunos de ellos -, nuestro vecino Estados Unidos y otros no tan cercanos como Japón, y por supuesto países del continente Europeo; Machine Learning es hoy en día uno de los componentes principales en el soporte de la operación y dirección de la empresa.

El auge que al día de hoy tiene el área de Machine Leoni ha impactado en la demanda de personas que conozcan del tema y puedan generar el tan apreciado valor que necesitan las empresas para subsistir y/o obtener un mayor posicionamiento en el mercado. Estas personas a quienes se les da el nombre de científicos de datos “Data Scientist”, son de profesión  Matemáticos, Estadísticos y cuentan con especializaciones Maestrías y/o Doctorados de preferencia, en áreas de Ciencias Computacionales e Inteligencia Artificial en los cuáles se imparten a profundidad los conocimientos en las técnicas y algoritmos de: Machine Learning, estadística, optimización, y simulación.

El grado de especialización de los científicos de datos es avanzado, lo que hace que este tipo de perfil no sea común, Forbes en 2014 en su articulo “The Hottest Jobs In IT: Training Tomorrow's Data Scientistshttp://www.forbes.com/sites/emc/2014/06/26/the-hottest-jobs-in-it-training-tomorrows-data-scientists/, describe este  problema ante las crecientes necesidades de las empresas en estas tecnologías.

En pocos años la palabra “analítica” se ha puesto de moda, de hablar de minería de datos ahora se habla de analítica predictiva y  prescriptiva, de hablar de minería de texto ahora se habla de analíticos de texto, se hablaba de Big Data y ahora se habla de analíticos y Big Data,  se hablaba de Inteligencia de Negocio y ahora es Inteligencia de Negocios y  Analíticos de Negocio; así mismo las opciones para capacitarse en estos temas se han incrementado, de sólo existir especializaciones en Inteligencia Artificial la rama se abre ahora en opciones especificas para Machine Learning, Maestrías, Diplomados, Cursos, hasta cursos gratis por internet existen ahora. Claro que el grado de conocimiento entre un científico de datos que cuenta con doctorado y especializaciones  y una persona no cercana al campo estadístico y que toma un curso por internet difiere enormemente.

Los proveedores de tecnología no están al margen de estas situaciones y están generando herramientas de usuario final que permitan introducir este tipo de tecnología en las empresas sin que los usuarios cuenten con un alto grado de especialización en la materia.  Esto por supuesto impacta positivamente al ROI de las empresas.

Pero, hablando de este tema, ¿en donde están las Pymes?, ¿cual es el grado de adopción de este tipo de tecnología en las Pymes?, ¿en las empresas Mexicanas?, ¿en dónde estamos parados?
 Afortunadamente para el país esta ola analítica lo esta alcanzando, ya son varias las empresas (lo pueden constatar en Link o en conferencias) que han adoptado y están incursionando en esta tecnología, productos lideres en el mercado como SPSS de IBM y SAS han logrado abrirse camino en terreno mexicano, (picando piedra diría yo), poco a poco la aplastante importancia y necesidad de esta tecnología se esta reconociendo.

Por supuesto que estamos hablando de grandes empresas globales, bancos, una que otra empresa de gobierno, pero ¿y las Pymes?

 Afortunadamente para las empresas pequeñas y medianas, aparte de éste Blog, existen al día de hoy muchos otros recursos gratuitos, más de los que existían en 2011 cuando creamos este Blog.  Estos recursos  también difieren en el tipo de aplicación y utilización que se le quiera dar a esta tecnología.

En el siguiente artículo hablaremos de estos recursos tan necesarios y disponibles para las PYMES.


 Copyright © 2015 Dafne Rosso Pelayo. Todos los derechos reservados.





miércoles, 22 de abril de 2015

       1.35 Metodología  para proyectos de Inteligencia de Negocio (BI).
               Parte Final

Dra. Dafne Rosso Pelayo
La inteligencia de negocio en la empresa, sólo puede lograrse mediante la adopción de medidas para alcanzarla.


En el artículo anterior abordamos la tercera fase de CRISP-DM (Cross Industry Standard Process for Data Mining) (1)  y continuamos con la construcción de un prototipo de BI.
En este artículo finalizaremos el ejercicio desarrollado con la metodología CRISP-DM, plantearemos la cuarta, quinta y sexta  fases relacionadas con la elaboración del modelo analítico y la implementación del mismo.

Fase de Preparación de  datos
Como ya se mencionó en el artículo anterior planteamos la tercera fase de CRISP-DM,  “Preparación de Datos” la cual está ampliamente relacionada con la fase dos “Entendimiento de los datos”, por lo tanto es altamente probable que al realizar la preparación de los datos se deba regresar a la fase anterior a entender o definir nuevamente algún dato que fue mal interpretado o que se incorpora. El incremento o decremento de la dimensionalidad del conjunto de datos (esto es el incremento o decremento de atributos) también es factible de efectuarse en la fase de preparación a fin de lograr explicar mejor el comportamiento de los datos y obtener modelos con resultados más precisos.
 La siguiente figura muestra las fases integrantes de la metodología.




Figura 1. Metodología CRISP-DM(1)

Ahora estamos listos para efectuar el modelado de los datos, la fase anterior nos dio el conocimiento necesario para saber que tipo de algoritmo emplear en los datos, esto es si conocemos la estructura de los datos y sabemos que buscamos un resultado binario como puede ser pertenecer o no pertenecer a una clase o “Target”, por ejemplo “spam” o “no spam”, o  un atributo especifico como resultado, o bien, la categoría, tipo de especie, etc., deberemos usar un algoritmo de clasificación.
Si lo que queremos es encontrar que eventos suceden en conjunto en una transacción, es decir  necesitamos descubrir que cuando ocurre el evento A ocurre el evento B, entonces deberemos usar un algoritmo de  asociación.
Si por el contrario no conocemos la estructura de los datos y lo que necesitamos es encontrar patrones naturales del comportamiento de nuestro conjunto datos, a fin de agrupar los comportamientos similares, es probable que estemos frente a una segmentación, por los tanto emplearemos algoritmos de agrupamiento o “clustering”.

Si estamos frente a un set numérico y necesitamos la predicción de los valores siguientes, es decir, valores a futuro (predicción de ventas, gasto, demanda, etc..) o de los valores siguientes en el tiempo, usaremos algún algoritmo predictivo y si está asociado a una fecha probablemente emplearemos algoritmos que trabajen con series de tiempo.


Figura 2. Exploración de datos

La fase de preparación de datos es un factor de éxito, sin ella no puede generarse satisfactoriamente ningún análisis avanzado o sistema inteligente.
El modelado puede efectuarse con una herramienta de uso libre como R, Weka, RapidMiner o con otra plataforma analítica como SPSS o SAS. También es posible hacer la programación de los modelos (siempre que el volumen de datos no sea excesivo) y conozca la manera en que funciona e itera el algoritmo que desea emplear por ejemplo: el algoritmo de clasificación ID3 y el algoritmo Apriori son algoritmos no complicados de programar, sin embargo, el volumen de datos puede hacer de la programación una solución no factible.




Figura 3. Exploración de Datos en la fase de Preparación de los datos




Figura 4. Exploración de Datos en la fase de Preparación de los datos (Edad vs Tipo)


Fases de CRISP-DM: Modelado
En la construcción del modelo, generaremos un modelo de minería de datos empleando  un algoritmo de clasificación, este ejercicio lo realizamos en el art 5 y 6, empleando un algoritmo ID3, en este articulo emplearemos un árbol de decisión  C5 y esta vez utilizaremos la herramienta estadística y de minería de datos R, para su construcción.
Los algoritmos de clasificación permiten encontrar los patrones de comportamiento en forma de reglas y/o árboles, que obedecen a un atributo (target) de nuestro interés; en nuestro caso, tratamos de encontrar los patrones de compra que obedecen a los tipos de producto, por lo tanto nuestro target es el atributo “Tipo” que de acuerdo a nuestro diccionario de datos generado en el art 32 contiene el tipo de producto.
En el uso de herramientas de minería de datos los algoritmos requieren de un conjunto de datos de entrenamiento y un conjunto de datos prueba.
El conjunto de datos de prueba permite realizar la validación del modelo, para determinar la calidad de los resultados obtenidos.

Aplicando la metodología al piloto.

Nuestro conjunto de datos se encuentra en Excel, la herramienta estadística y de minería de datos R es de uso libre. R es ampliamente usada en la comunidad científica en la resolución de problemas analíticos. Actualmente las plataformas líderes en minería de datos como SPSS y SAS cuentan con interfaces a R.
Aplicando en R el algoritmo de clasificación C5 el cuál maneja el concepto de entropía visto en el art xx. Tenemos el siguiente conjunto de reglas  resultantes:


> treeModel <- C5.0(x = ventas[, -11], y = ventas$Tipo)
> treeModel

Call:
C5.0.default(x = ventas[, -11], y = ventas$Tipo)

Classification Tree
Number of samples: 279
Number of predictors: 10

Tree size: 7

Non-standard options: attempt to group attributes

> summary(treeModel)

Call:
C5.0.default(x = ventas[, -11], y = ventas$Tipo)


C5.0 [Release 2.07 GPL Edition]         Tue Apr 21 16:59:41 2015
-------------------------------

Class specified by attribute `outcome'

Read 279 cases (11 attributes) from undefined.data

Decision tree:

Tipo = coches/barcos/aviones: coches/barcos/aviones (18)
Tipo = construccion: construccion (63)
Tipo = juego de mesa: juego de mesa (45)
Tipo = montables: montables (27)
Tipo = muñeca/muñeco: muñeca/muñeco (45)
Tipo = muñeca/muñeco accion: muñeca/muñeco accion (45)
Tipo = peluche: peluche (36)


Evaluation on training data (279 cases):

            Decision Tree  
          ---------------- 
          Size      Errors 

             7    0( 0.0%)   <<


           (a)   (b)   (c)   (d)   (e)   (f)   (g)    <-classified as
          ----  ----  ----  ----  ----  ----  ----
            18                                        (a): class coches/barcos/aviones
                  63                                  (b): class construccion
                        45                            (c): class juego de mesa
                              27                      (d): class montables
                                    45                (e): class muñeca/muñeco
                                          45          (f): class muñeca/muñeco accion
                                                36    (g): class peluche


        Attribute usage:

        100.00% Tipo


Time: 0.0 secs

> ruleModel <- C5.0(Tipo ~ ., data = ventas, rules = TRUE)
> ruleModel

Call:
C5.0.formula(formula = Tipo ~ ., data = ventas, rules = TRUE)

Rule-Based Model
Number of samples: 279
Number of predictors: 10

Number of Rules: 8

Non-standard options: attempt to group attributes

> summary(ruleModel)

Call:
C5.0.formula(formula = Tipo ~ ., data = ventas, rules = TRUE)


C5.0 [Release 2.07 GPL Edition]         Tue Apr 21 17:08:55 2015
-------------------------------

Class specified by attribute `outcome'

Read 279 cases (11 attributes) from undefined.data

Rules:

Rule 1: (18, lift 14.7)
        Energia in {no usa, pilas}
        Capacidad.2 = no aplica
        ->  class coches/barcos/aviones  [0.950]

Rule 2: (63, lift 4.4)
        Edad in {>16, 4 a 8}
        Color in {opacos, vivos}
        Energia = no aplica
        Capacidad.3 = no aplica
        ->  class construccion  [0.985]

Rule 3: (45, lift 6.1)
        Color = no aplica
        ->  class juego de mesa  [0.979]

Rule 4: (27, lift 10.0)
        Capacidad.3 in {canastilla, compartimiento}
        ->  class montables  [0.966]

Rule 5: (36, lift 6.0)
        Color = vivos
        Energia = pilas
        Capacidad.2 = efecto sonoro
        ->  class muñeca/muñeco  [0.974]

Rule 6: (9, lift 5.6)
        Edad = 1 a 3
        Capacidad.3 = no aplica
        ->  class muñeca/muñeco  [0.909]

Rule 7: (45, lift 6.1)
        Color = opaco
        Energia in {pilas, recargable}
        Capacidad.2 = efecto sonoro
        ->  class muñeca/muñeco accion  [0.979]

Rule 8: (36, lift 7.5)
        Color in {b & n, opaco}
        Energia = no aplica
        ->  class peluche  [0.974]

Default class: construccion


Evaluation on training data (279 cases):

                Rules    
          ----------------
            No      Errors

             8    0( 0.0%)   <<


           (a)   (b)   (c)   (d)   (e)   (f)   (g)    <-classified as
          ----  ----  ----  ----  ----  ----  ----
            18                                        (a): class coches/barcos/aviones
                  63                                  (b): class construccion
                        45                            (c): class juego de mesa
                              27                      (d): class montables
                                    45                (e): class muñeca/muñeco
                                          45          (f): class muñeca/muñeco accion
                                                36    (g): class peluche


        Attribute usage:

         80.65% Color
         70.97% Energia
         35.48% Capacidad.2
         35.48% Capacidad.3
         25.81% Edad


Time: 0.0 secs

Se observa en las reglas resultantes el patrón de compra que siguen los clientes de acuerdo  a las características de los artículos. En este caso y de acuerdo al conjunto de datos las características que pesan más en la selección de los juguetes son el color y el tipo de energía que usan, así como características adicionales observando que la edad no fue tan representativa.
En el siguiente artículo platicaremos como se ha extendido el uso de la analítica avanzada  en las empresas.


1. Pete Chapman (NCR), Julian Clinton (SPSS), Randy Kerber (NCR),Thomas Khabaza (SPSS), Thomas Reinartz (DaimlerChrysler),Colin Shearer (SPSS) and Rüdiger Wirth (DaimlerChrysler). CRISP-DM 1.0. 1999,2000.


Copyright © 2015 Dafne Rosso Pelayo. Todos los derechos reservados.