juantomas Hacking the planet

19 octubre, 2017

CloudFest 2017 by GDG Cloud Madrid

Filed under: big data,Eventos,GDG Cloud Madrid,Open Sistemas,spark — Etiquetas: , , , — juantomas @ 3:13 pm

 

 

 

 

 

 

SAVE THE DATE: El próximo 3 de noviembre celebramos el CloudFest 2017. Será en Campus Madrid. En esta ocasión hemos tenido la oportunidad de crear una agenda llena de charlas y ponentes muy interesantes.

Contaremos con Pedro Pablo Malagon Amor, Paola Garcia , Carlos Azaustre, David González Alcalde , Juantomás García y Iván Fernández Perea.

El evento será de 9:00 a 20:00 y la entrada incluye desayuno, comida y las ceverzas finales.

Más información y entradas en la web del CloudFest 2017:

8 diciembre, 2016

Mis proyectos favoritos para el 2017

Como ya sabéis en los últimos tiempos he estado promocionando la arquitectura kappa y prácticamente todos los proyectos en los que he estado implicado, se han desarrollado usando esta arquitectura.

Apache Beam

Apache Beam

Desde hace un tiempo he empezado a estudiar y usar Apache Beam. El punto de inflexión ha sido las charlas que vi durante la apachecon big data europe que se celebró en Sevilla y en la que di una charla sobre arquitectura kappa. La conversación que tuve con Sergio Fernandez (@wikier) fue decisiva. Cuando un crack como Sergio te cuenta como está trabajando con Apache Beam y por es una tecnología es killer es muy difícil no investigar más 😉

En resumen, Apache Beam es un framework para crear arquitecturas que trabajen con datos muy al estilo de la arquitectura kappa. Si hubiera que definir una sola característica por la que es interesante sería la capacidad de abstracción en la definición de la arquitectura con un DAG que se puede ejecutar contra distintos frameworks: Apache Spark, Storm, Flink, Google Dataflow o con un Local Runner en tu máquina.

Ahora mismo está en el incubator de la fundación apache y debe estar a punto de ser aprobado para que se convierta en un proyecto oficial. Ya hay empresas usándolo en producción y las pruebas que he hecho no me han dado ningún problema.

También hay una mala y una buena noticia. La mala es que apache beam esta escrito en java y se programa en java. No soy un fan de java y menos de como resuelven las API/SDKs. La buena noticia es que la gente de spotify que usa a tope Apache Beam se ha programado un binding para scala. Además son unos cracks y se nota en lo bien que han resuelto el binding. Han conseguido DSL funcional, bello y casi un clon de spark/cascading. Vamos que no pienso usar java y si scala con el proyecto Scio que es como se llama el proyecto de spotify. Que por cierto tiene licencia apache y está en proceso de merging con Apache Beam.

No son los únicos dos proyectos que incluyo para el 2017,  ya os contaré más en otros posts 😉

 

7 noviembre, 2016

Ya está anunciado el siguiente meetup de machine learning spain

Filed under: big data,Eventos,Machine Learning,Open Sistemas,spark — Etiquetas: , , , — juantomas @ 11:57 am

Machine Learning Spain XV

Auditorio Google Campus Madrid
Calle de Manzanares, 1, Madrid (edit map)

¡Hola! Ya tenemos fecha para el siguiente meetup, será el día 14 de noviembre (lunes) a las 18:30h en Campus Madrid. Esa semana habrá bastantes eventos relacionados con los datos en Madrid y Barcelona, esperamos que sean muy útiles.

La agenda será variada y completa.

18:30 – Acceso al auditorio. Calle de Manzanares, 1.

18:35 – «Programación Paralela en Big Data: Una aplicación sobre Series Temporales».

Con la generación de más cantidad de datos cada día se hace necesaria la programación de los algoritmos de una forma paralelizable para reducir el tiempo de proceso de los mismos. Así, la presentación incluirá la base de cómo paralelizar sobre distintas plataformas y librerías como Spark y Dask.

Ponente:
Juan Luis Rivero. Profesional de la consultoría, desarrollo e integración de soluciones con más de 25 años de experiencia en multinacionales. Ha dedicado parte de su carrera al diseño e implantación de algoritmos y analítica de datos en el sector de Telecom.

19:15 – «Aprendizaje de comportamientos».

Uno de los principales problemas de las aplicaciones modernas es conocer de forma precisa cómo usan los usuarios nuestra aplicación. Es decir, saber a que horas se utilizan unas funcionalidades o incluso conocer cómo un usuario ha sido capaz de llegar a una de nuestras nuevas funcionalidades. En esta charla describiremos una posible manera de obtener las políticas de comportamiento de nuestros usuarios y conocer cómo se mueven por nuestra aplicación. Describiremos cómo podemos obtener esta información (Colas de mensajes), almacenarla y utilizarla con el fin de intentar aprender o definir comportamientos comunes entre nuestros usuarios. Esta información puede servir para mejorar nuestra aplicación, su funcionalidad o para construir sistemas automáticos que realicen ciertas tareas por ellos.
Ponente:
Moisés Martínez. PhD en Inteligencia Artificial por la Universidad Carlos III de Madrid (especializado en Planificación automática, Aprendizaje automático y Sistemas de control). Investigador, mentor, orgulloso organizador de T3chFest y amante de la tecnología. Actualmente trabaja como Lead Data Scientist en beBee – affinity networking.

20:00 – «Convirtiendo Machine Learning en Negocio (Desde el BigData hasta la generación de servicios en el Real Estate)».

El sector inmobiliario está a punto de sufrir un cambio disruptivo derivado del nuevo contexto económico, social y tecnológico que otros sectores ya han sufrido. En esta sesión se realizará un recorrido por la aplicación del Machine Learning a este sector y su aporte en los diferentes fragmentos de la cadena de valor del mismo.
Ponente:
Carlos Olmos de Frutos.Es fundador y director de uDA. Ha desarrollado su carrera en el sector del Real Estate donde ha planificado y liderado proyectos de desarrollo e inversión de hasta 14M €. Desde el 2011 lidera diversos proyectos que integran las Smart Cities y el BigData en soluciones de inversión inmobiliaria, integrando equipos multidisciplanares para la creación de productos y servicios con modelos de negocio asociados viables desde las primeras fases. Es arquitecto urbanista por la UPM y por la universidad Paris Val-de-Marne.

20:45 – ¡Cervezas y networking!

Tomaremos unas cervezas y podremos seguir charlando sobre los temas de interés que salgan en esta jornada.

Nos vemos pronto, el 14 de noviembre en Campus Madrid.

1 febrero, 2016

Artículo: Is Spark replacing Hadoop?

Filed under: ASPgems,big data,spark — Etiquetas: , , — juantomas @ 7:11 am

La respuesta corta: SI

http://flip.it/0JzFG

22 septiembre, 2015

En ASPGems hemos preparado un curso de Apache Spark con NeuroK

Filed under: ASPgems,big data,scala,spark — Etiquetas: , , , , — juantomas @ 11:53 am

Empezará el día 1 de octubre es un curso online y usaremos la herramienta de neurodidactica que hemos desarrollado Neurok.

El objetivo del curso es descubrir y entender que es Spark y como sacarle el máximo partido.

La idea es abordar el curso de forma distinta a los cursos tradicionales online y que estamos convencidos que va a revolucionar el mundo de la educación.

Os recomiendo que le echéis un vistazo a estos dos post donde explicamos que es NeuroK:

NeuroK y la Neurodidactica

NeuroK: una nueva manera de aprender.

Aquí está la información del curso Descubre Apache Spark

11 agosto, 2015

Me ha entrevistado Soraya Paniagua

Filed under: big data,Proyectos,scala,spark — Etiquetas: , , , — juantomas @ 12:25 pm

y la verdad que ha quedado genial!!!

 

8 abril, 2015

Hoy toca la V edición del MeetUp de Machine Learning

Filed under: ASPgems,big data,Eventos,scala,spark — Etiquetas: , , , — juantomas @ 11:27 am

En esta edición contaremos con José Manuel Navarro Gonzalez, es Ingeniero de Telecomunicación por la Universidad Miguel Hernández de Elche y, actualmente, doctorando en el Departamento de Ingeniería de Sistemas Telemáticos de la Universidad Politécnica de Madrid e investigador en el Center for Open Middleware, un centro tecnológico mixto entre el Banco Santander, Produban, Isban y la Universidad Politécnica de Madrid.

Su campo de investigación es la mejora de la gestión de sistemas distribuidos mediante la aplicación de Machine Learning. Ha participado en diversos proyectos de investigación, desde la compresión de imagen a la bioingeniería, siempre desde la perspectiva del Machine Learning aplicado. Usa en su día a día y sus intereses de investigación son una confluencia entre el Internet of Things y el Machine Learning que permitan la interconexión de todo lo que nos rodea y los beneficios que se pueden extraer de analizar los datos generados por ello.

El comunicado y oficial y los enlaces a la inscripción están en nuestra sección de big data de aspgems.

 

26 febrero, 2015

Scala para Impacientes: Como instalar Scala

Filed under: ASPgems,big data,Hacks,Proyectos,scala,spark — Etiquetas: , — juantomas @ 11:43 am

Hace mucho tiempo que dejo de ser una noticia que me gusta el lenguaje Scala. Que se ha haya convertido en el lenguaje estrella de la vanguardia de Big Data va a ser la clave del éxito en proyectos como Apache Spark. Pero vamos a ver Scala implicado en todos los proyectos importantes (Kafka, Akka, etc  😉

Esta seríe de posts va a ser estilo shotgun. Esto es una especie de disclaimer: voy a contar como hacer las cosas y a añadir algunos enlaces por si necesitas más ayuda.

Vamos al lio en unos cuantos pasos:

a) Bájate la última versión oficial de Scala. 

Esta es la página oficial de descargas de Scala. 

Tienes varias opciones bajarte el tgz o usar la herramienta typesafe activator que es un IDE para gestionar esto y algunas cosas más. Yo me siempre me bajo el tgz.

El tgz una vez que lo descomprimes con tar xvfz te dejará un directorio con todo lo que necesitas de scala. Muévelo donde más te guste según tus preferencias.

Además en la página de downloads están los IDEs basado en eclipse, netbeans, etc. Yo sigo siendo de VIM, lo llevo usando 30 años seguidos (no he sido capaz de salir ;-P)

b) Mete en tu .profile o .bashrc o lo que use los PATHS

Las variables que necesitas son:

SCALA_HOME=/usr/local/share/scala             # Si has movido el directorio de scala a este directorio

PATH=$PATH:$SCALA_HOME/bin

Ya está!!!

Hay más opciones para instalar scala si usas Linux o Mac OSX como instalar por paquetes, pero yo prefiero hacerlo desde el sitio original y con la última versión 😉

Siguientes pasos:

Sigue la guía oficial de primeros pasos con scala 😉

Mi recomendación: scala tiene shell/consola, pruebala te resultará imprescindible.

 

 

 

 

 

25 febrero, 2015

Hacer proyectos con Spark y Scala tiene premio

Recuerdo que justo hace un año asistí a una charla de introducción al proyecto Apache Spark. Mucho de lo que allí contaron no era más que la primera información de un Spark que se había «graduado» en noviembre del 2013.  También recuerdo perfectamente el comentario final del ponente: «Spark va a ser la bomba»

Aquella frase se me quedó marcada a fuego y confirmaba que no era el único que veía clara la oportunidad y posibilidades de Spark.

Ahora un año después AUTELSI ha premiado la innovación del proyecto de Telefónica MSS-Saqqara  y una parte importante del funcionamiento y prestaciones del producto se lo debemos a Spark. Para ser justos la combinación Spark y el lenguaje Scala es definitivamente ganadora e innovadora. Todas las virtudes de Scala han sido fundamentales para poder influir y concebir Spark y me voy a permitir una pequeña licencia: «Nunca se hubiera podido crear algo como Spark con Java».

La otra parte con la que me siento premiado, realmente premiado, es con el equipo que son los que realmente han conseguido que lo difícil pareciera fácil, los que desde el principio estuvieron dispuestos a salir de su zona de confort para apostar por una tecnología que al final no solo funciona perfectamente si no que además tiene premio.

 

19 diciembre, 2014

Zeppelin: Scala Spark Notebook

Filed under: ASPgems,big data,Hacks,scala,spark — Etiquetas: , , , , , — juantomas @ 12:52 pm

Ya sabéis que no tengo la menor duda que Spark y Scala son mis tecnologías favoritas para el 2015.

Si además sumamos que tanto Scala como Spark tienen shell, el siguiente paso lógico era que tuvieran una herramienta notebook del estilo del python notebook.

Entre las distintas opciones que están apareciendo la que más me ha gustado es zeppelin que integra scala, spark y markdown.

Como un video vale más que mil palabras, este el primer video de la beta de zeppelin.

Powered by WordPress