arquitectura kappa y prácticamente todos los proyectos en los que he estado implicado, se han desarrollado usando esta arquitectura.
[caption id="attachment_2887" align="alignleft" width="150"]
Apache Beam[/caption]
Desde hace un tiempo he empezado a estudiar y usar Apache Beam. El punto de inflexión ha sido las charlas que vi durante la apachecon big data europe que se celebró en Sevilla y en la que di una charla sobre arquitectura kappa. La conversación que tuve con Sergio Fernandez (@wikier) fue decisiva. Cuando un crack como Sergio te cuenta como está trabajando con Apache Beam y por es una tecnología es killer es muy difícil no investigar más 😉
En resumen, Apache Beam es un framework para crear arquitecturas que trabajen con datos muy al estilo de la arquitectura kappa. Si hubiera que definir una sola característica por la que es interesante sería la capacidad de abstracción en la definición de la arquitectura con un DAG que se puede ejecutar contra distintos frameworks: Apache Spark, Storm, Flink, Google Dataflow o con un Local Runner en tu máquina.
Ahora mismo está en el incubator de la fundación apache y debe estar a punto de ser aprobado para que se convierta en un proyecto oficial. Ya hay empresas usándolo en producción y las pruebas que he hecho no me han dado ningún problema.
También hay una mala y una buena noticia. La mala es que apache beam esta escrito en java y se programa en java. No soy un fan de java y menos de como resuelven las API/SDKs. La buena noticia es que la gente de spotify que usa a tope Apache Beam se ha programado un binding para scala. Además son unos cracks y se nota en lo bien que han resuelto el binding. Han conseguido DSL funcional, bello y casi un clon de spark/cascading. Vamos que no pienso usar java y si scala con el proyecto Scio que es como se llama el proyecto de spotify. Que por cierto tiene licencia apache y está en proceso de merging con Apache Beam.
No son los únicos dos proyectos que incluyo para el 2017, ya os contaré más en otros posts 😉
]]>
diciembre 8, 2016
Mis proyectos favoritos para el 2017
febrero 1, 2016
septiembre 22, 2015
En ASPGems hemos preparado un curso de Apache Spark con NeuroK
NeuroK y la Neurodidactica NeuroK: una nueva manera de aprender. Aquí está la información del curso Descubre Apache Spark]]>
agosto 11, 2015
Me ha entrevistado Soraya Paniagua
Mi último post es una entrevista a @juantomas : Spark es una de las tecnologías más bellas de los últimos 30 años Ⓢ http://t.co/ihxQpjRgSc
— Soraya Paniagua (@sorayapa) August 11, 2015 ]]>febrero 25, 2015
Hacer proyectos con Spark y Scala tiene premio
proyecto Apache Spark. Mucho de lo que allí contaron no era más que la primera información de un Spark que se había «graduado» en noviembre del 2013. También recuerdo perfectamente el comentario final del ponente: «Spark va a ser la bomba» Aquella frase se me quedó marcada a fuego y confirmaba que no era el único que veía clara la oportunidad y posibilidades de Spark. Ahora un año después AUTELSI ha premiado la innovación del proyecto de Telefónica MSS-Saqqara y una parte importante del funcionamiento y prestaciones del producto se lo debemos a Spark. Para ser justos la combinación Spark y el lenguaje Scala es definitivamente ganadora e innovadora. Todas las virtudes de Scala han sido fundamentales para poder influir y concebir Spark y me voy a permitir una pequeña licencia: «Nunca se hubiera podido crear algo como Spark con Java». La otra parte con la que me siento premiado, realmente premiado, es con el equipo que son los que realmente han conseguido que lo difícil pareciera fácil, los que desde el principio estuvieron dispuestos a salir de su zona de confort para apostar por una tecnología que al final no solo funciona perfectamente si no que además tiene premio. ]]>
diciembre 19, 2014
Zeppelin: Scala Spark Notebook
zeppelin que integra scala, spark y markdown. Como un video vale más que mil palabras, este el primer video de la beta de zeppelin. ]]>