juantomas Hacking the planet

10 diciembre, 2016

SCIO: como instalar la consola en Mac OSX

Filed under: big data,google bigquery,Open Sistemas,Proyectos — Etiquetas: , , — juantomas @ 8:00 am

Si hay una herramienta que ha mejorado mi productividad en los últimos 10 años han sido las consolas interactivas (REPL). La primera vez que use esta tecnología y le saqué mucho provecho qué cuando empecé a desarrollar sitios webs con ruby on rails.

La consola me vino genial no solo en mejorar mi curva de aprendizaje, si no con el desarrollo día a día.

La gente de spotify ha creado una consola REPL para poder usar interactivamente Scio y desarrollar más rápidamente proyectos que usen apache beam.

Las instrucciones para instalar la REPL en tu mac son muy sencillas si usas homebrew:

brew tap spotify/public
brew install scio
scio-repl

La primera linea instala el tap de spotify con las herramientas para mac/homebrew la gente de spotify y con la segunda se instala la versión compilada de scio REPL.

Podéis encontrar algunos ejemplos de uso de Scio/REPL en la página de GitHub del proyecto Scio.

 

 

8 diciembre, 2016

Mis proyectos favoritos para el 2017

Como ya sabéis en los últimos tiempos he estado promocionando la arquitectura kappa y prácticamente todos los proyectos en los que he estado implicado, se han desarrollado usando esta arquitectura.

Apache Beam

Apache Beam

Desde hace un tiempo he empezado a estudiar y usar Apache Beam. El punto de inflexión ha sido las charlas que vi durante la apachecon big data europe que se celebró en Sevilla y en la que di una charla sobre arquitectura kappa. La conversación que tuve con Sergio Fernandez (@wikier) fue decisiva. Cuando un crack como Sergio te cuenta como está trabajando con Apache Beam y por es una tecnología es killer es muy difícil no investigar más 😉

En resumen, Apache Beam es un framework para crear arquitecturas que trabajen con datos muy al estilo de la arquitectura kappa. Si hubiera que definir una sola característica por la que es interesante sería la capacidad de abstracción en la definición de la arquitectura con un DAG que se puede ejecutar contra distintos frameworks: Apache Spark, Storm, Flink, Google Dataflow o con un Local Runner en tu máquina.

Ahora mismo está en el incubator de la fundación apache y debe estar a punto de ser aprobado para que se convierta en un proyecto oficial. Ya hay empresas usándolo en producción y las pruebas que he hecho no me han dado ningún problema.

También hay una mala y una buena noticia. La mala es que apache beam esta escrito en java y se programa en java. No soy un fan de java y menos de como resuelven las API/SDKs. La buena noticia es que la gente de spotify que usa a tope Apache Beam se ha programado un binding para scala. Además son unos cracks y se nota en lo bien que han resuelto el binding. Han conseguido DSL funcional, bello y casi un clon de spark/cascading. Vamos que no pienso usar java y si scala con el proyecto Scio que es como se llama el proyecto de spotify. Que por cierto tiene licencia apache y está en proceso de merging con Apache Beam.

No son los únicos dos proyectos que incluyo para el 2017,  ya os contaré más en otros posts 😉

 

Powered by WordPress