fbpx

QConSP19: Participação de um Waver

QConSP19
6 minutos para ler

Por Eiti Kimura

Esse ano tive a oportunidade de participar do QConSP como convidado. Eles lançaram um programa chamado #qconstar onde os palestrantes melhor avaliados nas últimas edições do evento foram convidados a palestrar novamente. Pra mim foi uma satisfação muito grande poder participar novamente desse evento e levar um dos nossos cases de tecnologia aqui da Wavy.

Vou compartilhar um pouco das minhas impressões sobre o evento.

Pra quem não conhece o QCon, trata-se de um evento conhecido mundialmente que veio a primeira vez ao Brasil em 2010. Desde então, seu foco é ser um encontro com conteúdo bastante técnico e aprofundado para um público mais sênior e especialistas da área de tecnologia. Em todas as edições, temos a apresentação de temas diversificado e apresentado por grandes empresas que usam esse espaço para apresentar seus cases.

O evento conta também com palestrantes internacionais. Esse ano como Keynotes tivemos Venkat Subramaniam falando sobre mistura de paradigmas de desenvolvimento, Katharine Jarmul falando sobre ética e privacidade em uso de dados e outros grandes nomes. Nessa edição, tivemos o Grupo Movile, juntamente com o Ifood e a Wavy, como patrocinadores do evento.

O evento deste ano também contou com trilhas sobre arquitetura de software, desenvolvimento front-end, microservices, processamento de Big Data, cases de escalabilidade, datascience, tecnologias de vanguarda, linguagens de programação e carreira.

A minha palestra foi na trilha de processamento de Big Data intitulada: Processamento de dados em “tempo real” com Apache Spark Structured Streaming. O foco da minha exposição foi em como construir aplicações de processamento de dados consumindo influxos contínuos de dados, ou seja, os streams. Veja resumo completo aqui!

Hoje o principal desafio com relação a grandes volumes de dados, além de processar, está em  processar em “tempo real”, consolidando e agregando informação à medida que os dados forem chegando. Nesse ínterim mostrei como conseguimos reduzir o tempo de agregação e disponibilização dos dados em nossos dashboards de análise (no caso foi de um processamento em lote de mais de 1h para processamento em tempo real em apenas 5 minutos) aqui na Wavy.

As áreas que mais chamaram minha atenção foram as referentes a escalabilidade de aplicações, big data e data science, muito mais próximas as necessidades dos times que trabalho na Wavy.

O que percebo como tendência – e que ficou bastante claro pra mim – foi que a programação montou uma espécie de trilogia sobre datascience ao longo dos 3 dias: começando com processamento de big data no primeiro dia, depois focando mais em machine learning no segundo dia e fechando o terceiro com datascience aplicado em cases do mercado. Participei de todas essas trilhas e foi bastante comum perceber que as pessoas não estão mais somente preocupadas em como suportar ingestão de dados em larga escala, mas sim em como processar esse amontoado de dados e transformar realmente em informações relevantes que gerem impacto em seus negócios. Muitos olhos voltados pra entender como algoritmos de inteligência artificial podem ajudar nessas tarefas.

Uma apresentação que me chamou a atenção foi a “Automating Software Development with Deep Learning” onde Emil Wallner compartilhou resultados de pesquisas de uso de técnicas de Deep Learning para geração de código. O experimento constituiu em informar uma imagem de um site (ou esboço em wireframe) para o modelo e o resultado seria a implementação daquele layout, gerando o código HTML, CSS referente a imagem exibida, fantástico. O modelo usa duas redes, uma convolucional CNN e outra recorrente RNN (LSTM) que são concatenadas, formando uma estrutura onde o modelo recebe informações dos pixels da imagem e também o código referente ao layout no momento do treinamento visando o aprendizado. Apesar de resultados serem ainda iniciais, mostra que temos potencial de, no futuro, termos modelos de inteligência artificial gerando código e auxiliando os desenvolvedores.

Percebi que muitas trilhas tinham foco em cases como migrações de monolitos para microservices. Esse tipo de palestra vem sendo uma constante nas últimas edições do evento, o que tenho aprendido com elas é que não importa o tamanho da empresa que venha falar, se é uma empresa brasileira ou estrangeira, todas passam pela mesma dificuldade:, conseguir desativar por completo o seu monolito e migrar para modelos flexíveis com microservices. Essa não é uma tarefa fácil, leva tempo, exige planejamento e requer implantação gradativa.

Uma outra tendência muito clara que vem se consolidando no mercado como padrão é o uso de containers. Falando mais claramente sobre o Kubernetes, esse ano, o Nubank levou um case bastante interessante sobre como migrar instâncias na AWS EC2 para o modelo de containers na cloud, foi uma jornada gradativa e bastante penosa, entretanto os benefícios justificaram o movimento.

Com relação a sistemas distribuídos, uma palestra que me chamou a atenção foi a do Martin Spier com A Evolução de Profilers e Tracers na Netflix, mostrando como a Netflix faz profiling de seus servidores de produção, mais focado em análise baixo nível de uso dos recursos do sistema operacional Linux. Ele também mostrou o ferramental desenvolvido dentro da Netflix para colher dados e visualizar problemas, tais como flamegraph e o flamescope que permitem visualizar o impacto das operações sobre as plataformas em alta demanda, bastante interessante pois permitem monitorar o comportamento de sistemas distribuídos de forma visual e muito mais intuitiva.

A conferência esse ano contou também com sessões de AMA (Ask Me Anything), onde os palestrantes eram organizados por seu tema de expertise fazendo sessões abertas de perguntas e respostas aos participantes. Achei o resultado bem legal: ter essa abertura com o pessoal do evento e dar a oportunidade das pessoas tirarem dúvida e curiosidades com os profissionais do mercado fez com que o público aproveitasse muito, interagisse com os palestrantes, e gerando uma troca de experiência muito rica para todos!

Bom, essa foi  uma singela fração dos pontos que  mais chamaram minha atenção durante a conferência!

Participe das próximas edições, conheça a conferência e tire um tempinho para visitar o estande da Movile e da Wavy. Te vejo por lá! 😉

Para acompanhar os eventos que estaremos presentes, fique ligado nas nossas redes sociais!
Facebook Wavy
Facebook Movile
E claro, meu twitter!

Você também pode gostar

Deixe uma resposta

-