Case »
Computação em Grid para enviar milhões de e-mails/hora
Ao final de 2006, Fernando Alonso e a equipe Renault sagraram-se campeões do campeonato de Fórmula 1. Sempre imaginamos o esforço necessário para vencer um campeonato tão competitivo - as constantes inovações e a obsessão pela redução de milésimos de segundo a cada corrida.
Poucas horas após a conquista do campeonato mundial de Fórmula 1, centenas de milhares de clientes Renault já haviam recebido uma mensagem comemorativa em seus e-mails. Os indicadores de leitura e cliques estão entre os mais altos dentre as inúmeras ações realizadas.
Quando realizamos as primeiras sessões de brainstorming para definir os requisitos do sistema de E-mail Marketing da Zartana, tínhamos em mente uma meta de velocidade muito bem definida: 18 e-mails por segundo. Esta proporção nos daria condições de entrar em um mercado já competitivo, com muitos concorrentes experientes e disputar clientes com necessidade de envio de grandes volumes de mensagens o mais rápido possivel.
Ao final de 2006, atingimos outra meta interessante: mais de 180 e-mails por segundo, ou dez vezes nossa meta inicial. Impressionante? Nem tanto: seis meses depois, mesmo em nosso nível básico de serviços, já estamos enviando mais de 270 e-mails por segundo, cerca de 1 milhão de e-mails por hora. E não vamos parar por aqui.
No centro de toda esta tecnologia, está um conceito chamado "computação em grid". Nesta arquitetura, não temos um único programa, mas diversos programas diferentes rodando em vários computadores ao mesmo tempo. Esta técnica é utilizada, por exemplo, em supercomputadores nas pesquisas genéticas, de medicamentos e tratamentos contra o câncer.
Nossa arquitetura possui recursos para processamento paralelo, chamados threads, que funcionam como trabalhadores em uma fábrica. Quanto mais trabalhadores, mais tarefas conseguimos completar em menos tempo. Um programa, por exemplo, gera algumas tarefas e as coloca em um espaço, que funciona mais ou menos como uma caixa. Sempre que nossa caixa estiver vazia, este programa trabalha para enchê-la novamente com tarefas. Cada trabalhador de outro programa pega uma destas tarefas e faz o seu trabalho, colocando as tarefas concluídas de volta nesta caixa. Estas tarefas concluídas serão ainda processadas por outro tipo de trabalhador em outro programa, como em uma linha de montagem. Não importa em qual fábrica cada trabalhador está, eles trabalham em conjunto, mas de forma independente e desacoplada.
Desta forma, resolvemos muitos problemas e geramos muitas facilidades. Primeiro, conseguimos distribuir nossos trabalhadores em muitas fábricas. Também conseguimos adicionar, redistribuir ou remover trabalhadores e fábricas, sem parar o sistema. Se houver algum problema com uma de nossas fábricas, as outras continuam funcionando normalmente. Virtualmente, construímos novas fábricas e alocamos novos trabalhadores a qualquer momento.
Temos colhido resultados fantásticos com esta arquitetura até o momento, e temos muito espaço para evolução.
E o que vamos fazer para entregar e-mails ainda mais rápido? Isto é segredo. Mas posso afirmar o seguinte: estamos trabalhando também para enviar e-mails mais devagar, pois alguns provedores não conseguem agüentar nossa demanda. Afinal, até um Renault F1 precisa de bons freios.
Paulo Schlup Santos (paulo.schlup@zartana.com) é Diretor de Engenharia de Software da Zartana e conta com 8 anos de experiência arquitetando soluções de tecncologia de alta performance.
Você tem um caso de sucesso? Participe, compartilhe suas ações práticas e experiências reais.
Envie dúvidas, sugestões e idéias para ideiasedicas@zartana.com
