Entenda melhor sobre a Cultura Data Driven e os benefícios da consultoria com a visão estratégica de mercado do nosso Diretor Comercial, Igor de Paula.
A performance, segurança e governança dos dados são imprescindíveis para as empresas há décadas. Nos dias atuais, todo e qualquer aplicativo ou sistema retém dados que podem ser utilizados não só para suportar o negócio atual, mas principalmente para gerar novos negócios, que podem até mesmo ser disruptivos e mudar a forma atual de captação de receita.
E isso é a era da Cultura Data-Driven (Orientada a Dados).
Os profissionais especializados dessa categoria são os chamados profissionais de dados. Extremamente valorizados na atualidade.
As possibilidades de atuação nessa área são variadas e dinâmicas, levando até mesmo quem está na profissão a ter algumas dúvidas. Como estou nesse ramo balanceando as necessidades dos demandantes (clientes) e dos consultores que são contratados, vou tentar apresentar um pouco do mercado atual.
Por ser um assunto amplo, vou dividir a análise sobre os perfis dos profissionais em dois: Backend e Frontend.
Nesse artigo vamos falar sobre os profissionais de Backend.
Para exemplificar, pense em um restaurante com modalidade self-service. Algumas coisas básicas precisam acontecer até a hora do almoço:
No dia anterior, planejamento dos produtos necessários para atender a demanda dos clientes do restaurante;
Pela madrugada/manhã, saída ou recebimento dos produtos como verduras, legumes e carne em fornecedores específicos;
Na volta, é iniciado o mise em place (pronuncia-se “mís-an-plás”), que é a parte menos glamurosa, mas essencial em qualquer cozinha. Separar os ingredientes, medir, descascar, cortar, ou seja, deixar tudo a disposição para o momento em que os pratos sejam preparados. Com isso economiza-se tempo e os imprevistos são evitados;
Após essas etapas, a comida começa a ser preparada e posteriormente colocada à disposição dos clientes, para que escolham de acordo com sua preferência o que utiliza, quando e na quantidade que desejarem.
Comparando com essa analogia, os profissionais de backend são especializados em:
Identificar os dados necessários para o cliente e onde estão localizados;
Qual a melhor forma de conectar com as origens;
Planejar como os dados estarão organizados/armazenados depois de coletados;
A frequência e momento em que serão coletados;
Criar a rotina para que esses dados estejam sempre disponíveis para os consumidores necessitarem;
Monitorar. Garantir que se algo sair errado, a correção acontecerá o quanto antes.
Essas são, de forma simplista, as principais funções dos Engenheiros de Dados, Arquitetos de Dados, Administradores de Dados, Administradores de Banco de Dados, entre outros.
São responsáveis por arquitetar e administrar estrutura de dados visando a otimização do armazenamento e o consumo dos dados, escalabilidade on-premises e/ou em cloud, prevenção de desastres e reforçar a segurança dos repositórios de dados como Banco de Dados, Data Warehouse, Data Lake e Delta Lake.
O monitoramento, infelizmente, é o patinho feio da maioria dos projetos em que somos chamados para atuar. Tanto quanto construir, monitorar é essencial para o sucesso do projeto. Não adianta as informações estarem lindas e disponíveis apenas no dia de cortar o laço e inaugurar o projeto. No dia a dia, quando as pessoas forem utilizar, os dados precisam continuar disponíveis e atualizados. Esse monitoramento de possíveis problemas precisa englobar dados e processos de dentro e fora da arquitetura desenhada. Isso porque os dados se tornam muito críticos quando utilizados na tomada de decisão, ou seja, uma falha técnica como problema de conectividade ou uma falha da entrada dos dados na camada do negócio, podem gerar grandes impactos.
Exemplo: Um processo de carga de informações que conecta em 10 fábricas tem algumas variáveis.
Conectividade da central com as fábricas;
Sistemas funcionando em cada uma dessas fábricas;
Processos, como folha de ponto eestocagem, distintos rolando em cada fábrica;
Infraestrutura física do hardware em cadaambiente.
Agora imagina o cenário onde a diretoria avalia diariamente uma informação consolidada de cada fábrica. Se uma falha de processo específico em UMA fábrica ocorrer, a informação que a diretoria precisa avaliar não irá chegar corretamente.
Então esse nível de monitoramento, olhando as regras e processos do negócio, também estão ficando a cargo dos profissionais que implementam soluções de inteligência com dados.
Nesse exemplo, o mínimo que precisa acontecer é uma comunicação para diretoria que para a fábrica com problema, as informações não estarão disponíveis. O ideal é que o problema seja detectado a tempo de ser corrigido e não impacte os consumidores.
A inovação trazida pela transformação dos dados em informação, fortalecida mais ainda pela Cultura Data Driven, é uma peça-chave no desenvolvimento de qualquer organização da atualidade.
Inclusive padarias. É isso mesmo! Mas deixo esse case para o post do meu amigo Caio Amante.
Para que toda essa inteligência seja aplicada, é necessário que a arquitetura esteja muito bem estruturada e resiliente. De novo, de nada adianta os dados estarem disponíveis só no dia em que o presidente vai cortar a fita de lançamento do “BI”.
A inteligência com os dados aperfeiçoa as ações dos sistemas do negócio, para que sua corporação tenha resultados importantes em relação ao desempenho e funcionamento. O serviço desses profissionais é a base para que seja possível traçar o perfil da empresa e dos clientes, entender como o business funciona, determinar indicadores de produtividade, a qualidade do serviço prestado, a lucratividade, mudança de estratégias e outros.
É o pilar. Como no restaurante, se essas etapas básicas não forem executadas, na hora em que os consumidores chegarem para se servir, irão encontrar problemas e talvez não voltar mais.
Se o trabalho desses profissionais de dados é tão importante, por que terceirizar?
Dificuldade para encontrar/manter profissional qualificado:
Nesse artigo, vou abordar arquitetura, governança, processos de extração, transformação e carga de dados. Nem falamos ainda sobre o perfil “frontend”.
Mesmo assim a quantidade de tecnologias por trás desses processos é bem grande. Alguns poucos exemplos: Data Lake, Delta Lake, Datawarehouse, Integration Services, Pentaho, Databricks, Azure Data Factory, Synapse Analytics, entre outros.
Ou seja, não é uma missão simples, nem recomendada, buscar UM profissional que possua especialização em todos esses produtos e serviços.
Existem sim profissionais que são incrivelmente versáteis e conhecem boa parte desses produtos a fundo, mas são exceção. Em geral acabará encontrando profissionais generalistas que, apesar de conseguirem entregar o projeto no dia de cortar o laço, a entrega pode não ser sustentável.
Não porque o profissional é ruim, longe disso. Simplesmente porque ele é um só. E sem metodologia e com perfil generalista, é fácil cair em pegadinhas de governança, monitoramento e/ou performance.
Pensa comigo, UM profissional consegue realizar monitoramento da operação 24x7x365 dias no ano? A chance de algum problema passar despercebido é grande. Ainda mais quando novas atribuições forem sendo concedidas a ele. Esse é apenas um exemplo.
O formato que mais vejo dando certo nas dezenas de consultorias que já intermediei é ter um profissional generalista, ou mesmo especialista em determinado assunto, dentro da organização. Esse profissional conhece do negócio, conhece as pessoas chaves e faz a ponte com os profissionais especialistas da consultoria. Precisa de uma informação que no momento não está disponível?
Ele pede ajuda de um arquiteto que através de uma metodologia vai detectar o que será necessário para coletar essa informação. Precisa de um especialista em Data Factory, o arquiteto juntamente com o profissional da empresa, irão alocar esse especialista.
Esses são os projetos que vejo com grandes probabilidades de sucesso. O profissional sozinho dentro da empresa não consegue escalar a quantidade de entregas necessárias para evolução da empresa, SEMPRE é o gargalo. E por ser gargalo, é pressionado para entregar mais rápido, o que compromete muito a qualidade da entrega final. Ou seja, problemas avante. Um deles é o monitoramento. Só percebem que o relatório está sem dados quando a diretoria se senta para tomar decisão. Nesses cenários, todo mundo perde:
Diretoria não acredita no projeto e entende o investimento feito como perdido.
O profissional, apesar de ser super dedicado, ter feito diversas horas extras, deixando muitas vezes a família de lado e passado por muito stress, cai em descredito, simplesmente por ter muitos pratos girando ao mesmo tempo sem metodologia.
Fora esses pontos ainda existem outros:
Longos processos de contratação. Vagas abertas por meses;
Risco de perder o profissional para a concorrência. Mercado está super aquecido. Inclusive com vagas para o exterior;
Doenças, férias, problemas pessoais… Isso tudo gera a necessidade da contratação, mesmo que temporária, de mais um profissional do ramo e, com isso, a dificuldade de contratação volta à tona novamente.
Especialização baseada em pool de profissionais:
Consultorias que proveem profissionais de dados devem garantir que os profissionais alocados, presencialmente ou remotamente, sejam especializados em determinada tecnologia, nesse exemplo, tudo que envolve o backend. Ter a garantia de que os dados, tão vitais, estão sendo gerenciados por ótimos profissionais, certificados e com experiência de mercado é um grande motivo para se terceirizar.
E mais que isso, quando existe um pool de profissionais especializados em diversas tecnologias, para cada cenário, um ou mais profissionais podem ser alocados para resolver um problema. Por exemplo: Um cenário onde existe necessidade de atuar com Pentaho e tuning em consultas de T-SQL no SQL Server, provavelmente vai envolver no mínimo dois profissionais para uma entrega de qualidade nos dois produtos. Muito fácil encontrar cenários onde processos de 6h de execução caem para 2 minutos após atuação de especialistas nessas duas camadas.
Sem querer entrar no mérito, mas em ambientes cloud, um tuning como esse impacta diretamente não só no tempo decorrido mas também no custo.
Pensa se a empresa paga 6h de processamento por dia e após o tuning, começa a pagar 2 min. O saving financeiro é gigante.
Redução de custos:
Muitas pessoas acham que o investimento com um profissional de dados externo será maior do que a de um profissional CLT, alocado 220 horas por mês. Isso é um mito. Quando se contrata um serviço desse tipo, geralmente são fechados pacotes de horas produtivas mensais. Ou seja, se o contrato é de 60 horas, semanalmente ou mensalmente, o cliente receberá um relatório de todas as ações que foram realizadas. Vale ressaltar que essas ações são feitas por especialistas no ramo, o que torna as 60 horas muito mais produtivas do que 220 horas realizadas por um profissional júnior, pleno e até sênior mas generalista, sem especialização.
Lembra do exemplo acima?
Exemplo 1:
Custo de um Data Engineer CLT com salário de R$ 7.902:
Esse é o salário base. Fora imposto que a empresa irá pagar (média de 37%/mês), férias, décimo terceiro, plano de saúde e etc.
Custo médio sem benefícios = Salário (R$ 7.902) + Impostos (37%) = R$ 10.825.74
Nesse cenário a empresa contará com um Data Engineer dedicado. Mas o escopo desse profissional é bem delimitado. Talvez falte conhecimento sobre arquitetura, governança e metodologia, visto que estamos usando um valor médio. Profissionais mais completos tendem a ter custo mais elevado.
Exemplo 2:
Contrato de 60 horas mês com consultoria que possuía, por exemplo, profissional certificado com Azure Data Engineer, maior certificação da Microsoft atualmente para esse cargo:
60 horas/mês X R$180,00/hora = R$10.800,00
Ou seja, nesse exemplo, há uma equiparação no custo mensal, mas com a alocação de um pool com profissionais que permitem uma entrega mais completa, visto a metodologia de atuação em time de especialistas.
Esses números são apenas exemplos, podendo ser menores ou maiores de acordo com o tipo de ambiente, ramo de negócio, benefícios, necessidade de disponibilidade e etc.
Se você está se perguntando: os profissionais juniores e plenos não terão mais espaço? Obviamente que terão. Muitas empresas optam por manter sua estrutura interna para atendimento de tarefas do dia a dia, tendo a Consultoria para ações mais complexas e estratégicas.
Para finalizar, mais uma característica encontrada em consultorias:
Service Level Agreement: O SLA é outro ponto importante na comparação, visto que um profissional dedicado não possui cláusula contratual que o comprometa com entrega de disponibilidade, por exemplo. Uma consultoria deve entregar isso, de forma que se houver quebra de SLA, ela será penalizada. Isso acaba redirecionando grande parte da responsabilidade de manter a disponibilidade para a consultoria e não mais para a companhia.
Insegurança Jurídica: Todo o processo burocrático de contratação do profissional é redirecionado para a empresa prestadora do serviço. Reduzindo gastos com pessoal de RH, tempo para contratação e reposição de profissionais.
Mas qual é o segredo? Como é possível alocar profissionais especialistas, entregar mais qualidade e pagar menos?
A palavra-chave aqui é metodologia. A consultoria modelou a sua estrutura de trabalho para ser escalável.
Com criação de rotinas proativas, profissionais altamente qualificados e esquemas de trabalho 24/7. Eles atuam de forma estratégica e inteligente, otimizando recursos, de qualquer lugar do mundo. Lembra da história de saber qual botão apertar? É isso. São experientes e otimizados no que se propõem a fazer. Dessa forma, ganham em escala, conseguindo alocar o mesmo profissional em diversos clientes, com grande entrega de valor. E essa experiência em diferentes mercados, acaba por auxiliar muito a criação de novos negócios.
Associar o seu negócio com consultorias é então um INVESTIMENTO que trará retornos não só em tempo, mas também no quesito financeiro.
Grandes empresas globais contratam o tempo todo consultorias para impulsionar a produtividade nas áreas em que não são especialistas.
Quer impulsionar a inovação com seus dados e otimizar os serviços da sua empresa? Converse com a gente!
Dataside Director