Resultados de busca

O #dataholic Matheus Rafael escreveu um artigo que vai responder à essa pergunta bem frequente. Bora conferir?! Fala galera, tudo certo? Me chamo Matheus Rafael e em meu primeiro post no blog da Dataside escolhi compartilhar como resolver uma necessidade bem frequente quando desenvolvemos cálculos utilizando a linguagem DAX no Power BI. Preparados? Então, vamos lá! O total da minha tabela não é a soma das linhas, e agora? Digamos que eu precise criar uma tabela com o valor da venda por produto e fazer este mesmo valor ao quadrado. No Power BI então, inserimos em uma tabela a coluna Itens, o valor da venda e o cálculo para elevar ao quadrado. Assim, obtemos o seguinte resultado: Podemos notar que nos itens os valores aparecem perfeitamente, porém, o total não corresponde com a soma, como é na coluna Venda Total, pois, 115.000 deveria ser o resultado correto em Valor ao Quadrado. Portanto, como resolvemos? Este é um problema bem recorrente no dia a dia de quem desenvolve medidas em DAX, sejam das mais básicas, como a do exemplo apresentado, ou medidas mais complexas. Isto ocorre devido a forma como o Power BI faz o cálculo “por baixo dos panos”, pois ele percorrerá a tabela linha a linha e trará o resultado de acordo com esta característica, apresentado logo abaixo. Então, precisamos alterar o contexto da medida Valor ao Quadrado, para que o total seja a soma das linhas. Desta forma, utilizaremos três expressões bem conhecidas na linguagem DAX. A CALCULATE, SUMX e VALUES. Primeiramente, iniciaremos utilizando a SUMX e dentro do argumento Table, aplicaremos a VALUES com a coluna Itens. No argumento “Expression” da SUMX, inserimos a estrutura da medida Valor ao Quadrado dentro de uma CALCULATE, para que seja feita a transição de contexto do total para a soma das linhas. Então, temos o valor esperado no cálculo Total Ajustado. Podemos ler a medida Total Ajustado da seguinte forma: “Power BI, calcula pra mim a soma linha a linha (SUMX), dos Itens da tabela Produtos ( VALUES ( Produtos[Itens] ) ), alterando o contexto da soma de Venda Total ao quadrado ( Obs.: Este cálculo funciona tanto chamando a medida dentro da CALCULATE, quanto montando sua estrutura diretamente (como no exemplo mostrado acima), basta que indiquemos corretamente qual a coluna principal – VALUES ( Produtos[Itens] ). **Chamando a medida dentro da CALCULATE Espero que esta dica tenha te ajudado e continue ligado em nosso blog!!! #godataholics PowerBI dataholic dataside

Para quem ama as facilidades que a organização e a produtividade geram no dia a dia, o Microsoft Teams é uma ferramenta indispensável. A #dataholic Letícia Carvalho, escreveu um artigo em que compartilha como usamos a função de aprovação no time de marketing da Dataside e que você também pode usar com sua equipe, até mesmo em outros setores. Bora conferir? Eu já disse aqui que amo facilidades? Pois é! Eu vim de agências de publicidade, de multinacionais e também de projetos independentes. Algo que me despertava interesse era a organização e produtividade (algo que eu amo). Já utilizei alguns sistemas, planilhas compartilhadas e offline. Hoje, aqui na Dataside, eu utilizo os recursos da Microsoft para controlar pautas, jobs e aprovações. É um APP isso? Preciso usar o Flow? Eu achei que seria algo complexo, mas eu pesquisei e encontrei duas formas bem legais. Uma delas é utilizando o Power Automate (Flow | um processo um pouco mais longo) e utilizando a aplicação do próprio Teams (é dessa que vamos falar hoje!). São apenas 5 passos! 1- Instale o Microsoft Teams em seu computador. 2- Selecione a aba “Equipes“, no canto esquerdo. 3- Escolha o canal a inserir a aprovação: 4- Selecione a caixa “Nova Conversa”, no campo inferior do chat. 5- Ainda no campo inferior do chat, selecione o ícone que aparece três pontinhos “…”. Procure pelo APP “Aprovações”. 6. Selecione o APP “Aprovações” e siga os passos que aparecerão em sua tela: Nome da solicitação: Insira o nome do job, vai facilitar para os aprovadores. Aprovadores: Insira o e-mail dos responsáveis pela aprovação do job. Lembre-se: somente poderá aprovar, pessoas que fizerem parte do canal. Detalhes adicionais: Insira todos os detalhes que o receptor da mensagem (aprovadores) precisarão para entender o seu job. Exemplo: Legenda ou briefing. Anexos: Carregue o arquivo a ser aprovado. Aqui na Dataside nós utilizamos o Sharepoint. Respostas personalizadas: Aqui, você pode personalizar a respostas que o aprovador deverá escolher. Exemplo: “Ok”ou “Ajustar”. Sumário Prontinho! Prontinho! A sua solicitação foi enviada ao chat! Para aprovar, os aprovadores precisam clicar em “Exibir Detalhes” e aprovar ou não o job. Ah, você também pode “Exibir detalhes” e ver quem ainda não aprovou! OBS: você também pode criar um canal, no canto esquerdo da sua janela (onde aparecem as opções de Equipes, Chats e Atividades) se sua equipe toda precisar acessar esses materiais. A opção que expliquei é para aprovações em um único chat. Por hoje é isso, pessoal! Curtiu? Compartilhe com os amigxs 🙂 Gestão Liderança dataside dataholic

O dataholic Abraão Vasconcelos compartilhou com a gente seu conhecimento sobre o operador CUBE. Bora conferir?? Você já ouviu falar do operador CUBE no SQL Server? Para entender o que esse operador faz, vamos começar criando um sistema bastante simples de locação de carros. create table carro ( car_cod int not null primary key identity(1,1), car_marca varchar(50) not null, car_modelo varchar(50) not null ) insert into carro values (‘Toyota’, ‘Modelo 1’), (‘BMW’, ‘Modelo 3’), (‘Mercedes-Benz’, ‘Modelo 2’) create table cliente( cli_id int not null primary key identity(1,1), cli_nome varchar(1000) not null ) insert into cliente values (‘Cliente A’), (‘Cliente B’), (‘Cliente C’),(‘Cliente D’), (‘Cliente E’), (‘Cliente F’), (‘Cliente G’) create table locacao( loc_cod int not null primary key identity(1,1), loc_car_cod int not null references carro(car_cod), loc_cli_cod int not null references cliente(cli_id), loc_dt date not null ) insert into locacao values (1, 3,’2019-04-21′),(2, 3, ‘2019-05-31’),(3, 1, ‘2015-03-25’), (2, 4, ‘2016-04-15’),(3, 5, ‘2013-02-09’),(1, 2, ‘2014-12-04’),(3, 2, ‘2014-07-01’), (3, 2, ‘2019-07-11′), (3,4,’2019-01-10′), (1,3,’2014-06-14′), (1,3,’2014-09-08′), (3,4,’2015-02-18′), (3,1,’2015-12-17′),(1,3,’2013-11-15’) Agora imagine que nós precisamos montar um relatório capaz de agrupar todos os nossos dados por ANO e Marca. O objetivo deste relatório é trazer o número total de vezes que os carros de uma determinada Marca foram alugados em cada ano. Neste momento não nos interessa saber o modelo do carro. Conseguimos montar este relatório utilizando a cláusula GROUP BY. Agora imagine que precisamos exibir em nosso relatório o número total de locações para cada marca, esta nova informação considera todos os anos. E para deixar o nosso relatório mais completo, mostraremos o total de locações por ano, ou seja, não importa a marca, queremos saber o total em cada ano. Vamos resolver este problema pegando a consulta anterior e colocando as colunas do group by dentro do operador cube. Também vamos comentar a cláusula order by. Veja que as linhas com os valores que representam os totais mostram NULL para Ano e Marca. Vamos tratar estas duas colunas usando expressões CASE. E agora conseguimos ver o nosso relatório completo com a ajuda do CUBE! Não esqueça de digitar todos estes códigos no seu ambiente de testes! Gostou desse conteúdo? Deixe seu comentário para gente saber e compartilhar mais conteúdos com esse tema 😊

O dataholic Gabriel Carvalho produziu um conteúdo especial para te ajudar a entender melhor sobre visualização de dados. Bora conferir?! Fala pessoal!! Me chamo Gabriel, sou consultor de Business Intelligence e muito apaixonado por design e visualização de dados. Nesse meu primeiro post do ano eu gostaria de falar um pouco sobre como construir um bom gráfico e a importância disso. A visualização de informação sempre esteve presente no nosso dia a dia, em placas de trânsito, folders, anúncios na internet, aplicativos, etc. Principalmente nas empresas, que por traz dos dashboards e relatórios existe uma pessoa que irá tomar alguma decisão importante. É justamente esse ponto que eu irei me basear para este artigo. O que é um bom gráfico para tomada de decisão? O que eu devo considerar? Será que eu uso gráfico de barras ou gráfico de linhas? É melhor tirar o eixo Y e deixar os rótulos? Será que eu deixo essa informação em primeiro ou jogo ela lá pra baixo? São essas e milhares de outras dúvidas que eu tive quando estava construindo meus primeiros dashboards. Obs: Meus projetos sempre voltavam com pedidos para reorganizar os objetos na tela e ajuste de cores rsrs. CONSTRUINDO UM GRÁFICO Em todos os projetos que eu participei, sempre utilizei o PowerBI e de todas as minhas dúvidas a mais pertinente era: “Será que é melhor o gráfico de linhas ou de barras?”, “e como saber que um é melhor do que o outro?”. Existem técnicas e boas práticas para apresentar dados que dependem muito do objetivo do projeto e do dashboard. Na imagem abaixo você pode ver vários tipos de visualizações separadas por objetivo: E de fato isso é muito útil no dia a dia e me ajuda no desenvolvimento dos projetos. Com base nesse mapa mental podemos concluir que, se quisermos mostrar o faturamento de uma empresa por ano a melhor opção seria o gráfico de barras? A minha resposta para isso é…. depende!! Veja o exemplo abaixo: Se considerarmos as boas práticas, sim, esse é um bom gráfico. Ele está sem ruídos, a cor é agradável aos olhos, o título e eixo não estão chamando mais atenção do que o dado, possui rótulos discretos e conta uma boa história (queda no faturamento a partir de julho). Mas se o seu usuário quiser identificar a queda no faturamento de uma forma mais rápida e visual? Um gráfico de linhas pode suprir essa necessidade: Repare que a queda está mais visível no gráfico de linhas. Chamando muito mais atenção do que o gráfico de barras. Porém, não sabemos se realmente os dois gráficos estão cumprindo com seus objetivos. Para julgar o valor de uma visualização você precisa saber o contexto em que ela está inserida. Se a necessidade do usuário for de identificar as quedas e a variação do faturamento, o gráfico de linhas poderá ser o ideal. Se a necessidade for apenas de acompanhar o faturamento mês-a-mês, o gráfico de barras pode ser a melhor opção. O que importa é o contexto em que cada visualização está inserida!! E para entender esse contexto você deve fazer algumas perguntas de grande valor antes: · Quem quer ver isso? · O que eles querem? · O que eles precisam? · Que ideia eu quero transmitir? · O que eu posso mostrar? · O que eu devo mostrar? · Depois de tudo isso, como vou construir? A qualidade de uma visualização não é medida pelo quão bem ela segue as regras de apresentação apenas. Esse conteúdo foi útil para você? Deixe seu comentário para gente saber e compartilhar mais conteúdos com esse tema 😊

Preparem as anotações, porque com esse artigo escrito pelo #dataholic Lucas Porto, você vai aprender como importar dados do SQL Server 2019 para uma versão inferior. Fala pessoal, gostaria de compartilhar uma dica rápida com vocês. Essa vai para quem já se deparou com a situação de ter que realizar um restore em uma instância destino mais antiga que a de origem. Como sabemos, o SQL não possui a funcionalidade de realizarmos a restauração de um arquivo de backup padrão do SQL (.bak) para um outro servidor com um SQL mais antigo. Quando me deparei com essa situação, na qual foi solicitado uma restauração de um banco que estava em um SQL Server 2019 para um SQL Server 2008R2, não encontrei muitas soluções para isso. Irei escrever uma série de artigos indicando as maneiras mais simples e eficaz de fazer isso. Como primeiro caso, iremos utilizar o opção “Generate Scripts”, onde é possível transferirmos desde estruturas de tabelas até os próprios dados contidos nela. Esse método é indicado para banco de dados de poucos GBs, pois o tamanho do arquivo gerado pode inviabilizar a importação dele no banco de dados destino, devido ao longo tempo de execução. Para o exemplo, iremos utilizar o banco AdventureWorks, disponível no link abaixo: https://docs.microsoft.com/pt-br/sql/samples/adventureworks-install-configure?view=sql-server-2017 Primeiramente, devemos acessar a opção Generate Scripts, localizada na aba Tasks: Ao clicar, será aberto a tela abaixo, onde podemos clicar em avançar. Nesta etapa, podemos selecionar que objetos queremos importar como tabelas, views, procedures, entre outros: Como no nosso caso, iremos restaurar um banco por inteiro, deixamos a primeira opção selecionada e podemos avançar. Nessa próxima página, nos é mostrado diversas formas de salvarmos os scripts que serão gerados, porém, se salvarmos do modo que está, teremos apenas as estruturas das tabelas e objetos, onde os dados e outras configurações não existirão no conteúdo gerado. Para ajustarmos isso, devemos clicar em Advanced: Dentro dessa aba, podemos adicionar diversas opções em nosso script, onde definimos principalmente duas opções: “Script for Server Version” – A versão do banco de dados destino; “Types of data to script” – Onde escolhemos apenas os schemas, somente os dados ou ambos. Conforme o exemplo citado, iremos utilizar como banco destino um SQL Server 2008R2, exportando tanto os dados quanto os schemas: Após configurado, podemos dar um Ok e gerarmos o Script. No meu caso, irei importar para uma pasta existente em meu computador: Com isso, podemos avançar e confirmar as opções selecionadas: Após um tempo carregando, o script será gerado e estará disponível no caminho indicado. No nosso caso, o banco possuía 330MB e gerou um script com cerca de 780mil linhas, o que acaba sendo difícil de ser executado no SSMS. Desse modo, para executar o script no banco destino, preferi utilizar o sqlcmd, utilizando o “-i” para indicarmos onde estava nosso script (input) e o “-o” para indicarmos onde queremos a saída (output). Caso quisermos executar o comando no cmd via SQL Authentication, utilizaremos o comando abaixo: sqlcmd -S NomeDaInstância -U UserSQL -P Senha -i LocalDoArquivo -o LocalDaSaida Caso estejamos utilizando o modo de autenticação do Windows, utilizamos o comando abaixo: sqlcmd -S NomeDaInstância -i LocalDoArquivo -o LocalDaSaida Ao iniciarmos, a tela do cmd se manterá estática, porém podemos consultar o status através de nosso arquivo de output que foi criado: Esse processo pode demorar um pouco, dependendo do tamanho do banco de dados e do desempenho de seu hardware. No nosso caso, o processo durou cerca de 10 minutos. Após finalizado, o banco pode ser utilizado normalmente, onde os objetos já estão disponíveis para uso: É isso aí, pessoal. Esse foi um caso que ocorreu em meu dia a dia que achei interessante compartilhar, onde muitas vezes nos deparamos com essa situação e acabamos sem saída. Caso tenha ficado alguma dúvida, estou disposto a ajudar. Espero que tenham gostado e até mais! SQLserver

Em cada conteúdo da Dataside, sempre enfatizamos a importância dos dados e como eles influenciam no crescimento das organizações. O cuidado com o que consideramos uma preciosidade deve ser levado muito a sério e com muita responsabilidade. Por isso, neste artigo, vamos conversar sobre quem cuida dos dados das empresas: o Administrador de Banco de Dados – DBA. Todas as informações relevantes para as empresas estão concentradas em forma de dados no Banco de Dados. O DBA é o profissional responsável por gerenciar e monitorar esses conjuntos de informações com cuidado e qualidade, mantendo o banco em segurança. Esse texto foi elaborado pelo nosso CEO Caio Amante. Bora conhecer as 5 skills para ser um DBA de sucesso? 1. Conheça o produto Independente do SGDB que você irá administrar, é de suma importância que você estude, faça cursos, entenda tudo sobre ele. Ok, mas é quase impossível entender tudo, concorda? Eu também concordo, alguns pontos que gosto de focar são: engine do produto, como ele funciona, qual seu comportamento e entender as features do banco de dados. Acredito que isso, apesar de mais teórico, dá muito embasamento técnico para discussões, melhorias na visão em momentos de crise e, principalmente, para domínio da ferramenta em si. 2. Capacidade de troubleshooting Apesar de sempre achar que é necessário conhecimento técnico para fazer um bom troubleshooting, eu conheço muitos profissionais técnicos (mais técnico do que eu) e mesmo assim, em momentos de crise, de tomada de decisão e de análise da causa raiz, acabam dando “tiros” errados ou não tão precisos. Acredito que o profissional que consegue ser “cirúrgico” na hora de analisar os problemas, tende a ter muito sucesso. Imagine aquela Black Friday que de repente “para tudo”? Se você não tiver uma capacidade de troubleshooting excelente, vai morrer na praia. Lembrando que: para você ser bom em análise de problemas, é primordial frieza e calma. Então, anote ai! 3. Visão do todo Sempre digo para os meus pupilos que: um bom DBA, em geral, já passou por uma área de infra ou uma área de desenvolvimento. No entanto, para mim, um bom DBA precisa conhecer sobre hardware, redes e de programação. Talvez você não precise ser o cara mais foda nisso, mas ter o entendimento de um storage, de como funciona a troca de pacotes de rede ou mesmo conhecer contadores de sistema operacional (rede, disco, memória e processador) é primordial para você analisar problemas, além de entender se o problema, de fato, é o banco de dados e também para ter maior convicção em um momento de tomada de decisão. Vejo muitas pessoas, hoje em dia, sem nenhum conhecimento, querendo iniciar diretamente como DBA, sempre recebo mensagem dessas pessoas, me perguntando: por onde começar? Um bom caminho é conhecer linguagem SQL e entender um pouco sobre disco, memória, rede, processador e como é o comportamento básico de um servidor. Isso, sem dúvidas, lhe ajudará em sua profissão. 4. Proatividade Talvez, esse item tenha feito eu me destacar na vida profissional. Sabe aquela história de que as pessoas só vão no médico quando estão morrendo? Infelizmente me deparo o tempo todo com essa analogia em banco de dados, o defunto já chega sem respirar, procurando uma consultoria [rsrsrs]. As pessoas esquecem que o DBA nada mais é que um ADMINISTRADOR e sendo um, precisa ter organização, rotinas preventivas e, principalmente, monitoramento da saúde do ambiente. “PERA AÍ” monitoramento da “SAUDE”! Assim como o nosso corpo precisa de um checkup, o ambiente de banco de dados precisa ter monitoramento e checklists recorrentes. Desta forma, quando temos tudo já organizado, o trabalho sempre fica em manter a casa em ordem e buscar melhorias. Eu, quando era um DBA SQL Server, sempre gostava de organizar a casa, implementar alguns monitoramentos, alertas e trabalhar constantemente em melhorias, principalmente em query tuning. Desta forma, eu sempre estava mostrando resultado e vendendo o meu peixe. Afinal, do que adianta fazer um bom trabalho se ninguém enxerga? Mas isso já o é assunto do nosso último skill. 5. Saiba vender o peixe A profissão de DBA é uma das mais ingratas do mundo, pois exige imensa responsabilidade e é muito difícil de mostrar o valor do negócio. Para isso, eu acho primordial saber: • Documentar o trabalho • Detalhar • Falar bem • Fazer apresentações constantes do que tem sido feito Quer dizer que DBA precisa saber vender? Sim, precisa saber mostrar o resultado do trabalho que é realizado e que é de extrema importância para a empresa. Se você, como DBA, não mostrar para seus superiores, gerentes, diretores o que você faz, você vai ser trocado e outro mostrará. Para finalizar, ressalto a importância de documentar tudo pois, no fim, quando algum problema acontecer, você precisa se resguardar. Resumindo: cubra o seu rabo [hehehe]! Quer um compilado? As 5 principais skills para ser um bom DBA são: 1. Conheça o produto 2. Capacidade de Troubleshooting 3. Visão do todo 4. Proatividade 5. Saiba vender o peixe Na visão do nosso #dataholic, o que é ser um DBA? “Com grandes poderes vem grandes responsabilidades” Ser DBA é saber que você tem o dever de garantir que o nível de segurança, implantado no seu BD, seja altíssimo, um vazamento de dados “pode falir uma empresa”; Ser DBA é garantir que os sistemas estejam sempre disponíveis, planejar todo um ambiente de alta disponibilidade, uma indisponibilidade em um ambiente “pode falir uma empresa”; Ser DBA é garantir o bom desempenho do seu banco de dados. Lembre-se que: muitas das vezes, a produtividade dos funcionários está ligada diretamente a utilização de um sistema. A falta de produtividade, lentidões constantes, “pode falir uma empresa” Mas além do risco de “falir uma empresa”, por quê ser DBA? Ser DBA é como ser o herói de alguém: aparecer, resolver, garantir segurança, velocidade e estabilidade, como se fosse mágica. Márcio Júnior Contar com administradores responsáveis nos garante a confianças de que os dados estão nas mãos certas. Afinal, você não deixaria algo tão precioso com qualquer um, não é mesmo? Se você quer saber mais sobre como Administração de Banco de Dados pode ajudar sua empresa, entre em contato com a gente! #dba #bancodedados #skills #softskills #dataholic #dataside dba banco de dados consultoria dataside dataholic skills softskills

As linguagens M e DAX são frequentemente confundidas ou comparadas por quem estuda e trabalha com Power BI, mas cada uma tem sua importância e cada característica é fundamental para determinadas atividades. Infelizmente, muitos profissionais acabam não aproveitando o potencial de cada linguagem por falta de conhecimento, o que pode levar a grandes prejuízos. Vamos entender melhor cada uma? Linguagem M A linguagem M foi criada especialmente para o tratamento de dados dentro do Power BI. Tratar os dados é quando o profissional precisa converter texto de minúsculo para maiúsculo, tirar acentos ou espaços em excesso, por exemplo. Linguagem DAX A linguagem DAX é projetada para análise de dados. Com ela é possível analisar informações complexas através de aplicações de filtros personalizados de acordo com a necessidade de cada demanda. – Com DAX é possível obter informações relevantes como a quantidade de vendas em um determinado período. – Também é possível fazer comparativos de dados, como analisar um faturamento atual em relação ao mesmo período do ano anterior, por exemplo. Apesar de existir preferências de uso das linguagens entre os profissionais, não existe a melhor ou a pior, já que vai depender do objetivo de cada ação, pois cada linguagem foi projetada para um uso em específico. Sabemos que é possível usar DAX em lugar de M e vice-versa, mas é fundamental entender que tentar adaptar um ferramenta para realizar uma atividade para qual ela não foi projetada vai demandar mais tempo, esforço e consequentemente, gerar prejuízos. São inúmeras as possibilidades que o Power BI pode oferecer para você e seu negócio, mas para que o crescimento seja uma realidade, é importante contar com o apoio de profissionais que entendam o objetivo de cada ação e saibam escolher a melhor forma de realizar as atividades pensando na qualidade, tempo e resultados. É o conjunto da ferramenta certa com os profissionais certos que vai impulsionar o crescimento da sua empresa. Quer conhecer as possibilidades do Power BI? Agende uma conversa agora mesmo com os nossos dataholics. #powerbi #bi #linguagemm #linguagemdax

Com uma infinidade de dados gerados por dia, analisar e saber como usar tantas informações sem perder o que é importante acaba se tornando um desafio dentro das empresas. Por isso, é essencial o uso da tecnologia e, melhor, o uso da ferramenta certa. O Power BI é a ferramenta usada em Data Analytics, que garante vantagens como: Identificação de padrões; Tomadas de decisões de forma ágil; Desenvolvimento de produtos com assertividade; Elaboração de campanhas com alto engajamento. Com a análise de dados, as informações geradas ganham sentidos práticos essenciais para gerar ações que contribuam para o desenvolvimento de uma empresa. Poder visualizar os dados de forma prática, ágil e personalizada de acordo com cada necessidade, é possível com o Power BI. A ferramenta oferece recursos visuais para a construção de relatórios e gráficos analíticos, com a possibilidade de compartilhamento seguro entre equipes de setores diferentes por meio da nuvem. Ao total, o Power BI se apresenta de 8 formas diferentes. Para conhecê-las, é importante entender melhor sobre a interface do Power BI Desktop, como carregar os primeiros dados e criar os primeiros gráficos. Se você quer entender melhor sobre como o Power BI pode influenciar no crescimento do seu negócio, entre em contato com a gente! #powerbi #dataanalytics #dadosinteligentes #dataside #dataholics

“Você sabe quais são as classificações de variáveis mais comuns existentes no mundo dos dados?”. Essa foi a questão levantada por João Victor Uliana Felix que, de forma leve e objetiva, resolveu compartilhar sobre o tema com os seguidores no Linkedin. Tipo de variáveis é um tema muito relevante no mundo dos dados e, por isso, compartilhamos aqui no blog da Dataside esse conteúdo valioso produzido pelo João Victor. Confira: Quer conhecer mais sobre o universo dos dados? Fique de olho em nosso blog e acesse os conteúdos que preparamos especialmente para você! #tiposdevariaveis #dados #analisededados #dadosinteligentes #dataside #dataholics

Entenda melhor sobre a Cultura Data Driven e os benefícios da consultoria com a visão estratégica de mercado do nosso Diretor Comercial, Igor de Paula. A performance, segurança e governança dos dados são imprescindíveis para as empresas há décadas. Nos dias atuais, todo e qualquer aplicativo ou sistema retém dados que podem ser utilizados não só para suportar o negócio atual, mas principalmente para gerar novos negócios, que podem até mesmo ser disruptivos e mudar a forma atual de captação de receita. E isso é a era da Cultura Data-Driven (Orientada a Dados). Os profissionais especializados dessa categoria são os chamados profissionais de dados. Extremamente valorizados na atualidade. As possibilidades de atuação nessa área são variadas e dinâmicas, levando até mesmo quem está na profissão a ter algumas dúvidas. Como estou nesse ramo balanceando as necessidades dos demandantes (clientes) e dos consultores que são contratados, vou tentar apresentar um pouco do mercado atual. Por ser um assunto amplo, vou dividir a análise sobre os perfis dos profissionais em dois: Backend e Frontend. Nesse artigo vamos falar sobre os profissionais de Backend. Para exemplificar, pense em um restaurante com modalidade self-service. Algumas coisas básicas precisam acontecer até a hora do almoço: No dia anterior, planejamento dos produtos necessários para atender a demanda dos clientes do restaurante; Pela madrugada/manhã, saída ou recebimento dos produtos como verduras, legumes e carne em fornecedores específicos; Na volta, é iniciado o mise em place (pronuncia-se “mís-an-plás”), que é a parte menos glamurosa, mas essencial em qualquer cozinha. Separar os ingredientes, medir, descascar, cortar, ou seja, deixar tudo a disposição para o momento em que os pratos sejam preparados. Com isso economiza-se tempo e os imprevistos são evitados; Após essas etapas, a comida começa a ser preparada e posteriormente colocada à disposição dos clientes, para que escolham de acordo com sua preferência o que utiliza, quando e na quantidade que desejarem. Comparando com essa analogia, os profissionais de backend são especializados em: Identificar os dados necessários para o cliente e onde estão localizados; Qual a melhor forma de conectar com as origens; Planejar como os dados estarão organizados/armazenados depois de coletados; A frequência e momento em que serão coletados; Criar a rotina para que esses dados estejam sempre disponíveis para os consumidores necessitarem; Monitorar. Garantir que se algo sair errado, a correção acontecerá o quanto antes. Essas são, de forma simplista, as principais funções dos Engenheiros de Dados, Arquitetos de Dados, Administradores de Dados, Administradores de Banco de Dados, entre outros. São responsáveis por arquitetar e administrar estrutura de dados visando a otimização do armazenamento e o consumo dos dados, escalabilidade on-premises e/ou em cloud, prevenção de desastres e reforçar a segurança dos repositórios de dados como Banco de Dados, Data Warehouse, Data Lake e Delta Lake. O monitoramento, infelizmente, é o patinho feio da maioria dos projetos em que somos chamados para atuar. Tanto quanto construir, monitorar é essencial para o sucesso do projeto. Não adianta as informações estarem lindas e disponíveis apenas no dia de cortar o laço e inaugurar o projeto. No dia a dia, quando as pessoas forem utilizar, os dados precisam continuar disponíveis e atualizados. Esse monitoramento de possíveis problemas precisa englobar dados e processos de dentro e fora da arquitetura desenhada. Isso porque os dados se tornam muito críticos quando utilizados na tomada de decisão, ou seja, uma falha técnica como problema de conectividade ou uma falha da entrada dos dados na camada do negócio, podem gerar grandes impactos. Exemplo: Um processo de carga de informações que conecta em 10 fábricas tem algumas variáveis. Conectividade da central com as fábricas; Sistemas funcionando em cada uma dessas fábricas; Processos, como folha de ponto eestocagem, distintos rolando em cada fábrica; Infraestrutura física do hardware em cadaambiente. Agora imagina o cenário onde a diretoria avalia diariamente uma informação consolidada de cada fábrica. Se uma falha de processo específico em UMA fábrica ocorrer, a informação que a diretoria precisa avaliar não irá chegar corretamente. Então esse nível de monitoramento, olhando as regras e processos do negócio, também estão ficando a cargo dos profissionais que implementam soluções de inteligência com dados. Nesse exemplo, o mínimo que precisa acontecer é uma comunicação para diretoria que para a fábrica com problema, as informações não estarão disponíveis. O ideal é que o problema seja detectado a tempo de ser corrigido e não impacte os consumidores. A inovação trazida pela transformação dos dados em informação, fortalecida mais ainda pela Cultura Data Driven, é uma peça-chave no desenvolvimento de qualquer organização da atualidade. Inclusive padarias. É isso mesmo! Mas deixo esse case para o post do meu amigo Caio Amante. Para que toda essa inteligência seja aplicada, é necessário que a arquitetura esteja muito bem estruturada e resiliente. De novo, de nada adianta os dados estarem disponíveis só no dia em que o presidente vai cortar a fita de lançamento do “BI”. A inteligência com os dados aperfeiçoa as ações dos sistemas do negócio, para que sua corporação tenha resultados importantes em relação ao desempenho e funcionamento. O serviço desses profissionais é a base para que seja possível traçar o perfil da empresa e dos clientes, entender como o business funciona, determinar indicadores de produtividade, a qualidade do serviço prestado, a lucratividade, mudança de estratégias e outros. É o pilar. Como no restaurante, se essas etapas básicas não forem executadas, na hora em que os consumidores chegarem para se servir, irão encontrar problemas e talvez não voltar mais. Se o trabalho desses profissionais de dados é tão importante, por que terceirizar? Dificuldade para encontrar/manter profissional qualificado: Nesse artigo, vou abordar arquitetura, governança, processos de extração, transformação e carga de dados. Nem falamos ainda sobre o perfil “frontend”. Mesmo assim a quantidade de tecnologias por trás desses processos é bem grande. Alguns poucos exemplos: Data Lake, Delta Lake, Datawarehouse, Integration Services, Pentaho, Databricks, Azure Data Factory, Synapse Analytics, entre outros. Ou seja, não é uma missão simples, nem recomendada, buscar UM profissional que possua especialização em todos esses produtos e serviços. Existem sim profissionais que são incrivelmente versáteis e conhecem boa parte desses produtos a fundo, mas são exceção. Em geral acabará encontrando profissionais generalistas que, apesar de conseguirem entregar o projeto no dia de cortar o laço, a entrega pode não ser sustentável. Não porque o profissional é ruim, longe disso. Simplesmente porque ele é um só. E sem metodologia e com perfil generalista, é fácil cair em pegadinhas de governança, monitoramento e/ou performance. Pensa comigo, UM profissional consegue realizar monitoramento da operação 24x7x365 dias no ano? A chance de algum problema passar despercebido é grande. Ainda mais quando novas atribuições forem sendo concedidas a ele. Esse é apenas um exemplo. O formato que mais vejo dando certo nas dezenas de consultorias que já intermediei é ter um profissional generalista, ou mesmo especialista em determinado assunto, dentro da organização. Esse profissional conhece do negócio, conhece as pessoas chaves e faz a ponte com os profissionais especialistas da consultoria. Precisa de uma informação que no momento não está disponível? Ele pede ajuda de um arquiteto que através de uma metodologia vai detectar o que será necessário para coletar essa informação. Precisa de um especialista em Data Factory, o arquiteto juntamente com o profissional da empresa, irão alocar esse especialista. Esses são os projetos que vejo com grandes probabilidades de sucesso. O profissional sozinho dentro da empresa não consegue escalar a quantidade de entregas necessárias para evolução da empresa, SEMPRE é o gargalo. E por ser gargalo, é pressionado para entregar mais rápido, o que compromete muito a qualidade da entrega final. Ou seja, problemas avante. Um deles é o monitoramento. Só percebem que o relatório está sem dados quando a diretoria se senta para tomar decisão. Nesses cenários, todo mundo perde: Diretoria não acredita no projeto e entende o investimento feito como perdido. O profissional, apesar de ser super dedicado, ter feito diversas horas extras, deixando muitas vezes a família de lado e passado por muito stress, cai em descredito, simplesmente por ter muitos pratos girando ao mesmo tempo sem metodologia. Fora esses pontos ainda existem outros: Longos processos de contratação. Vagas abertas por meses; Risco de perder o profissional para a concorrência. Mercado está super aquecido. Inclusive com vagas para o exterior; Doenças, férias, problemas pessoais… Isso tudo gera a necessidade da contratação, mesmo que temporária, de mais um profissional do ramo e, com isso, a dificuldade de contratação volta à tona novamente. Especialização baseada em pool de profissionais: Consultorias que proveem profissionais de dados devem garantir que os profissionais alocados, presencialmente ou remotamente, sejam especializados em determinada tecnologia, nesse exemplo, tudo que envolve o backend. Ter a garantia de que os dados, tão vitais, estão sendo gerenciados por ótimos profissionais, certificados e com experiência de mercado é um grande motivo para se terceirizar. E mais que isso, quando existe um pool de profissionais especializados em diversas tecnologias, para cada cenário, um ou mais profissionais podem ser alocados para resolver um problema. Por exemplo: Um cenário onde existe necessidade de atuar com Pentaho e tuning em consultas de T-SQL no SQL Server, provavelmente vai envolver no mínimo dois profissionais para uma entrega de qualidade nos dois produtos. Muito fácil encontrar cenários onde processos de 6h de execução caem para 2 minutos após atuação de especialistas nessas duas camadas. Sem querer entrar no mérito, mas em ambientes cloud, um tuning como esse impacta diretamente não só no tempo decorrido mas também no custo. Pensa se a empresa paga 6h de processamento por dia e após o tuning, começa a pagar 2 min. O saving financeiro é gigante. Redução de custos: Muitas pessoas acham que o investimento com um profissional de dados externo será maior do que a de um profissional CLT, alocado 220 horas por mês. Isso é um mito. Quando se contrata um serviço desse tipo, geralmente são fechados pacotes de horas produtivas mensais. Ou seja, se o contrato é de 60 horas, semanalmente ou mensalmente, o cliente receberá um relatório de todas as ações que foram realizadas. Vale ressaltar que essas ações são feitas por especialistas no ramo, o que torna as 60 horas muito mais produtivas do que 220 horas realizadas por um profissional júnior, pleno e até sênior mas generalista, sem especialização. Lembra do exemplo acima? Exemplo 1: Custo de um Data Engineer CLT com salário de R$ 7.902: Esse é o salário base. Fora imposto que a empresa irá pagar (média de 37%/mês), férias, décimo terceiro, plano de saúde e etc. Custo médio sem benefícios = Salário (R$ 7.902) + Impostos (37%) = R$ 10.825.74 Nesse cenário a empresa contará com um Data Engineer dedicado. Mas o escopo desse profissional é bem delimitado. Talvez falte conhecimento sobre arquitetura, governança e metodologia, visto que estamos usando um valor médio. Profissionais mais completos tendem a ter custo mais elevado. Exemplo 2: Contrato de 60 horas mês com consultoria que possuía, por exemplo, profissional certificado com Azure Data Engineer, maior certificação da Microsoft atualmente para esse cargo: 60 horas/mês X R$180,00/hora = R$10.800,00 Ou seja, nesse exemplo, há uma equiparação no custo mensal, mas com a alocação de um pool com profissionais que permitem uma entrega mais completa, visto a metodologia de atuação em time de especialistas. Esses números são apenas exemplos, podendo ser menores ou maiores de acordo com o tipo de ambiente, ramo de negócio, benefícios, necessidade de disponibilidade e etc. Se você está se perguntando: os profissionais juniores e plenos não terão mais espaço? Obviamente que terão. Muitas empresas optam por manter sua estrutura interna para atendimento de tarefas do dia a dia, tendo a Consultoria para ações mais complexas e estratégicas. Para finalizar, mais uma característica encontrada em consultorias: Service Level Agreement: O SLA é outro ponto importante na comparação, visto que um profissional dedicado não possui cláusula contratual que o comprometa com entrega de disponibilidade, por exemplo. Uma consultoria deve entregar isso, de forma que se houver quebra de SLA, ela será penalizada. Isso acaba redirecionando grande parte da responsabilidade de manter a disponibilidade para a consultoria e não mais para a companhia. Insegurança Jurídica: Todo o processo burocrático de contratação do profissional é redirecionado para a empresa prestadora do serviço. Reduzindo gastos com pessoal de RH, tempo para contratação e reposição de profissionais. Mas qual é o segredo? Como é possível alocar profissionais especialistas, entregar mais qualidade e pagar menos? A palavra-chave aqui é metodologia. A consultoria modelou a sua estrutura de trabalho para ser escalável. Com criação de rotinas proativas, profissionais altamente qualificados e esquemas de trabalho 24/7. Eles atuam de forma estratégica e inteligente, otimizando recursos, de qualquer lugar do mundo. Lembra da história de saber qual botão apertar? É isso. São experientes e otimizados no que se propõem a fazer. Dessa forma, ganham em escala, conseguindo alocar o mesmo profissional em diversos clientes, com grande entrega de valor. E essa experiência em diferentes mercados, acaba por auxiliar muito a criação de novos negócios. Associar o seu negócio com consultorias é então um INVESTIMENTO que trará retornos não só em tempo, mas também no quesito financeiro. Grandes empresas globais contratam o tempo todo consultorias para impulsionar a produtividade nas áreas em que não são especialistas. Quer impulsionar a inovação com seus dados e otimizar os serviços da sua empresa? Converse com a gente! Igor de Paula Dataside Director #datadriven #cloud #azure #consultoria #dataside

Conheça algumas histórias desastrosas que dificilmente serão esquecidas e anote como referência do que não fazer. O número de empresas que entendem o valor dos dados está aumentando em ritmo acelerado. A valorização de informações está tão desenvolvida que os dados estão sendo considerados como “o novo petróleo”. Mas o que fazer com essa riqueza nas mãos? Como os dados estão sendo analisados e aproveitados de acordo com seu valor? Para comprovar a importância desse cuidado com os dados, compartilhamos com vocês alguns desastres em IA e Analytics, de acordo com o site CIO from IDG: Falha em sinalização de pacientes negros Um algoritmo de saúde usado para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco” falhou ao sinalizar pacientes negros, de acordo com um estudo publicado na Science em 2019. Usado para direcionar os pacientes crônicos para prevenir complicações graves à esses programas nos Estados Unidos, o algoritmo apresentou maior probabilidade de recomendar pacientes brancos do que negros. O estudo apontou diversos fatores que contribuíram para esse caso. O desenvolvedor, que não foi identificado, começou a desenvolver soluções para essa situação. Chatbot e seus posts preconceituosos Em 2016, um chatbot com AI, chamado Tay, foi lançado pela Microsoft no Twitter, para um experimento de “compreensão conversacional”. Para o chatbot interagir na rede, foi usada uma combinação de machine learning e processamento de linguagem natural, sendo introduzidos com dados públicos anônimos e materiais pré-escritos por comediantes, e então Tay foi liberado para aprender e evoluir com as interações no Twitter. Foram mais de 95.000 tweets em 16 horas, o problema é que de forma acelerada eles se tornaram racistas, misóginos e antissemitas. A ação foi suspensa imediatamente. Na época, o caso foi esclarecido pela Microsoft que se pronunciou, pois as ofensas não representam a empresa. Se desculparam pelos tweets que, embora muito ofensivos, não foram intencionais. O que houve com Tay foi consequência de um grupo de usuários que twittaram para ele comentários com esse teor, fazendo com o que o chatbot aprendesse e incorporasse esse material em seus próprios tweets. Ferramenta de recrutamento habilitada com IA que recomendou apenas homens Com o objetivo de ajudar o RH a selecionar os melhores candidatos, em 2014, a Amazon começou a usar uma ferramenta de recrutamento com IA. O problema foi que o software recrutava apenas homens. Nesse caso, os modelos de machine learning do sistema foram treinados com currículos enviados à empresa ao longo de 10 anos, sendo a maioria enviados por homens. A consequência disso foi que currículos com a palavra “mulher” foram desconsiderados do sistema e as candidatas de faculdades só para mulheres foram prejudicadas. A Amazon informou que a ferramenta nunca foi usada de fato pelos recrutadores e, sem garantir a neutralidade da ferramenta, a empresa encerrou o projeto. Violação de privacidade Em 2002, o departamento de marketing da Target deu início à um projeto de analytics, com o objetivo de identificar as clientes grávidas, levando em conta períodos da vida que geram mudanças nos hábitos de compra. Foram coletados dados dos clientes como por meio de códigos de compradores, cartões de créditos e pesquisas. Além disso, o varejista misturou esses dados com os demográficos e adquiridos por terceiros. O que chamou atenção para esse projeto, foi que a Target, com essa investigação sobre clientes, teria revelado à família de uma adolescente sobre sua gravidez. Mesmo com esse caso polêmico, o marketing direcionado não foi interrompido, e a empresa misturou nos anúncios para mulheres grávidas produtos aleatórios, com a ideia de não assustar os clientes. Milhares de casos de Covid perdidos por limitações de dados no Microsoft Excel Em meio a pandemia mundial, o Public Health Engalnd – PHE, órgão responsável por registrar novas infecções por Covid-19 no Reino Unido, perdeu quase 16.000 notificações de casos de coronavírus entre 25 de setembro e 2 de outubro de 2020 por limite de dados excedidos na planilha. O Excel determina um limite de linhas e colunas em suas planilhas. Isso dificultou a identificação e notificação de pessoas próximas à pacientes infectados. A saída para o PHE foi conter a situação com uma divisão de arquivos grandes e a condução de uma revisão completa dos sistemas para que incidentes como este não se repitam. Esse caso, em específico, poderia ter sido evitado se houvesse um trabalho de tratamento nos dados, como o ETL por exemplo. Utilizando esses dados tratados seria possível acompanhar pelo Microsoft Power BI, veja um exemplo aplicado aos dados do Covid pela prefeitura de MG: http://coronavirus.saude.mg.gov.br/painel Qual desses casos você achou mais desastroso? E para evitar incidentes com dados dentro da sua empresa, conte com nosso apoio. Agende um horário para conversar com nossos dataholics.

Entenda alguns fatores que vão te ajudar a alinhar TI e negócios. Um desafio para muitas empresas é manter o alinhamento entre TI e negócios. A falta de sincronia entre as duas áreas, geram consequências graves como: mal aproveitamento de oportunidades, resultados sem qualidade e insatisfação dos clientes. Esse alinhamento de objetivos se deve muito a cultura de cada organização. Aqui na Dataside, como exemplo, todos os setores trabalham juntos pelo mesmo propósito, o que gera resultados satisfatórios, benefícios aos clientes e crescimento da empresa. Mudando essa realidade Se você conseguiu identificar alguns pontos que mostram a falta de alinhamento entre TI e negócios dentro da sua empresa, ou até mesmo já está buscando reverter as consequências disso, é importante reestruturar fatores que interferem nesse alinhamento. Relacionamento A comunicação é essencial para alinhar objetivos micros e macros. É preciso haver um relacionamento sólido entre os setores da sua empresa para que trabalhem em seus objetivos dentro de cada departamento, e com isso, alcancem os objetivos gerais do seu negócio, baseados em valores e na cultura organizacional. É importante usar ferramentas de comunicação para isso, principalmente em tempos de trabalho remoto. Garantir a disponibilidade entre os colegas de trabalho para tirar dúvidas e apresentar insights é fundamental. Aqui na Dataside, usamos o Microsoft Teams, para manter uma comunicação direta e dinâmica. Questionamentos objetivos Com o relacionamento mais forte, é hora de saber fazer as perguntas certas. Manter a comunicação entre o TI e o setor de negócios vai fortalecer e muito o crescimento da sua empresa, mas é preciso fazer da maneira correta. Por isso, ao realizar perguntas entre si, é importante focar nos resultados que o seu negócio quer atingir. É o momento de focar no objetivo de cada setor: Para o TI, é o momento de entender as estratégias e as metas da empresa. Para o setor de negócios, é o momento de entender as possibilidades oferecidas pelo TI. Dados como base Como avaliar se as estratégias estão dando certo? Bem, contra dados não há argumento. Depois de metas definidas e ações executadas, é hora de juntos, TI e negócios, avaliarem o desempenho da empresa dentro de um determinado período. Com análises apresentadas pelos dois lados e por pontos de vista que se complementam, os próximos caminhos a seguir ficam mais claros e então o ciclo de relacionamento e novas estratégias se repete, e se otimiza cada vez mais. Cultura Algo que levamos muito a sério por aqui na Dataside é Cultura Organizacional, através dela é que os caminhos da empresa são definidos. Estabeleça uma cultura que motive cada setor a entregar resultados de qualidade e que faça com que cada colaborador queira crescer junto com a sua empresa. Se sua cultura não for bem estruturada e os valores não forem estabelecidos, você não vai conseguir manter uma equipe que trabalhe com você de forma exponencial. Com os propósitos alinhados, será mais espontâneo o alinhamento entre TI e Negócios. Gostou desse conteúdo? Fique ligado (a) em nosso blog e compartilhe com os amigos! 💙 #gestão #liderança #gestãoeliderança #gestaocomdados #businessintelligence #culturaorganizacional