Resultados de busca

Evento aconteceu na última sexta-feira, 29 de setembro, e contou com palestras de Vitor Fava e Fabiano Amorim, que abordaram assuntos atuais e construtivos voltados a membros da comunidade técnica, como Plano de Execução Avançado e Monitorando Performance em um Azure SQL Database. Esta foi a primeira edição do SQL DATATUNING, realizado pela realizado pelo nosso CEO Caio Amante, com apoio da VitaDB e do SQL Maniacs. Teve lotação máxima e foi sucesso. Agradecemos aos palestrantes e a todos que compareceram! Veja como foi o evento em nossa galeria. #dba #Database #bancodedados #fabianoamorin #comunidade #dataside #microsoft #vitorfava #comunidadesql #Sqlserver

Pela segunda vez em 2017, participaremos do SQL Saturday, dessa vez em Brasília-DF. A equipe Dataside participará de duas palestras: O SQL Saturday é um evento de capacitação e networking para profissionais da plataforma de dados da Microsoft, estudantes de tecnologia e aqueles que desejam aprender mais sobre o SQL Server. Os palestrantes são profissionais de alto nível de diversas cidades, que vão com o objetivo de compartilhar conteúdo de alta qualidade. O evento acontecerá na  Faculdade Projeção , no dia 19 de Agosto de 2017 em Brasília – DF. A entrada no evento é gratuita, todos os custos são cobertos por doações e patrocínios de empresas parceiras que fazem com que o evento seja possível. As vagas são limitadas, então, registre-se agora mesmo e garanta a sua . Compartilhe em suas redes sociais  (utilizando as hashtags #sqlsatbsb e #sqlsat618 ) e convide sua rede de contatos e amigos para também participar deste sábado de muito networking e aprendizado.

Participamos no último dia 24/06 do SQL Saturday na UNIFTEC em Caxias do Sul – RS. O auditório estava cheio de profissionais compartilhando conhecimento e contribuindo para a melhora no mercado de TI. Nosso DBA Reginaldo Silva representou a Dataside e palestrou para os desenvolvedores presentes. O SQL Saturday é um evento de capacitação e networking para profissionais da plataforma de dados da Microsoft, estudantes de tecnologia e aqueles que desejam aprender mais sobre o SQL Server. Os palestrantes são profissionais de alto nível que virão de diversas cidades para voluntariamente compartilhar conteúdos de alta qualidade.

A consultoria DBA oferece benefícios importantes para empresas, como redução e custos e tranquilidade no dia a dia dos gestores, já que o serviço garante uma rápida resolução e problemas de performance, melhoria de segurança e alta disponibilidade, migração e atualização e versões, troubleshooting avançado e melhoria contínua em arquitetura. É sempre válido ressaltar sobre a importância de manter os dados seguros, já que informações sensíveis sobre as pessoas e empresa precisam ser preservadas. Com isso, é imprescindível contar com profissionais especializados para administrar o banco de dados da sua empresa. Sem mais delongas, vamos aos 5 benefícios que a consultoria DBA oferece aos negócios: 1) Redução de custos com mão de obra Muitas empresas precisam de um gerenciamento do ambiente de banco dados, porém não têm demanda para formar uma equipe DBA dedicada. Terceirizar o serviço de gerenciamento de banco de dados reduz o custo em relação à profissionais contratados e equipes fixas. No blog da Dataside você encontra um artigo focado nesse tópico, confira aqui: Como reduzir custos com consultoria DBA. 2) Otimização de recursos Criação de uma linha de base para o acompanhamento dos dados e tomada de decisões mais eficientes para resolução de problemas, maximizando os resultados da empresa e reduzindo custos. 3) Segurança Para gerenciar o ambiente de banco de dados de uma empresa, é necessário ter certificações ISO, garantindo a segurança e confidencialidade dos dados. Por isso, tenha atenção ao terceirizar esse serviço, certifique-se de que você vai contar com um time responsável e certificado. 4) Equipe Qualificada e Certificada A contratação de uma squad de DBA remoto, garante uma equipe experiente, certificada e em constante atualização de ferramentas e conhecimentos com os principais selos do mercado. 5) Suporte e Monitoramento 24 horas Na Dataside, o serviço de DBA Remoto tem a estrutura necessária para garantir o monitoramento e suporte 24 horas, 7 dias por semana e 365 dias no ano para nossos clientes, ou seja, seus dados estarão aos nossos cuidados a todo instantes, prevendo riscos e evitando prejuízos. Por que você precisa de um DBA Remoto? Agora que você conhece alguns dos principais benefícios da consultoria DBA, entenda se você e sua empresa precisam desse investimento através da identificação dos seguintes perfis: Precisa de um profissional dedicado, mas não possui demanda para formar uma equipe de administradores de banco de dados; Você acredita que é relevante reduzir custo com a administração de banco de dados adquirindo um serviço com suporte 24 horas e maximização de recursos; Se interessa por contratação de uma empresa com equipe qualificada e certificada com os principais selos do mercado; Se importa com a segurança dos dados e procura uma empresa com certificações ISO de segurança e confidencialidade; Quer saber mais sobre a consultoria em DBA da Dataside?

O que antes era coisa do futuro, hoje é realidade. O trabalho remoto é uma das maiores tendências das organizações atualmente, com ele, os trabalhadores podem realizar suas funções sem estarem necessariamente dentro de um escritório ou no ambiente de trabalho. Essa flexibilidade dos funcionários exige também uma flexibilidade da empresa, ela precisa entender que os desejos e sentimentos de seu empregado são de grande importância para um desenvolvimento corporativo e deve possuir líderes que consigam adaptar-se a esta nova realidade. – BENEFÍCIOS O trabalho remoto traz muitos benefícios para a empresa e o funcionário: Os trabalhadores se tornam mais motivados por poderem escolher quando e onde trabalhar, podem também fugir do trânsito e da rotina de grandes cidades. Com isso, a empresa reduz custos e ainda se torna eco-friendily por colaborar na diminuição de emissão de gases CO2. As vagas remotas atraem pessoas de todo o mundo. Já que o trabalho pode ser feito de qualquer local, as oportunidades para os profissionais aumentam e também as chances da empresa encontrar pessoas que se encaixam em seu perfil. Isso aumenta a credibilidade e o desempenho da corporação. – COMPUTAÇÃO EM NUVEM E O TRABALHO REMOTO A nuvem é grande aliada de quem trabalha online. Com ela, é possível armazenar dados, documentos e arquivos na internet sem precisar desprender tempo e dinheiro com servidores físicos. Com o computador ou celular conectados à internet, a pessoa pode ter acesso a qualquer tipo de arquivo armazenado na nuvem, ou seja, a facilidade é muito grande. “Para as empresas que trabalham remotamente, a nuvem se tornou ferramenta necessária e facilitou a relação empresa/trabalhador que pode realizar sua função em qualquer lugar do mundo” Com ela, o funcionário tem acesso a todos os arquivos da corporação sem precisar estar fisicamente na empresa. Além disso, o empresário consegue quantificar a produtividade do empregado, utilizar ferramentas de gerenciamento de equipes, administrar projetos e desempenho do quadro de trabalhadores. – FERRAMENTAS Hoje existem diversas ferramentas e softwares que facilitam a vida dos trabalhadores que não estão no escritório ou que precisam se ausentar para algum tipo de viagem, eles também são essenciais para escritórios que desejam aumentar o desempenho de seus funcionários. É importante lembrar que o trabalho remoto não se caracteriza por onde está o trabalhador, mas as ferramentas que ele utiliza para que possa estar ausente e mesmo assim desenvolva suas atividades. Separamos alguns softwares que você pode implementar em sua empresa para auxiliar as funções remotas: Hangouts ou Skype: Estas ferramentas são essenciais para a realização de reuniões tanto com a equipe remota quanto com clientes. Os utensílios têm boa qualidade de som e imagem para que as reuniões sejam produtivas e bem executadas. Google Drive ou Dropbox: Como dissemos antes, a nuvem é essencial. Os drives são ferramentas que auxiliam o compartilhamento de arquivos entre colaboradores e são soluções muito mais práticas do que os e-mails. Trello: Ele é um dos softwares mais importantes para organizar e gerenciar tarefas da equipe. Sua interface é bem simples e facilita o entendimento de todos. Slack: Este aplicativo é um software que facilita a comunicação entre colaboradores com um bate-papo profissional, permitindo integração e alertas sobre tarefas. Toggl: Ele dimensiona exatamente as horas trabalhadas e ajuda o funcionário a entender qual tarefa está lhe tomando mais tempo e quais exigem mais desempenho. Mindmeister: Esta ferramenta auxilia a equipe remota a fazer brainstormings online e mapas mentais de maneira bem visível e interessante. – SAIA DO PASSADO E APOSTE NO REMOTO! Ainda que este seja o rumo de praticamente todas as corporações, muitas ainda têm dificuldades em implantar o trabalho remoto. Isso se dá pela cultura organizacional enraizada na sociedade, que prega o trabalho formal. Antes era normal encontrarmos escritórios cheios de funcionários, com horário de entrada e saída e suas funções muito bem definidas. Hoje, sabemos que não há mais possibilidade de haver corporações nesses modelos. Por conta da facilidade trazida pela internet, tudo é e pode ser feito online. A liberdade geográfica e autonomia são prioridades entre os funcionários nos dias de hoje, muitas vezes eles prezam mais por esses benefícios do que por um salário exorbitante. Por isso, se você é empresário, aproveite as oportunidades trazidas pela tecnologia e aposte no trabalho remoto! #hangouts #googledrive #nuvem #dba #Database #skype #remoto #internet #slack #mindmeister #cloud #dropbox #trabalhoremoto #toggl #computação #autonomia #homeoffice #trello

Hello World! Fala galera, meu nome é Reginaldo, este é meu Post de boas vindas, há algum tempo venho planejando em criar meu próprio blog e postar coisas do meu dia-a-dia, assim como coisas que acho interessante, venho amadurecendo essa ideia há algum tempo e com incentivos de alguns amigos acho que estava na hora dessa ideia sair do papel e vir a ser real, espero conseguir postar conteúdo de qualidade assim como todos os blogs que eu acompanho. Falando um pouco de mim, eu cursei Ciências da computação na faculdade Ceunsp Salto-SP, atualmente trabalho como Administrador de banco de dados SQL Server, sou literalmente apaixonado por tecnologia, gosto de assistir muitos seriados rs, hoje meu foco profissional é me especializar e aprofundar cada vez mais no mundo SQL Server, mas gosto muito também de brincar com algumas linguagens de programação, já desenvolvi alguns aplicativos em C, C#, JAVA e ANDROID, acompanho noticias de varias outras plataformas também. Bom galera a ideia desse meu blog é a mesma de todos os outros, quero compartilhar meus conhecimentos com vocês coisas que acontecem no meu dia-a-dia como problemas, soluções e tudo que eu achar que possa ser interessante e que possa vir a ajudar alguém um dia, a minha ideia é postar conteúdos não só focados em SQL Server (que será a maioria) mas conteúdos de outras áreas que gosto e acompanho também, desde coisas básicas até coisas que considero avançadas e complexas. Bom é isso galera, fiquem a vontade para comentar, criticar, perguntar, os comentários e críticas com certeza ajudam a evoluir a riqueza dos conteúdos que vou postar, até o próximo post, fiquem de olho. Só por curiosidade, se alguém estiver se perguntando o por que do “blogdojamal”, na verdade meu apelido mais famoso(porque tenho vários apelidos rs) é Jamal, apesar de eu não parecer muito indiano o apelido pegou, pra quem não assistiu o filme ‘Quem quer ser um milionário’ meu apelido vem de lá rs, foi mais para descontrair, quem quiser me chamar por apelido ou por nome fiquem a vontade. Aquele que não compartilha seu conhecimento, deixa morrer consigo os frutos de sua sabedoria. Hélcio Macedo Reginaldo Silva

Saiba como o Business Intelligence pode contribuir com sua empresa em tempos de crise como a do coronavírus, por exemplo. Business Intelligence (BI) também conhecido como inteligência de negócios é um método de coleta, organização, análise e divulgação de informações que contribui no planejamento, execução e na tomada de decisões estratégicas das empresas. Por meio deste conceito, o volume excessivo de informações disponíveis sobre temas específicos transforma-se em dados inteligentes que podem ser manuseados facilmente a qualquer tempo, em qualquer lugar. Os dataholics Igor Abdo, Meirieli Ribeiro, Jones Santos e Gabriel Carvalho compõem o time de Business Intelligence da Dataside. Com o auxílio deles, nós montamos este texto com tópicos objetivos sobre as seis vantagens de utilizar o conceito de BI na sua empresa, no cenário atual. São eles: 1. Obter mais controle sobre as informações Em tempos de crise, o que os gestores procuram é: tomar decisões. Sejam elas simples, sejam elas delicadas, todas elas precisam ser tomadas por meio de dados confiáveis e essa decisão precisa ser tomada de forma ágil e assertiva. 2. Agilizar o trabalho do seu time Através do BI é possível disponibilizar milhares de informações em diferentes níveis, seja ele estratégico, tático ou operacional. Isso tudo é entregue por meio da análise dos dados que, posteriormente, são entregues ao cliente com garantia de estar correta. Isso em relação ao Covid-19 é algo extremamente importante para diversas áreas de atuação (podemos citar alguns clientes que através dos dados dessa pandemia poderão tomar atitudes mais drásticas como a Johnson e a Minerva Foods). 3. Visão única de diversas fontes Através do Business Inteligente , utilizando ferramentas como o Power BI, é possível cruzar informações de diferentes fontes e transformá-las em uma visão única. Através de layouts e dashboards personalizadas. Em resumo, levamos uma visão sistêmica da empresa em um único painel. Em relação ao coronavírus, ter uma visão ampla do negócio/empresa ou da equipe/produção ou até mesmo financeiro é essencial para uma tomada de decisão mais assertiva. 4. Acesso pelo mobile A experiência do usuário é levada em conta, sempre! Quem não quer simplicidade e facilidade ao consultar dados sobre o seu negócio ou sobre sua equipe? O Power BI, a ferramenta que utilizamos, permite essa comodidade aos usuários. Em relação ao coronavírus, o trabalho remoto pode ser melhorado com o auxílio da inteligência de dados e do Power BI. 5. Otimização do tempo O analista ou o tomador de decisão para de fazer atividades repetitivas, passa a tomar decisões de forma mais rápida, tem acesso à informação de forma mais ágil reduzindo o tempo com atividades ociosas. Em relação ao Covid-19, podemos citar que: ganha-se tempo com a preocupação com trabalhadores, qualidade dos produtos, entre outras coisas. 6. Redução de custos Como sabemos, o cenário atual está difícil, diante desta situação, precisamos reduzir custos e sermos os mais humanos possível em cada decisão. Quer mais conteúdos como esse? Se inscreva no nosso blog.

Bom dia Galera, esse vai ser meu primeiro Post técnico do blog espero que gostem do assunto. Bom essa semana estive automatizando alguns processos que eram feitos manualmente, para isso uma das etapas era descompactar um arquivo .RAR(Winrar) que continha dentro dele um Backup do SQL Server (.bak), para posteriormente fazer o seu Restore, o comando que eu estava executando era o seguinte: exec xp_cmdshell ‘C:\”Program Files”\WinRAR\WinRAR.exe x G:\Arquivos\Arquivos.pat001.rar G:\Arquivos\’ Obs: XP_CMDSHELL me permite executar tarefas a nível de sistema operacional, tome cuidado com quem tem acesso a ele, pois ele executa no contexto de segurança da conta que esta vinculada a sua instancia do SQL Server. O comando XP_CMDSHELL é executado de forma síncrona, ou seja a sessão no SQL Server só ira finalizar quando ela receber a resposta do SO(Sistema operacional), devido a isso a minha sessão no SQL Server fica no modo ‘Running’ aguardando um retorno, abaixo segue um DUMP da minha sessão. USE MASTER GO DBCC STACKDUMP Utilizando o DBCC STACKDUMP, ele gera três arquivos de Dump na pasta de LOG do SQL Server, abrindo o arquivo .TXT e procurando pela minha sessão (224), tenho algumas informações sobre ela. Obs: O comando DBCC STACKDUMP é um comando não documentado pela Microsoft. Bom chegado até aqui, minha sessão esta em execução, tudo OK certo ? Mas ela estava demorando muito então resolvi dar um KILL nela para aborta-la. KILL 224 Ok, porém olhando para minha sessão através da DMV SYS.DM_EXEC_SESSIONS a minha sessão continua em modo ‘Running’ e processo continua rodando por um longo tempo, investigando na DMV SYS.DM_OS_WAITING_TASKS conseguimos ver que ela esta esperando a um bom tempo pelo Wait Type ‘PREEMPTIVE_OS_PIPEOPS’, vamos olhar novamente o Dump dessa sessão: Bom o Dump tem informações diferentes agora, podemos ver que o campo ‘m_fkill’ esta sinalizado com o valor 1 agora, mas por que ela continua rodando ? por que o meu KILL não finalizou a sessão? De forma bem resumida, o comando KILL na verdade não finaliza sua sessão ele apenas modifica esse Flag indicando que aquela sessão foi abortada e deixa que a própria sessão aborte a sua execução. Legal, mas a minha sessão esta flegada para ser abortada porque ela não finalizou ? Lembra que no inicio comentei que o comando XP_CMDSHELL me permite executar tarefas a nível de SO ?! Pois é, quando executamos o XP_CMDSHELL o SQLOS (Sistema operacional do SQL Server) passa a bola para o SO(Windows) e deixa que ele gerencie essa tarefa, sendo assim mesmo eu sinalizando para o SQL Server que aquela sessão foi abortada o SO não pode enxergar isso, devido a isso iremos esperar infinitamente a execução dessa sessão. O Wait Type ‘PREEMPTIVE_OS_PIPEOPS’ seria a troca do modo de non-preemptive(Modo utilizado pelo SQLOS) para o modo preemptive(utilizado pelo SO), isso pode até virar um assunto para Posts futuros por isso não irei muito a fundo aqui. Bom e agora ? Para finalizarmos nossa sessão precisamos identificar qual é a tarefa que esta aberta no SO referente a ela, para isso podemos utilizar a ferramenta “Process explorer” como abaixo: Podemos ver abaixo do sqlserver.exe suas as tarefas que estão abertas no SO, no caso podemos finalizar a tarefa Winrar pelo próprio Process Explorer ou até mesmo pelo gerenciador de tarefas, iremos ver nossa sessão finalizando com a seguinte mensagem: (1 row(s) affected) Msg 596, Level 21, State 1, Line 0 Cannot continue the execution because the session is in the kill state. Msg 0, Level 20, State 0, Line 0 A severe error occurred on the current command. The results, if any, should be discarded. Bom galera é isso, no meu caso era meu comando para descompactar os arquivos que estava incorreto apenas corrigindo o caminho do arquivo o comando é executado com sucesso pelo SO e retornado para o SQL Server, não é um caso muito comum de ocorrer mas vale a dica para quem já passou por isso e quer entender melhor como funciona ou quem ainda vai passar por situações assim rs, espero que tenham gostado da explicação, qualquer duvida e criticas são bem vindas. Obrigado galera  e até o próximo post. Referencias: Misterioso Comando KILL https://blogs.msdn.microsoft.com/fcatae/2014/01/09/misterioso-comando-kill/ PREEMPTIVE_OS_PIPEOPS https://www.sqlskills.com/help/waits/preemptive_os_pipeops/ DBCC STACKDUMP https://blogs.msdn.microsoft.com/askjay/2010/02/05/how-can-i-create-a-dump-of-sql-server/ XP_CMDSHELL https://msdn.microsoft.com/en-us/library/ms175046.aspx?f=255&MSPPError=-2147217396 PROCESS EXPLORER https://technet.microsoft.com/en-us/sysinternals/processexplorer.aspx Reginaldo Silva

Neste artigo o dataholic Felipe Aguiar compartilha seus conhecimentos para facilitar os processos ao se trabalhar com uma grande quantidade de registros. Vamos conferir? Olá comunidade! Quero trazer para vocês neste artigo, uma procedure que ficará encarregada de realizar DELETE ou UPDATE por LOTE. Por exemplo, poderemos definir para que a procedure exclua 10.000 linhas por vez. Isso se torna muito eficaz quando existe uma tabela com grande quantidade de registros a serem excluídos ou atualizados, e caso fossem excluídos ou atualizados de uma só vez, teríamos uma transação aberta por mais tempo, ocasionando um longo LOCK na tabela em questão. Realizando esta tarefa em LOTES, evitamos que outros processos fiquem aguardando por longos períodos até que a exclusão ou atualização completa seja finalizada, uma vez que, após o processamento de UM LOTE, o SQL vai retirar o lock da tabela, permitindo que outros processos acessem essa tabela. Sumário Vamos ao que interessa Colocando em prática Consideração final Vamos ao que interessa Como utilizar a procedure Temos os seguintes parâmetros de entrada nesta procedure: @COMANDO Informar o tipo de procedimento a ser realizado, sendo UPDATE / DELETE @tabela_UPDATE_OR_DELETE_LOTE Deverá ser informado o NOME da tabela que você deseja realizar a EXCLUSÃO ou ATUALIZAÇÃO das linhas @tabela_aux Aqui deve ficar o NOME da tabela auxiliar, ou seja, uma tabela em que você tenha os “IDs” (primary key – em caso de tabela clustered) da tabela que deseja realizar o DELETE ou UPDATE @colunas_chave Esse campo, deverá conter o nome da coluna primary key da tabela que terá as linhas excluídas ou atualizadas, caso esta seja uma tabela clustered. Em caso de tabela heap (sem primary key), informar o NOME da coluna que você está considerando como uma chave, ou seja, a ligação entre a @tabela_UPDATE_OR_DELETE_LOTE e a @tabela_aux @colunas_update Deixar vazio em caso de @comando = ‘delete’ Informar o NOME das COLUNAS que serão atualizadas (a @tabela_aux deverá ter o mesmo nome da coluna da @tabela_UPDATE_OR_DELETE_LOTE ) @backup Deixar vazio em caso de @comando = ‘delete’ Preencher com 1 caso você queira que a procedure crie uma tabela de backup, contendo a coluna chave e os valores que foram atualizados com ANTES / DEPOIS @lote Informar a quantidade de linhas que serão processadas por vez @executar Aqui temos 2 opções: Se informado valor 0 (zero) será retornado para o usuário, o script final para que seja executado de forma manual Se informado o valor 1, a PROCEDURE já começará a realizar o processamento dos lotes conforme configurado Colocando em prática Estou criando duas tabelas, chamadas [tabela1] e [tabela1_aux]. A [tabela1_aux] será uma “Cópia” da [tabela1], ou seja, contendo todas as primary_keys da [tabela1]. Para o nosso teste, eu estou querendo excluir todas as 10.000 linhas da [tabela1] Vamos informar os parâmetros da procedure de acordo, para este teste, especifiquei o lote de 1000 (Mil) linhas. Após a execução da procedure, temos o Result set com a informação de sucesso no procedimento, assim como um resumo abaixo do que foi executado e o tempo de execução. Na coluna [QUERY], temos exatamente os scripts que foram executados pela procedure Já na aba Messages, temos o tempo de exclusão de cada lote, assim como a quantidade de registros restantes, essa informação é bastante útil em caso de exclusão de grande volume de linhas Como resultado temos a tabela1 com todos os registros excluídos, e a tabela1_aux com todos os registros, essa tabela em questão, poderá ser excluída manualmente após a realização do procedimento, para liberação de espaço, caso não haja necessidade de mantê-la. Passando o valor 0 no parâmetro @executar: Será exibido no Result a coluna QUERY. Deveram ser copiadas todas as linhas para realização do processo Depois de copiadas as queries e executadas, teremos como retorno o script final de exclusão por lote Depois de colado em uma nova aba, e executado, temos a exclusão com sucesso dos registros Vamos realizar agora um teste com o comando de UPDATE? Vou considerar as mesmas tabelas do teste anterior: – Vamos atualizar as colunas [VALOR] e [codigo] – Então, definido os parâmetros desta forma: – Update realizado com sucesso e resumo exibido. Podemos ainda consultar a tabela de backup: Procedure disponível em: https://github.com/aguiarfpmr/scripts_publicos/blob/main/UPDATE_OR_DELETE_LOTE.sql Consideração final Este script já foi testado em diversos ambientes, entretanto, é de inteira responsabilidade do DBA a utilização desta procedure e de realizar testes antes, em um ambiente controlado. Gostou desse conteúdo? Curta, comente e compartilhe. 💙

“O que é Data Lake?” e “O que é Delta Lake?”, neste artigo o dataholic Eduardo Van Gasse responde essas perguntas, esclarecendo de forma clara e objetiva a diferença entre os dois. Boa leitura! (Imagem: Pixabay) Muitas pessoas se deparam com Data Lakes e Delta Lakes e ficam com dúvidas quanto a diferença entre os dois. Eles são a mesma coisa? São completamente diferentes? Neste artigo irei explicar o que é cada um e quais são as principais diferenças entre eles. Sumário O que é Data Lake? O que é Delta Lake? Principais vantagens no uso de um Delta lake O que é Data Lake? Os Data Lakes são grandes repositórios onde são armazenados os dados em sua forma bruta, ou seja, eles ainda não passaram por um processo com uma finalidade específica. Sejam eles dados estruturados ou dados não estruturados, todos tipos de dados podem ser armazenados no Data Lake. Com todos os dados sendo armazenados em um só lugar, você pode agora utilizá-los e analisar com base no que é necessário. Esse armazenamento é feito com os dados em sua forma bruta, nenhuma informação é perdida, pois o tratamento para análise desses dados é feito diretamente da fonte e não tem nenhum processo de transformação desses dados antes do armazenamento. O que é Delta Lake? O Delta Lake é um projeto open source desenvolvido pela mesma empresa que criou o apache spark , acrescentando características ACID (Atomicidade, Consistência, Isolamento e Durabilidade) aos Data Lakes, assim, trouxe uma diminuição de arquivos duplicados, o que acontecia para garantir a integridade dos dados caso ocorresse alguma falha. Um Delta Lake comum usa tabelas que correspondem a diferentes níveis de qualidade, adicionando estrutura aos dados. Os níveis de qualidades estão separados por Bronze, Silver e Gold: Tabelas Bronze : São tabelas relacionadas a ingestão de dados. Em sua grande maioria são os dados ‘crus’, que não passaram por nenhuma transformação; Tabelas Silver : São as tabelas que já passaram ou vão passar por uma transformação para remover alguns dados que não serão necessários; Tabelas Gold : São tabelas prontas para serem usadas para treinar ou fazer predições com ML Juntos, chamamos essas tabelas de arquitetura “multi-hop”. Ele permite que os engenheiros de dados construam um pipeline que trata os dados brutos como a “fonte verdadeiramente única” da qual tudo flui. Principais vantagens no uso de um Delta lake Transformações ACID – Os delta lakes proporcionam ACID para seus Data Lakes, fazendo com que os dados tenham sua integridade garantida; Versionamento de dados – O versionamento dos dados existentes no Delta Lake, permite com que os desenvolvedores possam acessar versões anteriores dos dados, seja para reverter ou reproduzir algum evento; Tratamento de metadados – O Delta Lake se aproveita do poder de processamento do spark para processar e lidar com os metadados gerados, o que permite que o Delta Lake lide com tabelas em escalas de petabytes com bastante facilidade; Formato Parquet – Todos os dados em um Delta Lake são armazenados no formato Parquet, fazendo com que os esquemas de compactação e codificação nativos desse formato sejam aproveitados pelo Delta Lake. Gostou desse conteúdo? Curta, comente e compartilhe. Pensou em dados, pensou Dataside . 💙 Referências: Databricks ; Redhat e Aprendizado de Máquina . #DataLakeDeltaLake

A Microsoft apresentou o Mico, um novo assistente virtual que marca um avanço importante na forma como os usuários interagem com a IA generativa.  Gostaria de implementar soluções de Copilot na sua empresa? Fale com a Dataside!   Mais do que um recurso visual, o Mico representa uma mudança de paradigma: uma IA mais empática, expressiva e colaborativa, que busca se aproximar do comportamento humano.  O anúncio dessa atualização foi feito pela empresa nessa última semana e a interface vem chamando bastante atenção dos usuários.  Quer saber mais sobre o Mico? Olha o que vamos te mostrar durante o conteúdo:  O que é o Mico?  Como o Mico funciona?  Mais que um assistente, um parceiro de conversas  As principais inovações do Copilot com o Mico  Impacto do Mico na experiência do usuário  Como a Dataside pode te ajudar?  Mas antes, você deseja implementar IA e outras soluções escalonáveis e tecnológicas para a sua empresa, mas não sabe por onde começar?         A Dataside é uma consultoria especializada em dados, inteligência artificial e negócios, que apoia empresas em sua Jornada de Dados com foco em confiabilidade, agilidade e decisões mais estratégicas.       Fale com um dos nossos representantes agora mesmo e mude hoje a jornada da sua empresa!  O que é o Mico?  O Mico é um avatar animado que dá “rosto” ao Copilot , o assistente de IA integrado ao Windows e ao Microsoft Edge.  Ele reage em tempo real às conversas por voz, com expressões faciais, cores e movimentos, tornando as interações mais naturais e visuais.  O nome “Mico” vem da junção de Microsoft e Copilot, simbolizando a fusão entre tecnologia e humanidade.  Como o Mico funciona?  Durante o uso do Copilot  por voz, o Mico aparece na tela e reage emocionalmente conforme o tom das interações.  Ele foi projetado para entender contextos, demonstrar empatia e se adaptar às necessidades do usuário, uma evolução direta do antigo “Clippy”, o icônico clipe de papel do Word, agora reinventado com inteligência artificial e design moderno.  Recurso   Descrição  Interface visual  Animações e expressões que acompanham a fala do usuário  Reatividade emocional  Cores e gestos que refletem o tom da conversa  Modo real talk  Respostas com humor, provocações e personalidade própria  Integração total   Funciona dentro do Copilot, sem necessidade configurações extras  Mais do que um assistente, um parceiro de conversas  Segundo a Microsoft, o objetivo do Mico é aprofundar a conexão entre humanos e máquinas, criando uma IA que não apenas obedece a comandos, mas que dialoga, entende e colabora.  A atualização também trouxe novas funções como o Copilot Groups, que permite a criação de chats colaborativos em tempo real, e melhorias na memória e confiabilidade das respostas, especialmente em temas sensíveis como saúde, com base em fontes reconhecidas, como Harvard Health   As principais inovações do Copilot com o Mico  Como mencionamos anteriormente, uma das principais novidades é a personalidade visual e interativa do assistente, que agora ganha expressões e comportamentos mais naturais, facilitando a comunicação entre pessoas e máquina.  Além disso, o Copilot passa a permitir conversas por voz com reações em tempo real, tornando a interação mais fluida e próxima de um diálogo humano.  Outro destaque é a colaboração em grupo com IA compartilhada, que possibilita que equipes interajam simultaneamente com o Copilot, otimizando tarefas e trocas de informação.  O recurso de memória aprimorada também merece atenção: ele permite que a IA mantenha o contexto das conversas e dê continuidade às tarefas de forma mais eficiente.  Tudo isso vem acompanhado de um foco reforçado em segurança e privacidade dos dados, garantindo que os usuários possam aproveitar todas as funcionalidades com tranquilidade e proteção.  Reprodução / Divulgação: Microsoft Impacto do Mico na experiência do usuário  Com o Mico, a Microsoft reforça seu compromisso em tornar a IA mais humana, acessível e confiável.  Essa abordagem redefine a relação entre pessoas e tecnologia, especialmente em ambientes corporativos, onde a automação empática pode melhorar significativamente a produtividade e a experiência de atendimento.  Como a Dataside ajuda empresas a implementar soluções em IA e Dados  A Dataside é referência em estratégias de dados e inteligência artificial voltadas para negócios.  Com expertise em parcerias com Microsoft, Databricks, Snowflake e AWS, a empresa apoia organizações na integração de soluções de IA generativa, como o Copilot, garantindo uso ético, seguro e orientado a resultados.  Com a ajuda da Dataside, sua empresa pode transformar dados em decisões inteligentes, automatizar processos e potencializar a produtividade com soluções baseadas em IA.

A evolução da análise de dados no ambiente corporativo passa, cada vez mais, pela integração entre machine learning e inteligência artificial.   Quer saber como implementar soluções IA e Machine Learning no seu negócio? Fale com a Dataside!   Nesse contexto, o Microsoft Fabric surge como uma plataforma completa que unifica dados, analytics e IA em um único ambiente.  Permitindo que empresas acelerem o ciclo de vida dos modelos, otimizem processos e extraiam valor estratégico das informações.  Quer saber mais? Então olha só tudo que vamos trazer nesse conteúdo:  O que é o Microsoft Fabric?  Fabric Machine Learning: modelos integrados e rastreáveis  Fabric AI: poder dos serviços de IA do Azure dentro do Fabric  Machine Learning e AI no Fabric: integração total de dados e inteligência  Como a Dataside pode te ajudar na implementação do Fabric  Mas antes, você deseja implementar IA e outras soluções escalonáveis e tecnológicas para a sua empresa, mas não sabe por onde começar?         A Dataside é uma consultoria especializada em dados, inteligência artificial e negócios, que apoia empresas em sua Jornada de Dados com foco em confiabilidade, agilidade e decisões mais estratégicas.       Fale com um dos nossos representantes agora mesmo e mude hoje a jornada da sua empresa!  O que é o Microsoft Fabric?  O Microsoft Fabric  é uma plataforma unificada de dados e analytics baseada em nuvem, que integra ferramentas como Data Factory, Synapse, Power BI e agora também serviços avançados de IA e machine learning.  A proposta é simplificar a forma como as empresas lidam com seus dados, desde a ingestão e preparação até a modelagem e a tomada de decisão, tudo dentro de um ambiente colaborativo e seguro.  Fabric Machine Learning: modelos integrados e rastreáveis  O Fabric Machine Learning permite que cientistas de dados criem, gerenciem e monitorem modelos diretamente dentro do ambiente do Fabric.  Utilizando a integração nativa com o MLflow, o Fabric oferece um formato padronizado para empacotar e acompanhar modelos.  O que acaba facilitando o versionamento, a comparação de métricas e o reaproveitamento em diferentes ferramentas downstream, como o Apache Spark.   Entre as principais vantagens do machine learning no Fabric, destacam-se:  Gestão de versões de modelo   Acompanhe diferentes iterações, hiperparâmetros e métricas de desempenho em um único painel.  Comparação visual de modelos   Visualize e compare resultados entre execuções de forma interativa, identificando qual versão entrega melhor performance.  Integração com Python e APIs MLflow   Registre, salve e monitore execuções de forma automatizada.  Inferência escalável   Aplique modelos treinados em novos conjuntos de dados para prever comportamentos e gerar insights imediatos.  Em outras palavras, o machine learning fabric transforma o ciclo de vida do modelo em um processo mais dinâmico, colaborativo e auditável, essencial para empresas que buscam excelência em governança e precisão analítica.  Fabric AI: poder dos serviços de IA do Azure dentro do Fabric  Com os serviços de AI do Azure integrados ao Fabric, as organizações podem acessar modelos de inteligência artificial pré-construídos ou personalizados sem sair do ambiente da plataforma.  Os recursos incluem modelos para análise de texto, tradução, reconhecimento de entidades e integração direta com o Azure OpenAI Service, que disponibiliza os modelos GPT-5, GPT-4.1 e GPT-4o-mini, entre outros.  Há duas principais formas de uso:  Modelos de IA pré-construídos (versão prévia): permitem enriquecer dados sem pré-requisitos complexos, com autenticação integrada e cobrança diretamente pela capacidade do Fabric.  BYOK (Bring Your Own Key): possibilita trazer suas próprias chaves do Azure AI para ampliar a personalização e o controle sobre os serviços utilizados.  Esses recursos de AI no Fabric tornam possível criar aplicações inteligentes e conectar o poder dos grandes modelos de linguagem à análise de dados corporativos com segurança e governança centralizadas.     Machine Learning e AI no Fabric: integração total de dados e inteligência  A combinação de machine learning e IA no Microsoft Fabric  cria uma camada de inteligência que vai muito além da análise descritiva, permitindo que as empresas transformem dados em decisões com mais agilidade e precisão.  Com essa integração, é possível automatizar previsões e análises diretamente nos pipelines de dados, otimizando o fluxo de informações e reduzindo o retrabalho.  Além disso, o Fabric possibilita gerar insights em tempo real ao integrar recursos de IA e Spark, tornando as análises mais dinâmicas e conectadas às operações do negócio.  Outro benefício é a redução do tempo de entrega de modelos prontos para produção, o que acelera a adoção de soluções baseadas em aprendizado de máquina e amplia o impacto dos projetos de dados.  Tudo isso ocorre com rastreabilidade e compliance garantidos em todo o processo, assegurando a governança e a confiabilidade das informações.  Essas capacidades são potencializadas pelo poder da nuvem Azure, que oferece segurança corporativa e escalabilidade de ponta a ponta, criando um ecossistema completo para a aplicação de inteligência artificial em larga escala.  Como a Dataside pode te ajudar na implementação do Fabric  Na Dataside, unimos expertise em engenharia de dados, analytics e inteligência artificial para apoiar empresas em todas as etapas de adoção do Microsoft Fabric.  Desde a implementação de ambientes unificados até a criação de modelos de machine learning e IA aplicados ao negócio, nossos especialistas ajudam sua empresa a transformar dados em vantagem competitiva real.  Se você quer explorar todo o potencial do Fabric Machine Learning e da AI no Fabric, fale com a Dataside e descubra como acelerar sua jornada de dados com inovação e performance.