Resultados de busca

O que exatamente é Visão Computacional? Só pelo nome já podemos pensar em bastante coisa, não é? Hoje o dataholic Lucas Araújo vai contar um pouco sobre como a aplicação dessa tecnologia pode ser benéfica. Se pensarmos por algum tempo sobre a parte biológica da visão, começamos a perceber o quão realmente espetacular ela é. Ainda assim, infelizmente, nós humanos possuímos algumas limitações, como enxergar com nitidez a longas distâncias e visualizar organismos microscópicos, também não podemos ver o que está fora do espectro de luz visível, como por exemplo, a luz infravermelha e a luz ultravioleta. Mas e as máquinas? Elas conseguem! Mini-Sumário: A Visão Computacional Aplicações de Visão Computacional Visão Computacional na sua empresa A Visão Computacional Desde que os primeiros computadores foram lançados, a humanidade tenta utilizar a capacidade dessas máquinas para realizar operações complexas de forma quase instantânea. Esta ainda é uma realidade bem distante, mas levando em conta a tecnologia nos dias de hoje, as máquinas já são capazes de ler muitas informações por segundo, auxiliando em diversas tarefas de rotina. Mas como exatamente isso é feito? Não podemos dizer que é algo simples, na verdade é bastante complexo e difícil de se imaginar que seres não biológicos, tais como máquinas e computadores, tenham a capacidade da visão humana. Qual o objetivo desse post de Visão Computacional, então? Calma meu jovem gafanhoto, chegaremos lá! A grande novidade aqui, é que o uso de tecnologias de Inteligência Artificial tem sido supervalorizado por conta de técnicas como o Machine Learning, Deep Learning e a Visão Computacional. Já temos um post sobre Machine Learning no blog! corre lá para ver :) A Visão Computacional (VC), é uma subárea da Inteligência Artificial, que tem como objetivo realizar treinamentos utilizando dados não-estruturados (imagens e vídeos) nos computadores para que vejam, interpretem, reajam e sejam capazes de interagir com diferentes tipos de situações no mundo real. Com esta técnica e muitas outras derivadas da inteligência artificial, a humanidade agora é capaz de realizar tarefas simples de forma completamente automática por meio das máquinas. Aplicações de Visão Computacional Há diversas aplicações onde ela pode ser usada, alguns exemplos são: automatização de processos repetitivos, reconhecimento de objetos, detecção de movimento, restauração de imagens, carros autônomos, identificação de doenças, análise de estoque de produtos, prevenção de acidentes, detecção de sentimentos, entre outros. Ufa! Fora as que não foram citadas, existem também grandes empresas como Apple, Amazon, Google, Microsoft e Facebook liderando os investimentos em visão computacional, além uma imensa quantidade de startups de inteligência artificial, que são compradas por estas empresas todos os anos. Uma delas que entrou em destaque recentemente foi o Facebook, que está apostando as suas fichas no Metaverso, eles estão utilizando técnicas de visão computacional principalmente para a criação de avatares interativos em parceria com a NVIDIA, que são altamente detalhados. E quanto às técnicas? As principais técnicas que são utilizadas em VC estão listadas a seguir: Classificação de imagens: Um dos problemas mais usuais, acontece quando a saída da classe de imagem é a única possível, por exemplo: 0 ou 1, gato ou cachorro, entre outros. Segue a imagem abaixo para ficar mais claro: Figura 01 - Exemplos de imagens presentes na base CIFAR-10. Fonte: https://becominghuman.ai/training-mxnet-part-2-cifar-10-c7b0b729c33c Você pode se perguntar ainda: Se posso fazer isso eu mesmo, por que eu usaria Visão Computacional? Bom, agora imagine aquelas imagens guardadas em um banco de dados, são centenas e até milhares, certo? Uma máquina poderia classificar isso em segundos. E isso é possível com a visão computacional! Detecção de objetos: Já a detecção de objetos é um pouco diferente da técnica acima, podemos dizer que ela é considerada um avanço da classificação de imagens. Nesta técnica, realizamos a detecção de diversos objetos em uma só imagem. Como por exemplo nas imagens abaixo, temos diferentes tipos de objetos: Figura 02 - Detecção de objetos utilizando o modelo R-CNN na base MS COCO. Fonte: https://machinelearningmastery.com/applications-of-deep-learning-for-computer-vision/ Segmentação de objetos: Na segmentação de objetos, o processo é outro. Aqui é esperado que os objetos que estão nas imagens sejam detectados com uma maior precisão, para isso, paramos de utilizar as caixas retangulares ao redor deles e levamos em conta a borda entre eles, para ficar mais claro, veja a imagem abaixo: Figura 03 -Segmentação de objetos utilizando o modelo R-CNN na base MS COCO. Fonte: https://machinelearningmastery.com/applications-of-deep-learning-for-computer-vision/ Detecção e Reconhecimento facial: Por mais que pareça que estas duas técnicas são iguais, elas não são! Imagine a detecção de faces, ela detecta qualquer face que aparecer na sua frente, já o reconhecimento facial faz a leitura apenas do rosto da pessoa-alvo. Abaixo um exemplo de como isso é feito: Para fazer o exemplo do reconhecimento facial, utilizei imagens do nosso CEO Caio Amante e da CMO Letícia Carvalho, segue o exemplo: Figura 05 - Imagem sendo utilizada o reconhecimento facial do CEO e CMO da Dataside Fonte - Dataside, 2021 Esses são apenas alguns exemplos do que pode ser realizado com a Visão Computacional. Mas como eu posso usar Visão Computacional na minha empresa? Se seu questionamento agora é como implementar a Visão Computacional na sua empresa, podemos lhe oferecer algumas dicas sobre por onde começar. Você pode fazer tudo o que conseguir imaginar! Desde que tenha dados confiáveis de forma não-estruturada, é possível se beneficiar na sua empresa. Imagine uma câmera de vigilância em determinado estabelecimento, elas estão gerando dados nesse exato momento, mas a sua funcionalidade fica a cargo do que você pode escolher fazer com eles. Agora, pense sobre fazer o controle da quantidade de pessoas em um determinado lugar, o que poderia ser feito neste caso, seria o reconhecimento facial de cada funcionário ou, caso seja um estabelecimento, a contagem de clientes que passaram sobre a câmera de vigilância. Quer saber se os clientes gostaram do atendimento? É só interpretar as expressões faciais e os comportamentos de cada um e saber se gostaram ou não. Ainda há diversas outras aplicações que podem ser desenvolvidas com a Visão Computacional, quer saber mais? Então curti e comenta o que achou, depois é só compartilhar com alguém que também vai gostar desse conteúdo.💙🤳

Neste artigo você vai conhecer a plataforma, suas vantagens, características e casos de uso. Boa leitura! Que a tecnologia impulsiona o crescimento de empresas, dos mais variados nichos, não é mais novidade. Mas, infelizmente, ainda que isso seja claro para quem está disposto a ver seu negócio em ascensão, para muitos empresários e empreendedores, a tecnologia ainda é vista como custo, e não investimento. A falta de conhecimento sobre esse universo de possibilidades é o fator limitante. Não entender o porquê de cada tecnologia, o que há por trás das tomadas de decisões assertivas e de projetos inovadores, faz com que grandes oportunidades sejam perdidas. Por isso, neste artigo vamos apresentar o Databricks, e assim abrir caminhos para novos conhecimentos em tecnologia e, com isso, novas possibilidades de crescimento. O que é o Databricks “Todos os seus dados, análises e IA em uma plataforma lakehouse” essa á a definição que você vai encontrar assim que acessar o site do Databricks, uma plataforma colaborativa - desenvolvida pelos mesmos criadores do Apache Spark, que possibilita que os times de engenheiros de dados, cientistas de dados e engenheiros de Machine Learning trabalhem em um mesmo ambiente. Com isso, ao invés de cada time ficar limitado em suas atividades e, consequentemente, limitando oportunidades, com o Databricks os profissionais têm mais liberdade para criar novas possibilidades, gerar mais insights. De forma simples, aberta e colaborativa. “Ele é construído em código aberto e padrões abertos para maximizar a flexibilidade. E seus recursos colaborativos nativos aceleram sua capacidade de trabalhar entre equipes e inovar mais rapidamente.” - Databricks Plataforma Lakehouse Vamos voltar um pouco na parte do texto em que foi mencionado sobre a definição do Databricks, sendo “plataforma lakehouse” uma parte muito importante. Para entender melhor essa importância, compartilhamos com você esse trecho de um dos artigos do blog Databricks: “O lakehouse é uma nova arquitetura de gerenciamento de dados que simplifica radicalmente a infraestrutura de dados corporativos e acelera a inovação em uma época em que o aprendizado de máquina está pronto para revolucionar todos os setores. No passado, a maioria dos dados que entravam nos produtos de uma empresa ou na tomada de decisões eram dados estruturados de sistemas operacionais, enquanto hoje muitos produtos incorporam IA na forma de visão computacional e modelos de fala, mineração de texto e outros. Por que usar um lakehouse em vez de um data lake para IA? Um lakehouse oferece controle de versão de dados, governança, segurança e propriedades ACID que são necessárias mesmo para dados não estruturados.” As principais características de um Lakehouse, também abordadas no blog Databricks, reforçam o porquê de se um investimento assertivo para as empresas. Sendo elas: ● Suporte a transações; ● Aplicação e governança de esquema; ● Suporte de BI; ● O armazenamento é desacoplado da computação; ● Formatos de armazenamento com abertura; ● Suporte para diversos tipos de dados, desde dados não estruturados a dados estruturados; ● Suporte para diversas cargas de trabalho; ● Streaming de ponta a ponta Casos de uso Com uma plataforma construída para proporcionar fluxos de trabalhos simplificados e que permitem interação entre engenheiros de dados, cientistas de dados e engenheiros de Machine Learning, pode-se esperar só vantagens, como ter vários tipos de visualizações de dados, criação e compartilhamento de painéis, extrair excelentes insights, desenvolvimento de modelos e gerenciamento de testes. Confira alguns casos de uso compartilhados na documentação do Databricks: ● Aplicação de análises avançadas para aprendizado de máquina e processamento de gráficos em escala; ● Aprendizado profundo para aproveitar o poder de dados não estruturados, como IA, interpretação de imagens, tradução automática, processamento de linguagem natural e muito mais; ● Armazenamento de dados rápido, simples e escalável; ● Detecta ameaças proativamente com ciência de dados e IA; ● Analisa dados de IoT de séries temporais e sensores de alta velocidade em tempo real; ● Facilita a execução das solicitações de titulares de dados do GDPR. Conte com profissionais especializados Como podemos ver, o Databricks é uma plataforma indispensável para quem quer ter vantagem competitiva em relação aos concorrentes, evoluir e reduzir riscos. A melhor estratégia aqui, é unir a tecnologia certa com profissionais especializados. Lembra que a falta de conhecimento é o fator que limita empresários e empreendedores de investirem em tecnologia? Algumas empresas pagam por plataformas e ferramentas incríveis como o Databricks, mas não contam com profissionais munidos de conhecimento para atuar da melhor forma possível, para aproveitar os recursos com inteligência e estratégia e, com isso, trazer resultados reais. Por isso, acabam com prejuízos e frustrações, deixando de ver a tecnologia como investimento e sim como custo. Então, agora que você conhece o Databricks, vem conhecer o time de Advanced Data Analytics da Dataside. Assim, você vai contar com profissionais especializados que atuam na plataforma para que cada vez mais empresas sejam orientadas a dados e tomem decisões inteligentes. Ficou com alguma dúvida? Quer conversar sobre a plataforma? Entre em contato com a gente! Pensou em dados. Pensou Dataside. 💙🚀

Nesse artigo, o Dataholic Gilson Castro irá mostrar como as micro e pequenas empresas mais progressistas e com visão de futuro, podem se beneficiar da inteligência artificial e de suas ferramentas derivadas. Vem conferir! A inteligência artificial (IA) é uma ferramenta fundamental para as pequenas empresas nessa época de conexões. Foi inventada para apoiar os seres humanos em determinadas tarefas repetitivas e manuais. Contudo, atualmente a IA oferece um leque de aplicações fundamentais para a vantagem competitiva das empresas. Já é possível perceber o interesse crescente em empresas e startups que oferecem soluções em contabilidade, empréstimos, análise de dados financeiros para pequenos negócios. Como as pequenas e médias empresas podem aproveitar a IA agora? Como usamos serviços de IA todos os dias, parece algo tão acessível para nós consumidores, que acaba passando despercebido. A inteligência artificial faz parte daquelas tecnologias de uso geral, que são pervasivas em vários setores econômicos e atividades no geral, ou seja, uma vez infiltrada na sociedade, seria inviável impedir seu avanço. Essa tecnologia, em muitas situações já está ao alcance de pequenas empresas. O impacto será visível no aumento da eficiência nos processos empresariais, por meio da utilização otimizada dos dados da organização. As MPE (micro e pequenas empresas) inovadoras estão reduzindo significativamente os custos através da adoção de ferramentas como chatboots, plataformas digitais desenvolvidas com o uso da IA, e dessa forma, oferecendo excelentes experiências aos clientes. Quebrando o mito de que a inteligência artificial seria apenas para empresas com grande orçamento. O principal processo das pequenas empresas impactado é o relacionamento com clientes e fornecedores. Para muitos proprietários de pequenas empresas, a implementação da inteligência artificial pode parecer um desafio, mas as vantagens aparecem em diversas situações, listamos 2 impactos significativos nos pequenos negócios nos próximos anos. A IA ajudará a tornar as pequenas empresas mais produtivas A produtividade pode ser uma das medidas mais adequadas para medir a performance organizacional das empresas. Dessa forma, quando a IA é incorporada nos processos operacionais e fluxos de trabalho apoia a empresa e seus colaboradores no direcionamento da execução de tarefas mais críticas. Isso torna a empresa mais produtiva e competitiva. De acordo com a Accenture, empresa global de consultoria de gestão e serviços profissionais, a IA aumentará a produtividade em até 40% e permitirá que a força de trabalho faça uso mais eficiente de seu tempo. Nesse contexto, a IA é uma tecnologia que poderá viabilizar maior eficiência para as pequenas e médias empresas. Para empresas pequenas, o principal impacto econômico da IA será a possibilidade de tornar a redução de custos e aumento da produção de bens e serviços, algo real e palpável. Para a Accenture, informação e comunicação, manufatura e serviços financeiros são as três áreas das empresas que mais se beneficiarão com a aplicação da IA. Os serviços financeiros já estão quase que totalmente automatizados pelos aplicativos bancários, nos quais geralmente atua uma inteligência artificial. Até mesmo o trabalho do marketing digital das pequenas empresas é realizado por IA, por meio das ferramentas sugeridas pelos especialistas. Mesmo assim, no caso da manufatura, ainda existe uma enorme lacuna tecnológica nas empresas brasileiras frente algumas pequenas empresas americanas e chinesas. A inteligência artificial auxiliará na tomada de decisão e a obter insights com dados. Todas as empresas, grandes ou pequenas, precisam tomar decisões referentes a seus negócios todos os dias. Os dados são a peça-chave nesse processo. Então, quando as pequenas empresas têm acesso a ferramentas e análises estatísticas elas podem aprender mais sobre seus clientes e descobrir novas oportunidades de mercado. A IA pode impactar com análise de padrões comportamentais, os algoritmos de aprendizado da máquina percebem as preferências e os hábitos dos clientes, dessa forma podemos estar mais bem posicionados para atender às necessidades específicas da clientela. “Os dados costumavam ser números estruturados, mas na era digital somos confrontados com muitos tipos diferentes – texto, imagens, vídeo, voz e neurodados – e eles são um desafio para capturar e analisar” -Martin Wetzels É fato que cada vez mais empresas, sejam elas pequenas ou grandes corporações, vão passar a ter uma orientação baseada em dados. Em breve, todas utilizarão dados para dar suporte à tomada ou eliminação de decisões por meio da automação dos processos. A internet é a tecnologia de fundo para a revolução da IA. Ela está presente na maioria das regiões e as pequenas empresas nestas mesmas regiões podem usufruir da IA. Seja via os canais de comunicação do mobile, seja nas redes sociais. Também existem as plataformas e ecossistemas de fornecedores e clientes em lojas virtuais, e outros modelos de negócios no espaço virtual que podem potencializar a vantagem competitiva das empresas. Por fim, todos os que trabalham para e com as pequenas empresas precisão saber lidar com as aplicações da IA. O mundo está cada vez mais digitalizado e conectado, portanto, estratégias de conexões e de utilização das tecnologias digitais para o negócio é fundamental para o sucesso. Gostou desse conteúdo? Então curte, comenta e compartilha com aquele parceiro que precisa começar a pensar na inovação! 💙

Neste artigo o dataholic Ádans Ádpool aborda sobre uma grande questão no mundo dos dados: a escolha entre Tableau ou Power BI. Boa leitura! 💙 Começo esse artigo fazendo referência a um grande filme que no original se chama Draft Day. Nesse filme um gerente geral da NFL usa muita estratégia para conseguir contratar os melhores jogadores no famoso draft da liga de futebol americano. E para tratar de um assunto que sempre causa controvérsia e debates calorosos no meio dos profissionais de análise de dados / Business Intelligence, o principal para chegarmos a decisão final, é saber qual a sua estratégia. Por anos estas duas ferramentas de Visualização de Dados, vem concorrendo por mais espaço no mercado. E consequentemente por vezes essa questão é discutida em empresas para que definam qual ferramenta será adotada em seu projeto de análise de dados. Como na maioria dos artigos que existem com essa comparação, vamos definir alguns critérios que diferenciam ambas em seus principais pontos positivos e negativos. Visto que falamos das principais ferramentas nessa área e que lideram com folga ante as rivais, de antemão afirmo que são duas ótimas plataformas e que podem ser importantíssimas na transformação das empresas para a tão sonhada cultura data driven. Ter uma empresa que se baseia em dados em cada tomada de decisão é hoje tão importante, quanto ter café de graça para seus colaboradores. Entender as mudanças de comportamento, padrões e possíveis tendências com eficiência e agilidade. Pode significar crescer ou morrer em um mundo corporativo que é cada dia mais digital e dinâmico. Nesse conceito, ter disponível informações confiáveis e em tempo real. levando essas visões para o maior número de pessoas. E que elas entendam exatamente o que está sendo visto é um grande desafio. E tanto o Tableau como o Power BI cumprem esse papel, entregando uma ferramenta capaz de criar gráficos, painéis de controle, dashboards e relatórios das mais diversas formas. Mas para entender qual delas é de fato a melhor preciso que você saiba que não existe esse consenso. O que existe é a melhor ferramenta para a sua situação, essa escolha depende e muito do seu cenário. Como adiantei vamos tocar em algumas características das plataformas para trazer dados que podem fazer a diferença na sua decisão. Se você não está acostumado com isso, seja bem-vindo a era data driven! Iniciando nos pontos em comum entre as duas ferramentas, temos algumas características que são praticamente equivalentes entre elas: Conexão com várias fontes de dados; Criação de gráficos simples com poucos cliques; Capacidade de Tratamento dos dados. Agora vamos aos pontos de destaque de cada uma delas. Sumário Por ordem cronológica vamos falar primeiro do Tableau. Agora vamos ao Power BI Por ordem cronológica vamos falar primeiro do Tableau. Desde 2003 essa ferramenta tem como lema a capacidade de “Ver e Explorar”. Através de visualizações mais atraentes as quais eram criadas em ferramentas como o Excel e de interatividade na exploração dos dados apresentados. A dianteira de 10 anos sobre o Power BI fez com que o Tableau conseguisse ser uma ferramenta mais robusta e com mais praticidade na criação e manipulação dos gráficos/visões criadas. Outro ponto positivo para o Tableau é que existem as várias maneiras de ser “instalado”, pois você pode ter uma instância local para publicar e compartilhar suas pastas de trabalho, ou pode usar o serviço online de servidores da própria plataforma. E, por fim, como ponto principal temos a capacidade do Tableau trabalhar uma quantidade grande de dados. O chamado Big Data é uma realidade e o Tableau tem uma vantagem nesse quesito em relação ao Power BI. Por isso, muitas vezes é ligada a plataforma uma necessidade de estruturação dos dados da empresa que adquiri o Tableau em um Data Ware House. Mas não é um pré-requisito esse tipo de arquitetura, e sim uma consequência do processo de ter uma companhia Data Driven. Não é suficiente muitas vezes ter somente a ponta final com uma ferramenta de Visualização de dados, mas também se faz necessário um trabalho pesado e difícil de estruturar esses dados da melhor maneira. Voltando aos pontos do Tableau, uma questão que muitas vezes assusta quem pretende contratá-lo é o custo, que na maioria das vezes é bem maior que de seu concorrente. Como já apontado existem alguns tipos de licenciamento da plataforma, mas ainda assim o custo muitas vezes é maior em relação ao Power BI. Outro ponto é a falta de familiaridade das pessoas ao uso da ferramenta. Pois comparada ao Power BI que vem com uma usabilidade similar ao Office 365, para usar o Tableau a pessoa vai precisar fazer uso dos cursos disponibilizados gratuitamente no site da plataforma e algumas vezes da comunidade que conta com mais de 220.000 usuários na comunidade pública do Tableau para ajudar na adaptação. Agora vamos ao Power BI Aproveitando a deixa do último ponto apresentado, temos um dos principais aspectos do aumento de uso da ferramenta da Microsoft: a integração com um pacote que todos usamos há muito tempo. O Power BI atualmente vem no pacote office, e tem em seus menus, funções e layout a mesma dinâmica das outras aplicações deste grupo. Por essa razão também temos outro ponto muito positivo, o custo da licença para uso é muito menor que o Tableau. A implantação do Power BI só existe no modelo SaaS (Software Como Serviço), tendo o ambiente de publicação e compartilhamento somente nos servidores online da Microsoft. Outro fator que trouxe muitos adeptos é a velocidade das melhorias e atualizações que a Microsoft traz para o Power BI. Mensalmente temos novidades, como novas funções e novas integrações a outras aplicações. O resumo da ópera é que as duas têm características que podem fazer delas a ferramenta certa para você e sua necessidade. O Tableau vem com uma comunidade mais sólida, uma capacidade de processamento de grande quantidade de dados, mais diversidade de modos de implantação, visões mais refinadas e interativas, porém com um custo mais alto e a necessidade de adaptação a sua usabilidade maior. Enquanto no Power BI temos uma facilidade de uso por fazer parte da família Office 365. Familiaridade ao layout e uso por seguir o padrão de todas as aplicações da Microsoft. Custo reduzido para aquisição de licença e pacotes mensais com novos recursos. Mas ainda é menos fluído para criação das visões e dashboards, oferece somente uma forma de implantação e possui um limite para volume de dados na primeira faixa do valor de sua licença. O legal desse embate é que temos muitas melhorias e funcionalidades sendo especuladas em ambas as ferramentas, impulsionadas por essa concorrência. Então defina bem o seu objetivo, entenda as características do seu projeto de dados. Faça testes nas versões gratuitas de ambas as ferramentas. Para que sua escolha possa ser a melhor possível. Agora conta pra gente, tem preferência por uma dessas ferramentas? Como dito acima, para cada caso existe uma ferramenta ideal. Mas para a escolha certa e manipulação cuidadosa dos dados, não existem dúvidas de que é fundamental contar com profissionais capacitados. Por isso estamos aqui, conte conosco. Pensou em dados, pensou Dataside. 💙

O dataholic Thiago Barbosa compartilhou seus conhecimentos sobre o uso da ferramenta DMA. Bora aprender com ele? Olá, pessoal! Neste artigo vou mostrar uma ferramenta muito interessante para migração de versão do SQL Server. Resumo do caso: Cliente precisava migrar uma instância SQL 2014 para SQL 2017 e com isso precisava ser avaliada a estrutura dos bancos para saber se não teria nenhum impacto na migração. Com isso utilizei a ferramenta DMA (Data Migration Assistant) da Microsoft. (Visão geral do Assistente de Migração (SQL Server) – SQL Server | Microsoft Docs) Essa ferramenta tem duas opções que podemos utilizar Assessment – Avalia a estrutura de todos os databases e informa o que precisa ajustar antes de realizar a migração para outra versão do banco. Migration – Executa a migração dos databases para a nova versão do banco. Nesse artigo irei mostrar a opção Assessment, e uma forma mais fácil de analisar o relatório final que a ferramenta gera. Obs.: Essa opção não gera indisponibilidade no ambiente. Após preenchermos os campos com o nome do projeto, o tipo de avaliação, o tipo de servidor de origem e o tipo de servidor de destino, iremos clicar em Create. Na próxima tela iremos informar qual é a versão que estamos querendo migrar a instância. Nesse exemplo eu irei validar se o ambiente está compatível para o SQL 2017. Marcando essa opção clique no botão Next. Na próxima tela clique no botão Add sources, passe as informações da instância que será avaliada e um usuário com permissão para ler as estruturas das bases de dados. Clique no botão Connect. Funcionando a comunicação com a instância será exibida a lista de bases de dados, clique no check box para selecionar todas as bases de dados ou caso queira validar somente alguma seleciona qual base quer fazer a validação. Feito isso clique no botão Add. Depois de adicionar as bases de dados, clique no botão Start Assessment Após a ferramenta validar todas as bases de dados, ela vai mostrar um check com ícone verde em frente a cada base de dados. Nesse report final ela mostra em abas as versões de compatibilidade que validou para cada base, mostra no primeiro bloco quantos objetos serão impactados, no segundo bloco as informações detalhadas, no terceiro bloco quais são os objetos impactados e no quarto bloco uma recomendação para corrigir os impactos. Os itens mais críticos seriam os que aparecem no Breaking Changes, pois sem essas correções a migração não terá sucesso. Caso queira exportar esse relatório, temos duas opções, gerar um arquivo CSV ou JSON. Clicando no botão Export report escolha qual extensão você quer salvar o relatório. Vamos salvar o relatório em extensão JSON. Tendo esse arquivo salvo, iremos criar uma tabela para facilitar a análise dos objetos impactados em todas as bases que iremos migrar. Iremos utilizar o script abaixo. Temos dois pontos que devemos alterar no script: o nome da tabela que queremos criar no banco e o caminho onde o arquivo está salvo. Após criar a tabela no banco, podemos trabalhar em cima das informações e fazer as análises com mais facilidade. Segue um exemplo de consulta nessa tabela. Espero que dessa forma facilite sua análise quando for fazer uma migração e assim possa passar para os DEV’s quais objetos eles precisam corrigir no banco para que a migração aconteça e a aplicação não venha a ficar indisponível. Outra dica para realizar a migração seria configurar um extended events ou profiler para capturar comandos descontinuados que são utilizados por alguma aplicação. Pois o DMA só analisa a estrutura que está salvo no banco. Mais informações podem ser visualizadas nos links: https://www.youtube.com/watch?v=txpeHMJNQPU&t https://www.youtube.com/watch?v=xN3UoIRLWxo Gostou do conteúdo? Curta, comente e compartilhe. 💙

O dataholic Fabiano Lira escreveu um artigo para compartilhar conhecimento sobre o Databricks. Bora conferir? E se você não tivesse que ler milhares de arquivos toda vez que rodasse seu pipeline de dados? Imagine que você tenha o seguinte fluxo no Databricks: Milhares de arquivos JSON pousam no seu Data Lake, de forma constante e ininterrupta, na landing zone. Você precisa ler esses arquivos a cada 10 minutos e inserir os dados em uma tabela bronze, já em formato delta. A cada execução, você precisa desconsiderar os arquivos já lidos, ou seja, realizar uma leitura incremental dos arquivos na landing/transient zone. Esse é um fluxo de ingestão incremental muito comum, mas com diferentes formas de se implementar, dentre elas: Gerenciamento de arquivos através de catálogo de metadados, onde podemos realizar o controle dos arquivos já lidos. Gerenciamento através de eventos, onde ao receber o arquivo, o Object Storage gera um evento, que é recebido por algum outro serviço, como uma Azure Function ou AWS Lambda, e dispara o notebook passando uma série de parâmetros para processamento daquele(s) arquivo(s) em específico. Não entrarei nos detalhes de cada abordagem explicando os prós e contras de cada um. Mas algo que é comum entre as duas é que ambas vão requerer algum tipo de implementação e manutenção. No caso da segunda abordagem ela ainda tem o problema de não ser repetível. Isto significa que precisarei gerenciar o caso de eventualmente um arquivo não ser corretamente processado e/ou precisar reprocessá-lo. Enfim, teríamos uma certa dor de cabeça. O Databricks possui algumas features que resolvem este problema de forma elegante, para dizer o mínimo. Uma delas é o Auto Loader. Caso você tenha um cenário onde precise processar arquivos assim que eles chegam no Data Lake, você passa o diretório que será “observado” e os arquivos podem ser processados assim que chegam. Caso não precise de um SLA muito baixo, basta executá-lo em modo batch, como veremos mais abaixo. O Auto Loader magicamente controla quais arquivos já foram processados, utilizando alguns serviços automaticamente gerenciados, fazendo com que sua implantação seja fácil e rápida. Neste exemplo, para facilitar, vamos utilizar o Azure Event Hub Capture. Essa funcionalidade nos permite despejar eventos do Azure Event Hub, em intervalos pré-configurados, direto em uma storage account. Os eventos são gerados em formato AVRO, em pastas organizadas por partição e data, conforme imagem abaixo. Percebam que para fazer uso da funcionalidade, basta utilizarmos o formato cloudFiles como source do Structured Streaming. O método trigger com o parâmetro “once=True” define que os novos arquivos serão processados e a execução do código será finalizada. Essa trigger pode ser modificada caso precisemos de um SLA menor de processamento, fazendo com que essa execução seja contínua. Dessa forma, se novos arquivos caem no Data Lake logo são processados. Uma abordagem similar para batch, caso queira utilizar SQL, é o comando COPY INTO. Como destino especificamos uma tabela delta. No nosso exemplo ficaria desta forma: Lembrando que ambas as abordagens são idempotentes, ou seja, podem ser executadas novamente em caso de falhas e terão o mesmo resultado, a não ser que você modifique este comportamento, fazendo uso de parâmetros específicos, como por exemplo para reprocessar todos os arquivos. Caso tenha curiosidade, uma série desses parâmetros estão disponíveis na documentação do Databricks, COPY INTO (Delta Lake on Databricks). A Databricks mais uma vez mostra que é uma plataforma diferenciada e sem dúvidas facilita muito a ingestão de dados com esse recurso. E você, já utiliza nos seus pipelines? Dúvidas, críticas, elogios, sugestões? Deixe seu comentário!

Neste artigo, o dataholic Felipe Aguiar compartilha uma forma de alterar em lote o tamanho de colunas que fazem parte de uma primary key ou outras constraints. Cenário: Cliente solicitou que fosse alterado o tamanho de todas as tabelas que continham a coluna [SERIE] de varchar(3) para varchar(5). O Problema: Várias tabelas possuíam esta coluna como uma primary key, sendo necessário, desta forma, dropar as constraints e índices, assim como alterar as foreign Keys. Essa procedure tem como objetivo retornar no output todos os comandos que precisam ser executados e em ordem, para que esta operação possa ser realizada com sucesso. Exemplo : use tempdb; exec altera_tamanho_coluna_lote  @nome_coluna_alvo = ‘serie’, @tipo_dados_tamanho = ‘VARCHAR (5)’ Sem mais delongas, vamos ao script da procedure: Montando o cenário: Criamos a tabela que irá guardar os scripts Nesta parte, buscamos todas as tabelas que contenham a coluna informada Agora buscamos todas as FOREIGN KEYS ligadas as tabelas que identificamos anteriormente Aqui, retornamos todas as PRIMARY KEYS que estão vinculadas a coluna que vamos alterar o tamanho. Neste passo, buscamos as default constraints para serem recriadas também. Aqui, estamos buscando as colunas / tabelas que estão ligadas por uma foreign key a alguma tabela que possui a coluna [SERIE], porém que a tabela “filha” não tenha o mesmo nome de coluna. Exemplo: [Tabela1] Possui a coluna [Serie] [Tabela2] Possui a coluna [Serie2] que é uma foreign key da [Tabela1] coluna [Serie] Pequena validação para travar o script caso existam outras constraints não suportadas atualmente nesta versão do script. Aqui temos um passo extra, onde verificaremos o tamanho das tabelas e dos índices. Ajudará na tomada de decisão quanto a janela de manutenção necessária para realizar a alteração do tamanho da coluna. Por fim, mas não menos importante, temos a recriação dos índices: Após coletado todas as informações necessárias, vamos inserir todos os scripts em uma tabela e realizar a ordenação E aqui, podemos exibir todos os scripts necessários para a realização desta tarefa. Procedure disponível em: scripts_publicos/altera_tamanho_coluna_lote.sql at main · aguiarfpmr/scripts_publicos (github.com) Espero que tenham gostado e que esse conteúdo possa ajudar de alguma forma, em uma demanda similar.

O monitoramento dos indicadores de infraestrutura de TI pode identificar gargalos e oportunidades, reajustar e corrigir falhas e, por fim, aumentar a produtividade e a receita da empresa. Saiba mais no artigo escrito pelo dataholic Henrique Melo. Já faz tempo que a TI não é mais considerada uma área de atividade auxiliar do mundo corporativo. A tecnologia exerce um papel estratégico no desempenho de uma empresa. A melhor forma de monitorar o desempenho da área é por meio de indicadores de TI. Compreender a importância de rastrear essas métricas e identificar quais são as mais importantes para sua estratégia de negócios é fundamental para otimizar sua infraestrutura de TI e fazer com que ela atinja todo o seu potencial. Sumário Como medir a eficiência de TI? 1. Problemas relatados 2. Utilização de sistemas de gerenciamento de negócios 3. Tempo de resposta 4. Cálculo do custo do suporte por usuário 5. Cálculo do custo por colaborador 6. Cálculo das despesas de TI em relação ao gasto total 7. Média de tempo entre falhas 8. Tempo médio de reparo 9. Tempo de disponibilidade 10. Tempo de inatividade referente à um problema de segurança da informação 11. Quantidade de problemas recorrentes 12. Índice de sucesso de restauração Como medir a eficiência de TI? De um modo geral, os indicadores-chave de desempenho (KPIs) são indicadores que acompanham o desempenho de uma empresa em uma determinada área ou processo específico. Os resultados das medições quantitativas são muito importantes e auxiliam na tomada de decisões para solução de problemas e otimização de processos. O monitoramento dos indicadores de infraestrutura de TI pode identificar gargalos e oportunidades, reajustar e corrigir falhas e, por fim, aumentar a produtividade e a receita da empresa. A eficiência de TI é medida por meio da análise de indicadores, que podem conter informações sobre o desempenho da equipe, equipamento ou usuário e a relação do cliente com o domínio de TI. Bons Indicadores de TI estão alinhadas com a estratégia da empresa. Com eles, você pode medir se a infraestrutura está operando alinhada com o negócio, quais melhorias podem ser feitas e como otimizar processos e melhorar o desempenho. Com isso separei 12 indicadores que toda companhia deve ter para garantir a excelência do seu departamento de TI. 1. Problemas relatados Determine quais são os problemas mais relevantes relatados por sua equipe e seus clientes, a fim de remediar ou evitar esses problemas em experiências futuras. 2. Utilização de sistemas de gerenciamento de negócios Verifique quantos usuários estão usando CRM ou ERP. O sistema otimiza os processos internos para maximizar os resultados! 3. Tempo de resposta O longo tempo de espera é um fator que afeta o negócio e, mesmo que seja resolvido, os usuários podem ficar insatisfeitos, o que afeta diretamente os negócios da empresa. 4. Cálculo do custo do suporte por usuário Ao considerar especificamente o suporte ao usuário, dê prioridade ao fornecimento de atendimento de alta qualidade no menor tempo possível, sem se preocupar com custos. 5. Cálculo do custo por colaborador Desfrutar das ferramentas certas é importante, mas considere que sempre haverá inovações ou novidades disponíveis. 6. Cálculo das despesas de TI em relação ao gasto total As novas tecnologias nunca se esgotarão e é importante fazer os investimentos apropriados para que seu sistema funcione sem problemas, sem afetar o orçamento geral da organização. 7. Média de tempo entre falhas Como calcular o tempo que se perde com ativos indisponíveis Tempo médio entre falhas = (Tempo de disponibilidade – Tempo de parada) / Quantidade de falhas. 8. Tempo médio de reparo É medir quanto tempo, em média, sua equipe pode demorar para resolver um problema. Tempo médio de reparo = Tempo médio de solução / quantidade de falhas 9. Tempo de disponibilidade Uma das principais metas da empresa, deve-se sempre manter este indicador alto e o tempo médio de reparo inferior. 10. Tempo de inatividade referente à um problema de segurança da informação Uma das principais metas da empresa deve ser sempre manter o indicador em níveis altos e o tempo médio de reparo inferior. 11. Quantidade de problemas recorrentes É a porcentagem de chamados reabertos para o tratamento do mesmo problema. 12. Índice de sucesso de restauração É calculado a porcentagem de vezes em que a restauração dos sistemas foi bem-sucedida em um tempo considerado aceitável pela companhia. Espero que esse conteúdo tenha sido útil. Curta, comente e compartilhe com os amigos. 💙

Os benefícios que uma empresa oferece estão alinhados à cultura organizacional. Vem saber mais! O trabalho é visto pela grande maioria da sociedade como uma forma de ganhar dinheiro. Não que isso não seja verdade, mas o dinheiro não é o objetivo final, ele é o meio para suprir necessidades, ter qualidade de vida, alcançar metas, realizar sonhos. Não é raro que pessoas fiquem insatisfeitas no ambiente de trabalho, é nele que passamos a maior parte do nosso tempo, mesmo que virtualmente, pois não se sentem valorizadas, se sentem sobrecarregadas. Sumário Salário emocional Os benefícios de ser um dataholic Dataholics Satisfeitos O Acelera Jovem Salário emocional Mesmo com uma boa remuneração na conta, os profissionais que não conseguem equilibrar a vida pessoal com a profissional acabam se esgotando, o que acaba interferindo na saúde física e mental. O salário emocional se refere a tudo que envolve o bem-estar dos colaboradores, como uma cultura e valores bem alinhados, ambiente de trabalho agradável, oportunidade de crescimento, etc. Os benefícios de ser um dataholic Os benefícios que uma empresa oferece estão alinhados à cultura organizacional. No caso da Dataside, nossa cultura é assunto muito sério entre os dataholics, pois ela visa desenvolvimento e bem-estar de cada profissional. Entre nossos valores estão o cuidado e a humanização, pois as pessoas estão em primeiro lugar por aqui. Prezamos para que o cuidado se dê em cada etapa para se tornar um dataholic, desde o processo seletivo, o profissional fica por dentro de como é a cultura da Dataside e, através da aplicação do fit cultural é que os próximos passos são trilhados. Dar um match com a nossa cultura é mais importante do que experiência, pois acreditamos na famosa frase “técnica se ensina, caráter não”. É uma via de mão dupla, pois para o profissional também é importante conhecer a empresa e avaliar se sua cultura pessoal se alinha com a organizacional. Ao ser contratado, o dataholic recebe benefícios pensados para manter qualidade de vida e desenvolvimento profissional. São eles: Weeksoff ilimitadas A partir de um ano de empresa, os dataholics têm direto a solicitar 1 semana de folga remunerada quantas vezes desejar ou 30 dias corridos. Day Off Cada colaborador ganha um dia de folga no seu dia especial. Além de que, se o aniversário cair em um final de semana ou feriado, eles podem usufruir da folga no próximo dia útil. Atendimento psicológico Sem custo nenhum para o colaborador, pois saúde mental é assunto sério. Seguro de vida É extremamente importante garantir essa segurança em um momento tão delicado e difícil. Auxílio academia Manter uma rotina de exercícios físicos é fundamental para manter o bem-estar. Convênio Médico Com isso cada dataholic mantém a saúde em dia. Certificações Para estimular o aprendizado e o desenvolvimento profissional de cada colaborador, fazemos o reembolso das certificações, além disso, pagamos um prêmio de 1000 reais para o dataholic que conseguir o certificado. Dataholics Satisfeitos O que confirma a satisfação dos dataholics em relação a Dataside, é que no ano dessa publicação, 2021, fomos certificados como empresa GPTW pelo segundo ano consecutivo, com 92% de aprovação. O Acelera Jovem Com a falta de profissionais qualificados na área de tecnologia e a demanda só crescendo, a Dataside criou o Acelera Jovem, um programa de desenvolvimento profissional para educar e preparar novos profissionais para o futuro. Aqui oferecemos as mesmas oportunidades de desenvolvimento profissional de um sênior ao colaborador júnior. Como resultado, o projeto revela talentos e transforma vidas. Você pode saber mais sobre algumas histórias na série Ouro da Casa, em nosso canal Dataside Community. Você também pode ser um dataholic. Acesse as vagas disponíveis em nosso site e se inscreva. Fique de olho também em nossas redes sociais. 😉 Esperamos por você! 💙

Neste artigo técnico, o dataholic Fábio Ramos aborda sobre o caso em que o SQL Agent parou de gravar no histórico e mostra como encontrou a solução. Vem aprender com ele! Olá, pessoal! Neste artigo vou mostrar um caso real que aconteceu envolvendo o SQL Agent. Resumo do caso: Cliente ao consultar o histórico de um Job, evidenciou que o mesmo não estava no histórico de execução. O último registro que tinha era de meses atrás. A duração desse último registro é que estava sendo executado há muito tempo. Simulei no meu ambiente o mesmo cenário. Job com 3 steps: Percebam que antes do “problema” (em verde), o histórico estava sendo gravado sem problemas. Porém, ficou congelado ali no Step2 como In Progress e a duração só aumentando: Executei um Refresh, e a duração saiu de 6 minutos para 11: Início do troubleshooting, como pode um waitfor delay de 5 segundos estar ainda em execução? WhoIsActive? Nada. Vamos filtrar na sys.sysprocess, vai que… Para isso, executei a query abaixo para pegar o hexadecimal, para que eu possa filtrar pelo “Program Name” do job: Nada também: Tá, e se eu executar o job? Se ele de fato estiver em execução, tomarei um erro… Job executado com sucesso: Consultando o histórico novamente, nada mudou, não gravou o histórico e a duração continua acumulando: Será que meu Agent está expurgando esses dados? Também não está limitado… E se reiniciar o Agent? Vamos lá… Mesmo cenário: Quase sem opções, decidi ligar o Profiler e rastrear o Job. Eis que encontro o erro “Arithmetic overflow error converting IDENTITY do data type int”: Peguei o trecho e executei na mão: Vamos abrir essa procedure e ver o que tem na linha 125: Consultando a estrutura da tabela, temos um identity pela coluna instance_id, que é um INT: Verificando o valor atual desde IDENTITY: Pois é, chegou ao seu limite… Lembrando que os Jobs internos de expurgo de Job History do SQL Server, utilizam DELETE, com isso o valor do identity segue a vida incrementando. Após isso, foi feito o recycle do IDENTITY na tabela: Realizei a limpeza também do histórico deste Job, para que não continue com aquela sujeira de estar executando há muito tempo: Histórico gravando novamente: Caso você queira simular este problema, basta durante a execução de algum Job aumentar o IDENTITY da sysjobhistory para o limite do INT: Espero que tenham gostado e que eu tenha agregado um pouco de conhecimento à vocês. Até a próxima!

É comum acreditar que para fazer Machine Learning uma empresa precisa ser gigante, mas esse artigo vai desmistificar isso e mostrar que, independente do tamanho do seu negócio, é possível aplicar o Machine Learning. Vem com a gente! Vamos começar sem enrolações: NÃO, não é preciso ser grande para fazer Machine Learning. Você pode começar agora, do lugar em que você está e com o que você tem. Afinal, isso não depende do tamanho de uma empresa, MAS se você quer ser grande, ou melhor, gigante, é fundamental entender a importância do uso dessa tecnologia para o crescimento de um negócio. Sumário Como as máquinas aprendem Padaria + Machine Learning, é possível! Se tem dados, é possível Como as máquinas aprendem É importante conhecer sobre o como funciona esse aprendizado das máquinas para desmistificar a ideia de que é preciso ser grande para fazer Machine Learning. O aprendizado acontece quando as máquinas são alimentadas com uma base de dados coletados. Alguns exemplos de informações que podem ser coletadas no seu negócio são: Estimativas de lucros; Quanto um cliente gasta no seu negócio; Com o que seu cliente mais gasta, suas preferências. Assim é possível tomar decisões, criar estratégias e melhorar as experiências para o seu público. Padaria + Machine Learning, é possível! O case da padaria que faz Machine Learning para aumentar o lucro e melhorar a experiência dos clientes é um excelente exemplo a seguir. Não deixe de conferir, é rapidinho e você aprende em 1 minuto. Lembrete importante: as possibilidades do Machine Leraning são muitas, mas neste artigo estamos com foco no mundo dos negócios, por isso os exemplos são focados neles. Para aprender mais sobre Machine Learning, no contexto geral, tem um vídeo especial em nosso canal, Dataside Community, sobre o tema, em que o dataholic Lucas Costa explica tudo de forma muito acessível e sem “tecniqueis”. Confira: Se tem dados, é possível Negócios, independente do tamanho ou segmento, geram infinidades de dados, sendo assim, a base para fazer Machine Learning você já tem. Não importa se sua empresa é pequena, média ou grande, se você valorizar seus dados e investir em análises para usá-los de forma inteligente, o crescimento é garantido. Conte com a Dataside para se desenvolver a partir dos dados. 💙

A falta de segurança de dados e o descuido em serviços de backup e monitoramento resultam em grandes prejuízos, como os apagões de dados. Ainda é grande o número de empresas que não investem nessa segurança, e insistem dizer ser um gasto opcional, pensando que nada de mal vai acontecer, mas quando acontece, o preço a se pegar é bem alto. Não só em dinheiro, como em dados perdidos e segurança rompida. Preparamos uma lista com os 5 maiores apagões de dados dos últimos anos, para mostrar a importância de investir em um bom serviço de segurança de dados: 1º Caso: Penitenciária Britânica – British Home Office O governo britânico perdeu dados de 84 mil prisioneiros da Inglaterra e Gales, além de dados pessoais de 33 mil pessoas com seis ou mais condenações no período de 1 ano, o que equivale a cerca de 10 mil infratores de alta prioridade. O motivo da falha? Descuido de um funcionário que guardou TODOS os dados dos servidores da penitenciária em um pendrive e que, como vimos, perdeu o dispositivo. 2º Caso: Toy Story 2 Esse é mais um caso de descuido. A falha de um funcionário apagou 90% do filme Toy Story 2 dos servidores, para piorar a situação, o backup do sistema já não funcionava há meses. No caso do apagão do Toy Story 2, a Pixar esteve entregue à sorte, puramente sorte, pois uma funcionária trabalhava home office e, por isso, tinha uma parte da gravação salva no computador. A partir disso, a empresa garante que cuida melhor da segurança dos dados e não entrega mais as obras à sorte ou azar. 3º Caso: Companhia bancária norte-americana JPMorgan Chase O vazamento de dados da JPMorgan Chase envolveu nomes, e-mails, endereços e números de telefone de cerca de 76 milhões de domicílios e 7 milhões de pequenas empresas. Esse caso é um dos maiores casos de roubo de dados da história. Os criminosos invadiram o sistema usando credenciais de um funcionário do banco. Nesse caso, a JPMorgan não usava o método de autenticação em dois passos, o que facilitou para a invasão de pelo menos 90 servidores. 4º Caso: Hospedagem de sites – DreamHost A DreamHost, um dos serviços de hospedagem de sites mais famosos do mundo, cometeu uma falha que resultou no comprometimento de dados de mais de 700 sites e 3500 contas FTP em seus servidores. Os clientes da empresa também relataram que os sites estavam fora do ar, enquanto a DreamHost tentava corrigir um problema em seus roteadores. O que aconteceu nesse caso, foi que os scripts usados pela empresa estavam apagando registros de DNS, devido a um bug IOS. Em resumo, essa grande falha teria sido evitada apenas com uma atualização da plataforma após o lançamento do novo update. 5º Caso: Apagão da CNPq O apagão de dados da CNPq não poderia ficar fora dessa lista. O caso levantou pauta sobre a importância da segurança de dados no Brasil e as consequências da falta dela. Os cientistas e pesquisadores brasileiros ficaram sem acesso aos dados de pesquisas, além da pausa em editais, bolsas e prestações de contas. A falha no sistema foi provocada pela queima de um dispositivo onde as plataformas estão hospedadas, o que teria ocorrido durante a migração de dados para um novo servidor. Como podemos ver, cuidar da segurança dos dados não é um gasto opcional, mas sim um investimento que livra as empresas de prejuízos e garantem tranquilidade. Por isso, invista na segurança dos seus dados. Na Dataside você conta com profissionais capacitados e serviço de monitoramento disponível 24h por dia e 7 dias por semana. Conte conosco para proteger seus dados.  💙 Referência: TechMundo