O maior destaque de 2019 no ITSM (Gerenciamento de Serviços de Tecnologia da Informação) foi o lançamento do ITIL® 4, em que os profissionais de TI poderão introduzir transformação digital em suas organizações, o que, por sua vez, promove a eficiência do trabalho.
Antes de explorar as próximas tendências em ITIL e ITSM em 2020, vamos entender o que esses termos representam:
Gerenciamento de serviços de tecnologia da informação (ITSM).
ITSM refere-se às atividades, processos, políticas e
procedimentos organizacionais realizados para implementar, melhorar e dar
suporte aos serviços de TI.
Biblioteca de infraestrutura de tecnologia da informação (ITIL).
A ITIL®, a abordagem mais popular ao Gerenciamento de Serviços
de TI (ITSM), concentra-se em alinhar os serviços de TI às necessidades dos
negócios com um conjunto de melhores práticas.
Vamos mergulhar nas emocionantes tendências ITIL® a serem
observadas em 2020!
1. Adoção de práticas ITIL® suportadas pela IA
Inteligencia artificial e Machine Learning revolucionarão a maneira como as práticas ITIL® foram feitas convencionalmente. Isso levará a duas grandes mudanças na maneira como as empresas e os profissionais trabalham: automação de tarefas rotineiras e uso da análise de dados para atender às tendências atuais e futuras do setor.
Embora a adoção ou a automação da IA possa eliminar muitos
trabalhos em todos os setores, a implantação das metodologias ITIL® tornará os
processos livres de problemas em vários cenários de negócios.
2. Melhor experiência e envolvimento do cliente
Hoje qualquer empresa de sucesso oferece uma experiência de alto nível ao cliente. Em 2020, o ITIL® ajudará as empresas a personalizar seus produtos e serviços para que possam atender às expectativas específicas de seus clientes. As organizações poderão oferecer uma experiência superior ao cliente, seguindo o modelo de melhoria contínua em sete etapas da ITIL 4. Está comprovado que isso beneficia qualquer empresa que tenha clientes (empresas ou indivíduos) para servir. Ao estabelecer os processos e limites corretos, o ITIL 4 aumentará a transparência e a experiência do usuário, levando as organizações ao sucesso.
3. Colaboração do DevOps e ITIL®
Tradicionalmente, o ITIL® está preocupado com o bom
funcionamento dos sistemas de bilhética. Quando um ticket é levantado, a
resolução de conflitos é realizada através de uma série de etapas, geralmente
por pessoas / equipes diferentes. Por outro lado, o DevOps visa automatizar
todo o processo do ITIL®. Isso ajudará a resolver desafios significativos nos
processos de gerenciamento de configuração, lançamento e implantação.
Em 2020, a colaboração do DevOps com as práticas ITIL®
tornará os fluxos de trabalho mais eficientes. Qualquer dependência
desnecessária do pessoal será eliminada, impulsionando as soluções de negócios
mais rapidamente.
4. Melhor satisfação dos funcionários
Um relatório recente sobre o engajamento dos funcionários alegou que as empresas com este perfil de empregados têm 81% mais satisfação do cliente. A maioria deles que se sente engajada no trabalho afirmou que o reconhecimento de seu trabalho era o principal motivador. A ITIL 4 sustenta a necessidade de alcançar essa capacitação da força de trabalho por meio de estratégias baseadas em pesquisa.
As empresas que ainda não adotaram a ITIL 4 a esse respeito
teriam que adotá-la para o sucesso da empresa, pelo menos este ano. A adoção de
serviços baseados em nuvem, dando aos funcionários a flexibilidade de trabalhar
remotamente e desenvolvendo processos conducentes ao seu bem-estar, são algumas
recomendações de especialistas do setor. Afinal, funcionários felizes
desempenham um papel fundamental na satisfação do cliente.
5. Maior segurança da informação
Na era digital, todas as empresas de todos os setores têm presença on-line. A transferência de dados também está acontecendo a uma taxa alarmante, mas nem sempre está livre de ameaças à segurança. Embora as informações sejam cruciais para o sucesso de uma organização, sua segurança e privacidade também devem ser uma preocupação primordial.
Em 2020, a segurança da informação terá alta prioridade em todas as práticas da ITIL 4. Todos os processos operacionais da ITIL® ocorrerão em conjunto com os padrões de segurança universal. Em qualquer empresa, o ITIL® Information Security Management (ISM) garantirá que a segurança das informações em todos os seus serviços esteja alinhada com a segurança de TI e de negócios. Isso evitará possíveis riscos, ameaças e perdas e não será um processo único, mas contínuo.
O caminho a seguir em 2020
As empresas que adotam o ITIL 4 de forma consistente em toda a organização, desde o gerenciamento até a força de trabalho, são as que mais se beneficiam em 2020. Há um enorme potencial a ser realizado no espaço de TI e a par das últimas tendências em ITIL garantirá aumento da eficiência do trabalho e redução de custos.
Você pode estar se perguntando o que é SaaS e como ela difere da Arquitetura Orientada a Serviços (SOA), em resumo, os recursos disponíveis no SaaS são aplicativos de software.
Um componente importante é que a infraestrutura SaaS está “disponível, mas oculta para os usuários”. Uma vantagem do SaaS é que os usuários não precisam instalar e manter software, o que elimina todos os requisitos complexos.
Com o SaaS, o cliente também não exige nenhum licenciamento inicial, o que leva a custos mais baixos, porque os provedores mantêm apenas um único aplicativo.
Diferenças entre arquitetura orientada a serviços e microsserviços:
Os microsserviços, também conhecidos como arquitetura de microsserviços, são um “estilo arquitetônico que estrutura um aplicativo como uma coleção de pequenos serviços autônomos, modelados em torno de um domínio comercial”.
Embora os microsserviços e a Arquitetura Orientada a Serviços sejam similares em alguns aspectos, as principais diferenças ocorrem em sua funcionalidade, sendo serviços, obviamente, o principal componente de ambos. Existem quatro tipos básicos de serviços:
Serviço funcional: eles definem as principais operações comerciais.
Serviço corporativo: implementa a funcionalidade definida pelos serviços funcionais.
Serviço de aplicativo: estes são limitados ao conteúdo específico do aplicativo.
Serviço de infraestrutura: implementa tarefas não funcionais, como autenticação, auditoria, segurança e log.
Como você pode ver, cada um desses serviços se baseia no anterior, criando um sistema que não é tão fácil de usar, mas oferece várias maneiras de gerenciar seus negócios. Como em qualquer funcionalidade, é uma questão de descobrir o que funciona melhor para você e sua empresa.
Na arquitetura orientada a serviços vários deles se comunicam entre si, sendo essas as possíveis maneiras: passando dados ou através de dois ou mais serviços coordenando uma atividade. Esta é apenas uma definição de Arquitetura Orientada a Serviços.
Características da arquitetura orientada a serviços
Embora os conceitos definidores da Arquitetura Orientada a Serviços variem de empresa para empresa, existem seis princípios fundamentais que abrangem o amplo conceito de Arquitetura Orientada a Serviços. Esses valores principais incluem:
Valor do negócio;
Metas estratégicas;
Interoperabilidade intrínseca;
Serviços compartilhados;
Flexibilidadee
Refinamento evolutivo.
Cada um desses valores principais pode ser visto em um contínuo trabalho, desde a computação distribuída em formato mais antigo, até a Arquitetura Orientada a Serviços, além também da computação em nuvem (algo que geralmente é visto como uma ramificação da Arquitetura Orientada a Serviços).
Padrões de arquitetura orientada a serviços
Existem três funções em cada um dos blocos de construção da Arquitetura Orientada a Serviços: provedor de serviços; corretor de serviços, registro de serviços, repositório de serviços e solicitante / consumidor de serviço.
O provedor de serviços trabalha em conjunto com o registro de serviços, debatendo os porquês e como dos serviços oferecidos: como segurança, disponibilidade, o que cobrar e muito mais. Essa função também determina a categoria de serviço e se é necessário haver algum contrato comercial.
O intermediário de serviço disponibiliza informações sobre o serviço para aqueles que o solicitam, enquanto o escopo é determinado por quem o implementa.
O solicitante do serviço localiza as entradas no registro do broker e as vincula ao provedor de serviços. Eles podem ou não conseguir acessar vários serviços, isso depende da capacidade do solicitante de serviço.
Implementando arquitetura orientada a serviços
Quando se trata de implementar a arquitetura orientada a serviços (SOA), existe uma ampla gama de tecnologias que podem ser usadas, dependendo do seu objetivo final e do que você está tentando alcançar.
Normalmente, a Arquitetura Orientada a Serviços é implementada com serviços da Web, o que torna os “blocos de construção funcionais acessíveis, através de protocolos padrão da Internet”.
Um exemplo de padrão de serviço da web é o SOAP, que significa Simple Object Access Protocol. Em poucas palavras, SOAP “é uma especificação de protocolo de mensagens para a troca de informações estruturadas na implementação de serviços da Web em redes de computadores. Embora ele não tenha sido bem recebido no início, desde 2003 ganhou mais popularidade e está se tornando mais amplamente usado e aceito. Outras opções para implementar a Arquitetura Orientada a Serviços incluem Jini, COBRA ou REST.
É importante observar que as arquiteturas podem “operar independentemente de tecnologias específicas”, o que significa que podem ser implementadas de várias maneiras, incluindo mensagens, como o ActiveMQ; Apache Thrift; e SORCER.
Por que a arquitetura orientada a serviços é importante?
Há muitos benefícios na arquitetura orientada a serviços, especialmente em negócios baseados em serviços da Web. Vamos descrever alguns desses benefícios aqui, resumidamente:
Use a Arquitetura Orientada a Serviços para criar código reutilizável: isso não apenas reduz o tempo gasto no processo de desenvolvimento, mas também não há motivos para reinventar a roda de codificação sempre que você precisar criar um novo serviço ou processo. Ela também permite o uso de várias linguagens de codificação, porque tudo é executado através de uma interface central.
Use a Arquitetura Orientada a Serviços para promover a interação: com a Arquitetura Orientada a Serviços uma forma padrão de comunicação é implementada, permitindo que os vários sistemas e plataformas funcionem independentemente um do outro. Com essa interação, a Arquitetura Orientada a Serviços também é capaz de contornar firewalls, permitindo que “as empresas compartilhem serviços vitais para as operações”.
Usar arquitetura orientada a serviços para escalabilidade: é importante poder dimensionar uma empresa para atender às necessidades do cliente, no entanto, certas dependências podem atrapalhar essa escalabilidade. O uso da Arquitetura Orientada a Serviços reduz a interação entre cliente e serviço, o que permite maior escalabilidade.
Use a Arquitetura Orientada a Serviços para reduzir custos: com a Arquitetura Orientada a Serviços, é possível reduzir os custos e ao mesmo tempo “manter um nível de saída desejado”. O uso da Arquitetura Orientada a Serviços permite que as empresas limitem a quantidade de análises necessárias ao desenvolver soluções personalizadas.
Em poucas palavras, o uso da computação em nuvem permite que os usuários implementem fácil e imediatamente serviços sob medida para os requisitos de seus clientes, “sem a necessidade de consultar um departamento de TI”.
Uma queda do uso da Arquitetura Orientada a Serviços e da computação em nuvem acontece devido alguns aspectos dela não serem avaliados, como segurança e disponibilidade. Ao usar a computação em nuvem, os usuários geralmente estão à mercê do provedor.
arquitetura orientada a serviços (SOA)
A interação de dados e sistemas existentes na solução em nuvem é um desafio bastante importante que as empresas enfrentam ao mesclar a computação em nuvem e a Arquitetura Orientada a Serviços. É preciso haver continuidade do começo ao fim para que haja uma transição perfeita, além do que é importante ter em mente que nem todos os aspectos de TI podem ser terceirizados para a nuvem, há algumas coisas que ainda precisam ser feitas manualmente
Como você pode imaginar a arquitetura orientada a serviços pode ser um pouco difícil de quebrar, mas depois de entender as porcas, os parafusos e os benefícios que ela pode oferecer à sua empresa, você ficará emocionado com os resultados.
Fornecemos vários excelentes recursos de arquitetura orientada a serviços ao longo deste artigo e temos mais algumas publicações futuras que aprofundarão o conceito e fornecerão ainda mais recursos para ajudá-lo a impulsionar seus negócios para o próximo nível.
Independentemente da direção que você decide seguir, ao fornecer serviços aos seus clientes, é importante ter em mente que coisas diferentes funcionarão para pessoas diferentes. Embora você não possa oferecer serviços personalizados para cada cliente contratado, você pode ter uma variedade de serviços que atendem às necessidades mais comuns de seus clientes.
Você é um desenvolvedor que procura mudar sua carreira para um modelo de DevOps?
Ou você não está, e, tendo passado algum tempo trabalhando com a mesma tecnologia, agora está simplesmente procurando uma mudança de carreira e não tem ideia de onde começar?
Se sim, continue lendo, pois veremos como tornar-se um engenheiro de DevOps de nível médio em seis meses!
Por fim, se você faz essa coisa de DevOps há anos, ainda pode achar isso útil como uma validação de onde estamos e para onde isso está indo.
O que é isso agora?
Primeiro, o que é DevOps?
Você pode pesquisar as definições no google e percorrer toda essa extravagância de palavras-chave, mas sabe que a maioria são saladas de palavras embaraçosamente longas, recheadas em sentenças gigantescas. (Viu o que eu fiz aqui?)
Então, vou salvar os cliques e destilar:
O DevOps é uma maneira de fornecer software com responsabilidade e responsabilidade compartilhada.
É isso aí.
OK, mas o que isso significa?
Isso significa que, tradicionalmente os desenvolvedores (pessoas que criam software) tinham incentivos muito diferentes das operações (pessoas que executam software).
Por exemplo, como desenvolvedor quero criar o maior número possível de novos recursos o mais rápido que conseguir. Afinal, esse é o meu trabalho e é isso que os clientes exigem!
No entanto, se eu sou uma pessoa de operações desejo o mínimo de novos recursos possível, pois cada novo recurso é uma alteração e a mudança é arriscada.
Como resultado desse desalinhamento de incentivos, o DevOps nasceu.
O DevOps tenta fundir desenvolvimento e operações (DevOps, entendeu?) em um grupo. A ideia é que um grupo agora compartilhe a dor e a responsabilidade (e presumivelmente, as recompensas) de criar, implantar e gerar receita com o software voltado para o cliente.
Agora, os puristas lhe dirão que não existe um “Engenheiro de DevOps”, “O DevOps é uma cultura, não um papel”.
Sim,Sim. Eles estão tecnicamente corretos (o pior tipo de correção!), Mas como muitas vezes acontece, o termo se transformou além do seu significado original.
Agora, ser um engenheiro de DevOps é algo como “Engenheiro de Sistemas 2.0”.
Em outras palavras, alguém que entende o Ciclo de Vida de Desenvolvimento de Software e traz ferramentas e processos de engenharia de software para resolver desafios de operações clássicas.
O DevOps significa, em última análise, a construção de pipelines digitais que levam o código do laptop de um desenvolvedor até a geração de receita com uma grandiosidade impressionante.
É disso que se trata!
Observe também que, como uma opção de carreira, todo o espaço do DevOps é altamente compensado, com quase todas as empresas “realizando o DevOps” ou afirmando isso.
Independentemente de onde as empresas estejam, as oportunidades gerais de trabalho do DevOps são abundantes, oferecendo empregos divertidos e significativos nos próximos anos.
NOTA: Desconfie de empresas que contratam uma “equipe de DevOps” ou um “departamento de DevOps”. Estritamente falando, essas coisas não deveriam existir porque, em última análise, o DevOps tem tudo a ver com a cultura e uma maneira de fornecer software, não uma nova equipe ou departamento para ser provido de pessoal.
Aviso Legal
Agora, deixe o copo de Kool-Aid de lado por um momento e considere o seguinte.
Você já ouviu o velho ditado “não há engenheiros juniores de DevOps?”
Caso contrário, saiba que é um assunto popular no Reddit e StackOverflow. Mas o que isso significa?
Simplificando, significa que são necessários muitos anos de experiência, combinados com um sólido entendimento de ferramentas, para eventualmente se tornar um profissional sênior de DevOps realmente eficaz. E, infelizmente, não há atalho para a experiência.
Portanto, essa não é uma tentativa de enganar o sistema. Não acho que seja possível fingir ser um engenheiro sênior de DevOps com alguns meses de experiência. O sólido entendimento das ferramentas e metodologias em rápida mudança leva anos para dominar e não há como contornar isso.
Contudo, existe um menu aproximado (na moda, se você preferir) de ferramentas e conceitos que a maioria das empresas usa e é disso que trata o artigo!
Mais uma vez, as ferramentas são diferentes das habilidades, portanto, enquanto você as aprende, não as negligencie (entrevistas, redes, comunicação por escrito, solução de problemas etc.)
Mais importante ainda, não perca o que estamos buscando, construindo um pipeline digital totalmente automatizado que pega idéias e as transforma em partes de código geradoras de receita.
Essa é a única e mais importante retirada de todo este artigo!
Chega de conversa, por onde começar?
Abaixo está o seu roteiro.
Domine o seguinte e você pode se chamar com segurança e honestidade de engenheiro de DevOps! Ou um engenheiro de nuvem se você detestar o título “DevOps”.
O mapa abaixo representa a minha visão (e provavelmente a maioria das pessoas que trabalha neste espaço) do que um engenheiro de DevOps competente deve saber. Dito isto, é apenas uma opinião e certamente haverá vozes dissidentes. Está bem! Não estamos aqui atrás da perfeição, estamos atrás de uma base sólida sobre a qual construir.
NOTA: Você deve percorrer essa amplitude, camada por camada. Comece (e continue!) Primeiro com a fundação, aprenda inicialmente as tecnologias (Linux | Python | AWS) e, se o tempo permitir ou as demandas do mercado de trabalho, siga com (Golang | Google Cloud).
Mais uma vez, vá atrás da primeira camada em cada pilar. Então, se der tempo, vá atrás da segunda camada para adicionar profundidade aos seus conhecimentos.
Honestamente, a camada fundamental acima é algo que você nunca pode realmente parar de aprender. O Linux é complexo e leva anos para dominar. O Python requer prática contínua para se manter atualizado. A AWS evolui tão rapidamente que as coisas que você conhece hoje são apenas uma fração do portfólio geral daqui a um ano.
Porém, depois de descobrir razoavelmente a camada Foundation, passe para o conjunto de habilidades do mundo real e observe que existem 6 colunas no total, uma por mês.
NOTA: O que está faltando notavelmente no pipeline acima é Teste. Isso é intencional, pois testes de unidade de escrita, integração e aceitação não são fáceis e tradicionalmente caem sobre os ombros dos desenvolvedores. A omissão da fase “Teste” é de propósito, pois o objetivo deste roteiro é a rápida entrada de novas habilidades e ferramentas. A falta de experiência em testes é considerada pelo autor como uma barreira insignificante para um emprego adequado no DevOps.
Além disso, lembre-se, não estamos aprendendo neste artigo um monte de tagarelice não relacionada aqui. Estamos buscando uma sólida compreensão das ferramentas que, juntas, contam uma história única e coerente.
Essa história é de automação de processo de ponta a ponta, um pipeline digital que move os bits de maneira semelhante à linha de montagem.
Além disso, você não deseja aprender várias ferramentas e parar, pois elas mudam rapidamente, os conceitos muito menos. Portanto, o que você deseja fazer é usar as ferramentas como proxies de aprendizado para os conceitos de nível superior.
OK, vamos nos aprofundar um pouco mais!
Conhecimento Fundamental
Sob a linha superior rotulada “Foundation” você verá as habilidades que todo engenheiro de DevOps deve dominar.
Aqui você verá três pilares dominantes no setor: sistema operacional, linguagem de programação e nuvem pública. Essas coisas não serão algo que você possa aprender muito rapidamente, tirá-las da lista e seguir em frente. Essas serão habilidades que você deve adquirir e manter afiado continuamente, para se manter relevante e atualizado com o que está acontecendo.
Vamos examiná-los um por um
Linux: onde tudo roda. Agora, você pode ser um profissional incrível em DevOps e permanecer inteiramente dentro do ecossistema da Microsoft? Claro que você pode! Não há lei que determine o Linux para tudo.
Contudo! Saiba que, embora todas as coisas do DevOps-y possam certamente ser feitas com o Windows, é muito mais doloroso e as oportunidades de trabalho são muito menores. Por enquanto, você pode assumir com segurança que não é possível se tornar um verdadeiro profissional de DevOps sem conhecer o Linux, portanto ele é o que você deve aprender e continuar aprendendo.
Honestamente, a melhor maneira de fazer isso é instalar o Linux (Fedora ou Ubuntu) em casa e usá-lo o máximo possível. Você quebrará as coisas, ficará preso e terá que consertar tudo e, no processo, aprenderá o Linux!
Para referência, na América do Norte, as variantes da Red Hat são mais prevalentes. Portanto, faz sentido começar com o Fedora ou CentOS. Se você está se perguntando se deve ou não obter a edição KDE ou Gnome, obtenha o KDE. É isso que Linus Torvalds usa. 🙂
Python: a linguagem de back-end dominante atualmente. Fácil de começar, amplamente utilizado. Bônus: o Python é muito prevalente no espaço de IA / Machine Learning. Portanto, se você quiser fazer a transição para outro campo ativo, estará pronto!
Amazon Web Services: Mais uma vez, é impossível se tornar um profissional experiente em DevOps sem um sólido entendimento de como uma nuvem pública funciona. E se você procura o conhecimento de uma nuvem, o Amazon Web Services é o ator dominante nesse espaço, oferecendo o conjunto mais rico de ferramentas para trabalhar.
É possível começar pelo Google Cloud ou Azure? Absolutamente! Mas estamos atrás do maior retorno do investimento aqui, então a AWS é a jogada mais segura de se fazer, desde 2020.
Você tem um nível gratuito para jogar ao se inscrever em uma conta na AWS, por isso é um bom lugar para começar.
Agora, quando você faz login no console da AWS, recebe um menu de opções simples e fácil de entender.“Descobrindo mais um recurso da AWS que eu nunca conheci” de Tom Pumford na Unsplash
Isso foi sarcasmo. A boa notícia é que você não precisa conhecer todas as tecnologias da Amazon.
Comece com o seguinte: VPC, EC2, IAM, S3, CloudWatch, ELB (sob o guarda-chuva do EC2) e grupos de segurança. Essas coisas são suficientes para você começar e todas as empresas modernas habilitadas para nuvem usarão essas ferramentas intensamente.
Eu recomendo que você reserve 20 a 30 minutos diariamente para praticar Python, Linux e AWS.
Ultimamente tem havido tremendas mudanças no cenário da tecnologia de negócios. Os avanços na tecnologia em nuvem e nos aplicativos móveis permitiram às empresas e usuários de TI interagirem de maneiras totalmente novas. Uma das tecnologias que mais cresce nessa esfera é a Business Intelligence e conceitos associados, como Big Data e mineração de dados.
Para ajudar você a entender os vários processos de dados de negócios para alavancar as ferramentas de Business Intelligence, é importante conhecer as diferenças entre Big Data e mineração de dados e Business Intelligence. Descrevemos as definições de cada uma e detalhamos como elas se relacionam e se comparam.
O que é Business Intelligence?
A Business Intelligence abrange a análise de dados com a intenção de descobrir tendências, padrões e insights. As descobertas baseadas em dados fornecem visualizações precisas e astutas dos processos da sua empresa e dos resultados que esses processos estão gerando. Além das métricas padrão, como medidas financeiras, a Business Intelligence detalhada revela o impacto das práticas atuais no desempenho dos funcionários, na satisfação geral da empresa, nas conversões, no alcance da mídia e em vários outros fatores.
Além de apresentar informações sobre o estado atual da sua organização, a utilização da Business Intelligence pode prever o desempenho futuro. Através da análise de dados passados e atuais, sistemas robustos de BI rastreiam tendências e ilustram como elas continuarão com o passar do tempo.
A Business Intelligence abrange mais do que observação, ela vai além da análise quando uma ação é tomada com base nas descobertas. Ter a capacidade de ver os resultados reais e quantificáveis das políticas e o impacto no futuro dos seus negócios é uma ferramenta poderosa para a tomada de decisões.
Como o Big Data é definido?
O termo Big Data pode ser definido simplesmente como grandes conjuntos de dados que superam bancos de dados simples e arquiteturas de manipulação de dados. Por exemplo, dados que não podem ser facilmente manipulados nas planilhas do Excel podem ser chamados de Big Data.
Big Data envolve o modo de armazenamento, processamento e visualização de dados. É essencial encontrar as ferramentas certas para criar o melhor ambiente para obter informações valiosas de seus dados.
A configuração de um ambiente eficaz de Big Data envolve a utilização de tecnologias de infra-estrutura que processam, armazenam e facilitam a análise de dados. Data warehouses, programas de linguagem de modelagem e cubos OLAP são apenas alguns exemplos. Hoje, as empresas costumam usar mais de uma implantação de infra-estrutura para gerenciar vários aspectos de seus dados.
O Big Data geralmente fornece às empresas respostas para as perguntas que eles não sabiam que queriam fazer: Como o novo software de RH afetou o desempenho dos funcionários? Como as avaliações recentes dos clientes se relacionam com as vendas? A análise de fontes de Big Data ilumina os relacionamentos entre todas as facetas da sua empresa.
Portanto, há uma utilidade inerente às informações que estão sendo coletadas no Big Data. As empresas devem definir objetivos e parâmetros relevantes para coletar informações valiosas dele.
Business Intelligence vs Big Data
Business Intelligence é a coleção de sistemas e produtos que foram implementados em várias práticas de negócios, mas não as informações derivadas dos sistemas e produtos.
Por outro lado, Big Data passou a significar várias coisas para pessoas diferentes. Ao comparar Big Data x Business Intelligence, algumas pessoas usam o termo Big Data ao se referir ao tamanho dos dados, enquanto outras usam o termo em referência a abordagens específicas da análise.
Então, como a Business Intelligence e o Big Data se relacionam e se comparam? O Big Data pode fornecer informações fora das fontes de dados da própria empresa, servindo como um recurso expansivo. Portanto, é um componente da Business Intelligence, oferecendo uma visão abrangente de seus processos. O Big Data geralmente constitui a informação que levará a insights de Business Intelligence.
Novamente, o Big Data existe na Business Intelligence, isso significa que os dois diferem na quantidade e no tipo de dados que incluem. Como o segundo é um termo genérico, os dados considerados parte dele são muito mais abrangentes do que os que se enquadram no primeiro. A Business Intelligence abrange todos os dados, desde relatórios de vendas hospedados em planilhas do Excel até grandes bancos de dados on-line. Big Data, por outro lado, consiste apenas nesses grandes conjuntos de dados.
As ferramentas envolvidas nos processos de Big Data e Business Intelligence também diferem. O software de Business Intelligence de nível básico tem a capacidade de processar fontes de dados padrão, mas pode não estar equipado para gerenciar Big Data. Outros sistemas mais avançados são projetados especificamente para o processamento de Big Data.
Obviamente, na discussão sobre Big Data x BI, há alguma sobreposição envolvida no uso de sistemas abrangentes de Business Intelligence, feitos para lidar com grandes conjuntos de dados. A maioria dos fornecedores de software de Business Intelligence oferece modelos de custos em camadas que aumentam a funcionalidade
Em resumo
Business Intelligence, Big Data e Mineração de Dados são três conceitos diferentes que existem na mesma esfera. A Business Intelligence pode ser considerada a categoria abrangente na qual esses conceitos existem, pois pode ser simplesmente definida como análise de práticas de negócios baseada em dados. O Big Data é extraído e analisado, resultando no ganho de Business Intelligence. Embora esses três conceitos sejam diferentes, o BI, o Big Data e a Mineração de Dados trabalham juntos para servir ao propósito de fornecer informações orientadas a dados. São ferramentas que podem levar a uma maior compreensão do seu negócio e, finalmente, processos mais simplificados que aumentam a produtividade e o rendimento financeiro.
Como sua organização usa BI, Big Data e Mineração de Dados? Deixe um comentário abaixo.
Quais são as habilidades técnicas importantes em ciência de dados?
Para entrar no campo da ciência de dados você deve possuir algumas das seguintes habilidades principais:
1.1 Python
Python é a linguagem de programação mais popular e fácil de aprender, ela é orientada a objetos de alto nível que é usada não apenas para ciência de dados, mas também para desenvolvimento de aplicações Web e GUI. O Python fornece suporte para um grande número de bibliotecas de aprendizado de máquina e de aprendizado profundo, como Tensorflow, Keras, scikit-learn etc. Para iniciar sua jornada no mundo da Ciência de Dados ele é uma linguagem de programação ideal.
1.2 Linguagem R
R é uma linguagem de modelagem estatística altamente popular entre os cientistas de dados. R fornece uma curva de aprendizado acentuada que dificulta os usuários iniciantes. No entanto, independentemente disso, R é a primeira escolha para muitos estatísticos críticos. Ele também fornece suporte para várias operações de ciência de dados por meio de suas abundantes bibliotecas.
1.3 SQL
SQL é o pão com manteiga da Data Science. É usado como o primeiro passo em todas as operações de ciência de dados, serve para extrair e recuperar os dados. Ele foi projetado para gerenciar dados armazenados em um banco de dados relacional, sendo usado principalmente para manipular dados estruturados. No entanto, para se tornar um cientista de dados, você também deve saber como lidar com dados não estruturados, tratados com o NoSQL.
1.4 Big Data
O Big Data é uma tecnologia importante que faz parte da Data Science. As tecnologias de Big Data, como Hadoop, Spark, Apache Flink, conquistaram o mundo devido aos seus enormes recursos de armazenamento e processamento de dados. Para um cientista de dados é essencial conhecer essa ferramenta, pois precisa lidar com grandes volumes de dados.
Antes que seja tarde demais, comece seu aprendizado de Big Data e faça uma carreira brilhante.
1.5 Java
Em terminologia de computação mais específica, Python é conhecido como linguagem de script, enquanto Java como linguagem de programação. Muitos setores exigem conhecimento de scripts e de uma linguagem de programação. O conhecimento de Java facilitará o ajuste e a manutenção de plataformas de Big Data como o Hadoop, escritas na mesma linguagem.
Outra área importante em que você precisa ser proficiente é a área não tecnológica. Esta área é composta por Estatística, Matemática e Pensamento Analítico.
1.6 Estatísticas
A estatística é a espinha dorsal do núcleo da ciência de dados. Para ser proficiente em Ciência de Dados você deve ter um conhecimento aprofundado sobre vários tópicos da Estatística, como Estatística Descritiva e Estatística Inferencial. A preparação para entrevistas em ciência de dados exigirá que você seja versado em vários procedimentos estatísticos.
1.7 Matemática
Conceitos matemáticos como álgebra linear, cálculo e probabilidade são os conceitos mais importantes em ciência de dados, portanto o conhecimento desses conceitos é uma necessidade para garantir seu primeiro emprego como cientista de dados.
1.8 Pensamento analítico
O pensamento analítico e a solução de problemas são os dois requisitos mais importantes para qualquer posição de ciência de dados. Como parte de sua responsabilidade cotidiana, você será solicitado a solucionar problemas complexos.
Quais são as etapas para obter seu primeiro emprego em ciência de dados?
Ciência de Dados
Depois de ter conhecimento dessas habilidades você deve aplicá-las para criar vários projetos interativos e se envolver em uma comunidade ativa de ciência de dados.
Etapa 1 – O primeiro passo para conseguir qualquer trabalho em ciência de dados é desenvolver um currículo ou um portfólio que contém todos os projetos relevantes de ciência de dados nos quais você construiu ou contribuiu. Para fazer isso, você deve ter o conhecimento estatístico e as habilidades de programação para participar de tais projetos.
Etapa 2 – A melhor maneira de participar de projetos de ciência de dados é através do Kaggle. Existem competições e desafios no Kaggle que atraem entusiastas da ciência de dados de todos os níveis. À medida que avança em várias competições no Kaggle, você está ganhando reputação no mundo da ciência de dados. Além disso, você está adicionando projetos ao seu portfólio de cientista.
Etapa 3 – Trabalhar em projetos independentes é outra maneira de obter experiência no campo da ciência de dados. Existem vários conjuntos de dados disponíveis publicamente on-line. Usando sua criatividade, você pode criar seu próprio produto de dados que utiliza conjuntos de dados abertos. Se o conjunto de dados não estiver disponível on-line ou você estiver interessado em ter fluxos de dados em tempo real, poderá utilizar as ferramentas de raspagem da Web fornecidas com o Python.
Etapa 4 – Além dos desenvolvimentos do projeto, seu envolvimento e contribuição para a comunidade de ciência de dados também são importantes. Você deve escrever blogs, tutoriais e até orientações sobre as soluções dos seus problemas do Kaggle. Isso ajudará você a criar uma forte presença on-line. Além disso, participar do StackOverflow e responder a perguntas fornecerá o treinamento para responder questões de vários graus.
Etapa 5 – Construir conexões é outro requisito importante para garantir sua primeira entrevista. Você deve estar ativo no Linkedin, compartilhar seus projetos e participar de discussões da comunidade. Você deve poder influenciar seus empregadores em potencial para garantir uma entrevista com eles.
Conclusão
Neste artigo, descrevemos uma explicação para se tornar um cientista de dados proficiente. Discutimos várias etapas importantes que incluem habilidades necessárias, ferramentas utilizadas, curadoria de portfólio e criação de conexões para conseguir seu primeiro emprego em uma empresa de ciência de dados. Esperamos que, com a ajuda deste artigo, você consiga seu primeiro emprego como cientista de dados!
Se você tiver outras dúvidas sobre a carreira em Data Science, pode fazer perguntas livremente por meio de comentários.
Envie seu Currículo clicando no menu “Trabalhe conosco”.
O principal objetivo do Big Data é capturar, processar e analisar os dados estruturados e não estruturados para melhorar os resultados do cliente.
Big Data, como o nome sugere, é algo relacionado a dados, em que big significa grande ou enorme. Simplificando, Big Data refere-se a grandes quantidades de dados (em termos de volume) que não podem ser digeridos (processados) com aplicativos tradicionais de processamento de dados de maneira eficaz. À medida que os dados aumentam, eles também se tornam mais complexos e requerem técnicas matemáticas e estatísticas mais avançadas e robustas para obter o que queremos dos dados.
Muitas ferramentas de análise de Big Data obtêm seus dados de várias fontes, como mídias sociais, web e bancos de dados adicionais, e depois executam análises detalhadas desses dados para descobrir insights. O que separa a análise de Big Data de algo, como a análise de negócios, é o grande volume de dados sendo processado e as técnicas analíticas aplicadas a esses dados. Essas ferramentas geralmente exigem conhecimento avançado de técnicas de análise de dados e fazem uso de tecnologias como Apache Hadoop e análises baseadas em nuvem.
A análise de Big Data pega esses dados e os apresenta de maneiras significativas, utilizando visualizações e painéis poderosos. Dados bem apresentados podem fornecer aos tomadores de decisão e gerentes as informações necessárias para, por exemplo, avançar com lançamentos de produtos ou reduzir seus esforços de marketing.
Esse tipo de software geralmente usa quatro tipos de análise para ajudar a gerar e descobrir insights:
Análise prescritiva;
Análise descritiva;
Análise preditivae
Análise de diagnóstico.
Pode ser difícil de acreditar, mas a análise de Big Data pode ajudar os usuários a reduzir custos em seus negócios. O Hadoop e as análises baseadas na nuvem oferecem maneiras baratas e eficientes de armazenar os dados dos usuários. O benefício adicional de ter uma visão geral de alto nível é que você pode ver as facetas de seu negócio com desempenho abaixo e abaixo do desempenho.
Por exemplo, digamos que seu departamento de marketing esteja trazendo um grande número de leads, mas seus clientes estão abandonando seus carrinhos durante a fase de pagamento, ao utilizar a análise de Big Data, você pode investigar quais fatores estão contribuindo para a perda de vendas e tratá-los. Talvez sua página de checkout não esteja bem otimizada? Você pode gastar recursos adicionais em engenharia para solucionar o problema.
Tome decisões mais rapidamente
Com ampla disponibilidade de dados, os usuários geralmente são capazes de tomar decisões críticas rapidamente, portanto é necessário gastar menos tempo analisando pequenos pontos de dados que ainda não foram analisados ou compilados.
Otimize o desempenho dos negócios
Ver todas as facetas da sua empresa traz benefícios significativos porque permite que os usuários diagnostiquem pontos problemáticos ou deficiências e os tratem. Quando determinados departamentos não estão executando ou atendendo aos KPIs, os usuários podem investigar o motivo. A maioria dos produtos de análise de Big Data ajudará a fornecer pelo menos algumas informações de diagnóstico, como fatores de corroboração ou pontos de dados associados.
Gerenciar dados
O gerenciamento de dados, geralmente conhecido como governança de dados, é um recurso crítico do Big Data. Como regulamentações como o Regulamento Geral de Proteção de Dados continuam a ter um impacto na maneira como as empresas lidam com dados, controlar o fluxo desses dados é uma questão de importância crítica. O gerenciamento da qualidade dos dados geralmente inclui limpeza, colheita, distribuição e contextualização dos dados.
Analisar e prever tendências
Prever tendências e analisar comportamentos estão entre os recursos mais cobiçados da análise de Big Data. Trabalhando com dados e evidências históricas, a análise de Big Data tentará fazer projeções e previsões, além de contar com vários fatores adicionais que podem influenciar os resultados. Fatores como sazonalidade, flutuações de preço, discrepâncias, comportamento do consumidor, interação com a marca e mais são geralmente considerados nas previsões.
Como um benefício adicional, as previsões ajudam os líderes a se prepararem para o futuro, digamos que um determinado produto, como ovos de Páscoa de plástico, seja vendido bem na primavera, de acordo com dados históricos, os gerentes podem garantir que eles tenham muitos em estoque para o boom sazonal.
Compartilhe insights
Compartilhar idéias com outras pessoas da sua organização é uma função crítica de qualquer conjunto de análises, não apenas da análise de Big Data. Quase sempre, essas descobertas de dados são comunicadas através do uso de painéis, relatórios e visualizações, cada uma das quais serve a seus propósitos exclusivos.
Os painéis são janelas interativas com atualização ao vivo em dados brutos, eles geralmente são altamente personalizados para casos de uso específicos, como marketing, vendas ou gerenciamento. Enquanto os relatórios são gerados e depois considerados “completos”, um painel tecnicamente nunca é completo. Ele mostra informações em tempo real, utilizando visualizações para transmitir informações de maneira significativa. Os painéis geralmente podem ser manipulados e explorados pelo usuário.
Por outro lado, os relatórios são partes estáticas de conteúdo que compilam informações designadas e as entregam usando figuras, visualizações ou ambas. Muitas vezes, os relatórios são gerados no final de uma jornada de trabalho ou em qualquer período de tempo definido e servem como parâmetros de desempenho.
As visualizações se referem aos componentes vitais e ilustrativos que são frequentemente utilizados por painéis e relatórios. As visualizações ajudam a contar a história dos dados, comunicando-se de maneira eficiente e significativa. Algumas ferramentas de visualização incluem:
Gráficos;
Heatmaps;
Fluxogramas;
Nuvens de palavras;
Linhas do tempo;
Perguntas frequentes e
Como o Big Data pode melhorar o desempenho dos negócios?.
As ferramentas de Big Data atraem grandes quantidades de dados em todo o espectro de seus negócios, quando tomadores de decisão e gerentes podem ver a amplitude e o escopo de sua empresa, e como ela está se saindo, eles podem tomar medidas para capitalizar as vitórias e otimizar suas perdas.
Estou pronto para o Big Data?
Existem alguns fatores-chave que determinam se sua empresa está ou não pronta para começar a tirar proveito da análise de Big Data. Considerar:
Objetivos da sua organização na utilização de dados;
Pontos problemáticos e pontos fracos do seu negócio;
Comportamento inexplicável e errático do cliente;
A sua organização precisa acompanhar certas facetas dos negócios e
Falta de progresso.
Como seleciono uma solução de Big Data Analytics?
Escolher uma ferramenta de análise de Big Data que atenda às necessidades de seus negócios não é uma tarefa fácil, lembre-se de alguns aspectos essenciais ao procurar software.
Pense nas necessidades da sua empresa, em primeiro lugar, depois decida quais recursos de análise de Big Data você precisará, pense no que deseja e inicie a lista de produtos. Temos páginas selecionadas de produtos com listas de recursos e benefícios para ajudar a tornar esse processo um pouco mais fácil. Também temos uma ferramenta útil chamada Requirements Hub que pode ajudar os usuários a criar uma lista de requisitos para seus negócios.
Em seguida, pense no seu orçamento. Quanto você está disposto a gastar e deseja ir mais alto pelos recursos necessários?
Quando você sentir que possui o suficiente das informações necessárias, é hora de iniciar uma solicitação de proposta, que é uma tarefa por si só. Se você nunca fez uma RFP de análise antes, vá para o nosso artigo, que explica o processo em profundidade.
Quando falamos sobre ferramentas de Big Data vários aspectos entram em cena a respeito. Por exemplo, qual o tamanho dos conjuntos de dados, que tipo de análise faremos neles, qual é a saída esperada, etc. Portanto, em termos gerais, podemos categorizar a lista de ferramentas de código aberto de Big Data nas seguintes categorias: com base em dados lojas, como plataformas de desenvolvimento, como ferramentas de desenvolvimento, ferramentas de integração, para ferramentas de análise e relatório.
Preparando-se para a entrevista com Big Data? Aqui estão as 50 principais perguntas da Big Data com respostas detalhadas para quebrar a entrevista!
Por que existem tantas ferramentas de Big Data de código
aberto no mercado?
Sem dúvida, o Hadoop é a única razão e seu domínio no mundo dos Big Data como uma plataforma de Big Data de código aberto. Portanto, a maioria dos grupos ou organizações ativas desenvolve ferramentas de código aberto para aumentar a possibilidade de adoção no setor. Além disso, é fácil baixar e usar uma ferramenta de código aberto, livre de qualquer sobrecarga de licenciamento.
Se examinarmos de perto a lista de ferramentas de código aberto de Big Data, o resultado pode ser desconcertante. Como as organizações estão desenvolvendo rapidamente novas soluções para alcançar a vantagem competitiva no mercado de Big Data, é útil se concentrar nas ferramentas dessa plataforma de código aberto que estão impulsionando este setor.
As 10 melhores ferramentas de Big Data de código aberto em 2020
Com base na popularidade e usabilidade, listamos as dez ferramentas de código aberto a seguir como as melhores ferramentas de Big Data de código aberto em 2020.
1. Hadoop
O Apache Hadoop é a ferramenta mais importante e usada no setor de Big Data, com sua enorme capacidade de processamento de dados em larga escala. Essa é uma estrutura 100% de código aberto e é executada em hardware comum em um data center existente. Além disso, ele pode ser executado em uma infraestrutura de nuvem. O Hadoop consiste em quatro partes:
Sistema de arquivos distribuídos do Hadoop: Comumente
conhecido como HDFS, é um sistema de arquivos distribuídos compatível com
largura de banda de escala muito alta.
MapReduce: um modelo de programação para o processamento de Big Data.
YARN: é uma plataforma usada para gerenciar e agendar os
recursos do Hadoop na infraestrutura do Hadoop.
Bibliotecas: Para ajudar outros módulos a trabalhar com o
Hadoop.
Planejando construir uma carreira no Big Data Hadoop? Aqui
estão os 20 termos mais importantes do Hadoop que você deve saber para se
tornar um profissional do Hadoop.
2. Apache Spark
O Apache Spark é o próximo hype na indústria entre as ferramentas de Big Data. O ponto principal desta ferramenta de código aberto é que preenche as lacunas do Apache Hadoop em relação ao processamento de dados. Curiosamente, o Spark pode lidar com dados em lote e em tempo real. Como ele processa dados na memória, isso acontece muito mais rapidamente que o processamento em disco tradicional. Este é realmente um ponto positivo para os analistas que lidam com certos tipos de dados para obter resultados mais rápidos.
O Apache Spark é flexível para trabalhar com o HDFS e com
outros armazenamentos de dados, por exemplo, com o OpenStack Swift ou o Apache
Cassandra. Também é muito fácil executar o Spark em um único sistema local para
facilitar o desenvolvimento e os testes.
O Spark Core é o coração do projeto e facilita muitas coisas como:
Transmissão de tarefas distribuídas;
Agendamento e
Funcionalidade de E / S.
O Spark é uma alternativa ao MapReduce do Hadoop, ele pode executar trabalhos 100 vezes mais rápido que o MapReduce do Hadoop. Se você quiser saber o motivo, leia o blog anterior sobre os 11 principais fatores que tornam o Apache Spark mais rápido.
3. Apache Storm
O Apache Storm é uma estrutura distribuída em tempo real para o processamento confiável do fluxo de dados ilimitado. Essa ferramenta suporta qualquer linguagem de programação e seus recursos exclusivos são:
Suporta topologia de gráfico acrílico direto (DAG);
Suporta vários idiomas e
Suporta protocolos como JSON.
As topologias de tempestade podem ser consideradas semelhantes ao trabalho do MapReduce. No entanto, no caso do Storm, é o processamento de dados de fluxo em tempo real, em vez de ser em lote. Com base na configuração da topologia, o planejador Storm distribui as cargas de trabalho para os nós. E ele pode interoperar com o HDFS do Hadoop através de adaptadores, se necessário, que é outro ponto que o torna útil como uma ferramenta de Big Data de código aberto.
4. Cassandra
O Apache Cassandra é um banco de dados de tipo distribuído para gerenciar um grande conjunto de dados nos servidores. Essa é uma das melhores ferramentas de Big Data que processa principalmente conjuntos de dados estruturados, que fornece serviço altamente disponível, sem ponto único de falha. Além disso, possui certos recursos que nenhum outro banco de dados relacional e qualquer banco de dados NoSQL podem fornecer. Esses recursos são:
Disponibilidade contínua como fonte de dados;
Desempenho escalável linear;
Operações simples;
Nos centros de dados, fácil distribuição destes;
Pontos de disponibilidade na nuvem;
Escalabilidade e
Atuação.
A arquitetura Apache Cassandra não segue a arquitetura mestre-escravo e todos os nós desempenham o mesmo papel. Ele pode lidar com vários usuários simultâneos nos data centers, portanto, adicionar um novo nó não importa no cluster existente, mesmo no período de atividade.
5. RapidMiner
O RapidMiner é uma plataforma de software para atividades de
ciência de dados e fornece um ambiente integrado para:
Preparação de dados;
Aprendizado de máquina;
Mineração de texto;
Análise preditiva;
Aprendizagem profunda;
Desenvolvimento de aplicações e
Prototipagem.
Essa é uma das ferramentas úteis de Big Data que oferecem suporte a diferentes etapas do aprendizado de máquina, como:
Preparação de dados;
Visualização;
Análise preditiva;
Validação do modelo;
Otimização;
Modelagem estatística;
Avaliação e
Desdobramento, desenvolvimento.
O RapidMiner segue um modelo de cliente / servidor em que o último pode estar localizado no local ou em uma infraestrutura de nuvem. É escrito em Java e fornece uma GUI para projetar e executar fluxos de trabalho, além de poder fornecer 99% de uma solução analítica avançada.
6. MongoDB
O MongoDB é um banco de dados NoSQL de código aberto compatível com várias plataformas e com muitos recursos embutidos. É ideal para empresas que precisam de dados rápidos e em tempo real para tomar decisões instantâneas. E também para usuários que desejam experiências baseadas em dados. É executado na pilha de software MEAN, aplicativos NET e plataforma Java.
Alguns recursos notáveis do MongoDB são:
Pode armazenar qualquer tipo de dados como inteiro, string,
array, objeto, booleano, data etc.
Ele fornece flexibilidade na infraestrutura baseada em
nuvem.
É flexível e particiona facilmente os dados entre os
servidores em uma estrutura de nuvem.
O MongoDB usa esquemas dinâmicos, portanto você pode preparar dados rapidamente, sendo essa uma outra maneira de economizar custos.
7. Ferramenta de Programação R
Essa é uma das ferramentas de Big Data de código aberto amplamente usadas neste setor para análise estatística de dados. A parte mais positiva dessa ferramenta é, embora usada para análise estatística, como usuário, você não precisa ser um especialista neste quesito. O R possui sua própria biblioteca pública CRAN (Comprehensive R Archive Network), que consiste em mais de 9000 módulos e algoritmos para análise estatística de dados.
R pode ser executado no servidor Windows e Linux, bem como no servidor SQL etambém suporta Hadoop e Spark. Usando essa ferramenta, é possível trabalhar com dados discretos e experimentar um novo algoritmo analítico para análise. É uma linguagem portátil e sendo assim, um modelo R construído e testado em uma fonte de dados local pode ser facilmente implementado em outros servidores ou mesmo em um data lake Hadoop.
8. Neo4j
O Hadoop pode não ser uma escolha inteligente para todos os problemas relacionados ao Big Data. Por exemplo, quando você precisa lidar com um grande volume de dados de rede ou problemas relacionados a gráficos, como redes sociais ou padrão demográfico, um banco de dados de gráficos pode ser uma escolha perfeita.
O Neo4j é uma das ferramentas de Big Data que é amplamente usada no banco de dados de gráficos neste setor. Segue a estrutura fundamental do banco de dados de gráficos, que é a relação de dados interconectada dos nós. Ele mantém um padrão de valor-chave no armazenamento de dados.
Recursos notáveis do Neo4j são:
Suporta transação ACID;
Alta disponibilidade;
Escalável e confiável;
Flexível, pois não precisa de um esquema ou tipo de dados para armazenar dados;
Pode integrar-se com outros bancos de dados e
Suporta linguagem de consulta para gráficos que é comumente
conhecido como Cypher.
9. Apache SAMOA
O Apache SAMOA está entre as conhecidas ferramentas de Big Data usadas para algoritmos de streaming distribuídos para mineração de Big Data. Além de mineração de dados, ele também é usado para outras tarefas de aprendizado de máquina, como:
Classificação;
Agrupamento;
Regressão e
Abstração de programação para novos algoritmos.
É executado na parte superior dos DSPEs (mecanismos de processamento de fluxo distribuído). O Apache Samoa é uma arquitetura conectável e permite a execução em vários DSPEs que incluem:
Apache Storm;
Apache S4;
Apache Samza e
Apache Flink.
Devido às razões abaixo, Samoa tem imensa importância como a ferramenta de Big Data de código aberto do setor:
Você pode programar uma vez e executá-lo em qualquer lugar;
Sua infraestrutura existente é reutilizável, portanto você pode evitar a implantação de ciclos;
Sem tempo de inatividade do sistema e
Não há necessidade de processo complexo de backup ou atualização.
10. HPCC
O cluster de computação de alto desempenho (HPCC) é outro
entre os melhores.
Ele é outra das melhores ferramentas de Big Data, considerada o concorrente do Hadoop neste mercado. É uma das ferramentas de Big Data de código aberto sob a licença Apache 2.0 e alguns dos seus principais recursos são:
Ajuda no processamento de dados paralelo;
Plataforma de computação de dados distribuídos de código aberto;
Segue arquitetura nada compartilhada;
Executa em hardware de commodity;
Vem com pacotes binários suportados para distribuições Linux ;
Oferece suporte ao gerenciamento completo do fluxo de trabalho de Big Data;
A plataforma inclui:
Thor: para manipulação de dados orientada a lotes, seus links e análises e
Roxie: para entrega e análise de dados em tempo real.
Implicitamente um mecanismo paralelo;
Mantém o encapsulamento de código e dados;
Extensível;
Altamente otimizado;
Ajuda a criar planos gráficos de execução e
Compila em C ++ e código de máquina nativo.
Conclusão
Para entrar no setor de Big Data é sempre bom começar com o Hadoop. Um treinamento de certificação no Hadoop associa muitas outras ferramentas de Big Data, como mencionado acima. Escolha qualquer um dos principais caminhos de certificação da Cloudera ou da Hortonworks e prepare-se para o mercado como profissional do Hadoop ou de Big Data.
Estudo de caso da Data Science – Como a Netflix usou a Data Science para melhorar seu sistema de recomendação?
Você se lembra do último filme que assistiu na Netflix? Não quero saber o nome, apenas recorde-se: depois de assistir ao filme, você foi recomendado para filmes semelhantes? Como a Netflix sabe do que você gosta? O segredo aqui é a ciência de dados. A Netflix usa a Data Science para fornecer recomendações relevantes e interessantes para você. Então, hoje, neste artigo, discutiremos o mesmo. Vamos começar a explorar a Ciência de dados na Netflix com uma introdução básica à Netflix.
Ciência de dados na Netflix
A Netflix começou inicialmente como um serviço de aluguel de DVD em 1998. Baseava-se principalmente em serviços postais de terceiros para entregar seus DVDs aos usuários. Isso resultou em grandes perdas que eles logo mitigaram com a introdução do serviço de streaming on-line em 2007. Para fazer isso acontecer a Netflix investiu em muitos algoritmos para fornecer uma experiência de filme impecável aos seus usuários. Um desses algoritmos é o sistema de recomendação usado pela Netflix para fornecer sugestões aos usuários. Um sistema de recomendação compreende as necessidades dos usuários e fornece sugestões dos vários produtos cinematográficos.
O que é um sistema de recomendação?
Um sistema de recomendação é uma plataforma que fornece aos usuários vários conteúdos com base em suas preferências e gostos. Um sistema de recomendação leva as informações sobre o usuário como uma entrada. Essas podem estar na forma de uso passado do produto ou nas classificações fornecidas a ele. Em seguida, processa essas informações para prever quanto o usuário classificaria ou preferiria o produto. Um sistema de recomendação utiliza uma variedade de algoritmos de aprendizado de máquina.
Outro papel importante que um sistema de recomendação desempenha hoje é procurar similaridade entre diferentes produtos. No caso da Netflix, o sistema de recomendação procura filmes semelhantes aos que você assistiu ou gostou anteriormente. Este é um método importante para cenários que envolvem partida a frio. Nesta partida a empresa não possui muitos dados do usuário disponíveis para gerar recomendações, portanto, com base no que foi assistido, a Netflix fornece recomendações dos filmes que compartilham um certo grau de similaridade. Existem dois tipos principais de sistemas de recomendação, são eles:
Sistemas de recomendação baseados em conteúdo
Em um sistema de recomendação baseado em conteúdo o conhecimento dos produtos e as informações do cliente são levados em consideração e com base no conteúdo que você visualizou na Netflix fornece sugestões semelhantes. Por exemplo, se você assistiu a um filme com um gênero de ficção científica o sistema de recomendação, com base em conteúdo, fornecerá sugestões de filmes semelhantes com o mesmo gênero.
Sistemas de recomendação de filtragem colaborativa
Diferente da filtragem baseada em conteúdo que forneceu recomendações de produtos similares, a Filtragem colaborativa fornece recomendações baseadas nos perfis semelhantes de seus usuários. Uma vantagem importante da filtragem colaborativa é que ela é independente do conhecimento do produto. Em vez disso, conta com os usuários com uma suposição básica de que o que eles gostaram no passado também gostará no futuro. Por exemplo, se uma pessoa A assiste gêneros de crime, ficção científica e suspense e B assiste a gêneros de ficção científica, suspense e ação, então A também gostará de ação e B gostará de gênero de crime.
Há também um terceiro tipo de sistema de recomendação que combina as técnicas Conteúdo e Colaboração. Essa forma de sistema de recomendação é conhecida como Sistema de Recomendação Híbrido. A Netflix utiliza o Sistema de Recomendação Híbrido como principal para sugerir conteúdo a seus usuários.
Como a Netflix resolveu seu problema de recomendação com a ciência de dados
Em 2006, quando a Netflix queria entrar no mercado de streaming, começou com uma competição pela previsão de classificação de filmes. Ele forneceu um prêmio de US$ 1 milhão para quem aumentou a precisão da plataforma então existente ‘Cinematch’ em 10%. No final da competição a equipe BellKor apresentou sua solução que aumentou a precisão da previsão em 10,06%, com mais de 200 horas de trabalho e um conjunto de 107 algoritmos forneceu esse resultado e o modelo final deu um RMSE de 0,8712. Para sua solução eles usaram o algoritmo vizinho K-mais próximo para pós-processamento dos dados.
Em seguida, eles implementaram um modelo de fatoração conhecido popularmente como Decomposição de Valor Singular (SVD) por fornecer uma incorporação dimensional ideal para seus usuários. Eles também fizeram uso de máquinas restritas de Boltzmann (RBM) para aprimorar a capacidade do modelo de filtragem colaborativa. Esses dois algoritmos no conjunto, SVD e RBM, forneceram os melhores resultados. Uma combinação linear desses dois algoritmos reduziu o RMSE para 0,88.
No entanto, mesmo após a redução do RMSE e o aumento da precisão, a Netflix sofreu dois grandes desafios: primeiro, os dados fornecidos durante a competição eram de 100 milhões de classificações de filmes, em oposição a mais de 5 bilhões de classificações da Netflix. Segundo, os algoritmos eram estáticos, o que significa que eles lidavam apenas com dados históricos e não levavam em conta a dinamicidade dos usuários que adicionavam análises em tempo real. Depois que a Netflix superou esses desafios, tornou os algoritmos vencedores parte do seu sistema de recomendação.
Usando a intercalação para melhorar a personalização
A Netflix usa algoritmos de classificação para fornecer uma lista de filmes e programas de TV que mais atraem seus usuários, no entanto, com a presença de vários algoritmos de classificação, geralmente é difícil acomodar todos eles e testar seu desempenho simultaneamente. O teste A / B tradicional em um conjunto reduzido de algoritmos não conseguiu identificar os melhores deles com tamanho de amostra menor e também consumiu muito tempo, então a Netflix decidiu inovar seu processo algorítmico. Para acelerar o processo de experimentação de seus algoritmos de classificação, a Netflix implementou a técnica de intercalação que permitiu identificar os melhores algoritmos, que é aplicada em duas etapas para fornecer o melhor algoritmo de classificação de página para fornecer recomendações personalizadas aos seus usuários.
Na primeira etapa são realizadas experiências para determinar a preferência do membro entre os dois algoritmos de classificação. Diferentemente do teste A / B, no qual os dois grupos de espectadores são expostos aos dois algoritmos de classificação, a Netflix utiliza a intercalação para misturar as classificações dos algoritmos A e B. Ela ainda fornece aos usuários conteúdo enriquecido com base nessa técnica de intercalação altamente sensível para classificar a qualidade do algoritmo.
Importância da conscientização do contexto nas recomendações
A conscientização contextual é um dos elementos-chave na personalização de recomendações para seus usuários. Isso não apenas melhora o desempenho do sistema de recomendação, mas também solicita que os usuários forneçam melhores comentários que resultariam em uma recomendação de qualidade. Existem duas categorias de classes contextuais:
Explícito
Localização
Língua
Hora do dia
Dispositivo
Inferido
Padrões Binging
Companheiro
Para prever contextos, usamos o aprendizado de representação. É uma técnica de aprendizado profundo que executa a engenharia de recursos que descobre recursos sem programação explícita. Com base no horário e nos períodos de exibição, a Netflix baseia seus dados em vários parâmetros, como Dia, Semana, Temporada e períodos ainda mais longos, como Olimpíadas, FIFA e eleições.
Sumário
Neste artigo, estudamos como a Netflix utiliza um sistema de recomendação para fornecer sugestões de filmes para seus usuários. Também vimos como ela depende fortemente de várias técnicas na Data Science para fornecer recomendações ao usuário. Passamos pela competição do Prêmio Netflix e como ele usava os algoritmos da equipe vencedora para melhorar sua precisão. No final, discutimos a previsão contextual e como a Netflix a utiliza para fornecer recomendações personalizadas aos seus usuários.
Os processos ou métodos ágeis fornecem um ambiente em que há constante evolução nos requisitos e na evolução como resultado da colaboração entre equipes multifuncionais auto-organizadas. As metodologias ágeis promovem uma abordagem disciplinada de gerenciamento de projetos que incentiva um conjunto de melhores práticas, permitindo a entrega rápida de software de alta qualidade e aprimorando a abordagem de negócios, alinhando o desenvolvimento às necessidades do cliente. As metodologias ágeis contrastam com a metodologia tradicional em cascata, em que todos os requisitos são inicialmente analisados e documentados antes do início do desenvolvimento. Enquanto na abordagem Agile, os requisitos são como os avanços reais de desenvolvimento de software em cada iteração. Essa abordagem fornece flexibilidade para acomodar mudanças nos requisitos e prioridades dos negócios.
O processo de desenvolvimento Agile está alinhado com os conceitos do Agile Manifesto. Também conhecido como Manifesto para o Desenvolvimento Ágil de Software, o Manifesto Ágil é uma declaração formal de 4 valores-chave e 12 princípios que apoiam uma abordagem iterativa ao desenvolvimento de software. Essa metodologia permite avaliar a direção do projeto ao longo do ciclo de vida do desenvolvimento. Isso é obtido por meio de iterações regulares e, quando a reavaliação é feita a cada iteração, reduz bastante os custos e o tempo de desenvolvimento. O Agile ajuda as empresas a criar o produto certo. Os benefícios do Agile incluem os seguintes:
Beneficia os Clientes
No modelo em cascata tradicional os recursos de alto valor são desenvolvidos e entregues em ciclos mais longos em comparação com a abordagem Agile, que permite a entrega em ciclos curtos. Isso faz com que os fornecedores sejam mais responsivos às solicitações de desenvolvimento dos clientes.
Beneficia os fornecedores
A adoção do Agile beneficia os fornecedores por ter uma satisfação e retenção de clientes aprimoradas, levando a mais contatos com referências positivas. Ele ainda permite que o foco do fornecedor seja o esforço de desenvolvimento de recursos de alto valor, diminuindo as despesas gerais e melhorando a eficiência.
Qualidade
Com o desenvolvimento Agile, há uma inspeção regular do
produto de trabalho, com testes integrados a cada iteração, à medida que se
desenvolve ao longo do ciclo de vida. Por sua vez, isso mantém a qualidade do
produto e também permite que o proprietário faça os ajustes necessários sempre
que surgir um problema de qualidade.
Visibilidade
A metodologia Agile é uma abordagem colaborativa que
incentiva a participação ativa do usuário durante todo o desenvolvimento do
produto. Isso fornece uma visibilidade excepcional e clara do progresso do
projeto e do desenvolvimento de produtos para as partes interessadas.
Controle de custo
O processo de desenvolvimento ágil tem prazos fixos, em que os requisitos emergem e evoluem à medida que o projeto avança e o produto é desenvolvido, permitindo um orçamento fixo.
Gerenciamento de riscos
Na metodologia Agile, pequenas versões incrementais são
tornadas visíveis para o proprietário do produto durante todo o ciclo de
desenvolvimento, o que ajuda a identificar problemas em um estágio inicial e
facilita a resposta à mudança, se houver. O desenvolvimento ágil garante uma
visibilidade clara, o que permite que as decisões necessárias sejam tomadas na
primeira oportunidade possível.
Scrum
Scrum, por outro lado, é um subconjunto do Agile. Um Scrum é uma metodologia ágil simples e flexível para desenvolvimento de software. Não é uma técnica ou um processo, mas uma estrutura leve e simples para resolver problemas complexos de um projeto e entregar um produto de alto valor de forma criativa. Os principais atributos distintivos do Scrum são os seguintes:
Simplicidade
O desenvolvimento no Scrum é feito em sprints, com duração
de 1, 2 e 3 semanas. A equipe do Scrum consiste em:
Dono do produto: sua principal responsabilidade é maximizar o valor do produto e o trabalho da equipe de desenvolvimento. Deveres adicionais incluem gerenciar o catálogo de produtos.
Scrum Master: A equipe de desenvolvimento consiste em
profissionais auto-organizados que transformam o catálogo de produtos em
incremento de produto no final de cada sprint.
Equipe de desenvolvimento: O Scrum Masters garante que a
equipe do Scrum esteja cumprindo a teoria e suas regras.
Flexibilidade
Nenhum modelo em cascata tradicional, quando os requisitos técnicos e de negócios são documentados e detalhados, isso resulta em interminável. O Scrum utiliza histórias de usuários para descrever as funções usadas. Uma ferramenta de chamada Pivotal Tracker é usada para armazenar essas histórias de usuários em um backlog. Se uma mudança precisar ser feita ou surgir uma necessidade de adicionar histórias de usuário, nesse caso, a equipe poderá ajustar o mais cedo possível no próximo sprint. Isso permite que a empresa mude de ideia e a equipe de desenvolvimento seja flexível ou suficiente para ajustar essas alterações. A capacidade de acomodar mudanças é um atributo poderoso da metodologia Scrum.
Comunicação e Colaboração
Na metodologia Scrum a comunicação entre os usuários de negócios ocorre semanalmente, de acordo com o cronograma do sprint. Essa abertura e comunicação é um fator crucial, promovendo o sucesso dessa metodologia. A equipe do Scrum consegue colaboração das seguintes maneiras:
O Product Owner, o Scrum Master e uma equipe de
desenvolvimento que trabalha em colaboração contínua.
São realizadas reuniões de planejamento da sprint, que podem
gerenciar equipes de desenvolvimento e organizar seu trabalho com base no
conhecimento coletado dos negócios.
Realização de reuniões diárias de Scrum, nas quais uma equipe de desenvolvimento pode contabilizar o trabalho concluído, suas perspectivas futuras e lidar com problemas, se houver.
A realização de revisões do sprint permite que os membros da equipe avaliem seu trabalho anterior, recomendando melhores práticas para cada sprint.
Gostou do nosso conteúdo? Siga-nos nas redes sociais!
