Banco de dados distribuído H3C DataEngine MPP

Armazenamento e cálculo avançados em colunas

No H3C DataEngine MPP, cada coluna de dados é armazenada de forma independente em blocos contínuos de armazenamento em disco rígido. Isso é fundamentalmente diferente dos bancos de dados de linha tradicionais que armazenam os dados continuamente na ordem das linhas.

O H3C DataEngine MPP também suporta a tecnologia de descompressão tardia. Os otimizadores e mecanismos de execução do H3C DataEngine MPP aproveitam a tecnologia de computação em colunas para permitir o acesso direto aos valores codificados dos dados em condições e associações de consulta, sem a necessidade de decodificar primeiro. Desta forma, o H3C DataEngine MPP pode economizar significativamente no custo da CPU durante a consulta de dados, melhorando o desempenho geral da consulta.

Compressão ativa de alta eficiência

O H3C DataEngine MPP suporta mais de 12 algoritmos de compressão, como: codificação de comprimento de execução, codificação de valor delta, compressão inteira para dados inteiros, codificação de dicionário de blocos para dados de caracteres, codificação Lempel-Ziv para outros tipos de dados e muito mais.

Os MPP do H3C DataEngine geralmente têm uma relação de compressão de dados de até 10:1. Do ponto de vista da economia de consumo de recursos de E/S, para sistemas de análise onde E/S é o principal gargalo de gargalo, a tecnologia de compressão ativa do H3C DataEngine MPP pode trazer cerca de um aumento de desempenho quantitativo em comparação com os bancos de dados em linha tradicionais. No entanto, os dados de negócios de diferentes setores diferem muito. Portanto, o MPP do H3C DataEngine também oferece diferentes taxas de compressão para diferentes tipos de dados.

Computação paralela em massa e escalabilidade únicas e convenientes sem compartilhamento

O H3C DataEngine MPP suporta a expansão de cluster online em um clique. Adicione e exclua nós com um clique e automatize a redistribuição de dados sem a necessidade de interromper o negócio em execução. Todos os nós no cluster MPP do H3C DataEngine são totalmente peer-to-peer, não é necessário um nó principal, e o carregamento de dados, a exportação de dados e a consulta podem ser executados em paralelo em todos os nós ao mesmo tempo. Como não há compartilhamento de recursos, os nós adicionais podem expandir linearmente a capacidade de dados e a capacidade de computação do H3C DataEngine MPP, que pode ser facilmente escalada e encolhida de alguns nós para milhares ou de alguns TB para 10 PB para atender às necessidades do crescimento do negócio.

Armazenamento hierárquico baseado em negócios

Na era do Big Data, os dados são gerados cada vez mais rapidamente, enquanto a conformidade e a mineração profunda exigem que mais dados sejam mantidos e, portanto, cada vez mais dados armazenados em bancos de dados. O H3C DataEngine MPP pode otimizar os custos de armazenamento especificando diferentes estratégias de armazenamento para diferentes Schemas, objetos como tabelas e partições de tabelas, especificando diferentes locais de armazenamento (que podem usar mídias de armazenamento de desempenho, custo e capacidade diferentes). O H3C DataEngine MPP também suporta backups de algumas tabelas e partições de tabelas para armazenamento offline e recuperação de armazenamento offline, o que acelera significativamente a troca de dados entre armazenamento online e armazenamento offline, aumentando a utilização de dispositivos online e o valor comercial.

Design de otimização automática integrada

O designer do H3C DataEngine MPP não fornece apenas um design otimizado global para o banco de dados ou padrão, mas também suporta otimizações incrementais para determinadas consultas específicas. Além disso, o H3C DataEngine MPP fornece um analisador de carga para coletar dados de carga operacional de banco de dados e fornecer recomendações de automação a qualquer momento. Isso reduz significativamente os custos de gestão do DBA.

Sistema de Garantia de Estabilidade

O H3C DataEngine MPP oferece alta disponibilidade mantendo múltiplas cópias de segurança redundantes de dados. O H3C DataEngine MPP garante que os dados redundantes sejam armazenados em hashes em diferentes nós, incorporando assim uma imagem inteligente de dados. O H3C DataEngine MPP chama isso de K-safety, que se refere ao número de nós arbitrários que o H3C DataEngine MPP pode tolerar que possam falhar.

A confiabilidade do coeficiente K garante que, em caso de falha de quaisquer K nós, ainda exista pelo menos uma cópia completa de dados no cluster para responder a solicitações de processamento de dados e consultas. A falha do nó é transparente para o aplicativo e não interrompe o negócio em execução. Ao ajustar o número de cópias de dados redundantes, o H3C DataEngine MPP obtém disponibilidade para atender às diferentes necessidades de design de aplicativos.

O H3C DataEngine MPP suporta nativamente a percepção de grupos de falhas e racks. A redundância de dados do H3C DataEngine MPP é exagerada por um grupo de erros, quando os nós de um grupo de erros tolerantes (geralmente um gabinete ou até mesmo uma área composta por vários gabinetes) falham, garante que os dados de todo o banco de dados ainda estejam intactos e válidos, evitando falhas de hardware em grande escala, como desligamentos de gabinetes, para prejudicar a disponibilidade de todo o cluster.

Aprendizagem de máquina na biblioteca

Os sistemas de análise de dados tradicionais usam o processo operacional “Requisitos de análise/mineração – apresentação de dados – análise/mineração – apresentação de resultados”. A chegada do Big Data tornou a rede um gargalo de gargalo e os altos atrasos nas tarefas de análise / mineração se tornaram insuportáveis.

O H3C DataEngine MPP enfatiza a integração de algoritmos de análise/mineração em bancos de dados, permitindo que os algoritmos e os dados sejam intimamente integrados para executar tarefas de análise/mineração de forma eficiente, aproveitando o poder de computação em tempo real do H3C DataEngine MPP baseado em colunas e características de arquitetura MPP.

Além da análise estatística comum e da regressão linear, o H3C DataEngine MPP é expandido com base no SQL-99 para oferecer funcionalidades analíticas avançadas baseadas em sequências temporais, análise de correspondência de padrões e análise geográfica. Essas funcionalidades reduzirão drasticamente o trabalho dos usuários para desenvolver análises de dados complexos por conta própria e poderão executar tarefas analíticas em ambientes de grandes volumes de dados. Ao mesmo tempo, o H3C DataEngine MPP suporta análises de convergência estruturadas e não estruturadas, combinando as excelentes capacidades analíticas do H3C DataEngine MPP com o Hadoop em análises estruturadas e não estruturadas, respectivamente, para criar soluções de análise de convergência eficientes.

Desenvolvimento e expansão de capacidades

O H3C DataEngine MPP é altamente compatível. O suporte aos padrões SQL-92/SQL-99/SQL-2003 e os drivers ODBC, JDBC e ADO.NET podem ser facilmente integrados com ferramentas ETL existentes (como Informatica, DataStage), ferramentas de relatório (como BO, Cognos, etc.) e ferramentas de análise (como SAS, SPASS, etc.) para proteger os investimentos existentes.

Os servidores MPP do H3C DataEngine usam servidores Linux X86 para suportar os servidores X86 principais e distribuições Linux. O H3C DataEngine MPP também oferece um SDK para o desenvolvimento de funções personalizadas, permitindo que os usuários usem o H3C DataEngine MPP como plataforma de computação de big data e adicionem seus próprios algoritmos exclusivos de análise e processamento de dados como extensões ao H3C DataEngine MPP através da linguagem C++/R/Java para aproveitar ao máximo as tecnologias de computação de colunas e MPP do H3C DataEngine MPP, proporcionando aos usuários capacidade de processamento de análise de big data imediata e eficiente.

O H3C DataEngine MPP suporta a expansão de cluster online em um clique. Adicione e exclua nós com um clique e automatize a redistribuição de dados sem a necessidade de interromper o negócio em execução.

Segurança da base de dados

O H3C DataEngine MPP é altamente seguro. O H3C DataEngine MPP suporta vários métodos de autenticação. Apenas usuários autenticados podem acessar o H3C DataEngine MPP. Ao mesmo tempo, o H3C DataEngine MPP oferece papéis completos e mecanismos de autorização para controlar com flexibilidade o acesso aos dados dos usuários. Suporta vários inquilinos e sandboxes para implementar o modelo de gerenciamento de vários inquilinos para bancos de dados. O modelo de múltiplos inquilinos permite aproveitar os recursos de diferentes inquilinos / aplicativos para consumir a diferença de tempo "pico-vale" e compartilhar recursos.

Além disso, o H3C DataEngine MPP suporta recursos de backup e recuperação de alguns objetos de banco de dados (como Schema, tabelas) e gerencia políticas de backup por inquilino, permitindo que cada inquilino gerencie o ciclo de vida completo de seus objetos de dados. As funcionalidades de backup e recuperação de objetos parciais de banco de dados do H3C DataEngine MPP oferecem suporte ao gerenciamento hierárquico multinível de sistemas de Big Data por aplicativo e usuário.

Armazenamento e cálculo de colunas otimizados

No H3C DataEngine MPP, cada coluna de dados é armazenada de forma independente em blocos contínuos de armazenamento em disco rígido. Isso é fundamentalmente diferente dos bancos de dados de linha tradicionais que armazenam os dados continuamente na ordem das linhas. O H3C DataEngine MPP suporta a tecnologia de materialização tardia. Para a maioria das consultas de análise, muitas vezes é necessário obter apenas um subconjunto de todos os dados de coluna. O otimizador de colunas MPP do H3C DataEngine e o motor de execução podem pular colunas não relacionadas no armazenamento de colunas, economizando uma grande quantidade de recursos de E/S.

Compressão ativa

Ao contrário de outros bancos de dados que afirmam suportar o armazenamento de colunas na sequência posterior em que os dados são inseridos, o H3C DataEngine MPP seleciona automaticamente os métodos de ordenação e algoritmos de compressão aplicáveis de acordo com o tipo de dados, o número de bases e as características de consulta de cada coluna para minimizar a ocupação de armazenamento, reduzir o consumo de E/S de consultas e melhorar o desempenho de consultas. O H3C DataEngine MPP suporta mais de 12 algoritmos de compressão.

Computação paralela em massa e escalabilidade sem compartilhamento

Todos os nós no cluster MPP do H3C DataEngine são totalmente peer-to-peer, não é necessário um nó principal, e o carregamento de dados, a exportação de dados e a consulta podem ser executados em paralelo em todos os nós ao mesmo tempo. Como não há compartilhamento de recursos, os nós adicionais podem expandir linearmente a capacidade de dados e a capacidade de computação do H3C DataEngine MPP, que pode ser facilmente escalada e encolhida de alguns nós para milhares ou de alguns TB para 10 PB para atender às necessidades do crescimento do negócio.

Armazenamento em nível

Na era do Big Data, os dados são gerados cada vez mais rapidamente, enquanto a conformidade e a mineração profunda exigem que mais dados sejam mantidos e, portanto, cada vez mais dados armazenados em bancos de dados. O desempenho analítico, o alto custo dos discos de alta velocidade e os requisitos de capacidade de dados grandes são muitas vezes contraditórios. As características de armazenamento hierárquico do H3C DataEngine MPP podem resolver essa contradição de forma eficaz. O H3C DataEngine MPP pode otimizar os custos de armazenamento especificando diferentes estratégias de armazenamento para diferentes Schemas, objetos como tabelas e partições de tabelas, especificando diferentes locais de armazenamento (que podem usar mídias de armazenamento de desempenho, custo e capacidade diferentes).

Otimização automática do design

O H3C DataEngine MPP incorpora um designer de otimização de banco de dados com conhecimento especializado. Basta especificar um esquema lógico, carregar dados de amostra e fornecer instruções SQL de consulta típicas, o H3C DataEngine MPP projeta automaticamente a distribuição horizontal dos dados, a ordenação de cada coluna e os algoritmos de compressão com base no conhecimento especializado, equilibrando o desempenho da consulta e os requisitos de tamanho de armazenamento para otimizar o banco de dados como um todo.

Plataforma de análise em nuvem nativa

O H3C DataEngine MPP também suporta a separação de recursos de computação e armazenamento em cenários de nuvem pública e privada, combinando os benefícios de alta performance e rápida escalabilidade de armazenamento compartilhado sem MPP compartilhado, cópias de proprietários de dados localizadas em armazenamento compartilhado que podem ser escaladas de forma extremamente rápida e dados quentes localizados em recursos de computação para fornecer desempenho de alta velocidade localmente, evitando o desperdício de recursos em cenários de alta carga simultânea por meio de "subclustres" que evitam o desperdício de recursos em excesso de nós de cluster.

Arquitetura MPP sem compartilhamento: a computação paralela de centenas de nós do H3C DataEngine MPP é fundamental para a arquitetura que suporta a análise de Big Data para obter recursos de computação e armazenamento suficientes. Uma arquitetura MPP sem compartilhamento não requer armazenamento compartilhado, nem mesmo um nó principal dedicado, para que possa ser escalada para centenas de milhares de nós para suportar a análise de big data.

Suporte nativo para alta disponibilidade: o MPP do H3C DataEngine oferece alta disponibilidade integrada para obter transparência no aplicativo em caso de falhas de nó dentro da disponibilidade do projeto, sem interromper o negócio em execução. As funções de backup e recuperação incrementais do H3C DataEngine MPP, backup e recuperação parcial de objetos de banco de dados garantem que os aplicativos se tornem disponíveis rapidamente em caso de desastre.

Banco de dados de colunas otimizado: a chave para o desempenho da análise de Big Data elimina os gargalos de gastos de E/S. A combinação de armazenamento e cálculo em coluna (motor de coluna) do H3C DataEngine MPP, que oferece funcionalidades completas, incluindo operações de adição, exclusão e modificação, é fundamental para suportar consultas analíticas de alto desempenho e consultas instantâneas em condições de big data.

Plataforma de análise em tempo real de Big Data ideal: o H3C DataEngine MPP é a plataforma ideal para suportar análises em tempo real de Big Data com armazenamento em colunas e computação de alto desempenho, suporte a compressão ativa de dados, análise avançada, recursos avançados como expansão elástica e expansão externa personalizada.