do LinkedIn ‘resposta’ a problemas de big data: Pinot

Dados Big apresenta uma enorme oportunidade na comunidade de tecnologia e é rotineiramente como apontado como muito. Mas não é assim muitos estão dispostos a admitir as armadilhas e problemas em aproveitar esse poder.

Mais sobre LinkedIn

Microsoft compra LinkedIn para US $ 26,2 bilhões; da Microsoft aposta 26200000000 $ prenuncia movimento aplicativo de recursos humanos, na verdade busca de trabalho vai ultrapassar busca LinkedIn breve segundo o relatório; Agora você pode ver se a sua conta do LinkedIn foi pego em 2012 corte; LinkedIn esmaga lucro Q1, as ações pop em forte orientação

LinkedIn está se abrindo sobre seus próprios desafios de big data através da inauguração de seu novo mecanismo de análise.

Apelidado Pinot, a escala web mecanismo de análise em tempo real foi projetado para o monitoramento, gerenciamento e utilização de quantidades maciças de dados grandes geradas por diversos produtos em todo império nascente do LinkedIn de produtos profissionais de publicação social e digital.

As raízes para Pinot começou a brotar cerca de dois anos atrás, como LinkedIn viu-se correndo contra da parede de bloqueios baseados em dados. Uma vez que o trabalho em Pinot começou, levou construtores de plataformas aproximadamente oito meses antes de ele poderia realmente ser consumida para uso interno do produto.

Antes de cultivar Pinot em casa, a equipe de engenharia do LinkedIn disse que estava usando um coquetel de diferentes sistemas de armazenamento genérico de nomes como o Oracle e distribuídos sistema de armazenamento de valores-chave do Projeto Voldemort.

engenheiro LinkedIn Praveen Neppalli Naga explicou em um post de blog que estes não estavam atendendo à rapidamente crescente inundação de grandes dados sendo produzidos por uma rede social de mais de 300 milhões de membros em todo o mundo e contando.

Naga declarou, “Pinot nasceu como uma resposta para os nossos problemas.”

Dados LinkedIn tem um monte de profundidade e cada dimensão requer tratamento especial. Precisávamos construir técnicas de compressão personalizados para caber todas as dimensões, a fim de obter melhor tradeoff velocidade de digitalização vs. memória consumida. Por exemplo, cada um dos nossos membros podem ter centenas de habilidades e representando-os por evento é difícil. Da mesma forma, os grupos que os membros pertencem e empresas que se seguem são algumas das dimensões difíceis de representar por evento. Nós construímos Pinot com esta difícil de dados de índice em mente, mas irá poupar os detalhes das técnicas de compressão para posts futuros.

Pinot agora se destaca como a infra-estrutura de dados principal para produtos tais como “Quem é que viu seu perfil” e outros que demandam consultas complexas frequentes e instantâneos.

Empresa social; LinkedIn revela a sua nova plataforma de blogs; Big Data Analytics; não é a idade de grandes OLAP;? Big Data Analytics; DataRobot visa automatizar baixo pendurado fruto de ciência de dados; Big Data Analytics; fundador MapR John Schroeder desce, COO para substituir

Atualmente disponível para as equipas de gestão de produtos internos de trituração analytics em anúncios de relatórios e produtos premium pagos, tais como perfil da empresa segue, LinkedIn também está planejando fonte Pinot finalmente aberto ao público.

Sugestões e notas de código aberto já podem ser encontrados em Pinot. Naga destaque Pinot suporta o gasoduto Hadoop para bootstrapping e da reconciliação, bem como a indexação de dados em tempo real a partir de Kafka e Hadoop.

Imagem via LinkedIn

LinkedIn revela a sua nova plataforma de blogs

É esta a idade de Big OLAP?

DataRobot visa automatizar fruto maduro da ciência de dados

fundador MapR John Schroeder desce, COO para substituir