Facebook och Teradata på Apache Presto och störningar i öppen källkod

Dessa dagar Facebook är känd för sin raffinerade inställning till uppgifter, men en gång i tiden, det sociala nätverket befann sig långsamt drunknar i ett hav av den.

“För ett par år sedan på Facebook, hade vi en stor mängd data, men de verktyg vi använde var inte tillräckligt”, förklarar Jay Tang, chef för interaktiv analys infrastruktur på Facebook.

Så vi började utveckla en helt ny SQL-motorn att bearbeta data snabbare.

Ibland är det mest genomgripande lösning är att ändra hela problemet.

Vad Tang beskriver är födelsen av Presto, Facebook SQL fråge motor avsedd för låg latens interaktiv dataanalys.

Presto byggdes för att vara snabbare än Facebook övriga Hadoop data fråga ram Hive och uppfyller en liknande roll. Presto fortfarande flitigt av Facebook, köra tiotusentals förfrågningar per dag på datalager som skalar upp till 300 petabyte.

Och då bestämde vi att vi ville öppen källkod det att bygga en gemenskap kring det – det är verkligen ett paradigmskifte av hur data tekniken utvecklas “, sade Tang.” Nu ser vi fler och fler organisationer utanför Valley genom att använda Presto .

I nästan två år sedan att gå med öppen källkod, har Presto vunnit betydande företag dragkraft. Genom en massa industrin partnerskap och hjärnan förtroende öppen källkod, har Presto vuxit från ett internt Facebook projekt till en plattform som används av artister som Airbnb, Dropbox och Netflix att bearbeta data snabbare.

Socialt företagande, Linkedin avslöjar sin nya blogging plattform, stora datamängder, är detta en ålder av Big OLAP,? Big Data Analytics, DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap, stora datamängder, MapR grundare John Schroeder steg ner, COO för att ersätta

Men strävan efter total företag beredskap är fortfarande ett pågående arbete.

“Jag tror att vi får ganska nära, men jag tror att under de närmaste 12 månaderna kommer vi att komma till det förlovade landet”, säger Justin Borgman, Tera VP och grundare av Hadoop-fokuserad start Hadapt att Teradata förvärvades förra sommaren.

Teradata officiellt lägga sin tyngd bakom Presto i juli, och sedan dess har företaget engagemang har kretsat kring utvecklingen av certifierade BI-verktyg som kommer att göra Presto arbete enkelt och smidigt inom ett företag.

Till exempel, släppte i morse Teradata en uppsättning nya drivrutiner som ger anslutning och genomförande protokoll för att överföra frågan och resultatet mellan ansökan och databas.

Drivrutinerna är en liten teknisk detalj men ett stort steg framåt, sade Borgman, eftersom det är en kombination av prestanda och funktion som i slutändan kommer att driva Presto Enterprise acceptans bland framåt.

Föreställningen aspekten är redan där – som har varit en viktig fokus sedan början av Presto, Allt vi försöker ta med är dessa företag tillbehör för en typisk företagskund “Borgman sagt.”.

Om man tittar på den större bilden, säger Tang Presto är ett tecken på den nya eran av innovation sveper den tekniska branschen som helhet.

Om man tittar på alla viktiga stora datateknik som kommer ut om den högteknologiska industrin under de senaste fem åren, kom den stora majoriteten av öppen källkod “, sade Tang.” Femton eller 20 år sedan alla köpte egenutvecklade system och nu finns det övergången till öppen källkod av dessa stora företag. Det är verkligen en kulturell förändring i användargrupp för dessa olika verktyg.

Linkedin avslöjar sin nya blogging plattform

Är detta en ålder av Big OLAP?

DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap

MapR grundare John Schroeder steg ner, COO för att ersätta