Mekkora a felhő?

Nagy felhő

A múlt hónapban az importpartsspecialists.com elárulta neked az internetes pornó igazi mértéke . A felnőtt videók streamingje bármikor valószínűleg felhasználja az internet teljes sávszélességének körülbelül 30% -át, ami kb. 6 terabájt pornó fogyasztásával egyenlő minden másodperc . De mi van a többi 70% -kal? A Netflix, a YouTube és más, nem felnőtteknek szóló videós webhelyek hatalmas sávszélességű disznók, amelyek az internetes forgalom akár 40% -át is jelentik. A digitális fájlszekrények, például a Rapidshare és a Megaupload, a forgalom körülbelül 10% -át teszik ki világszerte. A webes szörfözés és az e-mail (és a spam!) További 15%. És akkor ott van a számítási felhő.

Ma a webes szolgáltatások és webhelyek túlnyomó részét a felhő tárolja. Ezzel azt akarom mondani, hogy a saját hardverüket kezelő vállalatok (például Ziff Davis / importpartsspecialists.com) helyett harmadik féltől származó felhőtárolási és számítási szolgáltatásokat használnak. Az Amazon Web Services (AWS), a Microsoft Azure és a Google három kiemelkedő példa a hatalmas felhőfürtökre, de több száz kisebb művelet van, amelyek mérete egy teljes adatközponttól néhány állványig terjed.



A felhő ereje abban rejlik, hogy kényszeríteni lehet és cipőskönyvbe lehet tenni olyan eltérő feladatokra, mint felhőalapú szuperszámítógép , a webmailhez, a egyszerű dokumentumtárolás . Egyetlen felhőalapú fürtön a Google petabájtnyi YouTube-videót tárolhat és szolgáltathat, valamint tárolhatja az összes e-mailt és dokumentumot. A felhő összes aspektusa közül azonban ma a felhő tárolására fogunk összpontosítani.





A Microsoft adatközpontja

A Microsoft adatközpontja

Lehet, hogy a tárolás nem olyan szexi, mint a terabájt RAM és a CPU-magok ezrei, de ez a legmegbízhatóbb módszer a méréshez a méret különösen, ha figyelembe vesszük a sávszélesség használatát. A teljes tárhely mennyiségéből ki is tudjuk dolgozni a költség felhő tárolására - és onnan végre kidolgozhatjuk miért a Google, a Microsoft és a Dropbox kedvelői önmaguk alá esnek, hogy felhőtárolási szolgáltatásokat nyújtsanak.



A pornós sztorihoz hasonlóan először is néhány elméleti számmal kezdünk, majd áttérünk néhány valós figurára (és hardverre) a Backblaze-től, egy felhőmentéses szolgáltatótól.



Petabájt

A nagyvállalatok, például a Google, a Facebook, az Amazon és a Microsoft valós számai többnyire kevések. Ha azonban bejárja az internetet, néhány durva ballpark-alakzat rajzolódik ki:

  • A Facebook IPO bejelentésében azt mondta, hogy több mint 100 petabájt (PB) adathordozót (fotókat és videókat) tárol. Nem irreális azt mondani, hogy a Facebook valószínűleg jóval meghaladja a teljes kapacitást, ha egyszer figyelembe veszi a biztonsági mentéseket és egyéb adatokat (állapotfrissítéseket, lájkolást és így tovább), esetleg a 300PB tartományban.
  • A Microsoft nemrégiben elismerte, hogy a Hotmail több mint 100 petabájtot tárol, és a SkyDrive, amelynek „17 millió ügyfele” van, 10PB adatot tárol. A Facebookhoz hasonlóan a Microsoft teljes kapacitása, ha figyelembe vesszük az Azure többi részét és annak webtulajdonságait, valószínűleg jóval meghaladja a 300 petabájtot.
  • A megafeltöltés viszonylag kicsi ehhez képest, nyilván csak 25 petabájtot tárol.
  • Az Amazon ahelyett, hogy szép, könnyű petabájtokat adna nekünk, ehelyett az S3 felhőtároló szolgáltatás által tárolt objektumok teljes számát jelenti be. 2012 áprilisától az Amazon S3 905 milliárd objektumot tárolt. Ha átlagosan 100KB méretet feltételezünk, ez körülbelül 90 petabájt; ha az átlagos méret 1 MB, akkor ez 900 petabájt - szinte exabájt!
  • Az egy évvel ezelőtti Dropbox „10+ petabájt” adatot tárolt. Akkor 25 millió felhasználója volt, és ma 100 millió felhasználója volt, így minden egyenlő a vállalat számára, és jelenleg körülbelül 40PB adatot tárol.

Ahhoz, hogy ezeket a számokat perspektívába helyezzük, egy átlagos számítógép valószínűleg 500 GB-os vagy 1 TB merevlemezzel rendelkezik, egy petabájt pedig 1024 TB-os. Legalábbis akkor a Microsoft és a Facebook adatközpontjai több mint 100 000 merevlemezt tárolnak. Egyéni hardver építése nélkül 48 meghajtót szoríthat egy 4U házba. A hálózati felszerelés elszámolása után ez azt jelenti, hogy 40U-os állványonként valószínűleg körülbelül 400 merevlemezt - vagy 250 állványt - néz, amelyek mindegyike körülbelül egy négyzetméter alapterületet foglal el. Ez soknak tűnhet, de ha belegondolunk, hogy a Google, az Amazon, a Facebook és a Microsoft rendszeresen olyan adatközpontokat vezet be, amelyek alapterve meghaladja a 30.000 négyzetmétert (300.000 + négyzetméter), ez valójában nem is olyan sok. A dolgok nagy léptékében sokkal több helyet szánnak a szervereknek (azaz a processzoroknak) és a hálózati eszközöknek.



Sávszélesség

Adatközpont kapcsolóSávszélesség szerint még kevesebb adat áll rendelkezésünkre a nagyfiúkról. Tudjuk, hogy a tavalyi évtől kezdve öt percenként egymillió fájl mentése történt - tehát ma négyszer annyi felhasználóval ez 800 000 fájl percenként. Az Amazon S3, amely lényegesen nagyobb, mint a Dropbox, másodpercenként „650 000 kérést” kezel.

Ha feltételezzük, hogy a Dropboxon tárolt átlagos fájl 500 KB (fotók, videók és dokumentumok keveréke), akkor a Dropbox percenként összesen 400 000 megabájtot (0,4 TB) vagy 6,7 GB másodpercenként (54 Gbps) tárol. Nincs adatunk arról, hogy mennyi adat van a Dropbox-on küld percenként (azaz fájlokat töltenek le a Dropboxról), de valószínűleg 10-20 Gbps / s tartományban van.



Az elsősorban az internetes oldalak statikus fájljainak (képek, stíluslapok, videók) tárolására használt Amazon S3 valószínűleg alacsonyabb átlagos fájlmérettel rendelkezik, mint a Dropbox. Ha átlagosan 100 KB / fájl méretet feltételezünk, akkor másodpercenként 650 000 kérés érkezik másodpercenként összesen 61 gigabájt adatátvitelre, vagyis 488 Gbps-ra. Ez nagyon közel van ahhoz a 800 Gbps-os adathoz, amelyet egy nagy pornó webhelyre becsültünk, ami a teljes internetes forgalom körülbelül 2% -ának felel meg - az Amazon elég rohadt nagy!



A Facebook és a Microsoft, egyenként 100 és 300 MB közötti tárterülettel, valószínűleg a Dropbox és az Amazon közé esik a sávszélesség-használat szempontjából - talán darabonként 200 Gbps.

De elég elmélet! Beszéljünk néhány valós számról és a valós hardverről!