Greičiausiai daugeliui nelabai aktuali, bet tiesiog stulbinanti naujiena (vėl truputėlį pasenus) iš Amazon - AWS Import/Export. Paslauga orientuota į Amazon S3 vartotojus, kuriems reikia importuoti į S3 tarnybą labai didelį kiekį duomenų. Kalba eina apie terabaitus (ar bent jau šimtus gigabaitų) duomenų, kuriuos užkrauti įprastais metodais tiesiog užtruktų per ilgai. Teoriškai šią paslaugą galėtų naudoti ir namų vartotojai, norintys greitai darytis atsargines duomenų kopijas, tačiau 80 dolerių vieno įrenginio aptarnavimo mokestis atrodo kiek didokas...
Idėja siųsti fizines laikmenas vietoj duomenų siuntimo internetu nėra nauja - ji netgi labai sena. Aš taip pat pamenu, kaip prieš beveik dešimt metų šeštadieniais su Justinu važinėdavom į interneto kavinę prisikrovę kišenes flopikų. Man iš namų krauti duomenis į internetą buvo tiesiog per lėta/brangu. Vėliau atsirado naktiniai telekomo ir kitų tiekėjų flatrate'ai (56kbps internetas nemokamas nuo 18:00 iki 7:00), tai situacija pagerėjo (tačiau pradėjau naktim nebemiegot)...
Sukurta: 2009-06-09 21:28:00 UTC
Žymės:
amazon, amazon s3, webservisai
Komentarų: 5
Svarbi naujiena tiems, kas norėtų prasidėti su Amazon EC2 tarnyba, bet neprasideda, nes Amerika jiems per toli - Amazon EC2 šiandien jau atkeliavo į Europą. Prie buvusio US regiono su trimis availability zonomis prisidėjo regionas EU su dviem zonomis. Įtariau, kad jos abi bus Airijoje - TechCrunch straipsnis tai pavirtino.
Ką gi mums reiškia europinis EC2? Tie vartotojai, kurie EC2 naudojo ar nori naudoti vien intensyviems skaičiavimams, tiems kogero labiau apsimokės likti US regione, nes EU maždaug 10% didesnės valandos kainos. Tačiau webaplikacijos, talpinamos Europoje, bus daug greičiau pasiekiamos vietiniams vartotojams. Globaliems projektams iškart prašosi koks nors krūtas Geo-DNS-Load-Balancing sprendimas, nukreipiantis vartotojus į jiems geografiškai artimesnį kontinentą.
Labai smagu, kad Amazon ne tik apie Ameriką galvoja. EC2 jau Europoje, S3 jau seniai Europoje, naujoji CloudFront viską dar labiau paspartina. Iki pilnos laimės kaip ir nieko daugiau netrūksta... na nebent mažesnių kainų :)
Sukurta: 2008-12-10 19:38:51 UTC
Žymės:
amazon cloudfront, amazon ec2, amazon s3, webservisai
Komentarų: 2
Pastebėjau, kad mano mėgstamas Amazon S3 įrankis S3Fox atnaujintas iki 0.4.5 versijos (mozillos puslapyje visdar sena versija), kuri jau daugauja su naująja Amazon CloudFront tarnyba, tad nutariau patestuoti. Kas irgi nori, Amit Agarwal detaliai aprašė, kaip pradėti naudotis CloudFront su S3Fox.
Kadangi neturiu viešai prieinamų didelių failų, tai testavimui susikūriau 20 MiB dydžio failą ir užkroviau į S3. Tikrinti parsisiuntimo deja negaliu namų sąlygom, nes mano DSL per lėtas europiniams greičiams, tad tikrinau serveryje (Niurnberge). Siunčiant tiesiai iš S3 greitis labai svyravo tarp 200 ir 400 KiB/s. Failas galiausiai buvo parsiųstas vidutiniškai 272 KiB/s greičiu. Po to pamėginau parsisiųsti failą iš CloudFront. Nustebino tai, kad greitis tesiekė vidutiniškai 897 KiB/s. Galiausiai supratau, kad tai kogero todėl, kad CloudFront dar iš pradžių turi parsisiųsti failą į Europą. Antrą kartą siunčiantis failą vidutiniškas greitis buvo 10 MiB/s, kas yra visai neblogai. Ping'as nukrito nuo vidutiniškai 100 ms iki 3 ms iš serverio ir nuo 200 ms iki 70 iš namų (vien iki mano ISP pingas virš 50 ms).
O perkelti visus failus į CloudFront realiai man bus daug paprasčiau nei iš pradžių galvojau. Aš šiuo metu naudoju www2.tamole.net subdomeną visiems statiniams failams, gulintiems S3, pvz. http://www2.tamole.net/20081114-macbook.jpg. www2.tamole.net yra tiesiog CNAME įrašas, nukreiptas į Amazon S3. Man užtektų nukreipti subdomeną nebe į S3, o į man suteiktą CloudFront adresą (*.cloudfront.net) ir jau visi failai bus tiekiami greičiau. Nereikės keisti jokių adresų, nereikės perkelinėt jokių failų - viskas tiesiog veiks. Migracija taip pat turėtų būti visiškai sklandi, nes kol neatsinaujins DNS įrašai, www2.tamole.net tiesiog veiks kaip veikė iki šiol, t.y. kraus failus tiesiai iš S3.
Sukurta: 2008-11-18 20:48:23 UTC
Žymės:
amazon cloudfront, amazon s3, webservisai
Komentarų: 2
Amazon pristatė naują CDN (Content Delivery Network) tarnybą CloudFront, kuri tieks Amazon S3 saugomus duomenis iš skirtingų duomenų centrų (šiuo metu 14) visame pasaulyje.
Aš jau rašiau apie Amazon S3 naudojimą paveikslėlių ir kitokių statinių failų talpinimui internete. Pačioje tarnybos gyvavimo pradžioje ji buvo tiekiama tik JAV, t.y. visi duomenys buvo talpinami JAV esančiuose duomenų centruose, todėl vartotojams iš Europos ar kitų kontinentų S3 buvo šiek lėtoka. Po kiek laiko Amazon pradėjo tiekti S3 ir Europoje ir (bent jau Europiečiams) duomenų siuntimas žymiai paspartėjo, nes nebereikia jų siųsti per Atlantą. Tačiau talpinant duomenis Europoje atitinkamai suletėja jų siuntimo greitis JAV esantiems vartotojams.
Amazon CloudFront turėtų išspręsti šią problemą. Duomenys ir toliau bus talpinami S3 tarnyboje, tačiau tiekiami iš CloudFront taškų. Vartotojui norint atsisiųsti failą Amazon nustatys artimiausią CloudFront tašką, atsisiųs failo kopiją iš Amazon S3 (ir išsaugos vėlesnėms užklausoms) ir pateiks jį vartotojui. Šiuo metu yra 8 CloudFront taškai JAV, 4 Europoje (Amsterdame, Dubline, Frankfurte ir Londone) bei po vieną Japonijoje bei Honkonge. Didžiausią naudą aiškų turės tie, kurių failus siunčiasi vartotojai iš viso pasaulio. Bet ir net Europoje ar net Lietuvoje tai būtų naudinga, nes Amazon S3 failai Europoje iki šiol buvo teikiami berods tik iš Dublino, tad dabar bus daugiau alternatyvų. O Frankfurtas galbūt greičiau sujungtas su Lietuva negu Dublinas.
Kaina tarnybos beveik nesiskirs nuo Amazon S3 kainų. Kadangi iš S3 failai bus parsisiunčiami tik pirmųjų užklausų metu, tad Amazon S3 duomenų perdavimo išlaidos turėtų labai smarkiai sumažėti, tad realiai kogero galutinė kaina bus labai panaši. Minimalaus naudojimo mokesčio nėra.
Kadangi aš savo blogo nuotraukas talpinu Amazon S3 (visdar JAV), tai būdamas Lietuvoje pastebiu, kad truputėlį lėčiau jas krauna. Pamėginsiu iki kalėdų visus duomenis pradėti teikti iš CloudFront ir žiūrėsiu, ar jausis skirtumas.
Sukurta: 2008-11-18 15:17:01 UTC
Žymės:
amazon cloudfront, amazon s3, webservisai
Komentarų: 2
Pavasarį jau rašiau apie Amazon neišnykstančius diskus. Tuomet dar nežinojau, kad jie vadinsis Elastic Block Store (EBS). Taigi, nuo šiol kiekvienas Amazon EC2 vartotojas turi galimybę susikurti iki 20 pastovių ir nuo konkrečiu virtualių serverių (instance) nepriklausomų diskų (volume), kurių dydis pasirinktinai gali būti nuo 1 GB iki 1 TB. Prie vieno virtualaus serverio įmanoma prijungti ir daugiau tokių diskų, tad šiuo metu vienam virtualiam serveriui įmanoma suteikti net 20 terabaitų papildomos vietos duomenims. Ir net jei virtualus serveris ir pakibtų ar dar kaip nors numirtų, visi sėkmingai išsaugoti į diską duomenys niekur nedingsta.
Kitas labai smagus dalykas yra snapšotai. Bet kuriuo metu konkretų diską galima išsisaugoti, o vėliau net ir susikurti naują diską iš išsaugoto snapšoto. Realiai tai atsarginės kopijos vieno mygtuko paspaudimu!
Savaime suprantama Amazon nedalina minėtų terabaitų už dyką. Kiekvienas išsaugotas gigabaitas duomenų kainuoja 0,10 JAV dolerių per mėnesį. Tiek pat kainuoja ir vienas milijonas rašymo/skaitymo operacijų į diskus. Norintiems taupyti pinigus nerekomenduoju iškart kurtis terabaitinių diskų. Pradžiai galima susikurti mažesnius. Vėliau galima pasidaryti jų snapšotus, o iš jų vėl diskus, tik jau didesnius... Taip nereikės iškart mokėti milijonų...
Pamėginsiu artimiausiu metu kada nors užsikurti serverį developinimui/testavimui. Pasistengsiu įspūdžius aprašyti čia.
Sukurta: 2008-08-21 17:52:52 UTC
Žymės:
amazon, amazon ebs, amazon ec2, amazon s3, IT, webservisai
Komentarų: 1
Savo nuotraukas bei atsargines kopijas aš patikiu jau anksčiau minėtai Amazon S3 tarnybai. Visi failai saugomi JAV, todėl yra tekę girdėti europiečių skundų, dėl prastų greičių ir t.t. Aš pastebiu kartais, kad nuotraukos lėtokai kraunasi, tačiau nekreipiau į tai didelio dėmesio, nes asmeniniam blogui to pilnai pakanka. O atsarginėms kopijoms dar mažiau rūpi, kiek laiko jos keliaus iki Amazon'o.
Šiandien Amazon paskelbė, kad duomenis galima nukreipti ir į Europoje esančius duomenų centrus. Saugoti failus Europoje kainuoja 20% daugiau nei JAV, tačiau duomenų srautas kainuoja tiek pat, o jis turėtų sudaryt didžiają kainos dalį, saugant viešai pasiekiamus failus. Atsargines kopijas pigiau būtų laikyti JAV, nes jos vieną kartą užkrautos turėtų ilgai ir nuobodžiai laukti mėnesių mėnesius, kol jų vėl prireiks.
Užkroviau po vieną failą į JAV ir Europoje esančius kibiriukus ir pamėginau juos kelis kartus atsisiųsti. Iš JAV greitis buvo vidutiniškai 3-4 mbps, o iš Europos netgi 15 mbps. Pingas taip pat nebetriženklis. Smaguma.
Vienintelis naujovės trūkumas - Europoje saugomus kibiriukus galima pasiekti tik adresu http://<kibiriukas>.s3.amazonaws.com, kai tuo tarpu dauguma programų naudoja http://s3.amazonaws.com/<kibiriukas> formatą ir todėl kol kas teks dar kurį laiką palaukti... arba pačiam kažka susiprogramuoti. Bet kada nors neužilgo perkelsiu visas nuotraukas į Europą, tad turėtų ženkliai sutrumpėti blogo krovimo laikas.
Sukurta: 2007-11-06 16:34:19 UTC
Žymės:
amazon s3, IT, webservisai
Komentarų: 1
Vienastoks ir Karolis Pocius rašo apie jų paveiksliukų talpinimo ypatumus. Nutariau pasidalinti ir savo metodais. Įraše apie Amazon EC2 servisą užvakar buvau paminėjęs ir Amazon S3 tarnybą (Simple Storage Service) - begalinio dydžio statinių duomenų saugyklą. Tai galima įsivaizduoti kaip begalinį kietajį diską, kuris niekad nepasibaigs. Paslauga nėra nemokama, bet mokama tik už tai, kas išnaudojama, t.y. mokama už kiekvieną saugomą gigabaitą ir kiekvieną perduotą (download/upload) gigabaitą. Ir duomenų kiekis nėra apvalinamas, t.y. jeigu saugomi tik 100 megabaitų ir ne pilną mėnesį, o tik pvz. 10 dienų, tai ir kainą dalintume iš 30. Arba 3 gigabaitai 10 dienų laikomi kainuotų tiek pat, kiek ir vienas gigabaitas visą mėnesį. Todėl nors ir kaina nėra ypatingai maža, paslauga vistiek gana patraukli, nes mokama tik už tai, kas sunaudojama.
Kaip viskas veikia? Amazon S3 yra grynas webservisas, kuri kalba per REST ir SOAP. Kadangi REST veikia HTTP pagrindu, visus failus galima pasiekti tiesiog per naršyklę (jei failui suteiktos skaitymo teisės). Būtent tai ir yra visas S3 gėris.
S3 neturi tokios failų sistemos, kokią mes paprastai įsivaizduojame. Čia egzistuoja dviejų lygių hierarchija: kibiriukai (buckets) ir raktai (keys). Vartotojas gali susikurti kibiriuką (ar kelis) ir juose kurti raktus, kurie vienareikšmiškai identifikuoja mūsų objektus. Nieko giliau nėra. Katalogo kataloge ar pan. susikurti neįmanoma, tačiau norint emuliuoti katalogų srtuktūrą, galima raktuose naudoti ir '/' simbolį. Kelias susijusias nuotraukas todėl galima būtų saugoti daugmaž taip:
/mano-kibiriukas/atostogos/as-juroje.jpg
/mano-kibiriukas/atostogos/as-nuogas.jpg
Abu failai saugomi tame pačiame kibiriuke "mano-kibiriukas" ir turi bendrą priešdėlį "atostogos/". Susidaro įspūdis, jog jie abu guli kataloge "atostogos". Tačiau taip iš tikro nėra. Raktams galima naudoti betkokius Unicode simbolius. Jų bendras ilgis negali viršyti 1024 baitų. Ganėtinai daug laisvės. Taip pat egzistuoja keletas API funkcijų, kuriomis galima netgi gauti raktų sąrašą, kurie prasideda tuo pačiu tekstu. Tai išnaudoja įvairūs įrankiai, kurie taip atvaizduoja virtualius katalogus.
Visi failai pasiekiami adresu:
http://s3.amazonaws.com/<kibiriukas>/<raktas>
Kam nepatinka ir turi technines galimybes, adresą galima suprastinti iki http://<kibiriukas>/<raktas>. Tereikia susigalvoti domeną, kurį norime nukreipti į S3, sukurti CNAME įrašą, rodantį į s3.amazonaws.com ir susikurti kibiriuką tokiu pat pavadinimu. Aš pvz. turiu susikūręs kibiriuką www2.tamole.net ir sukūręs DNS įrašą:
www2.tamole.net 1800 IN CNAME s3.amazonaws.com
Ir jau mano failai pasiekiami adresu www2.tamole.net, pvz. http://www2.tamole.net/20070416/plombir_small.jpg.
Vienintelis nelabai malonus dalykas - atidarius naršyklėje puslapį www2.tamole.net rodomas "access denied" pranešimas XML formatu, kuris nėra labai user-friendly... index.html failo kaip įprasta panaudoti neįmanoma. Taip yra todėl kad pateikus užklausa kibirėliui be rakto, servisas bando patiekti visų raktų tame kibirėlyje sąrašą, tačiau aš esu uždraudes priėjimą prie kibirėlio, tad rodomas klaidos pranešimas.
Dėl galimybės uždrausti prieigą prie objektų S3 galima naudoti ir atsarginėms kopijoms saugoti. Apie tai jau yra daug parašyta, pvz Jeremy Zawodny įrašas apie tai, kaip jam apsimoka naudoti S3 vietoj namų serverio bei sąrašėlis programų, kuriomis galima daryti atsargines kopijas į S3.
Kalbant apie įrankius darbui su S3, norėčiau paminėti puikų firefox extensioną, S3Fox, kuriuo labai paprasta įkelinėti failus į S3. Iki šiol aš tik jį nuotraukoms ir naudojau (atsarginėms kopijoms man labai patinka s3sync, kuris veikia labai panašiai į rsync).
Taip pat niekas nedraudžia pasirašyti įrankius ir patiems. Aš šiuo metu po truputį rašau PHP klasę, kurią galėčiau naudoti savo bloge automatiniam paveikslėlių įkėlimui. Kiek buvau radęs klasių, visos jos man kuom nors nepatikdavo, o Zend Framework proposal'as šiam reikalui miręs.
Wordpress vartotojai panašu, kad jau irgi turi įskiepį, kuriuo gali krauti failus į S3. Nenaudoju Wordpress, negaliu nieko pakomentuot...
Mano manymu S3 yra labai nebloga ir patikima alternatyva nemokamoms paveikslelių talpinimo tarnyboms. Nors S3 ir nėra nemokama, tačiau vidutiniam blogeriui kaina už paveikslėlių talpinimą neturėtų būti labai didelė. O taip pat nėra jokių apribojimų nei failo dydžiui (gigabaitas irgi ne riba), parsisiuntimų skaičiui ir t.t.
Pamąstymui dar du įrašai, kaip galima sutaupyti ir nesutaupyti vietoj nuosavos infrastrukturos naudojant S3 dideliems projektams.
Sukurta: 2007-10-18 16:05:32 UTC
Žymės:
amazon s3, bloginimas, IT, webservisai
Komentarų: 0
Kai pirmą kartą sužinojau apie Amazon EC2 servisą, likau sužavėtas. Nereali idėja - nuomuotis tiek serverių, kiek reikia ir tiek laiko, kiek reikia. Kadangi nesitikėjau, kad tai man atstos dedikuotą serverį, mąsčiau apie EC2 panaudojimą darbui ir testavimui.
Tačiau rimtai naudoti taip ir nepradėjau, nes man trūko kelių esminių dalykų, kurių Amazon'as iki šiol nesugebėjo suteikti: statinių IP adresų ir po serverio pakibimo nedingstančios failų saugyklos (su serveriais duodamas 160 GB diskas saugo duomenis tol, kol serveris veikia).
Vietoj statinio adreso galėčiau naudotis kokiu nors dinaminiu dns servisu ar tiesiog pasirašyti analogišką programėlę pats. Tačiau vis kažkaip neprisiruošiau.
Failus saugoti galima naudoti Amazon S3 servisą, tačiau tada turėčiau itin dažnai siųsti duomenis iš disko į S3 pats arba ieškotis programų, kurios įrengia S3 saugyklą kaip diską failų sistemoje. Kol Amazon'as nepradėjo imti papildomų mokesčių už siunčiamas užklausas į S3. Naudojant S3 kaip paprastą failų sistemą būtų generuojama be galo daug užklausų kurios galiausiai virstų didele sąskaita.
Taip daugiau nei metus laiko beveik nieko rimtesnio su EC2 ir nedariau. Kažkada sužinojau apie Flexiscale. Flexiscale atrodo daro tą patį, ką ir Amazon'as, tačiau kelis kartus brangiau ir be Amazon EC2 trūkumų. Tačiau, kadangi sužinojau apie tai visai neseniai, tai dar nebuvo progos užsiregistruoti ir išmėginti. Paliksiu kitam kartui.
Na, o šiandien Amazon paskelbė, jog nuo šiol galima rinktis vieną iš trijų skirtingų serverių tipų. Iki šiol nebuvo pasirinkimo - daugmaž 1,0-1,2 GHz Opteron'ą atitinkantis CPU, 1,7 GB darbinės atminties ir 160 GB išnykstantis diskas už 0,10 dolerio per valandą.
Šiandien buvo pristatyti dar du tipai:
- 4 CPU, 7,5 GB darbinės atminties ir 850 GB diskas už 0,40 dolerio per val.
- 8 CPU, 15 GB darbinės atminties ir 1690 GB diskas už 0,80 dolerio per val.
Wow! Neturėdamas statinių IP ir neišnykstančių diskų nematau sau iš to jokios praktinės naudos, tačiau įsivaizduoju daug smagių atvejų, kur tai galėtų būti naudinga.
Sukurta: 2007-10-16 20:28:08 UTC
Žymės:
amazon ec2, amazon s3, IT, webservisai
Komentarų: 4
