Tomas Markauskas

Siųsk diską Amazonui

Greičiausiai daugeliui nelabai aktuali, bet tiesiog stulbinanti naujiena (vėl truputėlį pasenus) iš Amazon - AWS Import/Export. Paslauga orientuota į Amazon S3 vartotojus, kuriems reikia importuoti į S3 tarnybą labai didelį kiekį duomenų. Kalba eina apie terabaitus (ar bent jau šimtus gigabaitų) duomenų, kuriuos užkrauti įprastais metodais tiesiog užtruktų per ilgai. Teoriškai šią paslaugą galėtų naudoti ir namų vartotojai, norintys greitai darytis atsargines duomenų kopijas, tačiau 80 dolerių vieno įrenginio aptarnavimo mokestis atrodo kiek didokas...

Idėja siųsti fizines laikmenas vietoj duomenų siuntimo internetu nėra nauja - ji netgi labai sena. Aš taip pat pamenu, kaip prieš beveik dešimt metų šeštadieniais su Justinu važinėdavom į interneto kavinę prisikrovę kišenes flopikų. Man iš namų krauti duomenis į internetą buvo tiesiog per lėta/brangu. Vėliau atsirado naktiniai telekomo ir kitų tiekėjų flatrate'ai (56kbps internetas nemokamas nuo 18:00 iki 7:00), tai situacija pagerėjo (tačiau pradėjau naktim nebemiegot)...

Sukurta: 2009-06-09 21:28:00 UTC
Žymės: amazon, amazon s3, webservisai
Komentarų: 5

AWS Management Console

Amazon neseniai pristatė nelabai svarbią, tačiau labai smagią ir malonią naujovę - AWS Management Console. Tai yra naršyklėje veikiantis Amazon webservisų administravimo įrankis, šiuo metu leidžiantis valdyti daugumą Amazon EC2 funkcijų. Įdomiausias jis turėtų būti norintiems išbandyti EC2 neinstaliuojant visiškai jokios programinės įrangos (nebent išskyrus SSH klientą norint prisijungti prie Linux serverių). Viskas ko reikia - Amazon parduotuvės prisijungimo duomenys.

Naujo serverio paleidimas itin paprastas (spauskite ant sumažintų ekrano nuotraukų visam grožiui):

1. Išsirenkame norimą AMI (Amazon Machine Image):

2. Pasirenkame norimų paleisti serverių kiekį, serverio tipą (skiriasi ram, cpu ir hdd parametrai), raktų porą (naudojamą norint prisijungti per ssh, reik susikurti to dar nepadarius) bei saugumo grupę (maniškėje default grupėje atidaryti 22 bei 80 portai, tačiau galima susikurti daug skirtingų grupių pagal savo skonį/poreikius) ir spaudžiame "Launch":

Trečio žingsnio nėra, serveris/-iai jau tuoj bus pasiekiami:

Štai jau matome pasiekiamą serverį:

Paspaudus "Connect" paaiškinama, kaip prisijungti (čia kogero ssh naujokams):

Iki šiol aš naudojau Elasticfox Firefox extension'ą minėtiems veiksmams atlikti ir nusiskundimų jokių lyg ir neturiu, tačiau AWS Management Console atrodo paprasčiau ir intuityviau. Taip pat nereikia nieko instaliuoti, tad prižiūrėti EC2 serverius galima bet kur, kur tik yra interneto ryšys ir naršyklė (reiks būtinai išmėgint su iPod Touch). Tikėtina, kad Elasticfox visiškai pamiršiu :-)

Kol kas nežinau, kaip (jei išvis įmanoma) pasiekti europietišką EC2. Neabejoju, kad greitu metu šis klausimas išsispręs. Ateityje AWS Management Console taip pat leis administruoti S3, SimpleDB, SQS, CloudFront, Monitoring'ą, Load-balancing'ą bei Auto-scaling'ą. Pastarieji trys kol kas tebuvo kadaise paminėti, kad bus pristatyti netolimoje ateityje.

Man visai patinka kryptis, kuria juda Amazon webservisai. Kažkada tekdavo visą amžinybę laukti atnaujinimų, o dabar vos spėju rašyt apie naujas tarnybas, naujas senų tarnybų funkcijas ir t.t. Jei ateityje sukursiu kažką (labai) didelio, tikėtina, kad "tai" gyvens Amazon serveriuose :-)

Sukurta: 2009-01-14 22:38:24 UTC
Žymės: amazon, amazon ec2, IT, webservisai
Komentarų: 0

Amazon EC2 pasiekė Europą

Svarbi naujiena tiems, kas norėtų prasidėti su Amazon EC2 tarnyba, bet neprasideda, nes Amerika jiems per toli - Amazon EC2 šiandien jau atkeliavo į Europą. Prie buvusio US regiono su trimis availability zonomis prisidėjo regionas EU su dviem zonomis. Įtariau, kad jos abi bus Airijoje - TechCrunch straipsnis tai pavirtino.

Ką gi mums reiškia europinis EC2? Tie vartotojai, kurie EC2 naudojo ar nori naudoti vien intensyviems skaičiavimams, tiems kogero labiau apsimokės likti US regione, nes EU maždaug 10% didesnės valandos kainos. Tačiau webaplikacijos, talpinamos Europoje, bus daug greičiau pasiekiamos vietiniams vartotojams. Globaliems projektams iškart prašosi koks nors krūtas Geo-DNS-Load-Balancing sprendimas, nukreipiantis vartotojus į jiems geografiškai artimesnį kontinentą.

Labai smagu, kad Amazon ne tik apie Ameriką galvoja. EC2 jau Europoje, S3 jau seniai Europoje, naujoji CloudFront viską dar labiau paspartina. Iki pilnos laimės kaip ir nieko daugiau netrūksta... na nebent mažesnių kainų :)

Sukurta: 2008-12-10 19:38:51 UTC
Žymės: amazon cloudfront, amazon ec2, amazon s3, webservisai
Komentarų: 2

Pirmieji bandymai su Amazon CloudFront

Pastebėjau, kad mano mėgstamas Amazon S3 įrankis S3Fox atnaujintas iki 0.4.5 versijos (mozillos puslapyje visdar sena versija), kuri jau daugauja su naująja Amazon CloudFront tarnyba, tad nutariau patestuoti. Kas irgi nori, Amit Agarwal detaliai aprašė, kaip pradėti naudotis CloudFront su S3Fox.

Kadangi neturiu viešai prieinamų didelių failų, tai testavimui susikūriau 20 MiB dydžio failą ir užkroviau į S3. Tikrinti parsisiuntimo deja negaliu namų sąlygom, nes mano DSL per lėtas europiniams greičiams, tad tikrinau serveryje (Niurnberge). Siunčiant tiesiai iš S3 greitis labai svyravo tarp 200 ir 400 KiB/s. Failas galiausiai buvo parsiųstas vidutiniškai 272 KiB/s greičiu. Po to pamėginau parsisiųsti failą iš CloudFront. Nustebino tai, kad greitis tesiekė vidutiniškai 897 KiB/s. Galiausiai supratau, kad tai kogero todėl, kad CloudFront dar iš pradžių turi parsisiųsti failą į Europą. Antrą kartą siunčiantis failą vidutiniškas greitis buvo 10 MiB/s, kas yra visai neblogai. Ping'as nukrito nuo vidutiniškai 100 ms iki 3 ms iš serverio ir nuo 200 ms iki 70 iš namų (vien iki mano ISP pingas virš 50 ms).

O perkelti visus failus į CloudFront realiai man bus daug paprasčiau nei iš pradžių galvojau. Aš šiuo metu naudoju www2.tamole.net subdomeną visiems statiniams failams, gulintiems S3, pvz. http://www2.tamole.net/20081114-macbook.jpg. www2.tamole.net yra tiesiog CNAME įrašas, nukreiptas į Amazon S3. Man užtektų nukreipti subdomeną nebe į S3, o į man suteiktą CloudFront adresą (*.cloudfront.net) ir jau visi failai bus tiekiami greičiau. Nereikės keisti jokių adresų, nereikės perkelinėt jokių failų - viskas tiesiog veiks. Migracija taip pat turėtų būti visiškai sklandi, nes kol neatsinaujins DNS įrašai, www2.tamole.net tiesiog veiks kaip veikė iki šiol, t.y. kraus failus tiesiai iš S3.

Sukurta: 2008-11-18 20:48:23 UTC
Žymės: amazon cloudfront, amazon s3, webservisai
Komentarų: 2

Amazon CloudFront mažina atstumus iki vartotojų

Amazon pristatė naują CDN (Content Delivery Network) tarnybą CloudFront, kuri tieks Amazon S3 saugomus duomenis iš skirtingų duomenų centrų (šiuo metu 14) visame pasaulyje.

Aš jau rašiau apie Amazon S3 naudojimą paveikslėlių ir kitokių statinių failų talpinimui internete. Pačioje tarnybos gyvavimo pradžioje ji buvo tiekiama tik JAV, t.y. visi duomenys buvo talpinami JAV esančiuose duomenų centruose, todėl vartotojams iš Europos ar kitų kontinentų S3 buvo šiek lėtoka. Po kiek laiko Amazon pradėjo tiekti S3 ir Europoje ir (bent jau Europiečiams) duomenų siuntimas žymiai paspartėjo, nes nebereikia jų siųsti per Atlantą. Tačiau talpinant duomenis Europoje atitinkamai suletėja jų siuntimo greitis JAV esantiems vartotojams.

Amazon CloudFront turėtų išspręsti šią problemą. Duomenys ir toliau bus talpinami S3 tarnyboje, tačiau tiekiami iš CloudFront taškų. Vartotojui norint atsisiųsti failą Amazon nustatys artimiausią CloudFront tašką, atsisiųs failo kopiją iš Amazon S3 (ir išsaugos vėlesnėms užklausoms) ir pateiks jį vartotojui. Šiuo metu yra 8 CloudFront taškai JAV, 4 Europoje (Amsterdame, Dubline, Frankfurte ir Londone) bei po vieną Japonijoje bei Honkonge. Didžiausią naudą aiškų turės tie, kurių failus siunčiasi vartotojai iš viso pasaulio. Bet ir net Europoje ar net Lietuvoje tai būtų naudinga, nes Amazon S3 failai Europoje iki šiol buvo teikiami berods tik iš Dublino, tad dabar bus daugiau alternatyvų. O Frankfurtas galbūt greičiau sujungtas su Lietuva negu Dublinas.

Kaina tarnybos beveik nesiskirs nuo Amazon S3 kainų. Kadangi iš S3 failai bus parsisiunčiami tik pirmųjų užklausų metu, tad Amazon S3 duomenų perdavimo išlaidos turėtų labai smarkiai sumažėti, tad realiai kogero galutinė kaina bus labai panaši. Minimalaus naudojimo mokesčio nėra.

Kadangi aš savo blogo nuotraukas talpinu Amazon S3 (visdar JAV), tai būdamas Lietuvoje pastebiu, kad truputėlį lėčiau jas krauna. Pamėginsiu iki kalėdų visus duomenis pradėti teikti iš CloudFront ir žiūrėsiu, ar jausis skirtumas.

Sukurta: 2008-11-18 15:17:01 UTC
Žymės: amazon cloudfront, amazon s3, webservisai
Komentarų: 2

Amazon EC2: SLA, Windows, load balancing, scaling, monitoring.

Yra naujienų apie Amazon EC2. Nuo šiandien šis servisas nebe beta ir jau turi Service Level Agreement'ą (SLA), kas rimtesniems klientams turėtų būti labai svarbu.

Tie, kurie yra priklausomi nuo Windows (ar tiesiog juos labiau mėgsta), jau gali naudoti ir virtualius Windows serverius. Kainos truputi didesnės (su SQL Server ganėtinai didesnės), tačiau atrodo visai smagiai. Taip pat atnaujintas ElasticFox extension'as Firefox'ui, leidžiantis nesunkiai užkurti Windows serverį tiesiai iš naršyklės. Reiks galbūt išmėginti kada...

Tačiau man daug įdomiau atrodo netolimoje ateityje žadami nauji servisai:

Load Balancing. Be jokių sudėtingų konfiguravimų leis sistemos apkrovą padalinti keliems virtualiems serveriams. Iki šiol tuom reikėjo rūpintis patiems.

Automatic scaling. Užkurs papildomų virtualių serverių padidėjus apkrovai, o jai sumažėjus - juos išjungs. Tai leis taupyti resursus, tačiau jų pristigus garantuos stabilų sistemos veikimą bei pasiekiamumą.

Cloud monitoring. Leis gyvai stebėti sistemų darbą. Nelabai žinau dar, ko tiksliai iš šito bus galima tikėti, bet jei darys bentjau tai, ką sako pavadinimas, tai turėtų taip pat palengvinti administravimą.

Amazon EC2 man vis labiau ir labiau patinka. Dar labiau patiktų, jei pagaliau ateitų ir į Europą, o kad tai įvyks, aš neabejoju. Amazon teikia EC2 servisą skirtingose "availability" zonose, kurios taip pat suskirstytos į regionus (šiuo metu trys zonos viename regione - JAV), tad reikia manyti, kad ateity atsiras ir daugiau regionų, kaip pvz. Europa. Visgi Amazon S3 į Europą jau atėjo.

Daugiau apie visus atnaujinimus galite pasiskaityti Amazon Web Services bloge.

Sukurta: 2008-10-23 21:32:16 UTC
Žymės: amazon, amazon ebs, amazon ec2, IT, webservisai, windows
Komentarų: 0

Pagaliau sulaukėm: Amazon Elastic Block Store

Pavasarį jau rašiau apie Amazon neišnykstančius diskus. Tuomet dar nežinojau, kad jie vadinsis Elastic Block Store (EBS). Taigi, nuo šiol kiekvienas Amazon EC2 vartotojas turi galimybę susikurti iki 20 pastovių ir nuo konkrečiu virtualių serverių (instance) nepriklausomų diskų (volume), kurių dydis pasirinktinai gali būti nuo 1 GB iki 1 TB. Prie vieno virtualaus serverio įmanoma prijungti ir daugiau tokių diskų, tad šiuo metu vienam virtualiam serveriui įmanoma suteikti net 20 terabaitų papildomos vietos duomenims. Ir net jei virtualus serveris ir pakibtų ar dar kaip nors numirtų, visi sėkmingai išsaugoti į diską duomenys niekur nedingsta.

Kitas labai smagus dalykas yra snapšotai. Bet kuriuo metu konkretų diską galima išsisaugoti, o vėliau net ir susikurti naują diską iš išsaugoto snapšoto. Realiai tai atsarginės kopijos vieno mygtuko paspaudimu!

Savaime suprantama Amazon nedalina minėtų terabaitų už dyką. Kiekvienas išsaugotas gigabaitas duomenų kainuoja 0,10 JAV dolerių per mėnesį. Tiek pat kainuoja ir vienas milijonas rašymo/skaitymo operacijų į diskus. Norintiems taupyti pinigus nerekomenduoju iškart kurtis terabaitinių diskų. Pradžiai galima susikurti mažesnius. Vėliau galima pasidaryti jų snapšotus, o iš jų vėl diskus, tik jau didesnius... Taip nereikės iškart mokėti milijonų...

Pamėginsiu artimiausiu metu kada nors užsikurti serverį developinimui/testavimui. Pasistengsiu įspūdžius aprašyti čia.

Sukurta: 2008-08-21 17:52:52 UTC
Žymės: amazon, amazon ebs, amazon ec2, amazon s3, IT, webservisai
Komentarų: 1

Amazon EC2 ir neišnykstantys diskai

Tai, kad Amazon EC2 dabar jau siūlo ir statinius IP yra labai smagu, tačiau vieno dalyko iki šiol dar ten trūko - pastovaus kieto disko, kuriame būtų galima saugoti informaciją nekuriant jokių įspūdingų duomenų backup'inimo į Amazon S3 mechanizmų, nes paleidus kiekvieną naują EC2 virtualų serverį, vartotojui būdavo priskiriamas 160GB-1,7TB tuščias diskas, kurį jis gali užpildyti savo duomenimis iš S3.

Tai nėra labai sudėtinga, užtenka skripto, kuris automatiškai startuojamas užsikrovus serveriui. Tas skriptas susirenka reikiamus duomenis (disko "atsarginę" kopiją) iš S3 ir sistema jau tinkama darbui. Problematiška tik buvo rūpintis, jog nulūžus serveriui, duomenys esantys S3 nebūtų labai pasenę. Norint visiškai apsaugoti duomenis, reikia realiu laiku visą į diską rašomą informaciją transliuoti į S3. Apie tai jau buvo daug rašyta ir diskutuota, tačiau idealaus ir paprasto sprendimo iki šiol lyg ir nebuvo.

O neužilgo jau ir šis rūpestis turėtų visiškai išnykti. Amazon sukūrė galimybę susikurti pastovius "diskus", kurie neišnyks su numirusiu EC2 serveriu. Panašu, kad kai kurie vartotojai jau gali džiaugtis šia naujove, o visi kiti galės ja pradėti naudotis kiek vėliau. Diskai galės būti nuo 1 GB iki 1 TB ir tokių diskų bus galima prisijungti prie vieno serverio keletą.

Dabar jau tikrai galima vadinti Amazon EC2 puikia alternatyva paprastam dedikuotam serveriui - statiniai IP suteikiami, duomenis saugoti galima bus diskuose ir nuo pat pradžių dar papildomai galima viską saugoti neriboto dydžio S3 saugykloje. O pačios geležies susirinkti galima kiek tik širdis geidžia.

Sukurta: 2008-04-14 08:10:39 UTC
Žymės: amazon ec2, IT, webservisai
Komentarų: 4

Google App Engine

Kaip rašo TechCrunch, Google pristatė naują produktą - App Engine. Google suteikia 500 megabaitų nemokamos vietos ir pakankamai resursų 5 milijonams puslapių pakrovimų per mėnesį. Iš esmės App Engine yra labai panašus dalykas į Amazon EC2 kartu su S3 bei SimpleDB, tačiau Amazon'o atveju virtualius serverius prižiūrėti reikia patiems, o Google pateikė jau gatavą platformą, į kurią tiesiog galima krauti Python kodą ir jokiais serveriais rūpintis nereikia. Programuoti python'u nelabai turiu noro, tačiau dokumentacijoje rašoma, kad ateity bus siekiama palaikyti ir daugiau programavimo kalbų.

Labai smagus dalykas dar yra tas, kad Google duoda ir Users API, per kurį galima leisti prisijungti registruotiems Google vartotojams. Daugeliui vartotojų manau tai būtų labai patogu, nes nereiktų registruotis, o tiesiog prisijungti jau turimais prisijungimo duomenimis.

Daugiau naudingos informacijos galima rasti App Engine svetainėje. Kol kas Google priima tik 10000 developerių, o aš šįryt jau į laukiančiųjų sąrašą patekau, tad neįsivaizduojų, kada pavyks prikišti nagus. O labai nekantraujantys gali atsisiųsti SDK ir jau pradėti programuoti savo kompiuteryje, tiesiog programų publikuoti dar nebus galima...

Sukurta: 2008-04-08 13:31:33 UTC
Žymės: amazon, google, webservisai
Komentarų: 3

Amazon EC2 Elastic IP Adresses ir Availability Zones

Prieš pusvalandį gavau naujienlaiškį iš Amazon'o apie tai, kad jie pagaliau pradėjo dalinti statinius IP adresus Amazon EC2 vartotojams bei taipogi suteikė galimybę pasirinkti geografinę vietą, kurioje startuojami EC2 virtualūs serveriai (instance'ai).

Iki šiol kiekvienas Amazon EC2 virtualūs serveriai gaudavo pseudo-dinaminį IP adresą, t.y. adresas išlikdavo tarp prekrovimų, tačiau nebuvo galimybės gauti tą patį adresą paleidus naują serverį pirmąjam numirus. Norint rimtai naudoti EC2 tekdavo naudoti dinaminius DNS servisus ar pan., kad numirus serveriams vartotojai nebūtų nukreipiami bala žino kur...

Na o nuo šiandien kiekvienas EC2 vartotojas gali iš Amazon'o gauti iki 5 viešų IP adresų, kurie pririšami ne prie konkretaus virtualaus serverio, o prie paties vartotojo sąskaitos, o vartotojas tuos IP adresus dinamiškai gali priskirinėti bet kuriam serveriui. Nuo šiol galima talpinti svetaines ant EC2 nenaudojant jokių kitų trečių šalių servisų. Ojej kiek laiko žmonija šito laukė...

Kita naujovė - Availability Zones. Amazon'as EC2 serverius paleidinėdavo įvairiuose daugmaž atsitiktinai pasirinktuose duomenų centruose, t.y. pasileidus vieną serverį su Apache, o kitą su MySQL, nebuvo garantijos, kad abu serveriai bus tam pačiam duomenų centre, ko pasekoje ryšys tarp abiejų serverių gali būti labai prastas. Analogiškai nebuvo galimybės paleisti dviejų serverių skirtinguose duomenų centruose siekiant užtikrinti stabilų programos veikimą net ir užgesus vienam duomenų centrui. Dabar vartotojai turi galimybę nesunkiai nurodyti, kaip arti ar toli vienas nuo kito turi būti virtualūs serveriai. Irgi labai gera naujovė, ypač didesnėms aplikacijoms.

Galima vėl pradėti mąstyti apie projektų hostinimą pas Amazon'ą :)

Sukurta: 2008-03-27 14:17:18 UTC
Žymės: amazon ec2, IT, webservisai
Komentarų: 1