Hallo liebe Leser,
ich weiß ihr seid hier eher seichte Unterhaltung gewohnt, aber heute muss ich mal in die Runde fragen, ob jemand von euch Erfahrung mit verteiltem Rechnen hat und schon mal etwas von Hadoop gehört hat? Hadoop ist im wesentlichen eine Open Source Implementierung von MapReduce – einer Methode schnell und parallel große Datenmengen zu bearbeiten – und scheinbar eines der weniger bekannten Google Produkte.
Da Google laut Techcrunch BigTable (ihr internes Datenbanksystem) für die Öffentlichkeit zugänglich machen und damit auch beim nächsten großen Ding (klingt genauso doof wie „the next big thing“), dem Cloud-Computing, mitspielen will und Anbieter wie Amazon und Joyent wohl nur durch Tiefstpreise schlagen kann, wird so etwas langsam bzw. eigentlich ziemlich schnell interessant für Webprojekte. Man zahlt dort schließlich nur was man tatsächlich verbraucht (auch Rechenleistung) und kann bei Bedarf zusätzliche Maschinen mitarbeiten lassen. Nur muss dazu die eigene Anwendung eben auch fähig sein verteilt zu funktionieren … deshalb Hadoop.
Yahoo verwendet es, Amazon A9, Facebook ebenfalls und es wäre beinahe ideal um eine kleine Idee von mir (eine Anwendung, die periodisch große Datenmengen bearbeiten muss) umzusetzen ohne auf die Nase zu fallen, wenn es nicht klappt und ich dann einige unnötige Rootserver-Veträge an der Backe zu hätte ;-)
Hat schon mal jemand von euch etwas damit gemacht?
Kommentare
4 Antworten zu „Verteiltes Rechnen – Kennt sich wer mit Hadoop aus?“
Auskennen leider nicht, aber ich wollte es mir letztes Wochenende auch mal angeguckt haben. ;-)
Generell muss dein Problem natürlich einigermaßen zur Map-Reduce-Technik passen, das kann man nicht universell einsetzen. Aber wenn das passt, dann sind Services wie A9 natürlich eine gute Alternative zum Root.
BTW: Ist das Absicht?
„Comments for this post will be closed on 23 June 1982.“
Ziemlich viele Probleme lassen sich auf Map-Reduce (bzw. mehrere solcher Durchgänge) „reduzieren“. Ob das allerdings die beste Lösung ist … ausprobieren bzw. philosophieren ;-)
@btw: ja ist Absicht. Das verantwortliche Plugin kommt wohl nicht ganz mit Zeitpunkten in der Zukunft zurecht.
ich habe da so eine Ahnung, was du vorhast :-)
http://www.geekculture.com/joyoftech/joyarchives/1088.html
[…] hat wirklich nur X jemals etwas von Hadoop gehört? Ich glaube ich muss meine Leserschaft mal ein wenig geekiger […]