dzÎöÔÆÅÌËã µÄÎå´ó¸Åº¦ÊÖÒÕ
- ʱ¼ä£º2015-03-02
- ȪԴ£º±ÈÌØÍø
¾ÝÖйú±¨¸æ´óÌüÐû²¼µÄ¡¶2014-2020ÄêÖйúÔÆÅÌËãÐÐÒµÉî¶Èµ÷Ñм°Éú³¤Ç÷ÊÆÆÊÎö±¨¸æ¡·Ö¸³öÔÆÅÌËãµÄÎå´ó¸Åº¦ÊÖÒÕÈçÏ£º
¡¡¡¡1 ÐéÄ⻯ÊÖÒÕ
¡¡¡¡ÐéÄ⻯ÊÖÒÕÊÇÖ¸ÅÌËãÔª¼þÔÚÐéÄâµÄ»ù´¡É϶ø²»ÊÇÕæʵµÄ»ù´¡ÉÏÔËÐУ¬Ëü¿ÉÒÔÀ©´óÓ²¼þµÄÈÝÁ¿£¬¼ò»¯Èí¼þµÄÖØÐÂÉèÖÃÀú³Ì£¬ïÔÌÈí¼þÐéÄâ»úÏà¹Ø¿ªÏúºÍÖ§³Ö¸üÆÕ±éµÄ²Ù×÷ϵͳ·½Ã档ͨ¹ýÐéÄ⻯ÊÖÒÕ¿ÉʵÏÖÈí¼þÓ¦ÓÃÓëµ×²ãÓ²¼þÏà¸ôÀ룬Ëü°üÀ¨½«µ¥¸ö×ÊÔ´»®·Ö³É¶à¸öÐéÄâ×ÊÔ´µÄÁÑ·Öģʽ£¬Ò²°üÀ¨½«¶à¸ö×ÊÔ´ÕûºÏ³ÉÒ»¸öÐéÄâ×ÊÔ´µÄ¾ÛºÏģʽ¡£ÐéÄ⻯ÊÖÒÕƾ֤¹¤¾ß¿É·Ö³É´æ´¢ÐéÄ⻯¡¢ÅÌËãÐéÄ⻯¡¢ÍøÂçÐéÄ⻯µÈ£¬ÅÌËãÐéÄ⻯ÓÖ·ÖΪϵͳ¼¶ÐéÄ⻯¡¢Ó¦Óü¶ÐéÄ⻯ºÍ×ÀÃæÐéÄ⻯Ŀ¡£ÔÚÔÆÅÌËãʵÏÖÖС£ÅÌËãϵͳÐéÄ⻯ÊÇÒ»Çн¨ÉèÔÚ¡°ÔÆ¡±ÉϵķþÎñÓëÓ¦ÓõĻù´¡¡£ÐéÄ⻯ÊÖÒÕÏÖÔÚÖ÷ÒªÓ¦ÓÃÔÚCPU¡¢²Ù×÷ϵͳ¡¢·þÎñÆ÷µÈ¶à¸ö·½Ã棬ÊÇÌá¸ß·þÎñЧÂʵÄ×î¼Ñ½â¾ö¼Æ»®¡£
¡¡¡¡2 ÂþÑÜʽº£Á¿Êý¾Ý´æ´¢
¡¡¡¡ÔÆÅÌËãϵͳÓÉ´ó×Ú·þÎñÆ÷×é³É£¬Í¬Ê±Îª´ó×ÚÓû§·þÎñ£¬Òò´ËÔÆÅÌËãϵͳ½ÓÄÉÂþÑÜʽ´æ´¢µÄ·½·¨´æ´¢Êý¾Ý£¬ÓÃÈßÓà´æ´¢µÄ·½·¨(¼¯ÈºÅÌËã¡¢Êý¾ÝÈßÓàºÍÂþÑÜʽ´æ´¢)°ü¹ÜÊý¾ÝµÄ¿É¿¿ÐÔ¡£ÈßÓàµÄ·½·¨Í¨¹ýʹÃüÆÊÎöºÍ¼¯Èº£¬ÓõÍÅä»úеÌæ»»³¬µÈÅÌËã»úµÄÐÔÄÜÀ´°ü¹ÜµÍ±¾Ç®£¬ÕâÖÖ·½·¨°ü¹ÜÂþÑÜʽÊý¾ÝµÄ¸ß¿ÉÓᢸ߿ɿ¿ºÍ¾¼ÃÐÔ£¬¼´ÎªÍ³Ò»·ÝÊý¾Ý´æ´¢¶à¸ö¸±±¾¡£ÔÆÅÌËãϵͳÖÐÆÕ±éʹÓõÄÊý¾Ý´æ´¢ÏµÍ³ÊÇGoogleµÄGFSºÍHadoopÍŶӿª·¢µÄGFSµÄ¿ªÔ´ÊµÏÖHDFS¡£
¡¡¡¡3 º£Á¿Êý¾Ý¹ÜÀíÊÖÒÕ
¡¡¡¡ÔÆÅÌËãÐèÒª¶ÔÂþÑܵġ¢º£Á¿µÄÊý¾Ý¾ÙÐд¦Öóͷ£¡¢ÆÊÎö£¬Òò´Ë£¬Êý¾Ý¹ÜÀíÊÖÒÕ±ØÐèÄܹ»¸ßЧµÄ¹ÜÀí´ó×ÚµÄÊý¾Ý¡£ÔÆÅÌËãϵͳÖеÄÊý¾Ý¹ÜÀíÊÖÒÕÖ÷ÒªÊÇGoogleµÄBT sT~lOÊý¾Ý¹ÜÀíÊÖÒÕºÍHadoopÍŶӿª·¢µÄ¿ªÔ´Êý¾Ý¹ÜÀíÄ£¿éHBase¡£ÓÉÓÚÔÆÊý¾Ý´æ´¢¹ÜÀíÐÎʽ²î±ðÓڹŰåµÄRDBMSÊý¾Ý¹ÜÀí·½·¨£¬ÔõÑùÔÚ¹æÄ£ÖØ´óµÄÂþÑÜʽÊý¾ÝÖÐÕÒµ½Ìض¨µÄÊý¾Ý£¬Ò²ÊÇÔÆÅÌËãÊý¾Ý¹ÜÀíÊÖÒÕËù±ØÐè½â¾öµÄÎÊÌâ[61¡£Í¬Ê±£¬ÓÉÓÚ¹ÜÀíÐÎʽµÄ²î±ðÔì³É¹Å°åµÄSQLÊý¾Ý¿â½Ó¿ÚÎÞ·¨Ö±½ÓÒÆÖ²µ½ÔƹÜÀíϵͳÖÐÀ´£¬ÏÖÔÚһЩÑо¿ÔÚ¹ØעΪÔÆÊý¾Ý¹ÜÀíÌṩRDBMSºÍSQLµÄ½Ó¿Ú£¬Èç»ùÓÚHadoap ×ÓÏîÄ¿HBaseºÍHiveµÈ¡£ÁíÍ⣬ÔÚÔÆÊý¾Ý¹ÜÀí·½Ã棬ÔõÑù°ü¹ÜÊý¾ÝÇå¾²ÐÔºÍÊý¾Ý»á¼û¸ßЧÐÔÒ²ÊÇÑо¿¹Ø×¢µÄÖصãÎÊÌâÖ®Ò»¡£
¡¡¡¡4 ±à³Ì·½·¨
¡¡¡¡ÔÆÅÌËãÌṩÁËÂþÑÜʽµÄÅÌËãģʽ£¬¿Í¹ÛÉÏÒªÇó±ØÐèÓÐÂþÑÜʽµÄ±à³Ìģʽ¡£ÔÆÅÌËã½ÓÄÉÁËÒ»ÖÖÍ·ÄÔ¾«Á·µÄÂþÑÜʽ²¢Ðбà³ÌÄ£×ÓMap¡ªReduce¡£Map¡ªReduceÊÇÒ»ÖÖ±à³ÌÄ£×ÓºÍʹÃüµ÷ÀíÄ£×Ó¡£Ö÷ÒªÓÃÓÚÊý¾Ý¼¯µÄ²¢ÐÐÔËËãºÍ²¢ÐÐʹÃüµÄµ÷Àí´¦Öóͷ£¡£ÔÚ¸ÃģʽÏ£¬Óû§Ö»ÐèÒª×ÔÐбàдMapº¯ÊýºÍReduceº¯Êý¼´¿É¾ÙÐв¢ÐÐÅÌËã¡£ÆäÖУ¬Map º¯ÊýÖнç˵¸÷½ÚµãÉϵķֿéÊý¾ÝµÄ´¦Öóͷ£ÒªÁ죬¶øReduceº¯ÊýÖнç˵ÖÐÐÄЧ¹ûµÄÉúÑÄÒªÁìÒÔ¼°×îÖÕЧ¹ûµÄ¹éÄÉÒªÁì¡£
¡¡¡¡5 ÔÆÅÌËãƽ̨¹ÜÀíÊÖÒÕ
¡¡¡¡ÔÆÅÌËã×ÊÔ´¹æÄ£Öش󣬷þÎñÆ÷ÊýÄ¿ÖڶಢÂþÑÜÔÚ²î±ðµÄËùÔÚ£¬Í¬Ê±ÔËÐÐ×ÅÊý°ÙÖÖÓ¦Óã¬ÔõÑùÓÐÓõĹÜÀíÕâЩ·þÎñÆ÷£¬°ü¹ÜÕû¸öϵͳÌṩ²»ÎʶϵķþÎñÊÇÖØ´óµÄÌôÕ½¡£ÔÆÅÌËãϵͳµÄƽ̨¹ÜÀíÊÖÒÕÄܹ»Ê¹´ó×ڵķþÎñÆ÷ÐͬÊÂÇ飬Àû±ãµÄ¾ÙÐÐÓªÒµ°²ÅźͿªÍ¨£¬¿ìËÙ·¢Ã÷ºÍ»Ö¸´ÏµÍ³¹ÊÕÏ£¬Í¨¹ý×Ô¶¯»¯¡¢ÖÇÄÜ»¯µÄÊÖ¶ÎʵÏÖ´ó¹æģϵͳµÄ¿É¿¿ÔËÓª¡£