MapReduce的主要功能是什么？
订阅
MapReduce的主要功能包括： 数据划分和计算任务调度：系统将待处理的大数据划分为多个数据块，并自动调度计算节点处理这些数据块。 数据/代码互定位：为了减少数据通信开销，MapReduce尽可能
MapReduce的主要功能包括：
- 数据划分和计算任务调度：系统将待处理的大数据划分为多个数据块，并自动调度计算节点处理这些数据块。
- 数据/代码互定位：为了减少数据通信开销，MapReduce尽可能让计算节点处理本地存储的数据，减少数据迁移。
- 系统优化：中间结果数据会进行合并处理，保证数据相关性的发送到同一个节点。系统还进行计算性能优化，如采用多备份执行和选取最快完成者作为结果。
- 出错检测和恢复：MapReduce能检测并隔离出错节点，并调度新的节点接管计算任务。同时，系统维护数据存储的可靠性，采用多备份冗余存储机制提高数据存储的可靠性，并能及时检测和恢复出错的数据。
免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请您通过400-62-96871或关注我们的公众号与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！
阅读全文
请先 登录后发表评论 ~