MapReduce如何实现分布可靠？
订阅
MapReduce通过将大规模操作分发给网络上的每个节点来实现可靠性。每个节点会周期性地返回完成的工作和最新的状态。如果一个节点保持沉默超过一定的时间间隔，主节点将记录该节点为死亡，并将分配给该节点的
MapReduce通过将大规模操作分发给网络上的每个节点来实现可靠性。每个节点会周期性地返回完成的工作和最新的状态。如果一个节点保持沉默超过一定的时间间隔，主节点将记录该节点为死亡，并将分配给该节点的数据发到其他节点。MapReduce使用命名文件的原子操作来确保并行线程间没有冲突。MapReduce还利用Google文件系统来管理和访问临时文件。
免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请您通过400-62-96871或关注我们的公众号与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！
阅读全文
请先 登录后发表评论 ~