是时候再次去中心化了:以分布式为生命的互联网如今正在被谷歌、脸书等进行中心化改造
解决的方法是去除而不是引入那些中心节点。
文/Bruce Davie
任何研究互联网技术的人都很清楚分布式算法对于互联网设计和运维的重要性,路由协议是其中的一个典型例子。
我曾学习过基于链路状态算法的路由协议的工作原理,惊叹于该方法的巧妙:每个路由器都将其本地网络视图告诉其邻居节点;而他的邻居节点将泛洪这些更新,直到每个路由器都拥有完整的网络拓扑图。然后每个路由器运行相同的最短路径算法以最大程度上确保无环路路由。正是这种精巧的算法给予我的震撼,以及理解这些算法如何工作而带来的有趣挑战,使我在接下来的三十年里成为了一个“互联网工作者”。
去中心化的想法已经牢固地融入到了互联网的架构中。关于互联网原始设计的权威论文是David Clark于1988年发表的《DARPA 互联网协议的设计哲学》。在该文中,他提出互联网设计目标必须要优先保证的几点,我们能够找到“即使网络或网关掉线,互联网通信必须能够继续进行”以及“互联网必须允许其资源能够进行分布式管理”等陈述。第一个目标直接引出网络不能出现单点故障的议题,而第二个目标则更多地说明了网络运营为何必须去中心化。
去中心化的理念牢固地融入了互联网的架构中
上世纪90年代后期,当时我在开发MPLS的团队工作,我们坚信每个算法都必须完全去中心化。MPLS 流量工程 (TE) 和 MPLS-BGP VPN 均设计为使用完全分布式算法,没有中央控制点。就流量工程而言,我们很早就意识到集中式算法可能更接近于最佳解决方案,但鉴于路由最根本的分布式性质,我们找不到任何将这些集中式算法交到用户手中的办法。
最终,集中式算法可以做得更好的思潮在软件定义网络中站稳了脚跟。谷歌的B4和微软的SD-WAN都找到了一种改进 MPLS-TE的方法,方法是使用集中式路径选择算法,使用 SDN 控制器将集中计算的路径推送到实现分布式数据平面的路由器。MPLS VPN 现在面临着 SD-WAN 解决方案的严峻挑战,SD-WAN 使用集中控制VPN隧道创建的方法,以提供比MPLS在操作上更简单的解决方案。
许多坚信分布式网络架构的人难以接受SDN,因为集中控制的概念与我们所坚信的关于最佳网络设计实践的一切都大相径庭。促使我加入SDN 阵营的是,我意识到利用网络社区之外的想法和思路,也可以构建具有集中控制特点的可扩展、高容错的网络。
例如,Paxos和Raft等共识算法位于大多数SDN控制器的核心,这使它们能够扩展和容忍组件故障。SDN实现了控制逻辑的集中化,而不会引入扩展瓶颈或单点故障等缺陷。并且它产生了实质性的好处:例如能够开放网络范围的API,大大简化了网络配置问题,并为自动化网络供应开辟了道路。
SDN实际上也没有降低互联网的去中心化程度:仍然有成百上千的ISP,域名系统仍然是分散的,自治系统仍然是相互独立管理的。
谷歌、Facebook 和 Twitter 等平台……向数十亿用户展示了一个相当单一的互联网视图
但是中心化有一个值得关注的方面:即那些决定互联网使用人数的超级信息平台。虽然从技术的角度来看,谷歌、Facebook和Twitter等平台都是经过精心设计的分布式系统,但它们向数十亿用户展示了一个相当单一的互联网视图。
a16z的Chris Dixon的一篇博客文章很好地体现了我们在互联网上所接受的实际服务变得越来越集中这一观点。我最喜欢的漫画家之一Oatmeal很好地说明了类似的观点:“2021年,人们的社交在互联网上进行。”
Dixon和Oatmeal都指出了将过多控制权交给大型平台的缺点。例如,中央平台可以突然改变政策,让用户远离某些创作者提供的内容。
还有更多技术示例表明,对单一平台的广泛依赖导致互联网服务广泛性的不可用。例如,2021年的中断事件对依赖CDN的网站(如纽约时报和亚马逊)产生了全球性的影响;几天后,Akamai的一次中断也产生了类似的影响;Cloudflare在2020年的服务失效也是一个影响深远的例子。Cloudflare有一个有趣的博客,人们在其中讨论了另一个影响较大的中断,这可以追溯到Raft在某些设置和故障条件下未能选出领导者等问题。本质上,分布式算法中的缺陷造成了单点故障。
值得一提的是,Clark在1988年发表的互联网哲学论文中指出,虽然当路由器和网关出现故障时互联网仍然可以工作,但为满足第一目标,许多服务和网站在它们所依赖的平台(例如 CDN)出现故障时将失效。实际上,单点故障已在不知不觉中被引入。虽然互联网的分布式管理仍然存在,但我们所依赖的大部分服务都由少数实体所管理的。
其中一些问题相比来说更容易解决,Oatmeal的漫画指出,订阅电子邮件服务是绕过“内容守门人”的一种方式。也许开始使用多个CDN提供商将成为最佳实践。据称,区块链可能会导致互联网更加去中心化。去中心化金融是区块链如何分散历史性集中职能的好例子。不可替代的代币(NFT)为艺术家和创作者在没有中央实体(唱片公司、流媒体服务、拍卖行)的情况下接触他们的观众提供了可能的途径。与此同时,人们对于区块链和加密货币超越当前投机阶段的长期潜力,存在大量合理的怀疑。
随着控制数十亿互联网用户的几家大型互联网公司的崛起,互联网发展的钟摆似乎正在朝着中心化的方向努力,如果不是开始向相反方向摆动的话,这个进程不会显示出放缓的迹象。去中心化是互联网架构的支柱,是其成功的基础,我希望我们迄今为止为互联网去中心化所做的努力至少有一些会成功。
作者:Bruce Davie,是Computer Networks: A Systems Approach和相关的Systems Approach系列书籍的作者之一
翻译:杨望、马鸣宇
责编:郑艺龙
原文>>It's time to decentralize the internet, again: What was distributed is now centralized by Google, Facebook, etc
- 上一篇
工信部教育部联合开展“5G+智慧教育”应用试点项目申报!9月教育信息化重点工作进展
教育部科学技术与信息化司日前发布《2021年9月教育信息化和网络安全工作月报》。2021年9月全国教育信息化和网络安全工作有何新动态?一起来看一下…… 2021年9月教育信息化和网络安全工作月报【摘要】中央网信办、国家发改委、教育部等8部门联合发布国家智能社会治理实验基地名单,教育领域的特色基地共19个。教育部启动实施第二批人工智能助推教师队伍建设行动试点工作。工业和信息化部、教育部部署联合开展“5G+智慧教育”应用试点项目申报工作。“2021智慧教育大会(重庆)”举办。福建教育厅调整科学技术处为科学技术
- 下一篇
计划遴选15个!教育部2021年继续实施教育信息化教学应用实践共同体项目
日前,教育部科学技术与信息化司发布通知,继续开展教育信息化教学应用实践共同体项目,并就2021年度相关工作进行了部署。2021年度,计划从线上线下融合教学、网络思政教育、智能体育教学三类教育信息化教学应用模式中遴选出15个左右不同应用方向的实践共同体。要求省级教育行政部门于2021年11月1日前以正式函件形式向教育部科学技术与信息化司报送推荐表、推荐汇总表及有关材料,同时发送电子版。 教育部科学技术与信息化司关于做好2021年度教育信息化教学应用实践共同体项目推荐遴选工作的通知 教科信司〔2021〕213