黑基网 首页 学院 系统管理 查看内容

Instagram是如何利用10个月时间顺利迁移到Python 3

2017-8-14 00:31| 投稿: xiaotiger |来自: 互联网

摘要: 作者丨Michelle Gienow 本文讲述了参与到Instagram迁移工作的两位工程师,Hui Ding和Lisa Guo,他们是如何看待Instagram迁移到Python 3的,以及迁移的原因和好处。以下为译文。 现在每天在Instagram平台上分享的照片 ...

作者丨Michelle Gienow

本文讲述了参与到Instagram迁移工作的两位工程师,Hui Ding和Lisa Guo,他们是如何看待Instagram迁移到Python 3的,以及迁移的原因和好处。以下为译文。

现在每天在Instagram平台上分享的照片和视频的数量已经超过9500万。照片中心社交媒体平台拥有6亿多注册用户—其中活跃用户每天大概有4亿人。谈谈规模经营:当规模达到了大多数公司做梦都不敢想的阶段以后,Instagram却选择了放弃。

尽管如此,令人印象更深刻的是Instagram在后台是通过Python(当然Django也提供了一点帮助)才能为如此大的访问量提供可靠而稳定的响应。没错,就是Python-就是那门非常容易学习,但是通用性却非常高的编程语言。业内所有人都认为:“是的,Python在很多方面都很出色,但它没办法做到可扩展。”

每天四亿用户。Instagram不仅成为了世界上最大的Python用户,而且该公司最近还将其顺利地转移到Python 3,用户丝毫没有体验到有任何中断。Instagram工程师Hui Ding和Lisa Guo最近接受了The New Stack的访问,他们分享了他们对Python的热爱,并描述了Python 3的迁移体验。

首先请问,Instagram最初为什么会选择使用Python呢?

Hui Ding:我是在Instagram被收购以后,作为第一批进入到Instagram的一员[Instagram成立于2010年,由Facebook在2012年收购]。从那时起,我们从原本的6名工程师变成了300名。尽管最初的时候我并不是其中一员,但是在我们还是一个很小的团队的初期,我和Instagram的联合创始人]Mike Krieger密切合作,所以我有很多关于为什么选择Python的历史背景。

其原因与Instagram的“先做简单事情”的工程座右铭是一致的:对工程师来说,Python是非常容易掌握使用的——它很容易上手,也很容易获得产品,让团队专注于面向用户的功能。Python简洁干净,有利于实用主义。这是一项已被证实的技术。最后,Python是一门非常流行的语言,这使得工程团队的发展变得更加容易。

是什么问题促使Instagram开始考虑了新的堆栈?

Ding:随着我们的发展,我们发现Python并不是最快的语言,而且越来越明显的。AWS也越来越倾向于通过部署更多的服务器来解决速度问题。但是有一点是递减的——在一定程度上,性能回归比用户增长有更多的资源。从现在开始三到五年内,我们估计有10亿用户会加入到社区中,所以是时候开始考虑其他方案了。我们的第一个问题是需要证明切换以后要有足够高的回报。

Instagram用户的增长正在稳步上升——但增速并不像服务器增长那么快

Lisa Guo:我们面临着一个非常大的挑战:在服务器上增加网络的I/O活动。因此,我们需要一种更并行的方式来处理用户请求。实际上,PHP和Python是Facebook最受支持的生态系统,其他任何平台既需要学习曲线,又需要对工程师进行大量新知识的培训。

所以我们做了一个公共投票活动:“与使用PHP进行开发相比,Facebook更应该使用哪一门语言进行服务器端的开发?”

Ding:如果我们看到了性能得到大幅度的提升的话,那么我们就会改变,但最终这些成果都没有展示出来。

所以这些数字并不是很有说服力,我们已经有了很多工具,对Python也投入了很多。使用python/django栈,我们的用户量也达到了几亿,所以我们决定继续使用Python。同样重要的是,我们的工程师非常喜欢Python。这也是他们想要为我们工作的原因。

这就是为什么团队选择python 3的原因吗?

Ding:当时的决定是,我们是否投入到一个相对成熟的版本,但是却不会弃用Python的—或者选择Python的下一个版本?因为下一个版本得到了越来越多的社区支持。这是有道理的,如果我们要在接下来的十年里继续使用Python,我们应该使用Python的最新版本。在我们决定使用Python 3之后不久,我们宣布在2020年以后将不再支持v2.7。

性能速度不再是主要的问题,取而代之的是何时能推向市场。 – Hui Ding

Guo:使用Python 3有三个主要动机:首先,Python不是那种传统意义上的语言,所以当我们开始编写新代码时,开发过程中会出现很多冲突。所以对我们来说,一个很大的动机就是Python宣布了从v3.5版本开始支持typing-我们的开发者对这个消息感到非常兴奋。

其次,网络问题日益成为瓶颈。

第三,Python的速度并不快,但是每一个新版本的运行速度都更快——v2.7,每个人都努力使它运行的更快。随着新版本的发布,我们会得到Python社区的支持,我们也会对社区做出贡献。

那迁移的过程是怎样的?

Guo:总的来说,花了大约十个月,都是处于不同的阶段。

首先,团队修改了大量的代码。这花了2到3个月的时间,包括将不兼容的第三方包替换为支持Python 3的包,工作规则是“没有Python 3,没有新的包”,还删除了未使用的包。

然后进行单元测试,花了两个月的时间。然后,我们在四个多月的时间里进行了缓慢但稳定的新版本的推出。到2017年2月初,我们已经完全运行了Python 3。

Instagram的基础设施工程团队花了10个月的时间完成了向Python 3的迁移

团队究竟是如何实现无缝对接的呢?

Guo:一个重要的因素是,如果你看过了我们是如何迁移的,你就会知道我们会不断地检查主分支的小变化,所以我们从来没有合并过很大的调整。先解决比较多且影响范围大的bug,然后再迭代更新那些影响范围小的bug:这就是我们快速前进的同时还保持住稳定性的关键方法。

Ding:也并不是说迁移工作如此顺利就绝对不会产生任何问题了,因为毕竟这两个版本是不兼容的。

关键是要提前花时间彻底地解决你的问题。我们从分析设计开始,对潜在的好处和权衡有一个清晰的认识。仔细分析问题真的会有好处,然后再做最合理的事情。也就是说,先做简单的事情并不意味着我们的进展就会延缓,或者我们不承担风险。

切换:Python 2和Python 3之间的无缝转换,不会干扰用户体验

从那以后,Python 3的表现如何?

Ding:我们没有对Python 3的性能有预期的期望。因此,当我们看到节省了12%的CPU(使用uswgi/django的原因)和30%的内存(使用celery的原因),我们真的感到非常的惊喜。距离推出仅4个月,我们预计性能不会一直保持10%的提升,但这真的是一个非常好的开端。

我们最常使用的一种机制是Thrift,它是用Python编写的,我们Facebook的团队正在努力使其序列化速度更快。

对于那些正在考虑迁移到Python 3的工程师们,你给他们最后的建议是?

Guo:我最了解的是,“我该如何说服经理去使用Python?”由于Python的声誉缓慢,所以很难出售。 但效率工作是我的专长,Python的效率对我来说是一个很大的吸引力,所以通过改善效率可以缓解由于速度问题带来的困扰。

Ding:性能速度不再是主要的问题,取而代之的是何时能推向市场。

Guo:所以我的建议是,先从一个小模块开始,这样你就能感受到它带来的好处——那会让更多的人对改变感兴趣。

小编推荐:欲学习电脑技术、系统维护、网络管理、编程开发和安全攻防等高端IT技术,请 点击这里 注册黑基账号,公开课频道价值万元IT培训教程免费学,让您少走弯路、事半功倍,好工作升职加薪!

本文出自:http://www.toutiao.com/a6434710889005777153/

免责声明:本文由投稿者转载自互联网,版权归原作者所有,文中所述不代表本站观点,若有侵权或转载等不当之处请联系我们处理,让我们一起为维护良好的互联网秩序而努力!联系方式见网站首页右下角。


鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论


新出炉

返回顶部