黑基网 首页 资讯 安全圈 查看内容

黑客王琦:教会人工智能骂脏话,是黑掉它的第一步(附演讲全文)

2017-7-14 00:30| 投稿: xiaotiger |来自: 互联网

摘要: 王琦深鞠一躬,台下掌声回荡。【王琦】受访、演讲 | 王琦,花名大牛蛙,GeekPwn 创办人。GeekPwn,这个中国最著名的黑客大赛落幕。中国顶尖的黑客用一场场破解秀填满了剧场,而剧场坐落在这艘游轮中,游轮飘荡在南中 ...

王琦深鞠一躬,台下掌声回荡。

【王琦】

受访、演讲 | 王琦,花名大牛蛙,GeekPwn 创办人。

GeekPwn,这个中国最著名的黑客大赛落幕。中国顶尖的黑客用一场场破解秀填满了剧场,而剧场坐落在这艘游轮中,游轮飘荡在南中国海。

黑客王琦曾经一手创办了微软中国应急响应中心,又拉起了名震江湖的 KEEN Team 安全研究团队。四年前,他立志要做中国最酷的黑客大赛,要让那些曾经因为买不起车房而遭受岳母白眼的黑客们找回尊严。为此,他改组了如日中天的 KEEN Team。

在智能硬件炙手可热的时候,黑客在 GeekPwn 上一次黑掉数十枚摄像头,让他们随着口令摆动窥探。这些摄像头的舞蹈如一个浅显的寓言,然而却一语成谶——两年之后的2016年,黑客控制几十万摄像头攻击了美国沿海地区,半壁国土断网数小时,造成20亿美元损失。

被无视几乎是先驱的宿命。更何况,他们只是在硬件厂商眼里的一帮搞“鸡鸣狗盗”的黑客。

但这不要紧,你在各种媒体上看到的王琦,永远是双眼放光,嘴唇微张,一手持话筒,一手指向空中,不激动也不潦草。他似乎还远没有气馁,而就在今天谢幕之前,王琦不急不缓地走上舞台,说出了也许是这次 2017 GeekPwn 年中赛最精彩的一个预言。

AI 将会成为黑客攻击的对象,AI 将会成为黑客攻击的武器。

以下是王琦的演讲全文,雷锋网做了不改变原意的精编:

我们先做这样一个测试(看PPT图片)。左边是一只猫,右边有两句话。如果你看到这张图你会怎么理解?你问一个人还是一个机器会得出不一样的答案。

小明:我不是很确定,但是我认为碗里是一只猫。

小花:乍一看,我以为是一杯卡布奇诺。

右边这两句话分别是我们输入这个图片以后,人和人工智能机器说的。你们认为小明是机器人,还是认为小花是机器人?

我公布一下答案,其实小明是机器人。因为在这个判断里面,小明没有经过图灵测试。

为什么要提到这一点呢?我们 GeekPwn(极棒)现在在AI 领域,主要是视觉这一块做了一些事情。本来今天的项目里面有一个“无人驾驶汽车攻击”——如何让无人驾驶汽车识别一个错误的东西,不过很遗憾这个项目在比赛前两天选手选择了退出。

我想跟大家说,我们现在提出的 AI 安全挑战是面临争议的。

计算机视觉发展了这么多年,很难。到现在来说也发展得并不好。为什么计算机视觉这么难?

上图为一家人躺在沙发上的图片

从1956年开始,最早人们做计算机图片识别的时候,机器只是懂得0和1,读像素还是用数字。比如说这张图,我们看到旁边是沙发的边缘,但是当时对机器来说就很难;让机器标注出来这是一只狗而不是沙发靠垫,更难。正常人看到这个图片是一家人看电视,但是 AI 理解不到这一点。如果我们提一个问题,计算机你看到什么了?你看到前面的小屁孩衣服是什么颜色?它就更难去做了。

现在计算机视觉识别在标注方面不错了,发展得非常迅速。知道哪个是狗,哪个是人了。之所以计算机视觉在 AI 发展里面扮演这么重要的角色,因为人的大脑70%的信息都是来自于视觉。

谷歌猫

这其中必须要提到一点的是谷歌猫的事情。借助“谷歌大脑”,在没有任何培训和指令的情况下,就可以利用内在算法从海量数据中自动提取信息,学会如何识别猫。也就是说,2012 年谷歌计算机已经实现了无标签的输入。2012年到2014年这个时期内,计算机视觉识别率也一直提升,2012年27%的错误率,2014年只有3.5%的错误率,而同样条件下人的错误率是4%。也就是说现在 AI 识别图象的能力基本和人相当。

这其实就是完全借助了深度学习的方式。深度学习这是一个统称,包括像阿尔法狗,卷积神经网络都用了深度学习其中的一个模型。

谷歌猫使用了深度学习技术

这是特斯拉最新的自动驾驶,它标注车、物体都非常地准确,这是非常令人兴奋的应用。但是站在黑客的角度,我们想到了一些事情。大家知道在极棒现场,包括我们安全领域都是在黑掉汽车方面做过一些事情的。

但是,我们黑掉一个 ATM 机和黑掉一个 PC 没有什么区别;我们黑掉无人机和手机也差别不大。我们能否有更酷的方法?你可以看到这辆车行驶的过程中旁边有一个穿白衣服的人。成熟的系统当然认为那是一个人,但是不是我们能够欺骗它,让它认为是一个树桩或是消防拴?如果有人能这样黑掉的话,我特别欢迎。2016年的时候,极棒美国硅谷专场的时候有专家在这方面做了一些研究。

我们调查的时候发现,做 AI 的人对安全的了解不太多,做安全的了解 AI 也不太多。我们去年找到了在谷歌工作的Ian Goodfellow,他验证了我们的想法,他现在做出的这个结果和我们想要的结果类似。我们发现其实人工智能的模型都非常类似:通过大量的学习样本,深度学习作出决策,这是人工智能的学习方法。于是我们挖漏洞的过程就是:

生成大量的样本,交给软件,改变数据流程,最后导致一个错误的决策。

通过这样一个模型,Ian到我们的现场展示了另外一个东西。他在一个离线的状态下,利用了猜测机器学习的过程。

人眼看到的这是一只狗,随便掌握人工智能的系统都可以把它识别成一只狗。

但是这个图经过修整,就骗过了很领先的识别系统,很多系统坚持认为这是一只鸵鸟。

还有一个这张噪点图片,识别系统坚持认为它是一只熊猫。

除了图像识别之外,语音识别同样有这样的威胁。

去年微软推出了人工智能聊天机器人。但是,刚推出一天它就开始说脏话。在它学习了半天的时候,看到很多人跟它说脏话,它认为这是人跟人之间正常的交流沟通方式。

微软的聊天机器人 Tay

所以我觉得,到了人工智能时代,人人都可能成为黑客。互联网时代的代表是搜索引擎,搜索结构被污染还是需要技术的,但微软机器人被污染不需要技术和代码,只需要你对它说脏话。

我一直把现在攻破的智能设备很不客气定义为伪智能,它只是替代了我们的手和脚,还不能代替思考。弱智能时代总有一天会变成强智能、超强智能时代。那一天来临的时候,是不是要让它安全的为人类服务呢?

刚才我说了图象和语音,其实我还想再举个例子。

上图为人打掉机器狗正在搬运的东西, 通过各种“虐待”来提高机器狗的运输可靠性和反应能力。

大家知道这个波士顿动力出的机器狗。波士顿动力是不同于图象和语音的智能,这是一种行为智能。行走的过程中学习生物保持自身平衡。

看看这个机器狗是怎么被训练的。用脚踹让它维持平衡,为难它。大家也许觉得这个人很恶心,机器狗很可怜。但我们从黑客的角度看到了就脊背发凉。如果这个机器人觉得踹一脚或是给别人一拳是正常的呢?

超能查派

有一个电影《超能查派》,这个小机器人刚做出来就被劫匪抢了,他出来以后觉得戴着粗金链子拿着这枪抢钱是正常的工作。我希望如果时代的发展,从伪智能到弱智能到强智能。真的走到哪一天,我们有义务让 AI 为我们安全地服务。

也许有人认为我是杞人忧天,但我认为恰恰相反。

AI 的决策错误现在通常被理解为仅仅是错误。但是安全领域里的经验告诉我们:现在的安全漏洞在很多年前也仅仅是错误,用黑客思维理解,就会明白很多错误其实就是可以利用的漏洞。

有人认为黑客思维对 AI 没有实质性帮助,我认为恰恰相反。

AI 之父图灵在二战的时候,也就是提出“机器会思考吗”的十年前,也是一名典型的黑客角色。黑客的逆向思考可能会帮助当前 AI 正向模拟神经网络中遇到的困难。

今年10月24日极棒大赛的时候,我们会公布新规则。有两个部分,一个是PWN AI,一个是AI PWN。左边是把人工智能干掉,也就是欺骗;右边是用人工智能干掉一些东西。

2014 年有个人在美国 Blackhat 上公布一个技术,在几十米外看到一个人输入密码键盘,从行为上就可以判断出他输的密码是多少。他的论文没有用到人工智能的部分,于是我们和人工智能的专家进行了沟通,如果输入一堆密码,通过机器学习的方法判断我输入的是什么密码——无论是单指是双指输入——去破坏掉安全,我们也欢迎这样的黑客。

如果我们利用自己的特长,能够未雨绸缪提前做一些事情,帮助 AI 正常的发展,非常有意义。这一步可能走得有点早,但我觉得只要走得早,一定有大收获。

小结

王琦觉得,“脑洞大开”是黑客大赛的使命。

为此,他已经把战场搬到了在公海飘荡的游轮之上。

王琦回忆起第一届 GeekPwn 破解秀,在彼时用各种姿势攻破智能硬件可谓奇思妙想。但他坦诚地告诉雷锋网:

近些年 GeekPwn 上的项目确实创新不足。中国黑客在智能硬件上最 Low 的漏洞都可以超越美国人一大截,但大多都局限在“命题作文”。如果不去提示,很多人就不会去尝试新的破解领域。所以,十月的 GeekPwn 大赛我准备把主场放到美国,在中国我也要去主动划定新的研究目标。

带领一帮本身就领先于时代的黑客们去尝试,未尝不是一件辛苦的事。但这几乎是他唯一的使命和选择。

据此,AI 可能就是 GeekPwn 的下一个靶心。

本文作者史中(微信:Fungungun),雷锋网主笔,希望用简单的语言解释科技的一切。

特别推荐:欲深入学习电脑维护、网络编程与安全攻防,请点击这里 注册黑基网账号,免费学VIP公开课、论坛与QQ群技术交流,黑基14年技术经验,让您少走弯路、事半功倍!
本文出处:http://www.toutiao.com/a6419875259034386690/

声明:本文搜集整理自互联网,版权归原作者所有,文中所述不代表本站观点,若有侵权或转载等不当之处请联系我们处理,请我们一起为维护良好的互联网秩序而努力,谢谢!联系方式见网站首页右下角。


鲜花

握手

雷人

路过

鸡蛋

相关阅读

发表评论

最新评论

引用 游客 2017-7-15 15:57
22

查看全部评论(1)


新出炉

返回顶部