码迷,mamicode.com
首页 > 其他好文 > 详细

打怪升级,看俄罗斯小哥是如何从互联网转行到自动驾驶行业?

时间:2020-12-22 12:43:42      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:and   时间序列   团队   切换   pmi   国防   nlp   首页   改变   

技术图片

新年伊始是我们反思过去和计划未来的时候。基于此,我想借此机会回顾身为深度学习/计算机视觉工程师的行业经历。

2017年1月,我在旧金山的一家名为TrueAccord的公司工作。当时,我正使用时间序列和表格数据构建传统的推荐系统。互联网充斥着博客文章和论文,主要描述超越人类的新型前沿的深度学习模型。我迅速将热情投入到这个令人无比兴奋的新领域。

尽管具备一些关于深度学习的理论知识,但是我的实践经验非常有限。在研究生院我很少有机会运用机器学习模型,但幸运地是我发现了Kaggle,这让我培养了深度学习的专业知识。最终,我获得了 Kaggle Master 的头衔,在超声神经分割挑战赛中夺得了金牌。这是将深度学习框架UNet广泛用于Kaggle社区的第一次挑战。同时也是将软骰子用作分割任务的损失函数的第一次挑战。

2017年以前,Kaggle主要举办表格数据竞赛。胜出方案通常涉及到xgboost和其他经典ML算法的堆叠。很少有深度学习算法能够取代这类技术。

在2017年,一切都发生了变化。深度学习越来越成熟并从学术界转移到行业。Kaggle竞赛跟随时代发展趋势,与影像相关的挑战更加普遍。

我很喜欢TrueAccord的工作,但是我想从事与深度学习相关任务的职位。

问题是我具备的技能并不利于这种改变:

  1. 我的专业是物理学而不是电脑科学。
  2. 我只有一年的从业经验
  3. 我的简历中没有任何与机器学习相关的论文。
  4. 工作中没有任何计算机视觉项目。
  5. 深度学习知识有限。

基本上,我和其他任何试图改变他/她工作方向的人都处于同样的境地。

因此,必须和我身居同样职位的人一样处理我的情况。方法非常简单:你去面试,如果可行,则完成。如果失败了,就学习不知道的内容并重复。希望可以在有限的迭代中获得成功,足够幸运,获得期望的职位。

在此期间,我继续提高深度学习技能;阅读论文,博客文章,当然还有参加深度学习比赛。

技术图片
来源:Pexels

2017年3月,我和朋友Sergey Mushinsky在 Dstl卫星图像特征检测挑战赛493位选手中获得第三名并拿到了2万美元的奖金,我的工作开始得到回报。挑战结束后,我开始熟悉二进制图像分割和多光谱图像,这通常存在于卫星图像中。

我用奖金购买了第二个GPU,这反倒让我意识到Keras和多种GPU设置不兼容。我切换到PyTorch,它仍然保留了深度学习框架。然而,成功并非一帆风顺。在同一期间,我没有通过 Descartes Labs的线上面试和一些技术屏幕问题。我知道我需要继续努力提高技能。

那时,我受邀参加NVidia的线上面试,也失败了。原因之一是我对2D对象检测如何运作的了解不足。幸运的是,DSTL开始了安全通道:在航空影像挑战中对车辆进行检测和分类,其重点是2D检测。他们决定不在Kaggle上进行,而是使用他们自己的平台。

比赛中有一条重要的规则:“人人都可以参加,但每个人需要有护照并居住在能够领取奖金的一些国家。”我住在旧金山,缴纳美国税。但是由于我是俄罗斯国籍,没有资格获得该奖项。我清楚这个不幸的事实,但是比赛还是提供了对象检测器的宝贵实践,在勤奋工作后,我能够在比赛中获得第二名。

由于广泛的国际社会齐心合作,数据科学取得了很大的进步。我在Facebook和Twitter上发表了看法,认为DSTL的规则与这些理想相悖。但是随着一切尘埃落定,我脑海中清除了这一点,继续向前看。不知何故,这个故事一直伴随着我并被俄罗斯新闻选中。不久,我的照片出现在俄罗斯主要新闻媒体和电视频道的首页上。

英国国防实验室开发了用于MI-6、人工智能算法的工具。一名俄罗斯公民因为国籍而被拒绝获得奖项。这是个好故事,俄罗斯媒体很快清楚了这一点。那时,我对摄像机采访感到不自在,因此我拒绝与记者交谈。这并没有阻止他们。他们将我的个人资料图片放到背景并且邀请该主题的专家发表意见,

记者甚至联系我父母,他们对机器学习、比赛以及所有的故事一无所知。我母亲告诉记者,父母是非常重要的,但是低估学校教师的影响是不明智的。母亲的话起了作用,记者们带着疑问前往我的高中学校。

俄罗斯最大的科技公司之一Mail Ru Group决定利用这次机会来获得有利的公共关系。他们建议给予我15,000美元,这相当于挑战赛的二等奖。我喜欢这个主意,但是我觉得这不公平。我完全认同我没有资格获得奖项的规则。而且,我对在简历中补充我开发了用于英国MI-6的人工智能算法并不是特别激动。我想到了一个更好的解决方案。我热爱理论物理学并且知道很难获得充足的资金。因此,我要求将资金转移到支持基础科学的俄罗斯基金会。

最后,一切都进行顺利。我和Mail Ru Group得到了有利的公关。俄罗斯基础科学获得一万五千元。而且DSTL得到激发,对机器学习比赛的规则三思而行。

俄罗斯观众对该故事关注了几天,之后得到平息。

技术图片
来源:Pexels

转眼间,三月变成了六月,而我仍然没有找到计算机视觉工作。

我名单上的下家公司是特斯拉。由于我的Kaggle成果,招聘人员联系了我,这种情况少有发生。我通过了实地测试、技术检查和线上面试。下一步是背景审核以及Elon Musk批准我的申请。而我没有通过。招聘人员告诉我,我违反了保密协议(NDA)并在一个论坛上谈及面试过程。没错,我确实在 ods.ai频道提及我在特斯拉的面试,但是我没有分享任何相关的面试问题。严格意义上来讲,他们说的没错。我记得特斯拉的保密协议十分严格并且禁止谈论面试过程。

这次失败让我十分沮丧。和Andrei Karpathy共事将会多么激动人心啊。即使是现在,已经是几年之后,我仍然为自己创造不正之风而感到愧疚。希望我将有机会为自己的行为致歉。

接下来是Planet:我从Kaggle的太空竞赛中了解亚马逊。这个问题太简单了,不需要花费很多时间。小数据集上面有多标签分类。所以,我和另外六个人组成一个团队。一周内,我们训练了480个分类网络并将其堆叠。在938位中排名第七。

负责组织竞赛的公司是 Planet Labs。他们有开放的深度学习工程师职位,我对其进行了咨询并应邀参加线上面试。我又失败了。得到的反馈是深度学习知识不够深入。

八月中旬,经过7个月的求职后,我开始失去积极的态度和信心。我正好开始与Lyft的面试,但是我认为这次面试会和之前所有面试一样,以失败告终。

我坐在窗前,用一杯白兰地来麻痹我的悲伤。我刚刚又遭到了拒绝:

我刚刚又遭到了拒绝:

一位谷歌员工推荐你担任Google Brain(美国)研究科学家一职。我们仔细审查了你的背景和经历,然后决定暂时不继续进行你的申请。

它开始吸引我。

技术图片
来源:Pexels

但是我有一个想法。每当身处恶劣的情况,总有一些办法可能奏效。大部分拒绝是在简历筛选阶段收到的。结果,我没有机会展示技术技能。为了避免此类担忧,我认为需要在简历中添加深度学习发表作品。

我联系了麻省理工学院的博士后 Alexey Shvets,并提出了一个建议:

  1. 查找下一个具有竞赛记录的深度学习会议。
  2. 训练模型,创建提交,获得最后的位置(我认为如果人们花几年来解决某个问题,那么对他们来说很难成为合法的竞争)
  3. 在学术数据集上写预印本或论文,描述我们的解决方案。

他同意了,我们寻找适合的会议,遇到了发生在三周内的MICCAI。它有一家名为 内窥镜视觉挑战赛的工厂,举办了一些计算机视觉竞赛。截止日期为8天。

我们选择了第一个挑战,GIANA。该问题有三个分级挑战。在接下来的8个晚上,我调整了在Kaggle竞赛中使用的管道、重构代码并训练新模型。Alexey撰写了描述这个方法的报告。我们坚信自己在排名榜末尾。因此,我并没有对该问题投入太多时间。我们将提交的内容和报告发送给了组织者。我认为这将是小冒险的终结。事实并非如此,Alexey发现该研讨会还举办了另一项名为机器人仪器分割的比赛,包括三个子挑战,且截止日期延长至四天。他问我是否愿意试试这些挑战。我同意了,把自己关了四个晚上,然后为组织者制作代码、模型并进行了预测。

该挑战来自一个警告:团队的一员需要前往MICCAI和展示结果。最终状态仅在会议公布。

我从未去过魁北克市和加拿大,因此我很高兴并同意前往。

研讨会的那天到来了。我参加该研讨会,发现了由热情四溢的医学影像专家组成的庞大团体,他们彼此了解。我不认识任何人,也无法开启谈话,因为我总体上能适应深度学习和计算机视觉。尽管如此,医学影响所有细节对我来说还是有些陌生。

第一个挑战的呈述开始了。来自各个大学的团队表达他们的解决方案。很难去评判方案的好坏程度,但是很明显他们投入了很多准备工作。轮到我了。我走到讲台,告诉听众我不是该领域的专家,而且我们只是将这次挑战作为深度学习的一次练习,为浪费他们的时间而感到抱歉,然后展示了两张幻灯片。

组织者展示了结果。

1.第一部分挑战—我们是第一名。
2.第二部分挑战—我们是第三名。
3.第三部分挑战—我们是第一名。

整体第一名(官方新闻稿)

技术图片

到第二个挑战了,其截止日期改为四天了。不同的团队介绍了他们的解决方案。我再次为浪费听众的时间而道歉并展示了我们的两张幻灯片。

第一,第二,第一。总体排名第一。

直至今日,我都记得那一刻。我正站在现场,组织者正在准备支票和礼物。我和Alexey胜利地走出来,但是我不禁对这明显的荒谬感到沮丧。在医学影像领域都没有专业知识的某些家伙在两次挑战中都名列第一,这是如何发生的呢?然而,以从事医学影像工作为生的人会使用更弱的模型吗?

我问听众:“你们知道我在哪里工作吗?”除了审查过我LinkedIn个人资料的一个组织者之外,没人知道。我告诉他们我在收债公司TrueAccord工作,工作中并没有训练深度学习模型。我感叹自己无法摆脱这种模式,因为Google Brain和DeepMind的人力资源甚至都没看我的简历。

在激动人心的演讲结束后,观众席中DeepMind卫生团队的成员在休息期间问我是否有兴趣面试他们团队的研究工程师职位。

我认为这是有史以来第一次,收债公司赢得了医学影像比赛。:)

不久之后,我收到了Lyft的录取通知,这是我目前工作的地方。在TrueAccord和Lyft之间的间隔期间,我参加了Kaggle上的 Carvana 图像掩模挑战。GIANA的方法使我到了排行榜的后20%。也不断提出了新的想法,Vladimir Iglovikov、Alexander Buslaev和Artem Sanakoyeu的团队在735位中排名第一。

这场竞赛是第一个重大挑战,团体开始在UNet类型结构中使用预训练编码器。这是当前的规范并且存在许多出色的库,可以通过各种不同的预训练编码器来获得不同的分段网络。但在当时,想法十分新颖。该挑战促成了名为TernausNet的预印本,这是我和Alexey为了好玩,令人惊讶地是这竟是我引用最多的作品。

技术图片
来源:Pexels

8个月内,我在感兴趣的领域找到了一份满意的工作。那段时间是艰苦的。尝试新事物时会犯错误。每当失败时,会感觉自己真愚蠢。经历一次一次失败后,可能开始对自己失去信心。但是记住你是在学习新事物。迈出的每一步会更接近预期目标。

在过去几年里,我在自己的谷歌学术资料中添加了深度学习论文:)

技术图片

留言点赞发个朋友圈

我们一起分享AI学习与发展的干货

编译组:王小燕
相关链接:
https://towardsdatascience.com/how-i-found-my-current-job-3fb22e511a1f

如转载,请后台留言,遵守转载规范

推荐文章阅读

ACL2018论文集50篇解读
EMNLP2017论文集28篇论文解读
2018年AI三大顶会中国学术成果全链接
ACL2017论文集:34篇解读干货全在这里
10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你

技术图片

打怪升级,看俄罗斯小哥是如何从互联网转行到自动驾驶行业?

标签:and   时间序列   团队   切换   pmi   国防   nlp   首页   改变   

原文地址:https://blog.51cto.com/15057819/2565869

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!