640?wx_fmt=gif

近期,一起关于爬虫与反爬虫的诉讼案件再次被推到了公众面前。

公交作为互联网从业者的必备通勤工具之一,是出行领域必争的板块。实时公交 APP 也就成为了热门的应用场景,它们不仅可以为用户提供定位、公交路线查询等信息,还涉及路线规划、实时公交信息地理位置等服务。在这其中,“酷米客”和“车来了”是大众使用较为频繁的两款实时公交出行 APP。

640?wx_fmt=jpeg


640?wx_fmt=png

“车来了”授意五名程序员爬取实时公交数据,竟构成犯罪行为


2012 年 10 月,深圳谷米科技有限公司推出了酷米客实时公交 APP。通过在公交车上安装定位器,酷米客获得了海量的实时公交位置数据,具有定位精度高、实时误差小等明显优势,并迅速吸引了大批市场用户。目前,酷米客 APP 拥有超过 5000 万的注册量,每日活跃用户超过 400 万。

但是 2015 年 11 月的时候,同为实时公交 APP 的“车来了”为了提升市场份额和信息查询准确度,竟授意五位程序员员工利用爬虫软件获取酷米客公司服务器的公交车行驶信息、到站时间等实时数据。

厉害的是,这五位程序员分工十分明确:一位负责编写爬虫软件程序;一位负责不断更换爬虫软件程序内的 IP 地址,以防止被察觉;一位利用所设置的不同 IP 地址及爬虫程序向酷米客发出数据请求;一位负责破解酷米客客户端的加密算法;在破解失败后,另一位员工又聘请其他公司的技术人员帮忙攻破加密系统,使得爬虫工作得以顺利实施。这一系列数据操作“成效”斐然,帮助“车来了”获取了大量的酷米客实时数据,日均可达 300-400 万条。

花费了巨大人力、时间和经济成本所获得的信息却被同行窃取了,还直接挤压了自身的竞争优势和交易机会,这让酷米客怎么甘心?

一怒之下,2016 年,酷米客将车来了告上了法庭。历时两年之久,这场纠纷案才最终一锤定音。今年 5 月,法院裁定车来了立即停止获取、使用酷米客实时公交位置数据的不正当竞争行为,并赔偿其经济损失。

想必看到这里,大家最为关心的问题是那五位程序员会获罪吗?虽然在诉讼过程中,五位程序员员工利用网络爬虫二次获取公交车辆实时信息的行为都只是因为履行工作职责,没有用于谋取个人私利。然而,酷米客后台服务器存储的数据具有巨大的商业价值,未经其许可,任何人不得非法获取该软件的后台数据并用于经营行为——因此他们必须承担连带责任。

对此,中关村大数据联盟副秘书长陈新河老师告诉 CSDN(ID:CSDNnews),“数据爬虫的违法边界一直是互联网争议的热点,尤其是在大数据时代,随着内容数据价值的日益凸显,爬虫侵权案也越来越多。”身处其中的程序员们,面对上级下发的“爬虫需求”,是难以置身事外的,一不小心可能就入了局。


640?wx_fmt=png

爬虫犯罪的判定仍不明确,尚处于灰色地带


事实上,爬虫犯罪一直是个难以界定的灰色地带。

网络爬虫是一种自动获取网页内容的程序,通常情况下它是不违法的,比如很多人都会用到的百度搜索,除去其自营的百度知道、百度百科等,几乎都是爬虫采集下来的。作为一门技术,爬虫本身并不违法,所以大多数情况下都可以放心大胆地用。一般而言,常见的爬虫手段包括有构造合理的 HTTP 请求头、设置 cookie、降低访问频率、隐含输入字段值、使用代理等等。

比如 CSDN 此前就曾分享过盘点一些网站的反爬虫机制》,作者极客猴,获作者授权使用;

  • 感谢陈新河老师对本文提供的指导意见。

  • 640?wx_fmt=gif


    征稿啦

    CSDN 公众号秉持着「与千万技术人共成长」理念,不仅以「极客头条」、「畅言」栏目在第一时间以技术人的独特视角描述技术人关心的行业焦点事件,更有「技术头条」专栏,深度解读行业内的热门技术与场景应用,让所有的开发者紧跟技术潮流,保持警醒的技术嗅觉,对行业趋势、技术有更为全面的认知。

    如果你有优质的文章,或是行业热点事件、技术趋势的真知灼见,或是深度的应用实践、场景方案等的新见解,欢迎联系 CSDN 投稿,联系方式:微信(guorui_1118,请备注投稿+姓名+公司职位),邮箱(guorui@csdn.net)。


    ————— 推荐阅读 —————

    640?wx_fmt=png

    640?wx_fmt=png

    640?wx_fmt=png640?wx_fmt=gif640?wx_fmt=gif

Logo

20年前,《新程序员》创刊时,我们的心愿是全面关注程序员成长,中国将拥有新一代世界级的程序员。20年后的今天,我们有了新的使命:助力中国IT技术人成长,成就一亿技术人!

更多推荐