完美假期第一步：用Python寻找最便宜的航班！
|
副标题[/!--empirenews.page--]
大数文摘出品 编译：高延、熊琰、胡笳、蒋宝尚 “你喜欢旅游吗?” 这个简单的问题经常会得到一个积极的回复甚至还会额外收到一个或两个冒险的故事。通常来讲，旅行是一种体验新文化和拓宽自己视野的好方法。 但如果把问题换成“你喜欢查机票的过程吗?”，我敢肯定大家的反应一定会不那么热情...... 那么，用Python解决你的难点吧!本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格! 具体做法是对特定目的地以及灵活的日期范围(根据你选择的日期前后最多3天)进行航班价格搜索。 搜索结果保存到一个excel中并为你发送一封展示快速统计信息的电子邮件。显然，最终的目的是帮助我们找到最优惠的价格! 如果你真的想试试，你可以在服务器上执行这个脚本(一个简单的Raspberry Pi就可以(注：Raspberry Pi树莓派又称卡片式电脑，外形只有信用卡大小，运算性能和智能手机相仿。So大家在自己笔记本电脑上折腾就足够了。。))，并且每天运行一次或两次。它会将检索结果以邮件的形式发给你，我建议将excel文件保存到Dropbox云端，这样你就可以随时随地访问它。 注：Dropbox是一个类似于百度云的云端服务
我还是没找到任何错误低价票，但我想还是有可能的! 它会根据“弹性日期范围”进行检索，以便查找你首选日期的前后最多3天的所有航班。尽管该脚本一次只适用于一组from/to目的地，但你可以轻松地调整它在每个循环内运行多组行程目的地。你甚至可能最终找到一些错误低价票......简直棒极了! 爬虫脚本 当我第一次开始做网络爬虫时，我对这块并不特别感兴趣。我本想用预测建模，财务分析和一些情绪分析来做更多的项目，但事实证明，弄明白如何构建第一个网络爬虫是很有趣的。随着我不断学习，我意识到网络抓取是互联网运转的精髓。
是的......就像Larry 和 Sergey一样，在启动爬虫程序后去尽情享受按摩浴缸吧! 你可能认为这是一个非常大胆的想法，但如果我告诉你谷歌就诞生于Larry 和 Sergey通过Java和Python写的爬虫程序呢?谷歌通过爬取整个互联网来试图为你的问题提供最佳答案。有非常多关于网络爬虫的应用程序，即便你更喜欢数据科学中的其他主题，你仍然需要一些爬虫技能来获取想要的数据。 Python可以来拯救你 第一个挑战是选择从哪个平台抓取信息。这其实并不容易，但我最终选择了Kayak。决定之前我尝试了Momondo，Skyscanner，Expedia等等，但这些网站上的验证码部分真的是让人抓狂。经过几次尝试选择交通信号灯，人行横道和自行车的这种“你是真人吗”的检查后，我的结论是Kayak是目前最好的选择，即使它在短时间内加载太多页面时也会抛出安全性校验。 我设置机器人以4到6小时的间隔来查询网站，这样就不会有问题了。在这里和那里偶尔可能会出现卡壳中断现象，但是如果你遇到验证码校验，那么你需要手动进行验证码认证，确认完毕后再启动机器人程序，然后等待几个小时它就会重置。你也可以随意将这些代码应用到其他平台，欢迎你在评论部分分享你的应用! 如果你是个爬虫新手，或者还不了解为什么有一些网站总会设置各种障碍来阻止网络抓取，那么在写第一行爬虫代码之前，请你先阅读了解一下谷歌“ 网络抓取礼仪 ”。如果你像疯子一样准备好了开始网络抓取，你获得努力成果可能会比你想象的要快得多。 网络抓取礼仪 ：http://lmgtfy.com/?q=web+scraping+etiquette 请系好安全带…… 打开chrome标签页后，我们将定义一些在循环内使用的函数。关于整体结构的大致想法是这样的：
OK，每个Selenium项目都将以webdriver作为开头。我用的是ChromeDriver，当然还有其他选择。比如，PhantomJS或Firefox也很受欢迎。webdriver下载好之后，将其放在一个文件夹中就可以了。代码的第一行将会自动打开一个空白的Chrome标签页。 请注意，我不是在这里开辟新天地，或是提出一种非常具有开拓性的创新。当下确实已经有更先进的方法来寻找便宜的票价，但我希望我的这个帖子可以跟大家分享一些简单而实用的东西! 这些是我用于整个项目所引用的包。我将使用randint来让机器人在每次搜索之间随机停顿几秒钟。这是所有机器人所必备的功能。如果你运行了前面的代码，则需要先打开一个Chrome网页窗口作为机器人检索的入口。 所以，先让我们来快速测试一下，在新网页打开kayak.com。选择你要飞往的城市和日期。选择日期时，请务必选择“+ -3天”。我已经编写了相关的代码，如果你只想搜索特定日期，那么你需要适当地进行一些调整。我将尽量在整个文本中指出所有的变动值。 点击搜索按钮并获取地址栏中的链接。这个链接应该就是我在下面需要用的链接，在这里我将变量kayak定义为url并调用webdriver的get方法。你的搜索结果接下来应该就会出现了。
（编辑：厦门站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
