100天搞定机器学习|Day21 Beautiful Soup

Day21，Avik-Jain学习了关于如何使用Beautiful Soup进行网络爬虫的教程。

网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。通俗来说就是模拟用户在浏览器上的操作，从特定网站，自动提取对自己有价值的信息。主要通过查找域名对应的IP地址、向IP对应的服务器发送请求、服务器响应请求，发回网页内容、浏览器解析网页内容四个步骤来实现。

什么Beautiful Soup

Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。 Beautiful Soup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活地提供不同的解析策略或强劲的速度。 https://www.crummy.com/software/BeautifulSoup/bs4/doc/

需要声明的是，爬虫是个非常复杂的技术，需要完备的知识体系。

技术体系： 数据采集、数据存储、动态网页爬取、APP爬取、验证码破解、模拟登陆、代理试用、爬虫框架、分布式爬取等等。 目前主流的网络爬虫工具是python，涉及的库和工具： 网页爬取：urlib、requests、aiohttp、Selenium、Splash 网页解析：re、lxml、Beautiful Soup、pyquest 数据存储：JSON、XML、CSV、MySQL、MongoDB、Redis Web组件：Flask、Tornado 处理反爬：Tesserocr、ADSLProxy、ProxyPool、PookiesPool APP爬取：Charles、mitmproxy、mitmdump、Appium 爬虫框架：pyspider、Scrapy、Scrapy-Redis、Scrapy-Splash 管理部署：Docker、Scrapyd、Scrapyd-API、Scrapyd-Client、Gerapy

数据挖掘从业者学习爬虫更多是为数据分析需要，但爬虫本身也可以发展为职业，随手截两个高级爬虫工程师的岗位职责。