2022-07-13 17:22
python 简单爬取今日头条热点新闻

  今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的;

  在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件,查看该文件发现新闻内容的数据全部存储在data里面,且能发现数据类型为json;如下图:

  这样一来就简单了,只要找到这个文件的requests url即可通过python requests来爬取网页了;

  其中max_behot_time在获取的json数据中获得,具体数据见如下截图: