爬了知乎“沙雕问题”，笑死个人！

这两天偶然上网的时候，被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引。

图片来自 Pexels

本以为只是小打小闹，殊不知这个问题却在知乎上引发了强烈共鸣，浏览次数 500W+，7000+ 关注：

于是乎就激发了去探索知乎上“沙雕”问题的想法，通过 Python 爬取这些问题的内容，浏览次数，关注人数，总结一份权威(搞笑)的“沙雕”问题排行榜!

数据来源

知乎非常“贴心”地专门有一个问题可以满足我们的需求，出人意料的是这个问题居然有 243 个回答，并且陶飞同学获得了 3W+ 的赞同。

我们从中爬取了所有回答中出现的问题链接，共用 400 多个问题，其中陶飞就提供了 200+，在此向陶飞同学表示感谢，帮助我们构建了“沙雕数据库”。

这部分代码如下：

import re 

import selenium 

from selenium import webdriver 

import requests 

from bs4 import BeautifulSoup 

import pandas as pd 

import time 

driver = webdriver.Chrome() 

driver.maximize_window() 

url = 'https://www.zhihu.com/question/37453271' 

js='window.open("'+url+'")' 

driver.execute_script(js) 

driver.close() 

driver.switch_to_window(driver.window_handles[0]) 

for i in range(100): 

     js="var q=document.documentElement.scrollTop=10000000"   

     driver.execute_script(js) 

all_html = [k.get_property('innerHTML') for k in driver.find_elements_by_class_name('AnswerItem')] 

all_text = ''.join(all_html) 

#all_text = all_text.replace('u002F','/') 

all_text = all_text.replace('questions','question') 

pat = 'question/d+' 

questions = list(set([k for k in re.findall(pat,all_text)])) 

获得到了问题的对应的编号后，就可以去各自的页面获取各个问题对应的的标题、浏览数等信息，如下图所示：

这部分代码如下：

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0', 

'Connection': 'keep-alive'} 

cookies ='v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18' 

cookie = {} 

for line in cookies.split(';'): 

    name, value = cookies.strip().split('=', 1) 

    cookie[name] = value 

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!