#本代碼作用：爬取貼吧的頁面信息 '''觀察發(fā)現(xiàn)在百度貼吧搜索python時： 1、百度貼吧第1頁網(wǎng)址：http://tieba.baidu.com/f?ie=utf-8&kw=python&fr=search&red_tag=p0106761335 2、百度貼吧第1頁網(wǎng)址：http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50 3、百度貼吧第1頁網(wǎng)址：http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=100 4、百度貼吧第1頁網(wǎng)址：http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=150 觀察上面的網(wǎng)址規(guī)律發(fā)現(xiàn)kw=python,即搜索關(guān)鍵字在ke=后面，同時網(wǎng)頁地址最后為pn=50*(n-1), 即可得出結(jié)論第一頁的網(wǎng)址應(yīng)該為:http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0 測試結(jié)果第一頁的網(wǎng)址確實如此 '''
下圖所示：
代碼如下：
#1、下面開始導(dǎo)入相應(yīng)的模塊
import requests
from bs4 import BeautifulSoup
import time
#2、設(shè)置請求網(wǎng)址，即百度貼吧
def spider1(begin,end,kw):
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
} #設(shè)置請求頭
for page in range(begin,end): #遍歷range對象的數(shù)值，相當于遍歷頁碼
pn=(page-1)*50 #將（頁碼的值-1）*50賦值給pn
url="http://tieba.baidu.com/f?kw="+str(kw)+"&ie=utf-8&pn="+str(pn) #設(shè)置網(wǎng)頁地址為百度貼吧地址，kw為搜索關(guān)鍵字，pn為頁碼的轉(zhuǎn)換值
response=requests.get(url,headers=headers) #對網(wǎng)站進行g(shù)et請求，并偽裝成瀏覽器進行請求
response.encoding="utf-8" #自動解析編碼格式并賦值給response.encoding
html=response.text #將網(wǎng)頁源代碼賦值給html
print("開始打印百度貼吧關(guān)鍵字是：{}的第{}頁網(wǎng)頁源代碼{}".format(kw,page,html))
time.sleep(1) #時間休眠1秒
print("第{}頁打印完成".format(page)) #打印第多少頁打印完成
spider1(1,5,"python")
運行結(jié)果如下圖所示：
信不少手機用戶都有在手機瀏覽器閱讀文章，看到一半時被跳轉(zhuǎn)至 App 下載頁的經(jīng)歷，這種現(xiàn)象大大降低了手機瀏覽器的閱讀體驗。
據(jù)網(wǎng)友反饋，近期百度貼吧、百家號移動端網(wǎng)頁現(xiàn)在可以不跳轉(zhuǎn) App 查看全文和全部評論了，而百家號還默認直接展開全文查看。
經(jīng)測試確實如此，不僅是手機網(wǎng)頁，就連 PC 電腦端網(wǎng)頁也不用提示點擊繼續(xù)閱讀了。而是會在網(wǎng)頁出現(xiàn)百度貼吧或者百度 App 的按鈕，顯示點擊打開 App。
3 月初，工信部表示，近日，有網(wǎng)友和媒體反映部分網(wǎng)站在用戶瀏覽頁面信息時，強制要求下載 App 問題。工業(yè)和信息化部信息通信管理局對此高度重視，立即組織核查，并于日前召開行政指導(dǎo)會，督促相關(guān)互聯(lián)網(wǎng)企業(yè)進行整改。
會議要求，相關(guān)互聯(lián)網(wǎng)企業(yè)要堅持以人民為中心的發(fā)展思想，嚴格遵守相關(guān)法律法規(guī)要求，時刻把維護用戶權(quán)益和改善服務(wù)體驗作為贏得用戶的根本，自查自糾、立行立改，堅決糾正存在的問題。
在用戶瀏覽頁面內(nèi)容時，一是未經(jīng)用戶同意或主動選擇，不得自動或強制下載 App；推薦下載 App 時，應(yīng)同步提供明顯的“取消”選項，切實保障用戶的知情權(quán)、選擇權(quán)。
二是無合理正當理由，不得要求用戶不下載 App 就不給看，或者不讓看全文。
三是不得以折疊顯示、主動彈窗、頻繁提示、降低體驗等方式強迫、誤導(dǎo)用戶下載、打開 App，或跳轉(zhuǎn)至應(yīng)用商店，影響用戶正常瀏覽信息。
∧ 可能如今的年輕人都對3GQQ家園一無所知：
3GQQ是wap網(wǎng)門戶時代，2008年由騰訊推出的一款社區(qū)平臺。
?2008年還是按鍵手機主宰天下，許多人的家中仍在使用座機進行簡單的通訊。
? 那時候大家不是為了上網(wǎng)而上網(wǎng)，而是為了掛qq而上網(wǎng)，通常只要一去網(wǎng)吧，就有一堆人找你幫忙掛qq。
?即使當時的按鍵手機有網(wǎng)絡(luò)，但許多手機也是不支持安裝qq的。
◆作為當時最火熱的聊天工具——qq。為了滿足這類有網(wǎng)不能安裝qq應(yīng)用人群的需求，于是就推出了當時的網(wǎng)頁版qq——3GQQ門戶。
○ 3GQQ除了有即時通訊、空間、微博等功能，還開擴了一個版塊叫qq家園。qq家園更多的是像一個論壇，或者說貼吧。
○ 這里有許多的小游戲，你可以組建一個家族，改頭銜、做任務(wù)、給家族升級，然后獲得成就和GB（QQ家園的虛擬貨幣可以用來購買種子或者游戲道具）。
精武堂，縱橫四海，魔法花園，愛寵國，升職記，非仙勿擾，穿越皇朝，Q寵大樂斗.......
○如果說手游更多的是打發(fā)時間，而當時的網(wǎng)頁游戲可能更多的是為了交友。
○當時的qq家園幾乎每一款網(wǎng)頁游戲都有公共交流區(qū)，只要一上線就可以和來自五湖四海各個幫派的人聊天。
○ 這個小斧子和老爺頭可能是最權(quán)威的象征了。而超級qq，最終也qq會員所取代了。
記得學(xué)生時代的追了幾年了穿越皇朝，即使窮的叮當響，也要往游戲里面沖錢。去網(wǎng)吧買點卡、充q幣、買話費卡充vip，當時好像是消費一萬就是是v4吧！
○當時是為了玩游戲而玩游戲，到后來就真的是因為跟游戲里的那群人一起產(chǎn)生了感情。一起凌晨12點搶資源，打幫戰(zhàn)，聊天，世界罵戰(zhàn)(?真的忘了)好像還可以結(jié)婚，買婚戒？然后沒過多久，人氣下降、開新服、又合區(qū)，就都走散了。（這也是騰訊的一貫套路）
●楊柳依依，天下沒有不散的宴席。