建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
本文轉(zhuǎn)載自微信公眾號(hào)「Python技術(shù)」，作者派森醬。轉(zhuǎn)載本文請(qǐng)聯(lián)系Python技術(shù)公眾號(hào)。
成都創(chuàng)新互聯(lián)長(zhǎng)期為上千余家客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為岳麓企業(yè)提供專(zhuān)業(yè)的網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)，岳麓網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
自從我們的 Python技術(shù) 作為遷移后，大家留言互動(dòng)好不熱鬧，感謝大家一如既往地支持，我將再接再厲，為大家提供更多更有用的文章。
今天我來(lái)分享一個(gè)遷移過(guò)程的幕后小故事，有料，有趣，來(lái)聽(tīng)聽(tīng)吧。
并不絲滑
遷移公眾號(hào)，是一個(gè)騰訊提供的業(yè)務(wù)，就是將原公號(hào)主體切換到另一個(gè)公號(hào)上，然后收回原公號(hào)。
其中大部分是騰訊來(lái)完成的，但還有些工作，需要自己處理，比如遷移公號(hào)的 關(guān)鍵字消息回復(fù)。
雖然事情不大，但很重要，做不好，讀者就會(huì)找不見(jiàn)源碼，影響大家學(xué)習(xí)效率。
但單操作起來(lái)還是比較費(fèi)勁的，因?yàn)樾枰瑫r(shí)登錄兩個(gè)公眾號(hào)，打開(kāi)兩個(gè)頁(yè)面，來(lái)回切換著操作，很不方便，而且容易搞錯(cuò)。
怎么辦，求神拜佛肯定是沒(méi)有用的，不過(guò)有位大神還真得去拜拜 —— Python!
提取數(shù)據(jù)
既然網(wǎng)頁(yè)上能看到，那么就一定能用爬蟲(chóng)獲取到。
咱們故伎重演，瀏覽器中按下 F12，進(jìn)入魔法世界。
你知道百度的校招啟事就藏在這里嗎?
別說(shuō)是我告訴你的
第一步，先清空請(qǐng)求記錄，刷新頁(yè)面，然后從第一條請(qǐng)求記錄開(kāi)始分析。
實(shí)際上就是看看請(qǐng)求的返回值，是否包含了，頁(yè)面上列表中的數(shù)據(jù)。
幸運(yùn)的是第一條就是，不過(guò)呢，數(shù)據(jù)不是直接給的，而是返回了一個(gè)大 js 腳本，當(dāng)頁(yè)面加載后，運(yùn)算出的。
分析請(qǐng)求
需要勾上 Perserve Log 否則有用頁(yè)面切換可能看不見(jiàn)請(qǐng)求記錄
這個(gè)不是困難，將js復(fù)制出來(lái)，提取其中關(guān)鍵字回復(fù)的信息整理一下就可以了。
問(wèn)題是，每頁(yè)只顯示十條，有二十多頁(yè)，復(fù)雜的成本有點(diǎn)高呀。
得想想辦法，觀察了一下網(wǎng)址，其中有兩個(gè)參數(shù)，一個(gè)是 count，另一個(gè)是 offset，很熟悉呀，不和分頁(yè)參數(shù)是一回事兒?jiǎn)?
分析請(qǐng)求
改一下試試，將 count 改為 1000，offset 改為 0，意思是從第一行開(kāi)始，獲取一千條，按下回車(chē) ……
搞定!
仔細(xì)檢查，確實(shí)返回了所有記錄，因?yàn)榭偣惨矝](méi)有一千行。
現(xiàn)在可以蠻干了，因?yàn)榫透梢淮巍?/p>
復(fù)制出來(lái)，用文本編輯器(最好支持列編輯)簡(jiǎn)單處理一下，得到一個(gè) json
json
所以方法需要靈活應(yīng)用，如果能直接通過(guò)程序獲取最好，如果不行，手動(dòng)輔助也是可以的。
分析寫(xiě)入
接下來(lái)，才是重頭戲，如何將這些數(shù)據(jù)寫(xiě)入。
進(jìn)入新公眾號(hào)的管理后臺(tái)，新建一個(gè)關(guān)鍵字回復(fù)，分析下請(qǐng)求，此時(shí)別忘記，打開(kāi)開(kāi)發(fā)者工具(瀏覽器上按 F12)。
一般提交類(lèi)請(qǐng)求都是第一個(gè)，看一下果然是，不過(guò)肉眼看不清具體數(shù)據(jù)，怎么辦?
還記得前面好多次提到的將請(qǐng)求復(fù)制為 curl bash 嗎?對(duì)就用它，在請(qǐng)求上右鍵，選擇 Copy as cURL(bash)
copy cURL
放在哪里呢?當(dāng)然不是放在文本文件里了，除非你是想做一下暫存。
我們直接粘貼到 https://curl.trillworks.com/ 里，可以直接獲得 轉(zhuǎn)化好的 Python 代碼。
然后將 Python 代碼復(fù)制到文件中，執(zhí)行看看效果，果然，新增了一條記錄。
數(shù)據(jù)處理
下面分析請(qǐng)求數(shù)據(jù)， 與剛才 json 文件中的做對(duì)比，一般名稱(chēng)很相近，所以容易找出來(lái)。
字段相同，可能是來(lái)自同一個(gè)架構(gòu)設(shè)計(jì)，不太可能出自不同的團(tuán)隊(duì)開(kāi)發(fā)，哈哈，我竟然看的這么深!
這樣邊找邊寫(xiě)，等找完，代碼也就完成了，像這樣：
- data = {
- 'replytype': 'smartreply',
- 'ruleid': '0',
- 'rulename': kw['rule_name'], # 規(guī)則名
- 'allreply': kw['reply_all'], # 全回復(fù)
- 'replycnt': kw['reply_cnt'], # 回復(fù)數(shù)量
- 'keywordcnt': len(kw['keyword_list']), # 關(guān)鍵字?jǐn)?shù)量
- 'keyword0': kw['keyword_list'][0]['content'], # 關(guān)鍵字
- 'matchmode0': kw['keyword_list'][0]['match_mode'], # 匹配模式
- 'type0': kw['reply_list'][0]['reply_type'], # 消息類(lèi)型
- 'fileid0': 'undefined',
- 'content0': kw['reply_list'][0]['content'], # 回復(fù)內(nèi)容
- 'token': '105xxxx502',
- 'lang': 'zh_CN',
- 'f': 'json',
- 'ajax': '1'
- }
- kw 就是從 json 中讀取到的每一行回復(fù)數(shù)據(jù)
- token 是登錄憑證，如果不傳或錯(cuò)誤，會(huì)創(chuàng)建失敗，說(shuō)明騰訊還是做了很多防護(hù)的
集成
現(xiàn)在將各部分的代碼組合起來(lái)。
首先是解析 json 的代碼：
- with open("keyword.js", 'r', encoding='utf-8') as word:
- d = json.load(word)
超級(jí)簡(jiǎn)單，利用 json 庫(kù)將 keyword.js 文件中的內(nèi)容轉(zhuǎn)化為 Python List 對(duì)象
然后是數(shù)據(jù)組合，代碼已經(jīng)在上面展示了。
最后發(fā)送請(qǐng)求：
- add(data)
- print('處理完成，休息2秒...')
- time.sleep(2)
- add 方法是將 Python 請(qǐng)求代碼做了下封裝，便于調(diào)用，其中將動(dòng)態(tài)的部分用，通過(guò)參數(shù) data 替換
- time.sleep(2) 是一種友好，休息 2 秒鐘，以免驚醒反爬神獸(友情提醒：驚醒反爬機(jī)制一點(diǎn)都不好玩)
好了，這樣搞定了，寫(xiě)代碼用了一個(gè)多小時(shí)，跑完不到兩分鐘。
收尾
美中不足的是，代碼只照顧了大多數(shù)的一條消息的回復(fù)(代碼中直接獲取的數(shù)組中第一個(gè)元素， 如 kw['reply_list'][0])，還有幾條回復(fù)是多條消息，照顧不上。
如果要照顧，可能的話(huà) 80% 以上的時(shí)間，以兼容 20% 不到的情況，不劃算。
怎么辦?涼拌!—— 直接手動(dòng)添加。
哈哈，我很樂(lè)意做這一點(diǎn)手工活兒。
總結(jié)
類(lèi)似這樣的方式，用在其他的地方，完全是可以的，比如之前的約馬程序，訓(xùn)練營(yíng)運(yùn)營(yíng)數(shù)據(jù)提取 等等，都是一樣的套路：
- 分析瀏覽器的請(qǐng)求，推薦使用 Chrome 瀏覽器
- 將請(qǐng)求復(fù)制為 cURL bash 命令
- 粘貼到 CURL to Python 中提取 Python 代碼
- 修改 Python 代碼，以動(dòng)態(tài)處理數(shù)據(jù)
就這么簡(jiǎn)單，Get 到了嗎?
那，趕緊找個(gè)地方試試吧。
每天進(jìn)步一點(diǎn)點(diǎn)，生活更美好，比心!
文章題目：數(shù)據(jù)搬磚，我竟然沒(méi)動(dòng)手！
轉(zhuǎn)載來(lái)于：http://www.fisionsoft.com.cn/article/dhdhgjc.html
