Python學習之抖音視頻爬取

抓包

我們要爬取之前，要先拿到獲取視頻的網絡請求包，按下鍵盤上的F12，打開“開發者工具（DevTools）”，點擊網絡（Network），然後找一個別人的抖音主頁

點進去之後，點擊刷新，找到一個叫“post/?device=”的請求包

然後右鍵複製，以cURL（bash）格式複製，隨便找一個cURL轉python的網站，轉換成python代碼，然後將代碼創建爲python文件

最後只需要在代碼最後添加如下代碼

aweme_list = response.json().get('aweme_list')

for aweme in aweme_list:

    title = aweme.get('desc')

    url = aweme.get('video').get('play_addr').get('url_list')[-1]

    video_content = requests.get(url, cookies=cookies, headers=headers)

    with open(f"./dou_video/{title}.mp4", "wb") as f:

        f.write(video_content.content)

    print(f"視頻：{title}-----下載完成！")

f.close()

以上代碼意思：通過解析響應的json文件，獲取其中aweme列表，然後循環這個列表，獲取每個視頻的信息，從中取出視頻標題，視頻鏈接，然後打開文件，將視頻內容保存到dou_video文件中，以視頻名作爲文件名

如果想要修改爬取的抖音主頁，可以修改params字典中sec_user_id的值

這裏只是進行一下簡單的json解析，只解析了title和視頻，如果想要增加更多功能，比如按照視頻作者、視頻標籤分類，或是增加運行效率，可以採用多線程方式，進一步解析並構建代碼

最後來看一下爬取的效果

這裏報錯是因爲視頻標題存在特殊符號，所以代碼還需要進一步完善，比如對標題中的特殊符號進行處理