微信公众号文章采集工具,可采集文章文字内容信息及图片

自媒体时代,微信公众号无疑是干货集中营,关于微信公众号文章的抓取也是不少爬虫爱好者研究的地方,本渣渣也不例外,献上自己的初夜,哦不初次。。

pic_001.jpg

只能单篇采集,想要批量的可直接看文章末尾的推荐!

可作为微信公众号文章图片采集助手使用!

pic_002.jpg

需知:

1.exe程序运行环境为win7 64位操作系统!

2.部分文章图片采集存在BUG,望见谅!

3.工具为python编写,技术渣,只能到这里了!


微信公众号文章采集工具说明:

1.打开weixincj.exe文件

2.输入需要采集的微信公众号文章链接地址

3.回车等待程序运行

4.采集完毕5s后程序自动退出

pic_003.gif

采集过程中会自动生成目录 weixin

采集完毕,采集内容存放于weixin目录下的微信公众号文章标题目录

内容为图片及txt文档

pic_004.gif

下载地址

百度云:

链接: 

https://pan.baidu.com/s/1pCqptL6QwnP2eUeyAABnYA 

提取码: 

sxca


需知:

exe程序运行环境为win7 64位操作系统!


提示:

不一定保证格式内容及图片完整性!


附上主要python源码:

#微信文章页采集
# -*- coding: UTF-8 -*-
#by 微信:huguo00289
import requests
import re,time,os
from bs4 import BeautifulSoup
from baocun import bctp,bcwb
from fake_useragent import UserAgent

def ua():
    ua = UserAgent()
    headers = {"User-Agent": ua.random}
    return headers

def get_content(url):
    headers=ua()
    respnese=requests.get(url,headers=headers).text
    soup=BeautifulSoup(respnese,'lxml')
    #获取标题
    h2=soup.find('h2',class_="rich_media_title").get_text()
    h2=h2.replace('\n','')
    h2 = h2.replace(' ', '')
    h2 = re.sub(r'[\|\/\<\>\:\*\?\\\"]', "_", h2)  # 剔除不合法字符
    print(f'微信公众号文章标题:{h2}')
    os.makedirs(f'weixin/{h2}/',exist_ok=True)
    lj =f'weixin/{h2}/'
    ljj=f'weixin/{h2}/{h2}.txt'
    author=soup.find('div',class_="rich_media_meta_list").find('a',id="js_name").get_text()
    author = author.replace('\n', '')
    author = author.replace(' ', '')
    author=f'来源:{author}'
    print(author)
    i=1
    text=''
    ps=soup.find('div',class_="rich_media_content").find_all('p')
    for p in ps:
        if "img" in str(p):
            try:
                img_url=p.find('img')['data-src']
                print(img_url)
                if "jpeg" == img_url[-4:]:
                    img_name=f'{i}.{img_url[-4:]}'
                else:
                    img_name = f'{i}.{img_url[-3:]}'
                bctp(lj, img_url, img_name)
                p_content=img_name
                i=i+1
            except Exception as e:
                print(f"获取图片数据失败,错误代码:{e}")
                pass
        else:
            p_content=p.get_text()
        text = '%s%s%s' % (text, '\n',p_content)
    texts='%s%s%s%s%s'%(h2,'\n',author,'\n',text)
    print(texts)
    bcwb(ljj, texts)

if __name__ == '__main__':
    url=input("请输入要采集的微信公众号文章链接:")
    print(f'爬虫启动中,请稍后......')
    get_content(url)
    print(f'采集完毕,程序5s后自动关闭!')
    time.sleep(5)

附改进 完整内容抓取,无格式

#微信公众号文章 完整版内容抓取
#by 微信:huguo00289
def cs(url):
    headers = ua()
    respnese = requests.get(url, headers=headers).text
    soup = BeautifulSoup(respnese, 'lxml')
    get_article(soup)


def get_article(soup):
    # 获取标题
    h2 = soup.find('h2', class_="rich_media_title").get_text()
    h2 = h2.replace('\n', '')
    h2 = h2.replace(' ', '')
    h2 = re.sub(r'[\|\/\<\>\:\*\?\\\"]', "_", h2)  # 剔除不合法字符
    print(f'微信公众号文章标题:{h2}')
    os.makedirs(f'weixin/{h2}/', exist_ok=True)
    lj = f'weixin/{h2}/'
    ljj = f'weixin/{h2}/{h2}.txt'
    author = soup.find('div', class_="rich_media_meta_list").find('a', id="js_name").get_text()
    author = author.replace('\n', '')
    author = author.replace(' ', '')
    author = f'来源:{author}'
    print(author)
    # 获取文字内容
    texts = soup.find('div', class_="rich_media_content").get_text()
    texts = '\n'.join(texts.split('。'))  # 以句号 分割文本
    print(texts)
    texts = '%s%s%s%s%s' % (h2, '\n', author, '\n', texts)
    print(texts)
    bcwb(ljj, texts)
    # 获取所有图片
    i = 1
    imgs = soup.find('div', class_="rich_media_content").find_all('img')
    for img in imgs:
        img_url = img['data-src']
        print(img_url)
        if "jpeg" == img_url[-4:]:
            img_name = f'{i}.{img_url[-4:]}'
        else:
            img_name = f'{i}.{img_url[-3:]}'
        bctp(lj, img_url, img_name)
        i = i + 1

源码应用到的保存模块

#by 微信:huguo00289
#存储内容

import requests
import time
from fake_useragent import UserAgent

def ua():
    ua = UserAgent()
    headers = {"User-Agent": ua.random}
    return headers

#下载图片
def bctp(lj,img_url,img_name):
    print("开始下载图片!")
    try:
        r = requests.get(img_url,headers=ua(),timeout=5)
        with open(f'{lj}/{img_name}', 'wb') as f:
            f.write(r.content)
            print(f'下载{img_name}图片成功!')
            time.sleep(1)
    except Exception as e:
        if "port=443): Read timed out" in str(e):
            time.sleep(2)
            try:
                r = requests.get(img_url, headers=ua(),timeout=5)
                with open(f'{lj}/{img_name}', 'wb') as f:
                    f.write(r.content)
                    print(f'下载{img_name}图片成功!')
            except Exception as e:
                print(f'下载{img_name}图片失败!')
                print(f'错误代码:{e}')
                with open(f'{lj}/spider.txt', 'a+', encoding='utf-8') as f:
                    f.write(f'错误代码:{e}---下载 {img_url} 图片失败\n')
        else:
            print(f'下载{img_name}图片失败!')
            print(f'错误代码:{e}')
            with open(f'{lj}/spider.txt', 'a+', encoding='utf-8') as f:
                f.write(f'错误代码:{e}---下载 {img_url} 图片失败\n')

#保存文本内容
def bcwb(ljj,texts):
    print("开始保存文本")
    with open(ljj, 'w', encoding='utf-8') as f:
        f.write(texts)
    print(f'保存文本内容成功!')

附完整版抓取

百度云

链接: 

https://pan.baidu.com/s/1BvWaFM0j0nBPVnhm5-VS4w 

提取码: 

7uiw


如果想要批量抓取微信公众号文章

这里扩展一下:

思路参考:

pic_005.png

1.源码参考:

50行代码爬取微信公众号所有文章

https://www.cnblogs.com/cxiaolong/p/11318439.html


2.微信公众号批量抓取可用程序exe

墙裂推荐!!!

爬取微信公众号文章

来自小锋学长,微信公众号:xfxuezhang

pic_006.jpg

富婆可以+++,听说他不想努力了,yp活好,哦,不对py活好。。