【前言】
在日常工作中或学习上,经常要搜集一些教程,有时要的是单个资料,有时想获取的是整个科目的学习资源,在找到这些想要的资源后,发现有的教程是在线的,不提供离线版本,或者是提供下载,但是不是你熟悉的PDF文件,这就显得有些局限了。
那么作为一名程序员,在遇到任何电脑相关的问题,我们都应解决它,今天小编就来跟大家聊聊如何将在线教程下载下来并保存为PDF文件,以供查阅。
全文分为4个阶段:爬取网站介绍、环境准备工作、爬取内容、完整代码。
一、爬取网站介绍
本文以爬取" Read the Docs "网站教程为例,该网站是一个类似于" github "的网站,同样是一个可以提供创建、托管和浏览文档的网站,在上面可以找到很多优质的资源,感兴趣的朋友去查看一下(赤裸裸的做了一波广告,抱头)。其网址为:https://readthedocs.org/
我们将以爬取“python3-cookbook ”这个资源为例,如下图:
从文中我们可以找到文章的下载地址,当时仅提供 HTML 格式的文件下载,并不是我们想要的 PDF 格式:
下面我们就来动手将该教程爬取下来,并让它保存成PDF格式文件。
二、环境准备工作
在开始本教程前需要准备几个环境,(1)安装wkhtmltopdf软件 (2)安装各种依赖库
1、软件安装
windowns 平台:
软件下载地址:http://wkhtmltopdf.org/downloads.html
手动安装完成后,将该程序的bin执行路径加入到系统环境 $PATH 变量中,否则后面无法使用。
提醒:添加完成记住重启电脑刷新哦~~~
Linux 平台:
直接使用命令安装:
$ sudo apt-get install wkhtmltopdf # ubuntu $ sudo yum intsall wkhtmltopdf # centos
2、依赖库安装
- pip install requests # 用于网络请求
- pip install beautifulsoup4 # 用于 html 元素处理
- pip install pdfkit # wkhtmltopdf 的Python封装包
- pip install PyPDF2 # 用于合并pdf
三、爬取内容
本文演示地址:http://python3-cookbook.readthedocs.io/zh_CN/latest/
3.1 获取教程名称
按键盘F12调出开发者工具,使用定位工具定位到页面的左边文章目录,具体如下:
① 点击开发者工具左上角"选取页面元素"按钮;
② 用鼠标点击左上角教程名称处。
通过以上步骤即可定位到目录元素,用图说明:
从图看到我们需要的教程名称包含在<div class="wy-side-nav-search"></div>
之间的<a>
标签里。假设我们已经获取到了网页的源代码,这时我们就可以使用以下代码来获取该资源的“名称”信息了:
book_name = soup.find('div', class_='wy-side-nav-search').a.text
3.2 获取目录及对应网址
使用与 2.1 相同的步骤来定位内容:
从图看到我们需要的目录包含在<div class="section"></div>
之间,<li class="toctree-l1"></li>
标签里为一级目录及网址;<li class="toctree-l2"></li>
标签里为二级目录及网址。当然这个url是相对的url,前面还要拼接http://python3-cookbook.readthedocs.io/zh_CN/latest/
。
接下来使用BeautifulSoup进行数据的提取,源码如下:
# 全局变量 base_url = 'http://python3-cookbook.readthedocs.io/zh_CN/latest/' book_name = '' chapter_info = [] def parse_title_and_url(html): """ 解析全部章节的标题和url :param html: 需要解析的网页内容 :return None """ soup = BeautifulSoup(html, 'html.parser') # 获取书名 book_name = soup.find('div', class_='wy-side-nav-search').a.text menu = soup.find_all('div', class_='section') chapters = menu[0].div.ul.find_all('li', class_='toctree-l1') for chapter in chapters: info = {} # 获取一级标题和url # 标题中含有'/'和'*'会保存失败 info['title'] = chapter.a.text.replace('/', '').replace('*', '') info['url'] = base_url + chapter.a.get('href') info['child_chapters'] = [] # 获取二级标题和url if chapter.ul is not None: child_chapters = chapter.ul.find_all('li') for child in child_chapters: url = child.a.get('href') # 如果在url中存在'#',则此url为页面内链接,不会跳转到其他页面 # 所以不需要保存 if '#' not in url: info['child_chapters'].append({ 'title': child.a.text.replace('/', '').replace('*', ''), 'url': base_url + child.a.get('href'), }) chapter_info.append(info)
代码中定义了两个全局变量来保存信息。章节内容保存在chapter_info列表里,里面包含了层级结构,大致结构为:
[ { 'title': 'first_level_chapter', 'url': 'www.xxxxxx.com', 'child_chapters': [ { 'title': 'second_level_chapter', 'url': 'www.xxxxxx.com', } ... ] } ... ]
3.3 获取章节内容
还是用同样的方法定位章节内容:
代码中我们通过itemprop
这个属性来定位,好在一级目录内容的元素位置和二级目录内容的元素位置相同,省去了不少麻烦。
html_template = """ <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> </head> <body> {content} </body> </html> """ def get_content(url): """ 解析URL,获取需要的html内容 :param url: 目标网址 :return: html """ html = get_one_page(url) soup = BeautifulSoup(html, 'html.parser') content = soup.find('div', attrs={'itemprop': 'articleBody'}) html = html_template.format(content=content) return html
3.4 保存内容为PDF文件
def save_pdf(html, filename): """ 把所有html文件保存到pdf文件 :param html: html内容 :param file_name: pdf文件名 :return: """ options = { 'page-size': 'Letter', 'margin-top': '0.75in', 'margin-right': '0.75in', 'margin-bottom': '0.75in', 'margin-left': '0.75in', 'encoding': "UTF-8", 'custom-header': [ ('Accept-Encoding', 'gzip') ], 'cookie': [ ('cookie-name1', 'cookie-value1'), ('cookie-name2', 'cookie-value2'), ], 'outline-depth': 10, } pdfkit.from_string(html, filename, options=options) def parse_html_to_pdf(): """ 解析URL,获取html,保存成pdf文件 :return: None """ try: for chapter in chapter_info: ctitle = chapter['title'] url = chapter['url'] # 文件夹不存在则创建(多级目录) dir_name = os.path.join(os.path.dirname(__file__), 'gen', ctitle) if not os.path.exists(dir_name): os.makedirs(dir_name) html = get_content(url) padf_path = os.path.join(dir_name, ctitle + '.pdf') save_pdf(html, os.path.join(dir_name, ctitle + '.pdf')) children = chapter['child_chapters'] if children: for child in children: html = get_content(child['url']) pdf_path = os.path.join(dir_name, child['title'] + '.pdf') save_pdf(html, pdf_path) except Exception as e: print(e)
3.5 合并 PDF 文件
在上一步中,我们把所有章节的pdf都保存下来了,最后我们希望留一个汇总的pdf,这时只需要合并所有pdf并删除单个章节pdf即可。
from PyPDF2 import PdfFileReader, PdfFileWriter def merge_pdf(infnList, outfn): """ 合并pdf :param infnList: 要合并的PDF文件路径列表 :param outfn: 保存的PDF文件名 :return: None """ pagenum = 0 pdf_output = PdfFileWriter() for pdf in infnList: # 先合并一级目录的内容 first_level_title = pdf['title'] dir_name = os.path.join(os.path.dirname( __file__), 'gen', first_level_title) padf_path = os.path.join(dir_name, first_level_title + '.pdf') pdf_input = PdfFileReader(open(padf_path, 'rb')) # 获取 pdf 共用多少页 page_count = pdf_input.getNumPages() for i in range(page_count): pdf_output.addPage(pdf_input.getPage(i)) # 添加书签 parent_bookmark = pdf_output.addBookmark( first_level_title, pagenum=pagenum) # 页数增加 pagenum += page_count # 存在子章节 if pdf['child_chapters']: for child in pdf['child_chapters']: second_level_title = child['title'] padf_path = os.path.join(dir_name, second_level_title + '.pdf') pdf_input = PdfFileReader(open(padf_path, 'rb')) # 获取 pdf 共用多少页 page_count = pdf_input.getNumPages() for i in range(page_count): pdf_output.addPage(pdf_input.getPage(i)) # 添加书签 pdf_output.addBookmark( second_level_title, pagenum=pagenum, parent=parent_bookmark) # 增加页数 pagenum += page_count # 合并 pdf_output.write(open(outfn, 'wb')) # 删除所有章节文件 shutil.rmtree(os.path.join(os.path.dirname(__file__), 'gen'))
本来 PyPDF2库 中有一个PdfFileMerger
专门用来合并pdf,但是在合并过程中会抛出异常,网上有人也遇到同样的问题,解决办法是修改库源码,本着“不动库源码”的理念,毅然选择了上面这种比较笨的办法,代码还是比较好理解的。
经过以上几个步骤,我们想要的pdf文件已经生成(当前工作目录下),一起来欣赏一下劳动成果:
四、完整代码
由于文章篇幅较长,所以这里就不直接附上源代码了,对教程感兴趣的同学可到以下的云盘去下载:
百度云盘下载地址:链接: https://pan.baidu.com/s/1BLYVtojIdzj1FgPnD7v78Q 密码: 8gt3
说明:这里下载的源码可能与文章演示的代码也许有些差异,不过这不影响程序的使用,只是小编稍加改进而已。
转载请注明:泰泰博客 » 用Python轻松爬取在线教程,生成PDF文件愉快阅读