Fork me on GitHub

Python 爬虫解析库的安装

参考内容：Python3 网络爬虫开发实战-崔庆才

抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对较繁琐。这里还有许多强大的解析库，如 lxml，Beautiful Soup，pyquery 等。此外还提供了非常大的解析方法，如 XPath 解析和 CSS 选择器解析等，利用它们，我们可以高效便捷地从网页中提取有效信息。

more >>

展开全文 >>

爬虫框架的安装

参考内容：Python3 网络爬虫开发实战-崔庆才

我们直接用 requests，Selenium 等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫的框架就诞生了。

more >>

展开全文 >>

使用 Pandas 做数据可视化

内容来源：https://mp.weixin.qq.com/s/k5hmJAljN4vu52HP9wWBxQ

数据客户化可以让我们很直观的发现数据中隐藏的规律，察觉到变量之间的互动关系，可以帮助我们更好的给他人解释现象，做到一图胜千文的说明效果。

常见的数据可视化库有：

  • matplotlib：是最常见的2维库，可以算作可视化的必备技能库，由于 matplotlib 是比较底层的库，api 很多，代码学起来不太容易。
  • seaborn：是构建于 matplotlib 基础上，能满足绝大多数可视化需求。更特殊的需求还是需要学习 matplotlib；
  • pyecharts：上面两个库都是静态的可视化库，而 pyecharts 有很好的 web 兼容性，可以做到可视化的动态效果。
more >>

展开全文 >>

Python 标准模块-os

官方文档地址: os – 各种操作系统接口

os 模块是 Python 标准库中的一个用于访问操作系统相关功能的模块，os 提供了一种可移植的使用操作系统功能的方法。使用 os 模块中提供的接口，可以实现跨平台访问，但是，并不是所有的 os 模块中的接口在全平台都通用，有些接口的实现是依赖特定平台的，比如 Linux 相关的文件权限管理和进程管理。

os 模块的主要功能有:

more >>

展开全文 >>

Python 标准模块 - subprocess

subprocess 是 Python 自带的模块，无须安装，它主要用来取代一些旧的模块或方法，如 os.system, os.spawn*, os.popen*, commands.*等，因此如果需要使用 Python 调用外部命令或任务时，则优先使用 subprocess 模块。使用 subprocess 模块可以方便地执行操作系统支持的命令，可与其他应用程序结合使用。

subprocess.run() 方法

subprocess.run() 是官方推荐使用的方法，几乎所有的工作都可以由它来完成。

more >>

展开全文 >>

Python 爬虫请求库的安装

参考内容：Python3 网络爬虫开发实战-崔庆才

爬虫可以简单分为几步：抓取页面，分析页面和存储数据。
在抓取页面的过程中，我们需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作。

requests 的安装

由于 requests 属于第三方库，也就是 Python 默认不会自带这个库，所以需要我们手动安装。

more >>

展开全文 >>

Flask Jinja 模板用法

参考文章：[Python web开发实战]

模板

在之前的章节中，视图函数直接返回文本，而在实际生产环境中其实很少这样用，因为实际的页面大多是带有样式和复杂逻辑的 HTML 代码，这可以让浏览器渲染出非常漂亮和复杂的效果。页面的内容应该是可重用的，而且需要执行更高级的功能。首先看一下 Python 自带的模板 string.Template:

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Linux 运维、自动化运维、
Kubernetes、Python、Jenkins、Docker

联系QQ:2350686113

很惭愧

只做了一点微小的工作
谢谢大家