一、基础概念与网络请求

1.1 请求头与伪装成浏览器

一些网站为了防止爬虫，会有检查机制。我们需要添加请求头，将 Python 伪装成浏览器，常见的键有 User-Agent、Referer、Accept、Cookie 等。 其中的 Accept-Encoding 用于声明客户端支持的压缩方式，如 gzip、deflate、br（Brotli）。告诉服务器后，服务器会返回对应编码的响应内容以减小体积。