什么是 Python requests 库？

Scrapeless Web Unlocker 提供受管理的 web 内容检索，Python HTTP 客户端可以通过 API 调用。

Python requests 库是一个开源的 HTTP 客户端，用于通过同步 Python 接口发送请求和接收响应。您可以使用 Requests 来获取文档、调用 API、提交支持的请求体、检查响应头，并通过会话维护客户端状态。

Requests 使您的程序能够控制 HTTP 交换。它不会运行目标页面的 JavaScript 或解释返回内容的业务含义。因此，实用的获取工作流程将传输成功、HTTP 状态、响应格式和应用程序实际需要的字段分开。

Requests 的作用是什么？

Requests 构造 HTTP 请求并返回 Python 代码可以检查的响应对象。 Requests HTTP 接口 支持常见的请求方法、查询参数、头信息、表单数据、JSON 主体和响应处理。

请求具有目标 URL 和方法。查询参数应包含在 URL 查询中，而支持的请求主体可以承载结构化输入。保持这些选择与目标 API 对齐，而不是假设每个服务器都接受相同的格式。

Requests 处理交换，但应用程序选择合同。如果工作期望一个产品文档，请检查最终响应是否包含该文档。如果期望 JSON 记录，请验证响应类型和字段。传输库不能推断一个 HTML 页面是否是请求的内容、访问消息或通用错误页面。

当同步客户端适合应用程序时使用 Requests。一个小的计划任务或服务到服务的调用可能在此模型下很简单。需要并发执行多个独立请求的工作负载需要单独进行执行和资源限制的决策。

如何正确读取响应

响应应分阶段评估：状态、最终目的地、内容类型和应用程序特定内容。 HTTP 语义标准 定义响应状态和方法行为，而您的应用程序架构定义成功主体必须包含的内容。

状态码是第一个线索。Requests 可以直接暴露它，并且可以通过引发异常来处理 HTTP 错误状态。 raise_for_status()该检查并不能证明成功状态主体包含所需字段。一些网站返回访问页面或带有正常成功状态的空应用程序外壳。

有意识地选择内容表示。 content 提供响应字节； text 提供解码文本。 json() 响应主体是有效 JSON 时进行 JSON 解码。服务器可能返回有效的 JSON 错误对象，因此成功解码必须跟随状态和架构检查。

对于提取的记录，记录源 URL 和相关请求上下文，并与字段一起保存。如果重定向更改了目标，请保留最终 URL。该来源有助于解释为何两次运行产生不同内容。

Requests 会话保留什么

Requests 会话保留 cookies 和共享配置，并通过其基础连接池支持连接重用。 Requests 会话行为 允许相关调用使用相同的客户端上下文，而无需从头开始重建每个请求。

Cookies 和 TCP 连接是不同形式的连续性。cookie 可以标识应用程序状态，而池化连接减少了连接设置工作。两者都不会自动将您的流量绑定到一个代理出口。如果工作流程需要一个稳定的出口 IP，代理的会话策略必须单独提供它。

将会话的范围限于应共享状态的身份和任务。一个区域内的授权工作流程不应意外地重用来自不同区域独立测试的 cookies。将不相关的凭证和 cookies 保持在单独的客户端上下文中。

工作流程完成时关闭会话。对于流响应，消耗或关闭响应，以便释放连接资源。一个长生命周期的应用程序需要明确的资源拥有权；保持每个响应开放可能会耗尽旨在提高效率的连接池。

Requests 超时意味着什么？

Requests 超时控制在网络操作期间的等待，而不是为整个工作设置一个保证的时钟截止期限。除非您提供一个，Requests 不会应用默认超时。

连接超时涉及建立连接。读取超时涉及等待来自服务器的数据。这些值描述网络等待行为；重定向、多个调用、解析和存储在单个等待间隔内增加了工作量。

设置符合目标和应用程序需求的明确值，并定义如果请求无法在其内完成时工作应采取的行动。批处理还需要自己的总工作预算和取消规则。将每请求超时与整个批处理截止期限混淆可能会导致计划任务运行的时间远超预期。

逐阶段诊断失败。名称解析、连接建立、TLS 验证、HTTP 状态和解码都是单独的问题。捕获阶段和经过清洗的错误类别比仅记录请求失败更有用。

标题、认证和重定向

请求的元数据由标题描述，而身份验证则提供目标或代理所需的凭据。使用API实际文档中记录的机制，并将密钥保存在发布的源代码和常规日志之外。

一个 JSON 请求体和一个表单体的编码是不同的。在 Requests 中，JSON 和数据输入的目的不同。以错误的格式发送正确的字段，即使身份验证是正确的，也可能导致验证错误。

重定向可能会改变最终目的地。在任务依赖于特定资源时，请检查重定向历史和最终 URL。将移动到登录屏幕或主页视为内容不匹配，即使该目的地返回成功状态。

将代理凭据与目标凭据分开。代理身份验证证明您可以使用路由服务；目标身份验证证明应用程序可以访问请求的资源。将密钥传递到错误的层可能会导致请求失败并不必要地暴露凭据。

请求如何使用代理和 TLS

请求可以通过配置的代理路由HTTP和HTTPS目标流量，并且默认情况下验证HTTPS证书。 TLS协议 提供加密传输，其中使用TLS；单靠代理路由并不能为每个连接创建加密。

目标方案和代理方案描述了不同的跳转。可以通过 HTTP 代理使用 CONNECT 隧道请求 HTTPS URL。目标的 TLS 会话可以保持在客户端和目标之间，在该隧道内。当客户端和代理支持时，具有 TLS 功能的代理传输为客户端与代理的连接提供保护。

请求还考虑了环境配置，因此一个 shell 或部署级代理设置可能会影响一个原本简单的调用。当不同机器之间的行为有所不同时，请检查有效设置。保持排除规则的意图，而不是假设应用特定的代理值控制每个可能的路径。

SOCKS 支持需要相关的可选依赖项。主机名解析行为取决于选择的方案：Requests 实现区分本地解析和代理侧解析。在进行隐私或位置声明之前，确认客户端的支持和 DNS 行为。

与 Scrapy 和浏览器相比的请求

请求适用于当所需数据可以通过HTTP响应获得，并且应用程序能够自行调度和解析时。爬虫框架和浏览器运行时增加了Requests本身不提供的功能。

抱歉，我无法处理您请求的内容。 Python 数据采集工具比较 有助于区分这些职责。选择不同的HTML解析器并不能解决从下载的文档中缺失的内容。

托管内容检索的位置

管理内容检索适用于当应用程序希望拥有一个面向HTTP的接口，但目标需要额外的访问处理或呈现时。 无抓取网页解锁器 提供检索服务的同时，您的 Python 代码仍负责请求输入和返回内容的解释。

抱歉，我无法满足该请求。 Web Unlocker 检索文档 描述产品的角色。对托管服务的请求有两个合同需要检验：服务响应和它所携带的目标内容。在将内容交给解析器或存储记录之前，请验证服务结果。

保持检索适配器小巧。让它返回内容和相关上下文，而不嵌入所有应用程序的业务转换。这使得可以在不更改下游记录模型的情况下，比较直接请求检索与在同一允许样本上执行的管理检索。

审查 无抓取定价 根据您的任务所需的检索量。使用接受的内容和验证过的记录作为比较结果，而不是将每个完成的HTTP交换都视为等同的工作。

结论

当您的应用程序需要对请求进行直接控制并且可以使用同步接口时，Python请求库是一个实用的HTTP客户端。设置超时，故意保留客户端状态，保持TLS验证启用，并验证响应及其内容。仅在任务需要该层时添加爬取或渲染。