gevent中使用的主要模式是 Greenlet,这是作为C扩展模块提供给 Python 的一个轻量级协同程序。所有 greenlet 都在主程序的 OS 进程中运行,但它们是协同调度的。
在任何给定的时间内,只有一个greenlet在运行。
这不同于由 multiprocessing 或 threading 库提供的并行结构,它们这些库可以自旋进程和POSIX线程,由操作系统调度,并且真正并行的。
并发性的核心思想是,可以将较大的任务分解为多个子任务的集合,这些子任务计划同时或异步运行,而不是一次或同步运行。两个子任务之间的切换称为上下文切换。
gevent中的上下文切换是通过 yielding 来完成的。在本例中,我们有两个上下文,它们通过调用 gevent.sleep(0) 相互让步。
当我们将 gevent 用于网络和 IO 绑定函数时,它的真正威力就来了,这些函数可以协同调度。Gevent 负责处理所有细节,以确保网络库尽可能隐式地让步出它们的 greenlet 上下文。我再怎么强调这是一个多么有力的成语也不为过。但也许可以举个例子来说明。
在这种情况下,select() 函数通常是一个阻塞调用,它轮询各种文件描述符。
另一个比较综合的例子定义了一个不确定的任务函数 (它的输出不能保证对相同的输入给出相同的结果) 。在这种情况下,运行该函数的副作用是任务暂停执行的时间是随机的。
在同步情况下,所有任务都是按顺序运行的,这会导致在执行每个任务时主程序阻塞(即暂停主程序的执行)。
程序的重要部分是 gevent.spawn,它将给定的函数封装在一个 Greenlet 线程中。初始化的 greenlet 列表存储在传递给 gevent 的数组线程中。gevent.joinall 函数,它会阻塞当前程序,来运行所有给定的 greenlet。只有当所有 greenlet 终止时,执行才会继续进行。
需要注意的是,异步情况下的执行顺序本质上是随机的,异步情况下的总执行时间比同步情况下少得多。实际上,同步的例子完成的最大时间是每个任务停顿0.002秒,导致整个队列停顿0.02秒。在异步情况下,最大运行时间大约为0.002秒,因为没有一个任务会阻塞其他任务的执行。
在更常见的用例中,异步地从服务器获取数据,fetch() 的运行时在请求之间会有所不同,这取决于请求时远程服务器上的负载。
如前所述,greenlet 是确定的。给定相同的 greenlet 配置和相同的输入集,它们总是产生相同的输出。例如,让我们将一个任务分散到一个多进程(multiprocessing)池中,并将其结果与一个gevent池的结果进行比较。
尽管 gevent 通常是确定的,但当您开始与外部服务(如 socket 和文件)进行交互时,非确定性的来源可能会潜入您的程序。因此,即使 green 线程是确定性并发的一种形式,它们仍然会遇到POSIX线程和进程遇到的一些相同的问题。
与并发有关的长期问题称为竞争条件。简而言之,当两个并发线程/进程依赖于某些共享资源但还试图修改该值时,就会发生竞争状态。这将导致资源的值变得依赖于执行顺序。这是一个问题,一般来说,应该尽量避免竞态条件,因为它们会导致全局的不确定程序行为。
最好的方法是在任何时候都避免所有全局状态。全局状态和导入时间的副作用总是会回来咬你一口
gevent提供了一些关于Greenlet初始化的包装器。一些最常见的模式是:
除了使用基本的Greenlet类,您还可以子类化 Greenlet 类并覆盖 _run 方法。
与代码的其他部分一样,greenlet可能以各种方式失败。greenlet可能无法抛出异常、无法停止或消耗太多系统资源。
greenlet 的内部状态通常是一个与时间相关的参数。在greenlets上有许多标志,它们允许您监视线程的状态:
started — 布尔值,指示Greenlet是否已启动
ready() — 布尔值,指示Greenlet是否已停止
successful() — 布尔值,指示Greenlet是否已停止且没有抛出异常
value — Greenlet返回的值
exception — 异常,在greenlet中抛出的未捕获异常实例
当主程序接收到SIGQUIT时,无法生成(yield)的 greenlet 可能会使程序的执行时间比预期的更长。这将导致所谓的“僵尸进程”,需要从 Python 解释器外部杀死这些进程。
一种常见的模式是监听主程序上的SIGQUIT事件并在退出前调用 gevent.shutdown 。
超时是对代码块或Greenlet的运行时的约束。
在with语句中,它们还可以与上下文管理器一起使用。
此外,gevent 还为各种 Greenlet 和数据结构相关的调用提供超时参数。例如:
我们来到了Gevent的黑暗角落。到目前为止,我一直避免提到monkey patching,以尝试和激发强大的协同模式,但是现在是讨论monkey patching的黑魔法的时候了。 如果您注意到上面我们调用了命令 monkey.patch_socket(),这是一个纯粹用于修改标准库套接字库(socket)的副作用命令。
Python 允许在运行时修改大多数对象,包括模块、类甚至函数。这通常是一个令人震惊的坏主意,因为它创建了一个“隐式副作用”,如果出现问题,通常非常难以调试,然而在极端情况下,库需要改变Python本身的基本行为,可以使用monkey补丁。在这种情况下,gevent能够修补标准库中的大多数阻塞系统调用,包括 socket、ssl、threading 和 select 模块中的调用。
例如,Redis-python 的绑定通常使用常规tcp socket与Redis-server实例通信。只需调用gevent.monkey.patch_all(),我们可以让redis绑定协同调度请求,并与gevent堆栈的其他部分一起工作。
这让我们可以在不编写任何代码的情况下集成通常无法与gevent一起工作的库。(尽管猴子补丁仍然是邪恶的,但在这种情况下,它是“有用的邪恶”。)
事件是greenlet之间异步通信的一种形式。
事件对象的扩展是 AsyncResult,它允许您在唤醒调用时发送一个值。这有时被称为future或deferred,因为它有对 future 值的引用,可以在任意的时间设置该值。
队列是按顺序排列的数据集,它们具有通常的 put / get 操作,但可以在Greenlets上安全操作的方式编写。
例如,如果一个Greenlet从队列中获取一个项目(item),则同一项目(item)不会被同时执行的另一个Greenlet获取。
根据需要,队列还可以在put或get上阻塞。
每个put和get操作都有一个非阻塞的对应操作,put_nowait 和 get_nowait 不会阻塞。如果操作是不可能的,会引发 gevent.queue.Empty 或 gevent.queue.Full
在这个例子中,我们让boss同时和workers运行,并且对队列有一个限制,防止它包含三个以上的元素。这个限制意味着put操作将阻塞,直到队列上有空间为止。相反,如果队列上没有要获取的元素,get操作就会阻塞,它还会接受一个超时参数,如果在超时的时间范围内找不到工作(work),则允许队列以异常 gevent.queue.Empty 退出。
组是运行中的greenlet的集合,这些greenlet作为组一起管理和调度。它还兼做并行调度程序,借鉴 Python multiprocessing 库。
这对于管理异步任务组非常有用。
如上所述,Group还提供了一个API,用于将作业分派给分组的greenlet并以各种方式收集它们的结果。
池是一种结构,用于处理需要限制并发的动态数量的greenlets。在需要并行执行许多网络或IO绑定任务的情况下,这通常是可取的。
通常在构建gevent驱动的服务时,会将整个服务围绕一个池结构进行中心处理。一个例子可能是在各种套接字(socket)上轮询的类。
信号量是一种低级同步原语,它允许greenlet协调和限制并发访问或执行。信号量公开两种方法,获取和释放信号量被获取和释放的次数之差称为信号量的界限。如果信号量范围达到0,它就会阻塞,直到另一个greenlet释放它的捕获。
界限为1的信号量称为锁。它提供对一个greenlet的独占执行。它们通常用于确保资源只在程序上下文中使用一次。
翻译持续更新中 …
版权声明:
本文来源网络,所有图片文章版权属于原作者,如有侵权,联系删除。
本文网址:https://www.mushiming.com/mjsbk/7765.html