迅速掌握Python中的Hook钩子函数


本文摘自php中文网,作者coldplay.xixi,侵删。

Python教程栏目介绍Python中的Hook钩子函数

大量免费学习推荐,敬请访问python教程(视频)

1. 什么是Hook

经常会听到钩子函数(hook function)这个概念,最近在看目标检测开源框架mmdetection,里面也出现大量Hook的编程方式,那到底什么是hook?hook的作用是什么?

  • what is hook ?钩子hook,顾名思义,可以理解是一个挂钩,作用是有需要的时候挂一个东西上去。具体的解释是:钩子函数是把我们自己实现的hook函数在某一时刻挂接到目标挂载点上。

  • hook函数的作用 举个例子,hook的概念在windows桌面软件开发很常见,特别是各种事件触发的机制; 比如C++的MFC程序中,要监听鼠标左键按下的时间,MFC提供了一个onLeftKeyDown的钩子函数。很显然,MFC框架并没有为我们实现onLeftKeyDown具体的操作,只是为我们提供一个钩子,当我们需要处理的时候,只要去重写这个函数,把我们需要操作挂载在这个钩子里,如果我们不挂载,MFC事件触发机制中执行的就是空的操作。

从上面可知

  • hook函数是程序中预定义好的函数,这个函数处于原有程序流程当中(暴露一个钩子出来)

  • 我们需要再在有流程中钩子定义的函数块中实现某个具体的细节,需要把我们的实现,挂接或者注册(register)到钩子里,使得hook函数对目标可用

  • hook 是一种编程机制,和具体的语言没有直接的关系

  • 如果从设计模式上看,hook模式是模板方法的扩展

  • 钩子只有注册的时候,才会使用,所以原有程序的流程中,没有注册或挂载时,执行的是空(即没有执行任何操作)

本文用python来解释hook的实现方式,并展示在开源项目中hook的应用案例。hook函数和我们常听到另外一个名称:回调函数(callback function)功能是类似的,可以按照同种模式来理解。

2. hook实现例子

据我所知,hook函数最常使用在某种流程处理当中。这个流程往往有很多步骤。hook函数常常挂载在这些步骤中,为增加额外的一些操作,提供灵活性。

下面举一个简单的例子,这个例子的目的是实现一个通用往队列中插入内容的功能。流程步骤有2个

  • 需要再插入队列前,对数据进行筛选input_filter_fn

  • 插入队列insert_queue

classContentStash(object):

    """

    content stashforonline operation

    pipeline is

    1. input_filter: filter some contents, nouseto user

    2. insert_queue(redisorother broker): insert useful content to queue

    """

 

    def __init__(self):

        self.input_filter_fn = None

        self.broker = []

 

    def register_input_filter_hook(self, input_filter_fn):

        """

        register input filterfunction, parameter is content dict

        Args:

            input_filter_fn: input filterfunction

 

        Returns:

 

        """

        self.input_filter_fn = input_filter_fn

 

    def insert_queue(self, content):

        """

        insert content to queue

        Args:

            content: dict

 

        Returns:

 

        """

        self.broker.append(content)

 

    def input_pipeline(self, content,use=False):

        """

        pipeline of inputforcontent stash

        Args:

            use: isuse, defaul False

            content: dict

 

        Returns:

 

        """

        ifnotuse:

            return

 

        # input filter

        ifself.input_filter_fn:

            _filter = self.input_filter_fn(content)

             

        # insert to queue

        ifnot _filter:

            self.insert_queue(content)

 

 

 

# test

## 实现一个你所需要的钩子实现:比如如果content 包含time就过滤掉,否则插入队列

def input_filter_hook(content):

    """

    test input filter hook

    Args:

        content: dict

 

    Returns: Noneorcontent

 

    """

    ifcontent.get('time') is None:

        return

    else:

        returncontent

 

 

# 原有程序

content = {'filename':'test.jpg','b64_file':"#test",'data': {"result":"cat","probility": 0.9}}

content_stash = ContentStash('audit', work_dir='')

 

# 挂上钩子函数, 可以有各种不同钩子函数的实现,但是要主要函数输入输出必须保持原有程序中一致,比如这里是content

content_stash.register_input_filter_hook(input_filter_hook)

 

# 执行流程

content_stash.input_pipeline(content)

3. hook在开源框架中的应用

3.1 keras

在深度学习训练流程中,hook函数体现的淋漓尽致。

一个训练过程(不包括数据准备),会轮询多次训练集,每次称为一个epoch,每个epoch又分为多个batch来训练。流程先后拆解成:

  • 开始训练

  • 训练一个epoch前

  • 训练一个batch前

  • 训练一个batch后

  • 训练一个epoch后

  • 评估验证集

  • 结束训练

这些步骤是穿插在训练一个batch数据的过程中,这些可以理解成是钩子函数,我们可能需要在这些钩子函数中实现一些定制化的东西,比如在训练一个epoch后我们要保存下训练的模型,在结束训练时用最好的模型执行下测试集的效果等等。

keras中是通过各种回调函数来实现钩子hook功能的。这里放一个callback的父类,定制时只要继承这个父类,实现你过关注的钩子就可以了。

@keras_export('keras.callbacks.Callback')

classCallback(object):

  """Abstract baseclassused to buildnewcallbacks.

 

  Attributes:

      params: Dict. Training parameters

          (eg. verbosity, batch size, number of epochs...).

      model: Instance of `keras.models.Model`.

          Reference of the model being trained.

 

  The `logs` dictionary that callback methods

  takeasargument will contain keysforquantities relevant to

  the current batchorepoch (see method-specific docstrings).

  """

 

  def __init__(self):

    self.validation_data = None  # pylint: disable=g-missing-from-attributes

    self.model = None

    # Whether this Callback should only run on the chief worker in a

相关阅读 >>

分享一下Python数据分析常用的8款工具

Python如何求阶乘

Python中对socket的详细介绍

Python爬虫 使用真实浏览器打开网页的两种方法总结

Python实现去除列表中重复元素的方法

Python析构函数与构造函数的用法讲解

Python线程优先级队列是什么?线程优先级的设置方法有哪些?

关于Python下如何实现rsa的加密解密以及签名与验证功能的实例分析

总结Python常用的机器学习库

爬虫能获取什么样的数据和具体的解析方式

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...