淺談python中的@以及@在tensorflow中的作用說明
雖然用python用了很久了,但是主要還是寫一些模型或者算子,對于python中的高級特性用的不多,但是時常閱讀大牛的代碼或者框架源碼,其中python特性應用的非常流暢,所以今天決定與python中的裝飾器@,做個了斷!!
Python中的@:援引廖雪峰老師對裝飾器的解釋以及一些自己對裝飾器的理解:
python中在代碼運行期間動態增加功能的方式,稱之為“裝飾器”(Decorator)。@是裝飾器的語法。裝飾器是在函數調用之上的修飾,這些修飾僅是當聲明一個函數或者方法的時候,才會應用的額外調用。 我們可以用裝飾器來增加計時邏輯來檢測性能,或者引入日志等等。
函數也是一個對象,而且函數對象可以被賦值給變量,所以,通過變量也能調用該函數。
>>> def now():... print(’2015-3-25’)...>>> f = now>>> f()2015-3-25
函數對象有一個__name__屬性,可以拿到函數的名字:
>>> now.__name__’now’>>> f.__name__’now’
現在,假設我們要增強now()函數的功能,比如,在函數調用前后自動打印日志,但又不希望修改now()函數的定義。本質上,decorator就是一個返回函數的高階函數。所以,我們要定義一個能打印日志的decorator,可以定義如下:
def log(func): def wrapper(*args, **kw): print(’call %s():’ % func.__name__) return func(*args, **kw) return wrapper
觀察上面的log,因為它是一個decorator,所以接受一個函數作為參數,并返回一個函數。我們要借助Python的@語法,把decorator置于函數的定義處:
@logdef now(): print(’2015-3-25’)
調用now()函數,不僅會運行now()函數本身,還會在運行now()函數前打印一行日志:
>>> now()call now():2015-3-25
把@log放到now()函數的定義處,相當于執行了語句:
now = log(now)
由于log()是一個decorator,返回一個函數,所以,原來的now()函數仍然存在,只是現在同名的now變量指向了新的函數,于是調用now()將執行新函數,即在log()函數中返回的wrapper()函數。
wrapper()函數的參數定義是(*args, **kw),因此,wrapper()函數可以接受任意參數的調用。在wrapper()函數內,首先打印日志,再緊接著調用原始函數。
如果decorator本身需要傳入參數,那就需要編寫一個返回decorator的高階函數,寫出來會更復雜。比如,要自定義log的文本:
def log(text): def decorator(func): def wrapper(*args, **kw): print(’%s %s():’ % (text, func.__name__)) return func(*args, **kw) return wrapper return decorator
這個3層嵌套的decorator用法如下:
@log(’execute’)def now(): print(’2015-3-25’)
執行結果如下:
>>> now()execute now():2015-3-25
和兩層嵌套的decorator相比,3層嵌套的效果是這樣的:
>>> now = log(’execute’)(now)
我們來剖析上面的語句,首先執行log(’execute’),返回的是decorator函數,再調用返回的函數,參數是now函數,返回值最終是wrapper函數。
以上兩種decorator的定義都沒有問題,但還差最后一步。因為我們講了函數也是對象,它有__name__等屬性,但你去看經過decorator裝飾之后的函數,它們的__name__已經從原來的’now’變成了’wrapper’:
>>> now.__name__’wrapper’
因為返回的那個wrapper()函數名字就是’wrapper’,所以,需要把原始函數的__name__等屬性復制到wrapper()函數中,否則,有些依賴函數簽名的代碼執行就會出錯。
不需要編寫wrapper.__name__ = func.__name__這樣的代碼,Python內置的functools.wraps就是干這個事的,所以,一個完整的decorator的寫法如下:
import functools def log(func): @functools.wraps(func) def wrapper(*args, **kw): print(’call %s():’ % func.__name__) return func(*args, **kw) return wrapper
或者針對帶參數的decorator:
import functools def log(text): def decorator(func): @functools.wraps(func) def wrapper(*args, **kw): print(’%s %s():’ % (text, func.__name__)) return func(*args, **kw) return wrapper return decorator
import functools是導入functools模塊。模塊的概念稍候講解。現在,只需記住在定義wrapper()的前面加上@functools.wraps(func)即可。
python中常見的@:@property :對于類的方法,裝飾器一樣起作用,Python內置的@property裝飾器就是負責把一個方法變成屬性調用的.廣泛應用在類的定義中,可以讓調用者寫出簡短的代碼,同時保證對參數進行必要的檢查,這樣,程序運行時就減少了出錯的可能性。
class Student(object): @property def score(self): return self._score @score.setter def score(self, value): if not isinstance(value, int): raise ValueError(’score must be an integer!’) if value < 0 or value > 100: raise ValueError(’score must between 0 ~ 100!’) self._score = value
@property的實現比較復雜,我們先考察如何使用。把一個getter方法變成屬性,只需要加上@property就可以了,此時,@property本身又創建了另一個裝飾器@score.setter,負責把一個setter方法變成屬性賦值,于是,我們就擁有一個可控的屬性操作:
>>> s = Student()>>> s.score = 60 # OK,實際轉化為s.set_score(60)>>> s.score # OK,實際轉化為s.get_score()60>>> s.score = 9999Traceback (most recent call last): ...ValueError: score must between 0 ~ 100!
注意到這個神奇的@property,我們在對實例屬性操作的時候,就知道該屬性很可能不是直接暴露的,而是通過getter和setter方法來實現的。
@staticmethod,@classmethod:@staticmethod返回的是一個staticmethod類對象,而@classmethod返回的是一個classmethod類對象。他們都是調用的是各自的__init__()構造函數。
當然應用裝飾器不當也會帶來一些問題:1、位置錯誤的代碼 讓我們直接看示例代碼。
def html_tags(tag_name): print ’begin outer function.’ def wrapper_(func): print 'begin of inner wrapper function.' def wrapper(*args, **kwargs): content = func(*args, **kwargs) print '<{tag}>{content}</{tag}>'.format(tag=tag_name, content=content) print ’end of inner wrapper function.’ return wrapper print ’end of outer function’ return wrapper_ @html_tags(’b’)def hello(name=’Toby’): return ’Hello {}!’.format(name) hello()hello()
在裝飾器中我在各個可能的位置都加上了print語句,用于記錄被調用的情況。你知道他們最后打印出來的順序嗎?如果你心里沒底,那么最好不要在裝飾器函數之外添加邏輯功能,否則這個裝飾器就不受你控制了。以下是輸出結果:
begin outer function.end of outer functionbegin of inner wrapper function.end of inner wrapper function.<b>Hello Toby!</b><b>Hello Toby!</b>2、錯誤的函數簽名和文檔
裝飾器裝飾過的函數看上去名字沒變,其實已經變了。
def logging(func): def wrapper(*args, **kwargs): '''print log before a function.''' print '[DEBUG] {}: enter {}()'.format(datetime.now(), func.__name__) return func(*args, **kwargs) return wrapper@loggingdef say(something): '''say something''' print 'say {}!'.format(something) print say.__name__ # wrapper
為什么會這樣呢?想想裝飾器的語法@代替的東西就明白了。@等同于這樣的寫法。
say = logging(say)
logging其實返回的函數名字剛好是wrapper,那么上面的這個語句剛好就是把這個結果賦值給say,say的__name__自然也就是wrapper了,不僅僅是name,其他屬性也都是來自wrapper,比如doc,source等等。
使用標準庫里的functools.wraps,可以基本解決這個問題。
from functools import wraps def logging(func): @wraps(func) def wrapper(*args, **kwargs): '''print log before a function.''' print '[DEBUG] {}: enter {}()'.format(datetime.now(), func.__name__) return func(*args, **kwargs) return wrapper @loggingdef say(something): '''say something''' print 'say {}!'.format(something) print say.__name__ # sayprint say.__doc__ # say something
看上去不錯!主要問題解決了,但其實還不太完美。因為函數的簽名和源碼還是拿不到的。
import inspectprint inspect.getargspec(say) # failedprint inspect.getsource(say) # failed
如果要徹底解決這個問題可以借用第三方包,比如wrapt。
3、不能裝飾@staticmethod或者 @classmethod當你想把裝飾器用在一個靜態方法或者類方法時,不好意思,報錯了。
class Car(object): def __init__(self, model): self.model = model @logging # 裝飾實例方法,OK def run(self): print '{} is running!'.format(self.model) @logging # 裝飾靜態方法,Failed @staticmethod def check_model_for(obj): if isinstance(obj, Car): print 'The model of your car is {}'.format(obj.model) else: print '{} is not a car!'.format(obj) '''Traceback (most recent call last):... File 'example_4.py', line 10, in logging @wraps(func) File 'C:Python27libfunctools.py', line 33, in update_wrapper setattr(wrapper, attr, getattr(wrapped, attr))AttributeError: ’staticmethod’ object has no attribute ’__module__’'''
前面已經解釋了@staticmethod這個裝飾器,其實它返回的并不是一個callable對象,而是一個staticmethod對象,那么它是不符合裝飾器要求的(比如傳入一個callable對象),你自然不能在它之上再加別的裝飾器。要解決這個問題很簡單,只要把你的裝飾器放在@staticmethod之前就好了,因為你的裝飾器返回的還是一個正常的函數,然后再加上一個@staticmethod是不會出問題的。
class Car(object): def __init__(self, model): self.model = model @staticmethod @logging # 在@staticmethod之前裝飾,OK def check_model_for(obj): pass如何優化你的裝飾器:
嵌套的裝飾函數不太直觀,我們可以使用第三方包類改進這樣的情況,讓裝飾器函數可讀性更好。
decorator.py
decorator.py是一個非常簡單的裝飾器加強包。你可以很直觀的先定義包裝函數wrapper(),再使用decorate(func, wrapper)方法就可以完成一個裝飾器。
from decorator import decorate def wrapper(func, *args, **kwargs): '''print log before a function.''' print '[DEBUG] {}: enter {}()'.format(datetime.now(), func.__name__) return func(*args, **kwargs) def logging(func): return decorate(func, wrapper) # 用wrapper裝飾func
你也可以使用它自帶的@decorator裝飾器來完成你的裝飾器。
from decorator import decorator @decoratordef logging(func, *args, **kwargs): print '[DEBUG] {}: enter {}()'.format(datetime.now(), func.__name__) return func(*args, **kwargs)
decorator.py實現的裝飾器能完整保留原函數的name,doc和args,唯一有問題的就是inspect.getsource(func)返回的還是裝飾器的源代碼,你需要改成inspect.getsource(func.__wrapped__)。
wrapt
wrapt是一個功能非常完善的包,用于實現各種你想到或者你沒想到的裝飾器。使用wrapt實現的裝飾器你不需要擔心之前inspect中遇到的所有問題,因為它都幫你處理了,甚至inspect.getsource(func)也準確無誤。
import wrapt# without argument in decorator@wrapt.decoratordef logging(wrapped, instance, args, kwargs): # instance is must print '[DEBUG]: enter {}()'.format(wrapped.__name__) return wrapped(*args, **kwargs) @loggingdef say(something): pass
使用wrapt你只需要定義一個裝飾器函數,但是函數簽名是固定的,必須是(wrapped, instance, args, kwargs),注意第二個參數instance是必須的,就算你不用它。當裝飾器裝飾在不同位置時它將得到不同的值,比如裝飾在類實例方法時你可以拿到這個類實例。根據instance的值你能夠更加靈活的調整你的裝飾器。另外,args和kwargs也是固定的,注意前面沒有星號。在裝飾器內部調用原函數時才帶星號。
如果你需要使用wrapt寫一個帶參數的裝飾器,可以這樣寫。
def logging(level): @wrapt.decorator def wrapper(wrapped, instance, args, kwargs): print '[{}]: enter {}()'.format(level, wrapped.__name__) return wrapped(*args, **kwargs) return wrapper @logging(level='INFO')def do(work): passTensorflow中的@:
tensorflow就巧妙應用的python的裝飾器,提高了代碼的動態性,也使代碼變得精簡。
@tf_export 的作用是:Provides ways to export symbols to the TensorFlow API.
@tf_contextlib的作用是:A tf_decorator-aware wrapper for `contextlib.contextmanager`.
還有@tf_inspect、@tf_should_use等。
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。
相關文章:
