Un peu de rock à l’anglaise pour faire passer la pilule :
Après avoir lu la partie précédente, vous avez dû vous demander comment mettre tout ça en application.
Comme je vous l’avais expliqué, l’orienté objet est particulièrement adapté à la création de belles APIs. Nous allons donc étudier aujourd’hui un cas réel de mise en pratique réussi avec la lib path.py.
J’ai choisi cette lib car :
- Le code tient dans un seul fichier.
- Il y a plein de patterns utilisés dedans qui sont intéressants à expliquer.
- C’est une source propre qui suit globalement les bonnes pratiques.
- Path.py a une API élégante, donc le résultat à l’usage est un bon exemple.
Petit rappel, path.py est une surcouche au dessus des modules tempfile ahref=>, os ou encore shutil, c’est à dire qu’elle permet de faire exactement la même chose, en plus pratique.
C’est donc typiquement un bibliothèque de confort, et elle n’aurait aucun intérêt si elle n’était pas agréable à utiliser puisque l’on peut déjà faire tout ce qu’elle fait avec Python en standard. Son attractivité réside dans la beauté de son interface qui rend la manipulation de fichiers très intuitive :
# elle permet de manipuler des chemins facilement from path import path dossier = path('/etc') fichier = dossier / 'postgresql/9.1/main/pg_hba.conf' # d'obtenir des informations sur le fichier fichier.exists() ## True fichier.parent ## path(u'/etc/postgresql/9.1/main') fichier.basename() ## path(u'pg_hba.conf') fichier.dirname() ## path(u'/etc/postgresql/9.1/main') fichier.spli fichier.split fichier.splitall fichier.splitdrive fichier.splitext fichier.splitlines fichier.splitpath fichier.splitunc fichier.splitext() ## (path(u'/etc/postgresql/9.1/main/pg_hba'), u'.conf') # lister les fichiers dans un dossier for fichier in dossier.listdir(): ... print fichier ... ## /etc/thunderbird ## /etc/libpaper.d ## /etc/mtools.conf ## ... # lister récursivement les fichiers dans un dossier for fichier in (dossier / 'apt/').walkfiles(): print fichier ... ## /etc/apt/sources.list.save ## /etc/apt/sources.list ## /etc/apt/trusted.gpg ## /etc/apt/trusted.gpg~ ## /etc/apt/sources.list.d/indicator-brightness-ppa-raring.list.save ## /etc/apt/sources.list.d/tualatrix-ppa-raring.list ## /etc/apt/sources.list.d/webupd8team-sublime-text-2-raring.list ## /etc/apt/sources.list.d/fossfreedom-byzanz-raring.list.save ## /etc/apt/sources.list.d/hotot-team-ppa-raring.list.save ## /etc/apt/sources.list.d/webupd8team-y-ppa-manager-raring.list ## /etc/apt/sources.list.d/pitti-postgresql-raring.list.save ## /etc/apt/sources.list.d/pitti-postgresql-raring.list ## /etc/apt/sources.list.d/yorba-ppa-raring.list.save ## /etc/apt/sources.list.d/indicator-brightness-ppa-raring.list ## /etc/apt/sources.list.d/webupd8team-sublime-text-2-raring.list.save ## /etc/apt/sources.list.d/yorba-ppa-raring.list ## /etc/apt/sources.list.d/webupd8team-y-ppa-manager-raring.list.save ## /etc/apt/sources.list.d/fossfreedom-byzanz-raring.list ## /etc/apt/trustdb.gpg ## /etc/apt/apt.conf.d/20dbus ## /etc/apt/apt.conf.d/10periodic ## /etc/apt/apt.conf.d/99synaptic ## /etc/apt/apt.conf.d/70debconf ## /etc/apt/apt.conf.d/05aptitude ## /etc/apt/apt.conf.d/20archive ## /etc/apt/apt.conf.d/01autoremove ## /etc/apt/apt.conf.d/50unattended-upgrades ## /etc/apt/apt.conf.d/00aptitude ## /etc/apt/apt.conf.d/99update-notifier ## /etc/apt/apt.conf.d/15update-stamp ## /etc/apt/apt.conf.d/00trustcdrom ## /etc/apt/apt.conf.d/20changelog ## /etc/apt/apt.conf.d/01autoremove-kernels # et bien d'autres choses |
Nous allons donc commenter son code, dans le cadre du tuto (on ne va pas voir les algos en détail). Je mettrai mes commentaires entre #< sm > sm >
afin de les distinguer du reste.
#<sm> # On commence par un bon gros bloc de copyright, sachant que path.py est # sous MIT License. Le plus inhabituel c'est l'absence de déclaration # d'encoding en en-tête, qui s'explique par le fait que toute la lib est # écrite uniquement avec des caractères ASCII, ce qui est l'encodage par # défaut de Python 2.7. Python 3 a UTF8 en encodage par défaut, mais ASCII # est un sous-ensemble de UTF8, donc ça ne pose pas de problème. # Notez qu'avec mes commentaires en plus, ça ferait planter le script puisque # j'utilise des accents. #</sm> # # Copyright (c) 2010 Mikhail Gusarov # # Permission is hereby granted, free of charge, to any person obtaining a copy # of this software and associated documentation files (the "Software"), to deal # in the Software without restriction, including without limitation the rights # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell # copies of the Software, and to permit persons to whom the Software is # furnished to do so, subject to the following conditions: # # The above copyright notice and this permission notice shall be included in all # copies or substantial portions of the Software. # # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE # SOFTWARE. # #<sm> # La docstring du module qui documente l'usage général du module. En # l'occurence au moins l'existence de la classe principale et son usage. Les # symboles comme '\x40' sont juste une autre représentation d'un caractère # via sa valeur dans la table ASCII. # Par exemple, '@' est à la case 64 dans la table ASCII, et 64 se note 40 en # hexadécimal: # >>> ord('@') # 64 # >>> int('40', base=16) # 64 # Du coup on peut écrire '@' juste avec un caractère d’échappement en Python # qui va faire le lien. Cette technique est utile si on veut faire passer # du texte avec des caractères spéciaux dans certains protocoles, par exemple # quand on veut rentrer un email dans une URL. En l’occurrence je ne vois # absolument pas ce que ça vient foutre ici. #</sm> """ path.py - An object representing a path to a file or directory. Original author: Jason Orendorff <jason.orendorff\x40gmail\x2ecom> Current maintainer: Jason R. Coombs <jaraco@jaraco.com> Contributors: Mikhail Gusarov <dottedmag@dottedmag.net> Marc Abramowitz <marc@marc-abramowitz.com> Jason R. Coombs <jaraco@jaraco.com> Jason Chu <jchu@xentac.net> Vojislav Stojkovic <vstojkovic@syntertainment.com> Example:: from path import path d = path('/home/guido/bin') for f in d.files('*.py'): f.chmod(0755) path.py requires Python 2.5 or later. """ #<sm> # Import du mot clé with, car cette lib est compatible avec Python 2.5 # et le keyword est apparu en 2.6. Il a été backporté dans __future__ #</sm> from __future__ import with_statement import sys #<sm>Informations sur le système</sm> import warnings #<sm>Alertes techniques à d'autres dev</sm> import os #<sm>Manipulation du File System</sm> import fnmatch #<sm>Pattern matching comme dans un shell</sm> import glob #<sm>Lister des fichier avec la syntax shell</sm> import shutil #<sm>Manipulation de fichiers de haut niveau</sm> import codecs #<sm>Encoding</sm> import hashlib #<sm>Sommes de contrôle</sm> import errno #<sm>Les codes d'erreurs liées aux fichiers.</sm> import tempfile #<sm>Création de fichiers temporaires</sm> import functools #<sm>Manipulation des fonctions</sm> #<sm> # Tentative d'utilisation de la lib win32security qui sert à gérer # des aspects sécuritaires du FS sous Windows. C'est une lib tierce partie, # et une dépendance optionelle, donc l'import est géré pour ne pas faire # d'erreur si la lib n'est pas disponible. # Idem pour pwd qui est dans la lib standard mais uniquement sur les distribs # unix et qui donne accès aux infos sur l'utilisateur du système, tester # son mot de passe, etc. #</sm> try: import win32security except ImportError: pass try: import pwd except ImportError: pass #<sm> # Manière standard de lister la version de la lib dans un module Python. # __all__ est une variable magique qui peut contenir une liste des noms de # tout ce qui est importable dans le module, de telle sorte que si # quelqu'un fait : from path import *, seul le contenu de __all__ soit # importé. #</sm> __version__ = '3.0' __all__ = ['path'] #<sm> # Les warnings ressemblent beaucoup aux exceptions excepté qu'ils ne font # pas planter le programme. Ici donc, ou hérite de la base des warnings # comme on le ferait pour créer son Exception personnalisée, ce qui va # permettre à l'utilisateur de la lib path.py de, plus tard, pouvoir filter # ce warning en particulier. #</sm> class TreeWalkWarning(Warning): pass #<sm> # Un décorateur de mémorisation, c'est à dire qui va mettre en cache les # résultats de la fonction sur lequel il est appliqué afin que les prochains # appels avec les mêmes paramètres lisent les valeurs du cache en mémoire # plutôt que de refaire l'opération. # Il est utilisé plus bas sur : # @classmethod # @simple_cache # def using_module(cls, module): # subclass_name = cls.__name__ + '_' + module.__name__ # bases = (cls,) # ns = {'module': module} # return type(subclass_name, bases, ns) # Ça évitera plusieurs traitements de using_module() si le paramètre de # 'module' ne change pas. # Et oui, on peut mélanger plusieurs classes et fonctions dans un même module, # ça n'a pas d'importance. #</sm> def simple_cache(func): """ Save results for the 'using_module' classmethod. When Python 3.2 is available, use functools.lru_cache instead. """ saved_results = {} def wrapper(cls, module): if module in saved_results: return saved_results[module] saved_results[module] = func(cls, module) return saved_results[module] return wrapper #<sm> # Nous avons vu que les propriétés permettaient de déguiser une méthode # en attribut. Cela ne marche pas sur une méthode de classe car dans ce cas # la propriété va se retourner elle-même. # Cette classe hérite de property pour écraser ce comportement et bien # retourner la valeur de la méthode de classe. # Elle est utilisée plus loin dans: # @ClassProperty # @classmethod # def _next_class(cls): # """ # What class should be used to construct new instances from this class # """ # return cls # Ce qui va permettre de faire path._next_class au lieu de path._next_class(). # C'est cosmétique, mais c'est le but de la lib d'être jolie. #</sm> class ClassProperty(property): def __get__(self, cls, owner): return self.fget.__get__(None, owner)() #<sm> # Encore un décorateur, cette fois sous forme de classe (on ne les a pas vu) # Celui-ci, quand il est appliqué, sert à ce qu'une méthode soit à la fois # une méthode d'instance et une méthode de classe, le choix se faisant # dynamiquement selon la situation. # Par exemple dans: # @multimethod # def joinpath(cls, first, *others): # """ # Join first to zero or more path components, adding a separator # character (first.module.sep) if needed. Returns a new instance of # first._next_class. # """ # if not isinstance(first, cls): # first = cls(first) # return first._next_class(first.module.join(first, *others)) # 'cls' sera une instance ou une classe selon que l'appel se fasse depuis la # classe ou l'instance. # Notez le nom de la classe qui n'est pas en CamelCase (pas de majuscule) # alors qu'il s'agit bien d'un classe. Comme c'est un décorateur, on a # l'habitude de les voir en minuscule, donc on laisse ce nom en minuscule. # C'est une des rares exceptions au PEP8 (on en verra d'autres plus bas) # qu'on peut se permettre quand on sait ce qu'on fait :-) #</sm> class multimethod(object): """ Acts like a classmethod when invoked from the class and like an instancemethod when invoked from the instance. """ def __init__(self, func): self.func = func def __get__(self, instance, owner): return ( functools.partial(self.func, owner) if instance is None else functools.partial(self.func, owner, instance) ) #<sm> # La classe principale, et le plus gros morceau de code. Une classe peut # tout à fait faire plusieurs centaines de lignes. # En général je recommande de ne pas avoir de fichiers qui fait plus de 500 # lignes en Python, mais ici le but est clairement de faire une lib qui tient # dans un fichier pour l'auteur. # La classe hérite du type unicode (hé oui, on peut hériter des types # built-in !); ainsi le path peut être manipulé comme une chaîne et reste # compatible avec tous les outils existants de manipulation de nom de fichiers # car ils utilisent les chaînes. # L'héritage est une techno qui sert donc aussi à conserver des compatibilités # et des comportements existants / attendus. # Encore une fois le nom est en minuscule alors que c'est une classe, c'est une # autre exception : quand on crée un type de base, on le met en minuscule # car c'est ce que fait la lib standard (int(), str(), list(), datetime(), # unicode(), etc, sont en fait des classes). # La docstring pourrait être meilleure. #</sm> class path(unicode): """ Represents a filesystem path. For documentation on individual methods, consult their counterparts in os.path. """ #<sm> # Probablement mon désaccord principal avec cette lib, l'init vérifie # qu'on lui passe bien une chaîne alors que j'aurais choisi le duck typing. #</sm> def __init__(self, other): if not isinstance(other, basestring): raise TypeError("path must be a string") #<sm> # L'auteur stocke la référence de os.path ici, et l'utilise partout à la # place d'utiliser os.path directement. Cela permet de changer ce module à # la volée, par exemple pour utiliser spécifiquement le module dédié à # Windows ou à unix au lieu de celui choisit automatiquement. # C'est un exemple de pattern stratégie. # Et non, la docstring n'a aucun effet. Ça pourrait être un comment. # En revanche, comme spécifié en comment, certains outils comme sphinx # prennent les docstring en compte sur les variables. #</sm> module = os.path "The path module to use for path operations." #<sm> # Une méthode retourne une classe path dont le module est # celui passé en paramètre. Pratique si vous voulez # utiliser un module spécifique à un OS depuis un autre # mais juste ponctuellement. # Par exemple sous Windows, vous voulez traiter un chemin # (mais un seul, le reste est sous Windows) Unix, vous # pouvez faire : # # >>> import posixpath # >>> p = path.using_module(posixpath)('/etc') # >>> print p # /etc # >>> p # path_posixpath(u'/etc') # ce qui crée un objet path() dont l'attribut 'module' est le module # posixpath. C'est une application concrète de l'injection de dépendance. #</sm> @classmethod @simple_cache def using_module(cls, module): subclass_name = cls.__name__ + '_' + module.__name__ bases = (cls,) ns = {'module': module} return type(subclass_name, bases, ns) #<sm> # Une propriété qui retourne la classe (oui, on peut retourner une CLASSE) # à utiliser si on veut créer une nouvelle instance de cette classe. # C'est très abstrait, vous n'aurez pas à faire ça tous les jours. # C'est une méthode placée là pour permettre un maximum de configurabilité # : si vous changez cette classe, certaines méthodes renverront un autre # type plutôt que le type en cours. Utile pour certains cas où vous voulez # hériter de path() mais désirez un comportement spécial pour la création # de nouveaux path. #</sm> @ClassProperty @classmethod def _next_class(cls): """ What class should be used to construct new instances from this class """ return cls # --- Special Python methods. #<sm> # Là on attaque la définition de toutes les méthodes magiques. # Essentiellement pour overrider le comportement par défaut des chaînes # unicode et exposer une API sympa. #</sm> #<sm> # Dans le shell, un path s'affichera path('chemin') et non 'chemin' # L'auteur affiche en fait le nom du type en cours (en cas d'héritage # cela changera) et ensuite la représentation du parent, en l'occurence # la classe unicode(). #</sm> def __repr__(self): return '%s(%s)' % (type(self).__name__, super(path, self).__repr__()) #<sm> # Override l'addition. # path('truc') + 'machin' donne path('trucmachin') #</sm> # Adding a path and a string yields a path. def __add__(self, more): try: return self._next_class(super(path, self).__add__(more)) except TypeError: # Python bug return NotImplemented #<sm> # 'machin' + path('truc') donne path('trucmachin') #</sm> def __radd__(self, other): if not isinstance(other, basestring): return NotImplemented return self._next_class(other.__add__(self)) #<sm> # Override la division. # path('truc') / 'machin' donne path('truc/machin') #</sm> # The / operator joins paths. def __div__(self, rel): """ fp.__div__(rel) == fp / rel == fp.joinpath(rel) Join two path components, adding a separator character if needed. """ return self._next_class(self.module.join(self, rel)) #<sm> # Petite astuce de compatibilité si le mec a fait # from __future__ import division ou si on est en Python 3 # # Remarque : on peut définir des attributs de classe n'importe où, et pas # seulement en haut de la classe. #</sm> # Make the / operator work even when true division is enabled. __truediv__ = __div__ #<sm> # path() est aussi un context manager qu'on peut utiliser avec with ! # with path('truc'): # tout ce qui est ici se fait dans le dossier truc # *_ n'est pas une notation qui a un effet spécial. '_' est un nom de # variable valide, c'est une convention pour dire 'je ne vais pas me # servir de cet argument, je le déclare juste pour respecter la signature' # et '*' est l'opérateur de paramétrage dynamique. '*_' est donc l'auteur # signalant qu'il accepte n'importe quels paramètres positionnels, mais # qu'ils ne les utilisera pas. #</sm> def __enter__(self): self._old_dir = self.getcwd() os.chdir(self) def __exit__(self, *_): os.chdir(self._old_dir) #<sm> # Le résultat de os.getcwdu(), mais retourne un objet path(). # Une bonne part du travail de la lib consiste à wrapper les méthodes # ordinaires des autres modules pour qu'elles retournent un type path() # pour qu'après on puisse faire des '.parent' ou utiliser '/' dessus # sans y penser. #</sm> @classmethod def getcwd(cls): """ Return the current working directory as a path object. """ return cls(os.getcwdu()) # # --- Operations on path strings. #<sm> # On enchaine ici des wrappers sur des méthodes de os.path (ou son # remplaçant dans self.module), que l'objet s'applique à lui-même (self). # Comme la classe hérite de 'unicode', toutes ces méthodes marchent. # Et comme self._next_class retourne la classe pour créer le prochain # path, on retourne toujours un objet de type 'path'. # Si on fait fi des abstractions et qu'on lit les valeurs par défaut, # self._next_class(self.module.abspath(self)) # fait en fait: # path(os.path.abspath('ton_chemin')) # Ce qui donne l'API suivante quand on utilise la lib : # >>> path('/etc/nginx/..').abspath() # path(u'/etc') #</sm> def abspath(self): return self._next_class(self.module.abspath(self)) def normcase(self): return self._next_class(self.module.normcase(self)) def normpath(self): return self._next_class(self.module.normpath(self)) def realpath(self): return self._next_class(self.module.realpath(self)) def expanduser(self): return self._next_class(self.module.expanduser(self)) def expandvars(self): return self._next_class(self.module.expandvars(self)) def dirname(self): return self._next_class(self.module.dirname(self)) def basename(self): return self._next_class(self.module.basename(self)) #<sm> # Là on rentre dans les méthodes utilitaires. L'auteur a constaté qu'on # appelait très souvent ces trois méthodes sur les chemin des fichiers de # config genre '~/toto' pour obtenir '/home/sam/toto' et propose donc # un shortcut pour le faire car honnêtement, qui se souvient du nom # de ces 3 méthodes à enchaîner pour obtenir un truc bullet proof ? # Règle d'or d'une belle API : si il faut regarder dans la doc à chaque # fois qu'on utilise quelque chose, il faut écrire un meilleur code. #</sm> def expand(self): """ Clean up a filename by calling expandvars(), expanduser(), and normpath() on it. This is commonly everything needed to clean up a filename read from a configuration file, for example. """ return self.expandvars().expanduser().normpath() #<sm> # Les méthodes suivantes sont préfixées d'un '_', donc elle n'apparaîtront # pas dans les résultats d'outils avec complétion du code. Cela nous # indique qu'il s'agit d'un détail d'implémentation, et que l'on ne devrait # pas l'utiliser en dehors de la classe. Rien n'empêche de le faire # cependant si vous avez envie de faire un beau hack bien gras. # Ici l'auteur fait ce choix car il va enrober ces appels dans des # propriétés pour les déguiser en attributs. # Ces 3 méthodes retournent respectivement l'extension de fichier, le nom # de fichier sans extension, et la lettre de lecteur sur les chemins # windows. #</sm> def _get_namebase(self): base, ext = self.module.splitext(self.name) return base def _get_ext(self): f, ext = self.module.splitext(self) return ext def _get_drive(self): drive, r = self.module.splitdrive(self) return self._next_class(drive) #<sm> # Malgré l'indentation bizarre, il s'agit bien de : # attribut_de_classe = function(arg1, arg2, arg3, arg4) # Dans les tutos précédents vous avez vu comment créer une propriété avec # le décorateur @property. # Ici l'auteur utilise l'ancienne façon de faire, car il veut garder la # compatibilité avec python 2.5. # C'est globalement la même chose, par exemple ici l'attribut 'namebase' # est défini comme une property et y accéder en lecture va appeler la # méthode '_get_namebase'. Le second et le troisième argument de # property() sont les setter et les deleter qui ne sont pas ici définis et # mis à None (donc l'attribut est en lecture seule). Le dernier argument # est la docstring. #</sm> parent = property( dirname, None, None, """ This path's parent directory, as a new path object. For example, path('/usr/local/lib/libpython.so').parent == path('/usr/local/lib') """) name = property( basename, None, None, """ The name of this file or directory without the full path. For example, path('/usr/local/lib/libpython.so').name == 'libpython.so' """) namebase = property( _get_namebase, None, None, """ The same as path.name, but with one file extension stripped off. For example, path('/home/guido/python.tar.gz').name == 'python.tar.gz', but path('/home/guido/python.tar.gz').namebase == 'python.tar' """) ext = property( _get_ext, None, None, """ The file extension, for example '.py'. """) drive = property( _get_drive, None, None, """ The drive specifier, for example 'C:'. This is always empty on systems that don't use drive specifiers. """) #<sm> # Encore des wrappers pour retourner des objets path(). La structure # est classique: définition de méthodes courtes avec docstring. # L'auteur retourne un tuple comme les méthodes originales (autant # changer le comportement attendu le moins possible), mais cast la # première partie du tuple en objet path(). #</sm> def splitpath(self): """ p.splitpath() -> Return (p.parent, p.name). """ parent, child = self.module.split(self) return self._next_class(parent), child def splitdrive(self): """ p.splitdrive() -> Return (p.drive, <the rest of p>). Split the drive specifier from this path. If there is no drive specifier, p.drive is empty, so the return value is simply (path(''), p). This is always the case on Unix. """ drive, rel = self.module.splitdrive(self) return self._next_class(drive), rel def splitext(self): """ p.splitext() -> Return (p.stripext(), p.ext). Split the filename extension from this path and return the two parts. Either part may be empty. The extension is everything from '.' to the end of the last path segment. This has the property that if (a, b) == p.splitext(), then a + b == p. """ filename, ext = self.module.splitext(self) return self._next_class(filename), ext #<sm> # Ici on a des méthodes légèrement différentes de celles qu'elles wrappent. # C'est vraiment pour se faciliter la tâche sur les opérations courantes # et sauver quelques caractères à la frappe. #</sm> def stripext(self): """ p.stripext() -> Remove one file extension from the path. For example, path('/home/guido/python.tar.gz').stripext() returns path('/home/guido/python.tar'). """ return self.splitext()[0] def splitunc(self): unc, rest = self.module.splitunc(self) return self._next_class(unc), rest @property def uncshare(self): """ The UNC mount point for this path. This is empty for paths on local drives. """ unc, r = self.module.splitunc(self) return self._next_class(unc) #<sm> # joinpath cast le premier argument si il n'est pas du même type que la # classe en cours. Il n'y a pas de raison apparente, donc je suppose que # c'est pour éviter une bug qu'ils ont découvert dans une situation # borderline #</sm> @multimethod def joinpath(cls, first, *others): """ Join first to zero or more path components, adding a separator character (first.module.sep) if needed. Returns a new instance of first._next_class. """ if not isinstance(first, cls): first = cls(first) return first._next_class(first.module.join(first, *others)) #<sm> # Puis on arrive enfin dans les méthodes métiers qui ne sont pas dans les # modules. Typiquement ce seront des méthodes plus longues et inconnues # car n'existant pas dans les autres modules donc : # - on les met à la fin # - la docstring est plus explicite. # Ici splitall permet de faire : # >>> path('/usr/lib/python2.7/fnmatch.pyc').splitall() # [path(u'/'), u'usr', u'lib', u'python2.7', u'fnmatch.pyc'] # Ce que os.path ne permet pas de faire directement. #</sm> def splitall(self): r""" Return a list of the path components in this path. The first item in the list will be a path. Its value will be either os.curdir, os.pardir, empty, or the root directory of this path (for example, ``'/'`` or ``'C:\\'``). The other items in the list will be strings. ``path.path.joinpath(*result)`` will yield the original path. """ parts = [] loc = self while loc != os.curdir and loc != os.pardir: prev = loc loc, child = prev.splitpath() if loc == prev: break parts.append(child) parts.append(loc) parts.reverse() return parts #<sm> # Voici une bonne pratique, avoir une méthode complexe (ici relpathto(), # qui crée un chemin relatif du path() courant vers un autre dossier), et # son opposée plus simple (ici relpath(), qui crée un chemin relatif d'un # dossier vers le path courant) qui utilise la méthode précédente en en # inversant juste les paramètres. # En effet ça ne sert à rien d'écrire deux fois la même méthode, on # factorise ainsi du code et respecte le principe DRY (don't repeat # yourself). # relpathto() est un bon exemple d'un code assez complexe pour une # opération qui parait pourtant assez simple. C'est aussi un très bon # exemple de comment écrire des commentaires : on ne décrit pas les # opérations évidentes mais on explique les choses ambiguës et on met des # avertissements #</sm> def relpath(self, start='.'): """ Return this path as a relative path, based from start, which defaults to the current working directory. """ cwd = self._next_class(start) return cwd.relpathto(self) def relpathto(self, dest): """ Return a relative path from self to dest. If there is no relative path from self to dest, for example if they reside on different drives in Windows, then this returns dest.abspath(). """ origin = self.abspath() dest = self._next_class(dest).abspath() orig_list = origin.normcase().splitall() # Don't normcase dest! We want to preserve the case. dest_list = dest.splitall() if orig_list[0] != self.module.normcase(dest_list[0]): # Can't get here from there. return dest # Find the location where the two paths start to differ. i = 0 for start_seg, dest_seg in zip(orig_list, dest_list): if start_seg != self.module.normcase(dest_seg): break i += 1 # Now i is the point where the two paths diverge. # Need a certain number of "os.pardir"s to work up # from the origin to the point of divergence. segments = [os.pardir] * (len(orig_list) - i) # Need to add the diverging part of dest_list. segments += dest_list[i:] if len(segments) == 0: # If they happen to be identical, use os.curdir. relpath = os.curdir else: relpath = self.module.join(*segments) return self._next_class(relpath) # --- Listing, searching, walking, and matching #<sm> # un simple wrapper mais qui rajoute un argument en plus : un pattern à la # unix. C'est une extension naturelle, et c'est le genre de chose que vous # vouliez faire et vous vous êtes toujours demandé : "mais pourquoi # c'est pas par défaut ?" ou "comment on fait ça facilement ?" Si vous # vous posez ce genre de question, étendez un peu les comportements # initiaux. Rajouter un argument ne rend pas le comportement différent du # précédent grâce au paramètre par défaut mis à None, donc c'est tout # bénef. #</sm> def listdir(self, pattern=None): """ D.listdir() -> List of items in this directory. Use D.files() or D.dirs() instead if you want a listing of just files or just subdirectories. The elements of the list are path objects. With the optional 'pattern' argument, this only lists items whose names match the given pattern. """ names = os.listdir(self) if pattern is not None: names = fnmatch.filter(names, pattern) return [self / child for child in names] #<sm> # Dans la même lignée de ce qu'on a vu plus haut: utiliser une fonction # plus complexe (qui déjà étend un comportement par défaut) pour en # faire encore une méthode plus spécialisée. # L'avantage de cette approche c'est que le code est plein de petites # briques: # vous avez listdir(), qui est assez court (mais déjà plus puissant), # puis dirs() et files(), qui font la même chose en plus spécialisés. # L'alternative aurait été d'ajouter une param à listdir() et ne pas # créer dirs() et files(), mais ça aurait rajouté un if dans le code et # un paramètre qui fait rechercher dans la doc celui qui l'utilise et # celui qui lit le code. # Avec l'approche actuelle, l'API est très claire : # for d in path('/etc').dirs() # On s'attend à lire tous les dossiers de /etc. Et les # méthodes restent courtes. #</sm> def dirs(self, pattern=None): """ D.dirs() -> List of this directory's subdirectories. The elements of the list are path objects. This does not walk recursively into subdirectories (but see path.walkdirs). With the optional 'pattern' argument, this only lists directories whose names match the given pattern. For example, ``d.dirs('build-*')``. """ return [p for p in self.listdir(pattern) if p.isdir()] def files(self, pattern=None): """ D.files() -> List of the files in this directory. The elements of the list are path objects. This does not walk into subdirectories (see path.walkfiles). With the optional 'pattern' argument, this only lists files whose names match the given pattern. For example, ``d.files('*.pyc')``. """ return [p for p in self.listdir(pattern) if p.isfile()] #<sm> # walk() et ses pendants walkdirs() et walkfiles() sont des alternatives # au très peu intuitif os.path.walk qui permet de traverser récursivement # un répertoire. # En effet, en Python les callbacks sont quelque chose qu'on utilise peu, # et à l'inverse, on itère beaucoup. # Cela permet de faire: # for f in path('/etc').walk_files(): # Pour lister récursivement tous les fichiers de /etc et de ses sous # (et sous, sous, sous) dossiers. # C'est clair, c'est simple à comprendre et facile à utiliser. # L'auteur utilise ici 'yield', et c'est l'outil parfait pour cela. # Souvenez vous de 'yield' comme un très bon moyen de parcourir des choses # imbriquées comme si c'était une structure plate à une dimension. # Yield permet de transformer n'importe quelle méthode d'un objet en # un générateur sur un algorithme qui peut être très complexe, simplifiant # son utilisation. Pensez-y ! # Sous le capot, c'est presque un appel récursif, si ce n'est qu'un nouvel # objet path() est créé à chaque fois, depuis lequel on fait walk(). # Notez également que sur une méthode comme ça qui peut foirer facilement # (une opération sur des centaines de fichiers...), un paramètre permet # de choisir une gestion des erreurs parmi : # - lever une exception (qui est dans un code propre le choix par défaut) # - ignorer (pour faire un code tolérant aux erreurs) # - ou faire un retour sans erreur, mais avec un warning technique (utile # pour le scripting) # Encore une fois, faire une classe, c'est l'occasion de penser à # l'utilisateur de la classe, ce qui a été ici bien fait. # Enfin, contrairement à ce qu'on pourrait attendre, walkdirs et walkfiles # n'utilisent pas walk(), ce qui est généralement fait pour des raisons de # performances (on sacrifie le DRY pour éviter un appel de callback # ou un test sur des grosses boucles), même si ici c'est une supposition. #</sm> def walk(self, pattern=None, errors='strict'): """ D.walk() -> iterator over files and subdirs, recursively. The iterator yields path objects naming each child item of this directory and its descendants. This requires that D.isdir(). This performs a depth-first traversal of the directory tree. Each directory is returned just before all its children. The errors= keyword argument controls behavior when an error occurs. The default is 'strict', which causes an exception. The other allowed values are 'warn', which reports the error via warnings.warn(), and 'ignore'. """ if errors not in ('strict', 'warn', 'ignore'): raise ValueError("invalid errors parameter") try: childList = self.listdir() except Exception: if errors == 'ignore': return elif errors == 'warn': warnings.warn( "Unable to list directory '%s': %s" % (self, sys.exc_info()[1]), TreeWalkWarning) return else: raise for child in childList: if pattern is None or child.fnmatch(pattern): yield child try: isdir = child.isdir() except Exception: if errors == 'ignore': isdir = False elif errors == 'warn': warnings.warn( "Unable to access '%s': %s" % (child, sys.exc_info()[1]), TreeWalkWarning) isdir = False else: raise if isdir: for item in child.walk(pattern, errors): yield item def walkdirs(self, pattern=None, errors='strict'): """ D.walkdirs() -> iterator over subdirs, recursively. With the optional 'pattern' argument, this yields only directories whose names match the given pattern. For example, ``mydir.walkdirs('*test')`` yields only directories with names ending in 'test'. The errors= keyword argument controls behavior when an error occurs. The default is 'strict', which causes an exception. The other allowed values are 'warn', which reports the error via warnings.warn(), and 'ignore'. """ if errors not in ('strict', 'warn', 'ignore'): raise ValueError("invalid errors parameter") try: dirs = self.dirs() except Exception: if errors == 'ignore': return elif errors == 'warn': warnings.warn( "Unable to list directory '%s': %s" % (self, sys.exc_info()[1]), TreeWalkWarning) return else: raise for child in dirs: if pattern is None or child.fnmatch(pattern): yield child for subsubdir in child.walkdirs(pattern, errors): yield subsubdir def walkfiles(self, pattern=None, errors='strict'): """ D.walkfiles() -> iterator over files in D, recursively. The optional argument, pattern, limits the results to files with names that match the pattern. For example, ``mydir.walkfiles('*.tmp')`` yields only files with the .tmp extension. """ if errors not in ('strict', 'warn', 'ignore'): raise ValueError("invalid errors parameter") try: childList = self.listdir() except Exception: if errors == 'ignore': return elif errors == 'warn': warnings.warn( "Unable to list directory '%s': %s" % (self, sys.exc_info()[1]), TreeWalkWarning) return else: raise for child in childList: try: isfile = child.isfile() isdir = not isfile and child.isdir() except: if errors == 'ignore': continue elif errors == 'warn': warnings.warn( "Unable to access '%s': %s" % (self, sys.exc_info()[1]), TreeWalkWarning) continue else: raise if isfile: if pattern is None or child.fnmatch(pattern): yield child elif isdir: for f in child.walkfiles(pattern, errors): yield f def fnmatch(self, pattern): """ Return True if self.name matches the given pattern. pattern - A filename pattern with wildcards, for example ``'*.py'``. """ return fnmatch.fnmatch(self.name, pattern) def glob(self, pattern): """ Return a list of path objects that match the pattern. pattern - a path relative to this directory, with wildcards. For example, path('/users').glob('*/bin/*') returns a list of all the files users have in their bin directories. """ cls = self._next_class return [cls(s) for s in glob.glob(self / pattern)] # # --- Reading or writing an entire file at once. def open(self, mode='r'): """ Open this file. Return a file object. """ return open(self, mode) #<sm> # L'avantage d'avoir une classe comme point de départ de tout c'est que # c'est facile à manipuler dans le shell, surtout en autocompletion. # Donc il est bon de mettre quelques outils qui sont pratiques dans les # usages type shell. # Ici c'est exactement le cas : on fait des méthodes un peu bourrines ( # globalement ça dump en mémoire ou ça écrit tout le fichier d'un coup), # mais très pratiques pour manipuler les objets dans un terminal. # Notez aussi le nettoyage opéré: # return (t.replace(u'\r\n', u'\n') # .replace(u'\r\x85', u'\n') # .replace(u'\r', u'\n') # .replace(u'\x85', u'\n') # .replace(u'\u2028', u'\n')) # Ce n'est pas particulièrement lié à la POO, mais l'encapsulation de # ce genre de process est toujours le bienvenu. L'idée est que l'objet # puisse être utilisé comme une boîte noire en laquelle on a totalement # confiance. #</sm> def bytes(self): """ Open this file, read all bytes, return them as a string. """ with self.open('rb') as f: return f.read() def write_bytes(self, bytes, append=False): """ Open this file and write the given bytes to it. Default behavior is to overwrite any existing file. Call p.write_bytes(bytes, append=True) to append instead. """ if append: mode = 'ab' else: mode = 'wb' with self.open(mode) as f: f.write(bytes) def text(self, encoding=None, errors='strict'): r""" Open this file, read it in, return the content as a string. This method uses 'U' mode, so '\r\n' and '\r' are automatically translated to '\n'. Optional arguments: encoding - The Unicode encoding (or character set) of the file. If present, the content of the file is decoded and returned as a unicode object; otherwise it is returned as an 8-bit str. errors - How to handle Unicode errors; see help(str.decode) for the options. Default is 'strict'. """ if encoding is None: # 8-bit with self.open('U') as f: return f.read() else: # Unicode with codecs.open(self, 'r', encoding, errors) as f: # (Note - Can't use 'U' mode here, since codecs.open # doesn't support 'U' mode.) t = f.read() return (t.replace(u'\r\n', u'\n') .replace(u'\r\x85', u'\n') .replace(u'\r', u'\n') .replace(u'\x85', u'\n') .replace(u'\u2028', u'\n')) #<sm> # Sur des méthodes avec de nombreux paramètres, ne pas hésiter # à mettre un maximum de valeurs par défaut "saines" (c'est à dire la # valeur du cas le plus courant ou pragmatique). # Comme c'est une grosse fonction très configurable, la docstring # est écrite en conséquence. Ne soyez pas timide avec la dosctring, # on peut la faire très très très longue, ce n'est pas une mauvaise # chose. # Notez que la docstring est préfixée d'un "r" ici, pour que Python # n'interprète pas les \n et \r. #</sm> def write_text(self, text, encoding=None, errors='strict', linesep=os.linesep, append=False): r""" Write the given text to this file. The default behavior is to overwrite any existing file; to append instead, use the 'append=True' keyword argument. There are two differences between path.write_text() and path.write_bytes(): newline handling and Unicode handling. See below. Parameters: - text - str/unicode - The text to be written. - encoding - str - The Unicode encoding that will be used. This is ignored if 'text' isn't a Unicode string. - errors - str - How to handle Unicode encoding errors. Default is 'strict'. See help(unicode.encode) for the options. This is ignored if 'text' isn't a Unicode string. - linesep - keyword argument - str/unicode - The sequence of characters to be used to mark end-of-line. The default is os.linesep. You can also specify None; this means to leave all newlines as they are in 'text'. - append - keyword argument - bool - Specifies what to do if the file already exists (True: append to the end of it; False: overwrite it.) The default is False. --- Newline handling. write_text() converts all standard end-of-line sequences ('\n', '\r', and '\r\n') to your platform's default end-of-line sequence (see os.linesep; on Windows, for example, the end-of-line marker is '\r\n'). If you don't like your platform's default, you can override it using the 'linesep=' keyword argument. If you specifically want write_text() to preserve the newlines as-is, use 'linesep=None'. This applies to Unicode text the same as to 8-bit text, except there are three additional standard Unicode end-of-line sequences: u'\x85', u'\r\x85', and u'\u2028'. (This is slightly different from when you open a file for writing with fopen(filename, "w") in C or open(filename, 'w') in Python.) --- Unicode If 'text' isn't Unicode, then apart from newline handling, the bytes are written verbatim to the file. The 'encoding' and 'errors' arguments are not used and must be omitted. If 'text' is Unicode, it is first converted to bytes using the specified 'encoding' (or the default encoding if 'encoding' isn't specified). The 'errors' argument applies only to this conversion. """ if isinstance(text, unicode): if linesep is not None: # Convert all standard end-of-line sequences to # ordinary newline characters. text = (text.replace(u'\r\n', u'\n') .replace(u'\r\x85', u'\n') .replace(u'\r', u'\n') .replace(u'\x85', u'\n') .replace(u'\u2028', u'\n')) text = text.replace(u'\n', linesep) if encoding is None: encoding = sys.getdefaultencoding() bytes = text.encode(encoding, errors) else: # It is an error to specify an encoding if 'text' is # an 8-bit string. assert encoding is None if linesep is not None: text = (text.replace('\r\n', '\n') .replace('\r', '\n')) bytes = text.replace('\n', linesep) self.write_bytes(bytes, append) def lines(self, encoding=None, errors='strict', retain=True): r""" Open this file, read all lines, return them in a list. Optional arguments: encoding - The Unicode encoding (or character set) of the file. The default is None, meaning the content of the file is read as 8-bit characters and returned as a list of (non-Unicode) str objects. errors - How to handle Unicode errors; see help(str.decode) for the options. Default is 'strict' retain - If true, retain newline characters; but all newline character combinations ('\r', '\n', '\r\n') are translated to '\n'. If false, newline characters are stripped off. Default is True. This uses 'U' mode. """ if encoding is None and retain: with self.open('U') as f: return f.readlines() else: return self.text(encoding, errors).splitlines(retain) def write_lines(self, lines, encoding=None, errors='strict', linesep=os.linesep, append=False): r""" Write the given lines of text to this file. By default this overwrites any existing file at this path. This puts a platform-specific newline sequence on every line. See 'linesep' below. lines - A list of strings. encoding - A Unicode encoding to use. This applies only if 'lines' contains any Unicode strings. errors - How to handle errors in Unicode encoding. This also applies only to Unicode strings. linesep - The desired line-ending. This line-ending is applied to every line. If a line already has any standard line ending ('\r', '\n', '\r\n', u'\x85', u'\r\x85', u'\u2028'), that will be stripped off and this will be used instead. The default is os.linesep, which is platform-dependent ('\r\n' on Windows, '\n' on Unix, etc.) Specify None to write the lines as-is, like file.writelines(). Use the keyword argument append=True to append lines to the file. The default is to overwrite the file. Warning: When you use this with Unicode data, if the encoding of the existing data in the file is different from the encoding you specify with the encoding= parameter, the result is mixed-encoding data, which can really confuse someone trying to read the file later. """ if append: mode = 'ab' else: mode = 'wb' with self.open(mode) as f: for line in lines: isUnicode = isinstance(line, unicode) if linesep is not None: # Strip off any existing line-end and add the # specified linesep string. if isUnicode: if line[-2:] in (u'\r\n', u'\x0d\x85'): line = line[:-2] elif line[-1:] in (u'\r', u'\n', u'\x85', u'\u2028'): line = line[:-1] else: if line[-2:] == '\r\n': line = line[:-2] elif line[-1:] in ('\r', '\n'): line = line[:-1] line += linesep if isUnicode: if encoding is None: encoding = sys.getdefaultencoding() line = line.encode(encoding, errors) f.write(line) def read_md5(self): """ Calculate the md5 hash for this file. This reads through the entire file. """ return self.read_hash('md5') def _hash(self, hash_name): with self.open('rb') as f: m = hashlib.new(hash_name) while True: d = f.read(8192) if not d: break m.update(d) return m def read_hash(self, hash_name): """ Calculate given hash for this file. List of supported hashes can be obtained from hashlib package. This reads the entire file. """ return self._hash(hash_name).digest() def read_hexhash(self, hash_name): """ Calculate given hash for this file, returning hexdigest. List of supported hashes can be obtained from hashlib package. This reads the entire file. """ return self._hash(hash_name).hexdigest() #<sm> # Comme les fonctions, les méthodes peuvent être définies sur une ligne si # le bloc ne fait qu'une ligne de taille. On utilise ça quand la fonction # est juste un alias un peu avancé comme ici pour garder un style quasi # déclaratif. #</sm> # --- Methods for querying the filesystem. # N.B. On some platforms, the os.path functions may be implemented in C # (e.g. isdir on Windows, Python 3.2.2), and compiled functions don't get # bound. Playing it safe and wrapping them all in method calls. def isabs(self): return self.module.isabs(self) def exists(self): return self.module.exists(self) def isdir(self): return self.module.isdir(self) def isfile(self): return self.module.isfile(self) def islink(self): return self.module.islink(self) def ismount(self): return self.module.ismount(self) def samefile(self): return self.module.samefile(self) def getatime(self): return self.module.getatime(self) atime = property( getatime, None, None, """ Last access time of the file. """) def getmtime(self): return self.module.getmtime(self) mtime = property( getmtime, None, None, """ Last-modified time of the file. """) def getctime(self): return self.module.getctime(self) ctime = property( getctime, None, None, """ Creation time of the file. """) def getsize(self): return self.module.getsize(self) size = property( getsize, None, None, """ Size of the file, in bytes. """) #<sm> # Technique intéressante : on peut générer dynamiquement le corps de # la classe. En effet, il peut contenir des if, des try, des for, etc. # Ici par exemple, on ne définit la méthode access() que si le module # 'os' possède l'attribut 'access'. # Si ce n'est pas le cas, la classe n'aura pas cette méthode. #</sm> if hasattr(os, 'access'): def access(self, mode): """ Return true if current user has access to this path. mode - One of the constants os.F_OK, os.R_OK, os.W_OK, os.X_OK """ return os.access(self, mode) def stat(self): """ Perform a stat() system call on this path. """ return os.stat(self) def lstat(self): """ Like path.stat(), but do not follow symbolic links. """ return os.lstat(self) #<sm> # Une autre technique intéressante : une des rares utilisation du double # '_' en tant que préfixe qui ait du sens. '__method' interdit d'accéder # directement à la méthode depuis l'extérieur. C'est ce qu'on a de plus # proche de "private" en Python. # Ce n'est pas sécurisé du tout (on peut le contourner) et cela empêche le # monkey patching et autres mesures de contournement en cas de besoin, # donc je ne vous recommande pas de le faire. # Mais dans ce cas, ces méthodes sont volontairement définies ainsi pour # être invisibles puis un peu plus bas, si win32security ou pwd existent # (rappelez-vous, ce sont des dépendances optionnelles), alors elles sont # aliasées pour être rendues disponibles. # Il y a 3 implémentations (3 méthodes: une pour windows, une pour unix et # une pour le cas où aucun module n'est présent) pour la même # fonctionnalité, et l'une des 3 méthodes est utilisée comme # implémentation de get_owner(). # On aurait pu tout mettre dans des if directement, mais ça ferait des # gros blocs moins lisibles. Ici il est facile de comprendre le code # source. #</sm> def __get_owner_windows(self): r""" Return the name of the owner of this file or directory. Follow symbolic links. Return a name of the form ur'DOMAIN\User Name'; may be a group. """ desc = win32security.GetFileSecurity( self, win32security.OWNER_SECURITY_INFORMATION) sid = desc.GetSecurityDescriptorOwner() account, domain, typecode = win32security.LookupAccountSid(None, sid) return domain + u'\\' + account def __get_owner_unix(self): """ Return the name of the owner of this file or directory. Follow symbolic links. """ st = self.stat() return pwd.getpwuid(st.st_uid).pw_name def __get_owner_not_implemented(self): raise NotImplementedError("Ownership not available on this platform.") if 'win32security' in globals(): get_owner = __get_owner_windows elif 'pwd' in globals(): get_owner = __get_owner_unix else: get_owner = __get_owner_not_implemented owner = property( get_owner, None, None, """ Name of the owner of this file or directory. """) if hasattr(os, 'statvfs'): def statvfs(self): """ Perform a statvfs() system call on this path. """ return os.statvfs(self) if hasattr(os, 'pathconf'): def pathconf(self, name): return os.pathconf(self, name) #<sm> # Pas d'autres commentaires après celui-là. jusqu'à la classe de fin. # Les méthodes suivantes retournent 'self' bien que ce ne soit # pas nécessaire. # Par exemple path('/tmp/test').chmod(777) va retourner path('/tmp/test') # alors que tout ce qu'on lui demande, c'est de changer la permission # du dossier. On le fait pour permettre le chaîning, c'est à dire # d'autoriser les appels enchainés comme : # path('/tmp/test').chmod(777).rename('/tmp/essai').mkdir('ping') #</sm> # # --- Modifying operations on files and directories def utime(self, times): """ Set the access and modified times of this file. """ os.utime(self, times) return self def chmod(self, mode): os.chmod(self, mode) return self if hasattr(os, 'chown'): def chown(self, uid, gid): os.chown(self, uid, gid) return self def rename(self, new): os.rename(self, new) return self._next_class(new) def renames(self, new): os.renames(self, new) return self._next_class(new) # # --- Create/delete operations on directories def mkdir(self, mode=0777): os.mkdir(self, mode) return self def mkdir_p(self, mode=0777): try: self.mkdir(mode) except OSError, e: if e.errno != errno.EEXIST: raise return self def makedirs(self, mode=0777): os.makedirs(self, mode) return self def makedirs_p(self, mode=0777): try: self.makedirs(mode) except OSError, e: if e.errno != errno.EEXIST: raise return self def rmdir(self): os.rmdir(self) return self def rmdir_p(self): try: self.rmdir() except OSError, e: if e.errno != errno.ENOTEMPTY and e.errno != errno.EEXIST: raise return self def removedirs(self): os.removedirs(self) return self def removedirs_p(self): try: self.removedirs() except OSError, e: if e.errno != errno.ENOTEMPTY and e.errno != errno.EEXIST: raise return self # --- Modifying operations on files def touch(self): """ Set the access/modified times of this file to the current time. Create the file if it does not exist. """ fd = os.open(self, os.O_WRONLY | os.O_CREAT, 0666) os.close(fd) os.utime(self, None) return self def remove(self): os.remove(self) return self def remove_p(self): try: self.unlink() except OSError, e: if e.errno != errno.ENOENT: raise return self def unlink(self): os.unlink(self) return self def unlink_p(self): self.remove_p() return self # --- Links if hasattr(os, 'link'): def link(self, newpath): """ Create a hard link at 'newpath', pointing to this file. """ os.link(self, newpath) return self._next_class(newpath) if hasattr(os, 'symlink'): def symlink(self, newlink): """ Create a symbolic link at 'newlink', pointing here. """ os.symlink(self, newlink) return self._next_class(newlink) if hasattr(os, 'readlink'): def readlink(self): """ Return the path to which this symbolic link points. The result may be an absolute or a relative path. """ return self._next_class(os.readlink(self)) def readlinkabs(self): """ Return the path to which this symbolic link points. The result is always an absolute path. """ p = self.readlink() if p.isabs(): return p else: return (self.parent / p).abspath() # # --- High-level functions from shutil copyfile = shutil.copyfile copymode = shutil.copymode copystat = shutil.copystat copy = shutil.copy copy2 = shutil.copy2 copytree = shutil.copytree if hasattr(shutil, 'move'): move = shutil.move rmtree = shutil.rmtree def rmtree_p(self): try: self.rmtree() except OSError, e: if e.errno != errno.ENOENT: raise return self # # --- Special stuff from os if hasattr(os, 'chroot'): def chroot(self): os.chroot(self) if hasattr(os, 'startfile'): def startfile(self): os.startfile(self) return self #<sm> # La seule spécificité de cette classe est d'overrider la méthode __new__ qui # est le véritable constructeur en Python (__init__ n'est pas un constructeur) # L'auteur le fait car tempdir hérite de path qui hérite d'unicode. Or, tous # les types non-mutables (int, tuple, str, etc, et donc unicode), n'étant pas # modifiables, ne peuvent être changés dans __init__. Ici __new__ est # utilisé pour retourner un path tout en créant un dossier temporaire, ce # qui ne marcherait pas dans __init__. Il est très rare d'avoir besoin de # s'occuper de __new__. #</sm> class tempdir(path): """ A temporary directory via tempfile.mkdtemp, and constructed with the same parameters that you can use as a context manager. Example: with tempdir() as d: # do stuff with the path object "d" # here the directory is deleted automatically """ @ClassProperty @classmethod def _next_class(cls): return path def __new__(cls, *args, **kwargs): dirname = tempfile.mkdtemp(*args, **kwargs) return super(tempdir, cls).__new__(cls, dirname) def __init__(self, *args, **kwargs): pass def __enter__(self): return self def __exit__(self, exc_type, exc_value, traceback): if not exc_value: self.rmtree() |
C’est une bibliothèque très complète et propre, et bien qu’il y ait quelques astuces ici et là, vous avez pu constater que l’usage de la POO reste tout à fait accessible : héritage simple, déclaration de méthode, properties, etc. On ne fait pas beaucoup de folies.
Il n’y a pas besoin de faire les choses compliquées avec la POO, on peut faire des choses tout à fait ordinaires et utiles.
Pour le dernier tuto de la série, on tapera dans la magie noire, à savoir les métaclasses. Tintintin.
P.S: cet article a été sponsorisé par le plugin Sublime Text Wraps Plus. Avec Wraps Plus, plus de caractères en sus !
Ca y est j’ai tout lu… Ca m’a pris une bonne heure mais j’y suis arrivé :D Il y a pas mal de magie noire dans cette lib et j’ai pas tout compris mais j’y reviendrai.
En tous cas merci pour ce morceau de rock… et les explications qui vont avec.
Tu dis que mettre des accents dans les coms fait planter.
Quel contournements possibles de cela ?
Tu peux mettre un joli
# encoding: utf8
au tout début du fichier (encoding).Sous Python 2.7, comme dit yohan, tu peux spécifier l’encoding. Sous Python 3 ça ne plantera pas.
> path(‘truc’) / ‘machin’ donne path(‘trucm/achin’)
path(‘truc/machin’)
>pour créer le prochaine path,
Le prochain
# Règle d’or d’une belle API : si il faut regarder dans la doc à chaque
# fois qu’on utilise quelque chose, il faut écrire un meilleur code.
Ca c’est TRES vrai, mais pas toujours facile à mettre en oeuvre.
> Yield permet de transformet
transformer
>pour des raisons performances
+de
>Ici dans __new__ est utilisé pour retourner un path tout en créant un un dossier
-dans -un
>plus de caractères en sus !
en suce. Nan, j’déconne.
merki ;) c’est corigeaïe
Bravo pour avoir eu le courage de tout commenter !!
J’avais déjà pu le lire (suite à un de tes billets ?!) et c’est vrai que le code est simple. Et plus qu’une bibliothèque de confort, c’est une bibliothèque de productivité ;)
Seule remarque : dans la docstring, il y a quasiment pas de doctest ce qui est un comble :
* ça manque d’exemples
* ça rajouterait des tests rapidement écrit
Vu que tu n’en parle pas trop, quel est ton avis ?
peewee ? C’est un des rares codes à m’avoir effrayé, à se demander si c’est du Python :’)
Je suis pour les docstrings, mais la communauté est partagée dessus donc il n’y a pas de réponse valable dans tous les cas.
Par contre non, je commenterais pas peewee, je vais rester dans l’exemple académique sur les métaclasses car le sujet est suffisament tarabiscoté pour ne pas rajouter la complexité du code à la difficulté de compréhension.
C’est sur que 2469 lignes, faut s’accrocher ^^
Mais quelles sont les reproches sur les docstrings ? À part la cassure de la frontière test/code, il n’y a que du positif :/
Les docstests sont difficiles à isoler individuellement, elles sont dépendantes de l’encodage de la docstring, elles donnent des message de failure non introspectibles et il faut des notations spéciales pour tester des résultats dont la représentation textuelle varie.
Objection, votre honneur : http://www.python.org/dev/peps/pep-0258/#attribute-docstrings
C’est pris en compte dans sphinx, par exemple.
Oui mais là on parle de Python tout nu mon amour. Parce que sinon on peut dire que les ‘@’ sont pris en compte dans doxygen et les ‘/**’ dans les autres outils de doc, et c’est la porte ouverte à toutes les fenêtres.
Merde, j’allais dire que c’était général à python puisque c’est dans le pep 224, mais en fait il a été rejeté. Du coup, faites comme si j’avais rien dit. Ça m’apprendra à lire trop vite.
C’est piégeux les pep.
Très intéressant Sam.
Parmi les choses sur lesquelles j’ai buté, la méthode
using_module
. Ton commentaire a l’air inexact.Tu écris qu’elle retourne le module actuellement utilisé, ce qui me paraissait bizarre (suffit de faire
path.module
pour ça, et ça ne correspond pas au code: la méthode prend un module en paramètre et retourne une classe.Je me suis retrouvé sur la repo de path et la discussion concernant la manière de permettre de “spécifier explicitement le module path a utiliser” (en l’occurence posix ou nt), ce qui a clarifié les choses.
Par ailleurs, les auteurs écrivent dans la méthode
simple_cache
:.
Je ne comprend pas ce que ça signifie: a part cette mention, on ne voit
functools.lru_cache
nulle part dans le code.Tu as raison, je vais corrigé ça.
Pour functools.lru_cache, je pense que c’est le fantome d’un comment qui n’a jamais été implémenté.
Du coup :
https://github.com/jaraco/path.py/issues/21
Cool! Première fois que je me sens utile en python
Il manque un lien dans l’article 6 :p
Plus maintenant !
Voilà, j’ai enfin lu l’article en entier. Long, mais très instructif, cette lib est encore mieux que ce que je pensais !
Une petite question : tu dis que l’auteur n’utilise pas @property pour garder la compatibilité python 2.5, mais il l’utilise pour la méthode
uncshare()
Enfin, pour terminer, quelle serait la meilleure manière d’intégrer cette lib à un projet ? On place direct le fichier quelque part dans l’arborescence du projet ? On peut l’importer de manière automatique depuis le setup.py ? On demande à l’utilisateur de l’installer (dans le cas où le projet n’est pas grand public mais les utilisateurs sont sensé savoir se débrouiller un minimum) ? Je pense notamment aux mises à jour ou au fait qu’il est peut-être plus judicieux d’utiliser la lib du système si elle est présente.
Je vais ouvrir un ticket pour poser cette question au mec sur @property:
https://github.com/jaraco/path.py/issues/24
Pour l’intégration, ça dépend de ce que tu veux faire.
Si tu veux l’intégrer dans un projet web perso, il faut le mettre dans requirements.txt:
http://sametmax.com/votre-python-aime-les-pip/
Si tu le joints à une lib sur pypi, alors il faut le mettre dans le setup.py:
http://sametmax.com/creer-un-setup-py-et-mettre-sa-bibliotheque-python-en-ligne-sur-pypi/
Si c’est pour un projet tout con ou un deb (car je pense que path.py n’est pas dans les dépots), alors on peut juste filer le fichier dans l’archive.
Pour zerobin on fait un mix (pour d’autres libs que path.py), donc tu peux regarder comment en fait :
https://github.com/sametmax/0bin/tree/master/zerobin
On a la dépendance dans setup.py, qui est installé automatiquement. Mais si l’utilisateur télécharge l’archive des sources, il peut dezipper le projet et l’utiliser cash, sans rien installer, car on fournit les depannces avec pour ce format. Ce n’est pas toujours possible, mais là c’était facile à faire.
Dans les dépôts d’ubuntu y’a python-unipath, je ne sais pas ce que ça vaut.
Merci pour les différentes méthodes, je vais juste inclure les fichiers vu que ça va rester en interne. J’ai plus qu’à m’y mettre…
Hop, le package de correction du jour. Attention, y’a beaucoup.
l’orienté object
l’orienté objet
dans un dossiers
dans un dossier
les algos en détails
les algos en détail
d’un caractères
d’un caractère
hexadecimal
hexadécimal
(quitte à pourrir l’encodage d’un fichier en mettant des accents, autant aller jusqu’au bout).
si on peut faire passer
si on veut faire passer
(pas sûr de moi)
dans certains protocole
dans certains protocoles
—
Interlude :
Notons qui si vous avez participé à path.py, vous avez plus de 50% de chances de vous appeler Jason.
De plus, si vous êtes un participant important à path.py, vous avez 100% de chances de vous appeler Jason.
Si vous vous appelez Jason, vous avez 0.019% de chance d’avoir participé à path.py.
—
Manipulation du FS
Manipulation du File System
Ça vous coûtera pas beaucoup plus en bande passante, et ça évitera d’effrayer des gens qui ne sont pas familier avec cette acronyme.
Sommes de controle
Sommes de contrôle
Les code d’erreurs liées au fichier
Les codes d’erreur liés aux fichiers
Hyper Combo !
tièrce
tierce
ooptionelle
optionelle
Les warning ressemblent
Les warnings ressemblent
decorateur
décorateur
de les voire en minuscule
de les voir en minuscule
tous les outils de manipulation de nom de fichiers existant
tous les outils existants de manipulation de noms de fichiers
et des comportements existant
et des comportements existants
Distinction entre participe présent et adjectif verbal. Just sayin’ :
http://grammaire.reverso.net/4_1_12_accord_des_formes_en_ant.shtml
quand on créer un type de base
quand on crée un type de base
int(), str(), list(), datetime(), unicode, etc,
int(), str(), list(), datetime(), unicode(), etc,
j’aurais choisit
j’aurais choisi
prend les docstring
prennent les docstrings
parce que le sujet c’est “certains outils” (pluriel) et non pas “sphinx” (singulier)
Une méthode retourne une classe path
Une méthode qui retourne une classe path
un module de spécifique à un OS
un module spécifique à un OS
des chaines
des chaînes
une API sympas.
une API sympa.
la representation
la représentation
path(‘truc’) / ‘machin’ donne path(‘trucm/achin’)
path(‘truc’) / ‘machin’ donne path(‘truc/machin’)
tout ce qui est ici ce fait
tout ce qui est ici se fait
et ‘*’ et l’opérateur
et ‘*’ est l’opérateur
n’apparaitront
n’apparaîtront
un détail implémentation
un détail d’implémentation
Ce 3 méthodes
Ces 3 méthodes
qu’elles wraps.
qu’elles wrappent.
C’est pas parce que c’est un anglicisme qu’il faut mal le conjuguer !
qui créer un
qui crée un
qui créer un
qui crée un
(il y est deux fois)
et c’est le genre de chose que vous voudrez faire quand vous vous êtes toujours demandé
et c’est le genre de chose que vous vouliez faire quand vous vous êtes toujours demandé
C’est pas vraiment une faute, mais la concordance des temps m’a paru bizarre.
Pour lister récursivements
Pour lister récursivement
algorythme
algorithme
des erreurs parmis
des erreurs parmi
aux erreur)
aux erreurs)
n’utilise pas walk()
n’utilisent pas walk()
methodes
méthodes
la cas
le cas
vous recommande
vous recommande
un peu plus pas
un peu plus bas
3 méthodes: un pour windows
3 méthodes: une pour windows
fonctionnalitéé
fonctionnalité
modules tempfile, os : l’espace fait partie du lien, ça fait bizarre
c’est à dire : c’est-à-dire
un bibliothèque : une
#Lister des fichier : fichiers
aux fichiers. : sans . pour être cohérent
Ici donc, ou hérite : on hérite
c’est à dire : c’est-à-dire
(on ne les a pas vu) : les décorateurs-> vus, les classes -> vues + . après la parenthèse
avoir de fichiers qui fait : qui fassent
etc : etc.
celui choisit : choisi
sur les chemin : chemins
si il faut : s’il
si il n’est pas : s’il
une bug : un (bogue :()
une param : un param
l’API est très claire : clair
l’encapsutation…est…le bievenu : la bienvenue
(c’est à dire la valeur : c’est-à-dire
Avec wrap Plus, des caractères seuls en début ou fin de ligne («(» en fin, «:» au début) et ça, c’est quand même moche :þ