Retrouvez cet article dans : Linux Magazine 106
Vous surfez sur un site de vidéos en ligne, et voilà que vous en voyez une tellement bien que vous voulez absolument la conserver. Il existe de nombreux sites qui vous proposent de sauvegarder les vidéos au format FLV, à partir de l’URL originale sur YouTube.
Mais je suis paresseux, et je n’ai pas envie de me fatiguer à copier/coller des URL juste pour garder une vidéo. Je préfère que ce soit automatique, quitte à faire le tri par la suite.
La meilleure manière de capturer un flux qu’on reçoit par le web, c’est tout simplement de demander au proxy de le faire. Il se trouve que j’ai justement écrit un proxy web en Perl. :-)
La technique est simple.
Pour tout fichier dont le type MIME correspond au format à sauvegarder :
trouver l’identifiant du fichier (souvent stocké sous la forme id=id dans l’URL de la requête)
construire un nom de fichier (en incluant le nom du site et la date, pour que tout soit un peu plus simple à retrouver)
Le résultat est assez court :
|
#!/usr/bin/env perl use strict; use warnings; use HTTP::Proxy; use HTTP::Proxy::BodyFilter::save; use Digest::MD5 qw( md5_hex ); use POSIX qw( strftime ); my $proxy = HTTP::Proxy->new(@ARGV); # un filtre pour sauver les fichiers FLV my $flv_filter = HTTP::Proxy::BodyFilter::save->new( filename => sub { my ($message) = @_; my $uri = $message->request->uri; # trouve l’id dans l’URL ou sinon calcule un hash MD5 my ($id) = $uri->query =~ /id=([^&;]+)/i; $id = md5_hex($uri) unless $id; # construit le nom de fichier en ajoutant le nom du site my ($host) = $uri->host =~ /([^.]+\.[^.]+)$/; my $file = strftime "flv/%Y-%m-%d/${host}_$id.flv", localtime; # ignore le fichier si on l’a déjà return if -e $file && -s $file == $message->content_length; # renvoie le nom du fichier à sauver return $file; } ); # ajoute le filtre sur tous les types MIME qu’on veut sauver for my $mime (qw( video/flv video/x-flv )) { $proxy->push_filter( mime => $mime, response => $flv_filter, ); } # démarre le proxy $proxy->start; |
Attention, lors du développement de ce script, j’ai découvert un certain nombre de bugs dans HTTP::Proxy::BodyFilter::save. Il vous faudra donc au moins la version 0.21, qui devrait être sur CPAN quand vous lirez ces lignes.
|
Références |
|
HTTP::Proxy, un module pour prendre le contrôle du web. Flash Video, quelques explications sur le format. WWW::YouTube::VideoURI, de Gavin Brown. |
À vous !
Envoyez vos perles à perles@mongueurs.net. Elles seront peut-être publiées dans un prochain numéro de GNU/Linux Magazine.
Retrouvez cet article dans : Linux Magazine 106
