sid/feeds.py

   1 # -*- coding: utf-8 -*-
   2
   3 # Copyright (C) 2011, 2014 kaliko <kaliko@azylum.org>
   4
   5 # This program is free software: you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation, version 3 only.
   8
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 import datetime
  18 import threading
  19 import time
  20
  21 from feedparser import parse as feed_parse
  22
  23 from .plugin import Plugin, botcmd
  24
  25
  26 html_escape_table = {
  27         "&": "&amp;",
  28         '"': "&quot;",
  29         "'": "&apos;",
  30         ">": "&gt;",
  31         "<": "&lt;",
  32         }
  33
  34
  35 def html_escape(text):
  36     """Produce entities within text."""
  37     return "".join(html_escape_table.get(c, c) for c in text)
  38
  39
  40 def strtm_to_dtm(struc_time):
  41     return datetime.datetime(*struc_time[:6])
  42
  43
  44 class FeedMonitor(threading.Thread):
  45     def __init__(self, plugin):
  46         threading.Thread.__init__(self)
  47         self.feeds_list = plugin.FEEDS
  48         self.tempo = plugin.TEMPO
  49         self.bot = plugin.bot
  50         self.last_check = datetime.datetime.utcnow()
  51         self.seen = dict()
  52         self.thread_killed = False
  53
  54     def send(self, message):
  55         """simple wrapper around JabberBot().send()"""
  56         self.bot.log.debug(self.bot.room)
  57         self.bot.send_message(mto=self.bot.room,
  58                               mbody=message[1],
  59                               mhtml=message[0],
  60                               mtype='groupchat')
  61
  62     def new_posts(self, feed):
  63         """Send new posts in feed"""
  64         parsed_feed = feed_parse(feed)
  65
  66         # Cannot resolve address
  67         if 'status' not in parsed_feed:
  68             self.bot.log.error(u'Error from "%s": %s.' %
  69                     (feed, parsed_feed.bozo_exception.__repr__()))
  70             return
  71
  72         # unusual return http code
  73         if parsed_feed.status != 200:
  74             self.bot.log.error(
  75                 u'Got code %(status)d from "%(href)s" (please update).' %
  76                     parsed_feed)
  77             return
  78
  79         feed_updated = parsed_feed.feed.get('updated_parsed', None)
  80
  81         # Avoid looping over all posts if possible
  82         if feed_updated and strtm_to_dtm(feed_updated) < self.last_check:
  83             self.bot.log.debug('updated   : %s' % strtm_to_dtm(feed_updated))
  84             self.bot.log.debug('last check: %s' % self.last_check)
  85             return
  86
  87         title = u'"%s":' % parsed_feed.feed.get('title', 'n/a')
  88         xtitle = u'<strong>%s</strong>:' % html_escape(
  89             parsed_feed.feed.get('title', 'n/a'))
  90         text = [title]
  91         xhtml = [xtitle]
  92         feed_id = parsed_feed.feed.get('id', feed)
  93         if not self.seen.setdefault(feed_id):
  94             # Fills with post id when first started (prevent from posting all
  95             # entries at startup)
  96             self.seen[feed_id] = [post.id for post in parsed_feed.entries]
  97             return
  98
  99         for post in parsed_feed.entries:
 100             if post.id not in self.seen.get(feed_id):
 101                 self.seen[feed_id].append(post.id)
 102                 self.bot.log.info(post.title)
 103
 104                 body = u'%(title)s %(link)s' % post
 105                 text.append(body)
 106
 107                 xpost = dict(**post)
 108                 xpost['title'] = html_escape(xpost.get('title', 'n/a'))
 109                 xbody = u'<a href="%(link)s">%(title)s</a>' % xpost
 110                 xhtml.append(xbody)
 111
 112         if len(text) > 1:
 113             self.send(('<br/>'.join(xhtml), '\n'.join(text)))
 114
 115     def run(self):
 116         while not self.thread_killed:
 117             self.bot.log.info(u'feeds check')
 118             for feed in self.feeds_list:
 119                 try:
 120                     self.new_posts(feed)
 121                 except Exception as err:
 122                     self.bot.log.error(u'feeds thread crashed')
 123                     self.bot.log.error(err)
 124                     self.thread_killed = True
 125             self.last_check = datetime.datetime.utcnow()
 126             for _ in list(range(self.tempo)):
 127                 time.sleep(1)
 128                 if self.thread_killed:
 129                     return
 130
 131
 132 class Feeds(Plugin):
 133     TEMPO = 60
 134     FEEDS = [
 135         # not working <http://bugs.debian.org/612274>
 136         # 'http://www.debian.org/security/dsa',
 137
 138         # not working <http://bugs.debian.org/612274>
 139         # 'http://www.debian.org/News/news',
 140
 141         # DPN in french
 142        'http://www.debian.org/News/weekly/dwn.fr.rdf',
 143
 144         # Misc
 145        'http://rss.gmane.org/topics/excerpts/gmane.linux.debian.devel.announce',
 146        'http://rss.gmane.org/gmane.linux.debian.user.security.announce',
 147        'http://planet-fr.debian.net/users/rss20.xml',
 148        'http://planet.debian.org/atom.xml',
 149         ]
 150
 151     def __init__(self, bot):
 152         Plugin.__init__(self, bot)
 153         self.last_check = None
 154         self.th_mon = FeedMonitor(self)
 155         self.th_mon.start()
 156
 157     def shutdown(self):
 158         self.th_mon.thread_killed = True
 159
 160     @botcmd
 161     def feeds(self, message, args):
 162         """feeds monitors debian project related feeds.
 163         !feeds : registred feeds list
 164         !feeds last : last check time"""
 165         if 'last' in args:
 166             return u'Last feeds check: %s' % self.th_mon.last_check
 167         return u'\n'.join(Feeds.FEEDS)