Tobis Blog

Nach dem erfolgreichen Release von selfoss gibts heute auch schon das erste Update. Folgendes hat sich geändert:

• Passwörter werden jetzt als Hash in der config.ini gespeichert. In der config.ini kann dazu ein salt gesetzt werden. Ein Passwort kann dann unter der URL: http://your_selfoss_url.com/password erzeugt werden. Dieses muss dann in der config.ini abgelegt werden.
• alle JavaScript Dateien werden jetzt zu einer all.js zusammengefasst und minimiert. Analog für alle CSS Stylesheets.
• die Apache Konfiguration enthält nun Optionen für ein Caching und für eine Kompression der Dateien.
• Code wurde nochmal aufgeräumt und ein paar unnütze Dinge entfernt.

So, endlich ist es vollbracht. selfoss 1.0 ist verfügbar. Dazu gibt es jetzt auch eine eigene Webseite, wo natürlich die Werbetrommel ordentlich angeheizt wird und mit Buzzwords nur so um sich geworfen wird.

Neu verfügbar ist nun neben MySQL ein Datenbankbackend für Sqlite und MongoDB (danke Harald). Zudem habe ich noch ein paar Bugs entfernt. Vielen Dank an alle Betatester. Euer Feedback war echt super!

Auf selfoss.aditu.de ist nun auch eine Dokumentation zu finden. Dort ist auch eine kurze Erklärung, wie eigene spouts, also andere Anwendungen und Quellen an Selfoss angeschlossen werden können. Dazu habe ich hier im Blog ja auch schon einmal ein Tutorial geschrieben.

Tja, sonst kann ich nur sagen: schaut euch selfoss einfach einmal an. Ich nutze es ja schon seit einigen Monaten und schätze die schlichte und übersichtliche Art, News zu lesen sehr.

In letzter Zeit zieht es mich immer wieder zu 500px.com. Seit dem es die iPad App für die Seite gibt, bin ich von 500px.com echt begeistert. So schöne Fotografien wie dort gibt es aktuell nirgends.

Also, wer meine aktuellen Fotografien verfolgt, kann meine Seite dort gerne im Auge behalten.

Jetzt liegt es schon wieder ein paar Jahre zurück, dass ich unseren Kürbis des Jahres hier präsentiert habe. Gerade frisch geschnitzt und an der Gartentür aufgestellt:

Letzte Woche habe ich ja den neuen RSS Reader selfoss als Beta Version veröffentlicht. Ein Vorteil von dem Reader ist die Erweiterbarkeit hinsichtlich der Quellen. So können nicht nur RSS Feeds verarbeitet, sondern auch beliebige Quellen angezapft werden (z.B. Logfiles, Email Accounts, Webseiten ohne RSS Feed, Facebook OpenGraph).

Manchmal möchte man aber auch nur einzelne Einträge von RSS Feeds um zusätzliche Informationen anreichern. Ich mache das beim RSS Feed von heise, wo der Inhalt des News Beitrages nicht mitgeliefert wird. Diesen lade ich dann einfach in einer speziellen Datenquelle, die sich um diese Funktion von einem gewöhnlichen RSS Feed unterscheidet, nach.

Nun gibt es eine Schritt-für-Schritt Anleitung, wie so eine Datenquelle erstellt werden kann.

Eine Datenquelle, eine Klasse

selfoss stellt ein kleines Framework zur Verfügung, das es erlaubt recht einfach neue Datenquellen hinzuzufügen. Dazu muss nur eine einzelne PHP Datei unter
/spouts/your_spouts/your_spout.php
abgelegt werden (your_spouts und your_spout kann frei durch einen anderen Namen ersetzt werden). Diese PHP Datei muss eine einzelne Klasse enthalten, welche von der abstrakten Klasse \spouts\spout abgeleitet ist (man beachte, dass selfoss PHP 5.3 voraussetzt und \spouts der Namespace für alle Datenquellen ist).

Datenelemente der Klasse

Die eigene Klasse muss drei Datenelemente definieren:

• name: der Name der Datenquelle
• description: eine Beschreibung
• params: hier werden die Optionen der Datenquelle festgelegt. Soll z.B. ein Benutzername eingegeben werden, so kann dies hier vorgegeben werden.

Folgend gleich ein Beispiel für so eine Klasse. Natürlich fehlen hier noch die Methode, auf die ich gleich eingehe. Es wird eine Datenquelle für einen Email Account via IMAP definiert. Der Benutzer muss, wenn er eine solche neue Email IMAP Quelle definiert, die Email Adresse, das Passwort und den Server eintragen. $params beschreibt diese drei Parameter, legt fest, was für ein Typ diese darstellen und wie die Eingabe des Benutzers validiert wird.

<?PHP
namespace spouts\mail;
class imap extends \spouts\spout {
    public $name = 'Email';
    public $description = 'email imap account as source';
    public $params = array(
            "email" => array(
            "title"      => "Email",
            "type"       => "text",
            "default"    => "",
            "required"   => true,
            "validation" => array("email")
        ),
        "password" => array(
            "title"      => "Password",
            "type"       => "password",
            "default"    => "",
            "required"   => true,
            "validation" => array("notempty")
        ),
        "host" => array(
            "title"      => "URL",
            "type"       => "text",
            "default"    => "",
            "required"   => true,
            "validation" => array("notempty")
        )
    );
}

Methoden der Klasse

Durch die abstrakte Elternklasse \spouts\spout muss die Datenquelle einige Funktionen implementieren. Diese werden dann im laufenden Betrieb von selfoss aufgerufen. Folgendes UML Diagramm gibt einen Überblick über die Struktur:

Die Klasse muss drei Dinge implementieren:

• Sie muss eine Funktion load($params) für das Laden der Informationen zur Verfügung stellen. Diese wird während der Aktualisierung einmal aufgerufen und erhält als Parameter die aktuellen Einstellungen. load($params) muss von der Datenquelle implementiert werden und holt die Daten von der entfernten Quelle (z.B. führt einen IMAP Zugriff aus und lädt aktuelle Emails).
• Sie muss das Interface Iterable implementieren. selfoss iteriert, nachdem load() ausgeführt wurde, dann über die einzelnen Einträge (mit Hilfe der Funktionen, die das Interface Iterable vorgibt: rewind, current, key, next, valid). Die einzelnen Einträge könnten z.B. neue Emails sein.
• Während selfoss über die einzelnen Einträge iteriert, werden dann die Informationen dieser einzelnen Einträge abgerufen. Dies geschieht über Funktionen, welche durch die abstrakte Klasse \spouts\spout vorgegeben werden. Informationen sind z.B. Betreff einer Email, Email Body usw.

Der Ablauf ist dann folgender:

1. Im Beispiel würde load($params) von selfoss mit der vom Benutzer eingegebenen Email, Passwort und Host aufgerufen.
2. Diese Methode würde dann die Emails vom IMAP Account herunterladen und zwischenspeichern.
3. selfoss iteriert über die einzelnen Emails (mit rewind, current, key, next, valid).
4. Bei jedem einzelnen Iterationsschritt (also für jede Email) werden die Email-Informationen abgerufen (Inhalt, Betreff, Datum usw.) und zwar mit Hilfe der Funktionen: getId(), getTitle(), getContent(), getIcon(), getLink(), getDate().
5. Um den Rest kümmert sich selfoss (prüfen ob es den Eintrag schon gibt, alte Einträge löschen usw.)

Eine Implementierung für diese Funktionen liegt natürlich völlig in der Hand des Entwicklers einer Datenquelle. Daher verweise ich an dieser Stelle auf die vorhandenen Datenquellen. \spouts\spout\feed (\spouts\rss\feed.php) stellt ein gutes Beispiel dar. Wer diese als Vorlage nimmt, kommt recht schnell sehr weit, denn dort werden alle Funktionen genutzt. Soll nur ein Standard RSS Feed um Funktionen erweitert oder angepasst werden, dann verweise ich auch die Klasse \spouts\spout\heise (\spouts\rss\heise.php). Hier wird lediglich die getContent() überschrieben und ansonsten verhält sich die Datenquelle wie ein gewöhnliches RSS Feed.

Thumbnails

Soll anstelle eines Textes ein Vorschaubild angezeigt werden, so muss die Methode getThumbnail() implementiert werden. Diese liefert für einen einzelnen Eintrag das Vorschaubildchen (die URL auf das Bild). \spouts\spout\images (\spouts\rss\images.php) ist ein Beispiel dafür. Diese Datenquelle geht von einem gewöhnlichen RSS Feed aus, durchsucht es nach Bilder (entweder ausgezeichnete Thumbnails im XML des Beitrages, oder das erste Bild im Content des Beitrages) und liefert die URL an selfoss. Das Laden, Verkleinern, Speichern und Aufräumen der Bilder übernimmt selfoss.

Los gehts…

Das war sie, die kurze und knackige Einführung, wie Datenquellen für selfoss entwickelt werden können. Gerne könnt ihr mir dazu Fragen stellen und bei Problemen schreiben (am besten hier im Blog, so dass auch andere von den Antworten profitieren können). Sehr freue ich mich auch über fertige Datenquellen. Gerne nehme ich neue in selfoss auf.

Besonders im Web-Umfeld ist das PDF Format ein beliebtes Mittel, da die Unterstützung durch Clients hervorragend ist. Häufig kommt man dann auch in die Verlegenheit mit PDF Dateien umzugehen und z.B. Dokumente on-the-fly zu erstellen oder zu editieren. In einem aktuellen Anwendungsfall sollen von PDF Dateien Vorschaubilder erzeugt und ausgegeben werden.

Hierfür habe ich die hervorragende Java Bibliothek Pdf-renderer entdeckt. Die unter LGPL stehende OpenSource Library ermöglicht es, PDF Dateien zu rendern und als Bild auszugeben. Ursprünglich wurde die Bibliothek von Sun Labs entwickelt, welche einen PDF Viewer für ihre mit OpenOffice erzeugten Ausgaben benötigten. 2007, als der Pdf-renderer nicht mehr benötigt wurde, hat man sich entschlossen das Projekt als OpenSource Lösung zu veröffentlichen (Quelle).

Einbinden

Der Pdf-renderer kann einfach als Maven Dependency eingebunden oder als JAR Datei heruntergeladen werden.

<dependency>
	<groupId>org.swinglabs</groupId>
	<artifactId>pdf-renderer</artifactId>
	<version>1.0.5</version>
</dependency>

PDF laden und Bild erzeugen

Ein kurzes Codebeispiel zeigt, wie einfach aus einem PDF ein Bild erzeugt werden kann. In einem ersten Schritt wird aus der Datei als java.io.File Objekt ein ByteBuffer erzeugt. Dieser dient als Grundlage für den Zugriff auf den Inhalt der PDF Datei durch die pdf-renderer Klasse PDFFile.

import com.sun.pdfview.PDFFile;
import com.sun.pdfview.PDFPage;
…
File file = new File("c:\\tmp\\test.pdf");
RandomAccessFile raf = new RandomAccessFile(file, "r");
FileChannel channel = raf.getChannel();
ByteBuffer buf = channel.map(FileChannel.MapMode.READ_ONLY, 0,
channel.size());
PDFFile pdffile = new PDFFile(buf);

EIn PDFFile Objekt liefert Informationen über die PDF Datei (Metadaten, Anzahl Seiten usw.). In einem zweiten Schritt kann dann auf die einzelnen Seiten zugegriffen werden.

int numPgs = pdffile.getNumPages();

PDFPage page = pdffile.getPage(0);
Rectangle rect = new Rectangle(
	0,
	0,
	(int) page.getBBox().getWidth(),
	(int) page.getBBox().getHeight()
);
Image img = page.getImage(rect.width, rect.height,
	rect,
	null, // null = kein ImageObserver
	true, // Hintergrund weiß
	true // synchron
);

Es wird die erste Seite geholt und ein Image aus der Java 2D API erzeugt. Dieses kann dann beliebig weiter verarbeitet werden.

Zum Download der Bibliothek: http://java.net/projects/pdf-renderer

Wie es scheint, sind einige an selfoss interessiert und nachdem der Reader bei mir schon seit einiger Zeit stabil läuft, ist eine Beta durchaus angebracht. Einführend sollte ich aber ein wenig das Prinzip hinter selfoss erklären, denn das unterscheidet sich von rsslounge. Wer sich also eine verbesserte oder umfangreichere Version von rsslounge erhofft, wird wohl an dieser Stelle enttäuscht werden.

Benannt habe ich Selfoss nach dem isländischen Wasserfall. Aus vielen Quellen werden Informationen abgegriffen und landen am Ende in einem immerwährenden Storm an Informationen. Das kommt einem Wasserfall irgendwie nahe.

Features

selfoss sammelt Nachrichten von verschiedenen Quellen und stellt diese in einem einzigen Stream dar. Es gibt keine Kategorien, keine umfangreichen Optionen oder ein Prioritätensystem, wie bei rsslounge. Die Idee ist nicht neu, immerhin bieten twitter, facebook und wie sie alle heißen als zentrale Anlaufstelle eine “Pinnwand” in der aktuelle Meldungen einfach untereinander angezeigt werden. selfoss ist aber darauf ausgelegt, Informationen aus verschiedensten Quellen zu aggregieren. Ein offenes Pluginsystem erlaubt es, einfach neue Datenquellen hinzuzufügen (ein Tutorial dazu werde ich noch verfassen).

Out of the Box unterstützt selfoss folgende Quellen (Wer rsslounge kennt, wird die Liste wiedererkennen):

• RSS Feeds
• RSS Feeds mit Bilder
• deviantArt Benutzer, Favoriten und Daily Deviations
• Tumblr Blogs
• Eigene Twitter Timeline
• Twitter Benutzer
• Heise Feed mit vollem Text

Unterstützt werden auch wieder Bilder, von denen automatisch Thumbnails erzeugt und angezeigt werden. Interessante Einträge können markiert werden und gefiltert angezeigt werden. Zudem steht eine Suche zur Verfügung.

selfoss als mashup

Darüber hinaus stellt selfoss die aggregierten Beiträge als ein neues RSS Feed zur Verfügung. Wer also selfoss nur zum Sammeln von Informationen verwenden will, um diese dann via RSS weiter zu verarbeiten, wird hier das Tool seiner Wahl finden. Nachdem es möglich ist, auch eigene Plugins für Datenquellen zu schreiben, können beispielsweise Informationen aus RSS Feeds, Emails und Logfiles zusammengefasst werden.

selfoss als lifestream

selfoss lässt sich auch als schreibgeschützte Version konfigurieren, die es nur mit einem angemeldeten Benutzer erlaubt Einstellungen zu ändern. selfoss kann also mit eigenen Inhalten befüllt werden. So könnte man eigene Einträge von Twitter, Facebook, deviantArt und anderen Seiten zusammenfassen und gesammelt in einer Seite anzeigen. Für mich ist das jetzt nicht wirklich ein Feature, aber da es sich angeboten hat auch einen “Public” Modus einzubauen, habe ich das vorgesehen.

Anforderungen

selfoss benötigt folgende Ausstattung:

• WebServer (Apache, lighttpd usw.)
• MySQL
• PHP 5.3 oder höher
• Browser (Chrome, Firefox, Safari, IE7+)
• iPad und Android

Clientseitig läuft es auf allen gängigen Browsern und ist insbesondere auch auf dem iPad oder unter Android lauffähig. Zumindest war mir das wichtig, denn ich will auch mal unterwegs oder vom Sofa aus kurz die aktuellsten News checken.

Standardmäßig ist die .htaccess Konfigurationsdatei für den Apache Webserver dabei, aber eine Konfiguration ist auch unter nginx oder lighttpd möglich (siehe dazu das Manual von Fat Free PHP Framework).

Installation

Die Installation ist simpel:

1. alle Dateien hochladen (auch die versteckten nicht vergessen)
2. das data Verzeichnis und dessen Unterverzeichnisse schreibbar machen
3. in die config.ini die Datenbankverbindung eintragen
4. CronJob http://<yourselfossurl>/update einrichten
5. selfoss im Browser aufrufen und Quellen eintragen

Download

Herunterladen könnt ihr selfoss hier:

• selfoss 1.0 beta (644 kb) mittlerweile gibt es die finale Version: http://selfoss.aditu.de

Die Sourcen sind auf github zu finden. An der Stelle will ich natürlich auch auf den Künstler des Logos verweisen.

Feedback

Über Feedback freue ich mich natürlich sehr. Ihr könnt mir Emails schreiben, auf diesen Beitrag kommentieren oder das Ticket System von github verwenden.