Tenor

BUNDESPATENTGERICHT

17 W (pat) 4/06 Verkündet am 6. Juli 2010 (Aktenzeichen) …

BESCHLUSS

In der Beschwerdesache

betreffend die Patentanmeldung 102 45 900.2-53

…

hat der 17. Senat (Technischer Beschwerdesenat) des Bundespatentgerichts auf die mündliche Verhandlung vom 6. Juli 2010 unter Mitwirkung des Vorsitzenden Richters Dipl.-Phys. Dr. Fritsch, des Richters Dipl.-Ing. Prasch sowie der Richterinnen Eder und Dipl.-Ing. Wickborn

BPatG 154 08.05 beschlossen:

Die Beschwerde wird zurückgewiesen.

Gründe

I.

Die vorliegende Patentanmeldung 102 45 900.2-53 mit der Bezeichnung:

"Bildbasiertes Anfragesystem für Suchmaschinen für mobile Endgeräte mit eingebauter Kamera"

ist am 30. September 2002 beim Deutschen Patent- und Markenamt eingereicht worden. Sie wurde durch Beschluss der Prüfungsstelle für Klasse G 06 K des Deutschen Patent- und Markenamts vom 1. September 2005 mit der Begründung zurückgewiesen, der Gegenstand des Patentanspruchs 1 ergebe sich in naheliegender Weise aus dem Stand der Technik.

Gegen diesen Beschluss ist die Beschwerde der Anmelderin gerichtet. Sie stellt sinngemäß den Antrag,

den angefochtenen Beschluss aufzuheben und das nachgesuchte Patent mit folgenden Unterlagen zu erteilen:

Gemäß Hauptantrag mit Patentansprüchen 1 - 6 vom 17. Juni 2010, Beschreibung S. 1 - 7 vom 23. Juni 2004 und Abbildung 1 - 3 vom 14. Mai 2003, gemäß Hilfsantrag mit Patentansprüchen 1 - 5, vom 17. Juni 2010, im Übrigen wie Hauptantrag.

Der Patentanspruch 1 des Hauptantrags lautet mit einer denkbaren Gliederung versehen:

"System zur bildbasierten Anfrage an Suchmaschinen (16) oder Datenbanken, das für Mobiltelefone oder mobile Computer ausgelegt ist, die eine eingebaute Kamera haben, mit

a) einem Endgerät, wie einem Mobiltelefon oder einem mobilen Computer, mit eingebauter Kamera, welches an ein Datenfernübertragungsnetz (13) angeschlossen ist,

b2) einem mit dem Datenfernübertragungsnetz (13) verbundenen Serverrechner (17),

b´) einem auf dem Serverrechner (17) ausgeführten Bildverarbeitungssystem (14) mit einem Objekterkennungsprogramm, welches von dem Endgerät erzeugte und über das Datenfernübertragungsnetz (13) auf den Serverrechner (17) übertragene Bilder (12) analysiert, um in dem Bild ein Objekt zu erkennen,

b3) indem Merkmale in dem Bild (12) durch dem Objekt angepasste Merkmalsdetektoren (22, 32), die anhand von Beispielbildern (21) trainiert werden, aufgefunden werden,

b4) wobei Bilder (12), in denen ein Objekt erkannt wurde, mit symbolischen Indizes in Form von Klartext versehen werden, c´) einer Suchmaschine (16), welche die Indizes des Bildes (12) nutzt, um Informationen (18) zu dem Objekt zu finden und zu dem Endgerät zurückzuschicken,

d´) wobei das System Anbietern von Informationen ermöglicht, selbständig neue Einträge von Beispielbildern (21) in das Bildverarbeitungssystem (14) vorzunehmen, um so die Abfrage ihrer Daten per Bildeingabe zu ermöglichen."

Hinsichtlich der sich anschließenden Unteransprüche 2 bis 6 wird auf die Akte verwiesen.

Der Patentanspruch 1 des Hilfsantrags mit einer an die Fassung des Hauptantrags angepassten Gliederung lautet:

"System zur bildbasierten Anfrage an Suchmaschinen (16) oder Datenbanken, das für Mobiltelefone oder mobile Computer ausgelegt ist, die eine eingebaute Kamera haben,

f) als Stadt- oder Museumsführer, bei dem Informationen gespeichert sind zu Objekten, zu denen der Benutzer ein Bild aufgenommen hat, mit

a) einem Endgerät, wie einem Mobiltelefon oder einem mobilen Computer, mit eingebauter Kamera, welches an ein Datenfernübertragungsnetz (13) angeschlossen ist,

b2) einem mit dem Datenfernübertragungsnetz (13) verbundenen Serverrechner (17), b´) einem auf dem Serverrechner (17) ausgeführten Bildverarbeitungssystem (14) mit einem Objekterkennungsprogramm, welches von dem Endgerät erzeugte und über das Datenfernübertragungsnetz (13) auf den Serverrechner (17) übertragene Bilder (12) analysiert,

b3) um in dem Bild ein Objekt zu erkennen, indem Merkmale in dem Bild (12) durch dem Objekt angepasste Merkmalsdetektoren (22, 32), die anhand von Beispielbildern (21) trainiert werden, aufgefunden werden,

b4) wobei Bilder (12), in denen ein Objekt erkannt wurden, mit symbolischen Indizes in Form von Klartext versehen werden,

c´) einer Suchmaschine (16), welche die Indizes des Bildes (12) nutzt, um Informationen (18) zu dem Objekt zu finden und zu dem Endgerät zurückzuschicken,

d´) wobei das System Anbietern von Informationen ermöglicht, selbständig neue Einträge von Beispielbildern (21) in das Bildverarbeitungssystem (14) vorzunehmen, um so die Abfrage ihrer Daten per Bildeingabe zu ermöglichen,

e) wobei mehrere unter verschiedenen Beleuchtungssituationen aufgenommene Beispielbilder (21) eines Objekts in das Bildverarbeitungssystem (14) eingetragen werden können."

Hinsichtlich der Unteransprüche 2 bis 5 wird auf die Akte verwiesen.

Der Anmeldung soll die Aufgabe zugrunde liegen, ein System zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken zu schaffen, das dem Benutzer ermöglicht, auf Objekte an unterschiedlichen Standorten zuzugreifen und dabei eine sehr große Sammlung gespeicherter Muster zu benutzen (S. 6 Abs. 1 der Beschwerdebegründung, eingegangen am 19. April 2006).

Die Anmelderin vertritt in der Eingabe vom 17. Juni 2010 die Auffassung, die Lehre des Patentanspruchs 1 des Hauptantrags sei aus keiner der im Verfahren befindlichen Druckschriften D1 bis D6 zu entnehmen. Weder sei entnehmbar, einen Index in Form von Klartext einem erkannten Bildobjekt zuzuordnen, der zur automatischen Suche in einer Suchmaschine verwendet werde, da in D1 und D6 eine feste Zuordnung zwischen erkanntem Objekt und Information vorgesehen sei, noch sei die nachträgliche Eintragung von Beispielbildern für die Objekterkennung zur Weiterentwicklung des Bildverarbeitungssystems aus den Druckschriften entnehmbar.

Der Patentanspruch 1 des Hilfsantrags beziehe sich auf den nachträglichen Ausbau eines als Stadt- oder Museumsführer ausgebildeten Anfragesystems mit Beispielbildern, die unter verschiedenen Beleuchtungssituationen aufgenommen worden seien.

II.

Die Beschwerde wurde frist- und formgerecht eingelegt und ist auch sonst zulässig. Sie ist jedoch nicht begründet, denn der Gegenstand des Patentanspruchs 1 in der Fassung des Hauptantrags und des Hilfsantrags beruht nicht auf einer erfinderischen Tätigkeit (§ 4 PatG).

1. Die Anmeldung betrifft ein System zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken, das für Mobiltelefone oder mobile Computer mit eingebauter Kamera ausgelegt ist. In der Beschreibungseinleitung wird aufgeführt, dass Geräte mit Kameras und Datenfernübertragungsnetzwerkanschluss wie z. B. Mobiltelefone verfügbar seien, die ermöglichten, ein Bild oder eine kurze Bildsequenz per Datenfernübertragung an einen Serverrechner zu schicken. Mit Verweis auf Ullman, Shimon: High-Level Vision - Object Recognition and Visual Cognition. Massachusetts Institute of Technology, 3. Auflage 2000 und Buhmann, J. u. a.: Size and Distortion Invariant Object Recognition by Hierarchical Graph Matching. In: Proceedings of the International Joint Conference on Neural Networks, San Diego 1990, S. II-411 bis II-416 seien moderne Verfahren der Bilderkennung bekannt, die die Erkennung beliebiger Objekte zunehmend besser erlaubten. Bekannt seien auch Verfahren zur automatischen Schriftzeichenerkennung, die beispielsweise beschrieben seien in: Rice, S. u. a.: Optical Character Recognition - An Illustrated Guide to the Frontier. Kluwer International Series in Engineering and Computer Science, SECS 502, 1999. Nützlich sei ein System, das die Leistung eines Menschen, beim Sehen eines Gegenstandes sofort aus dem Gedächtnis in Zusammenhang mit dem Gegenstand stehende Informationen abrufen zu können, nachbilde oder sogar erweitere (Abs. [0001] bis [0004] der Offenlegungsschrift).

Als objektive Aufgabenstellung wird seitens des Senats angesehen, ein System zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken zu schaffen, das dem Benutzer Informationen zu einem von ihm fotografierten Objekt zur Verfügung stellt.

Als Fachmann, der mit der Lösung einer solchen Aufgabenstellung betraut wird, wird ein Entwicklungsingenieur für datenbankbezogene Anwendungen, speziell bildbasierten Datenbankanwendungen, angesehen, der Grundlagenkenntnisse in der Objekterkennung besitzt.

Im Lichte der Anmeldeunterlagen versteht ein solcher Fachmann die mit dem Hauptantrag sowie in der Fassung des Hilfsantrags beanspruchte Lehre wie folgt: Zur Lösung der Aufgabenstellung wird ein Bild (ggf. auch mehrere Bilder) als Suchanfrage an einen Serverrechner mit Suchmaschine geschickt, um nähere Informationen zu dem fotografierten Objekt auf diesem Bild (z. B. Eifelturm) zu erhalten. Der Nutzer kann hierfür mit einem Endgerät mit eingebauter Kamera, z. B. einem Mobiltelefon oder einem mobilen Computer, das interessierende Objekt aufnehmen und das aufgenommene Bild als Anfrage über ein Datenfernübertragungsnetz an den Serverrechner senden, um die gewünschten Informationen zu erhalten. Der Serverrechner weist ein Bildverarbeitungssystem mit einem Programm zur Objekterkennung auf, womit das empfangene Bild ausgewertet wird, um ihm bei Erkennung des fotografierten Objektes einen symbolischen Index in Klartext (z. B. den Namen "Eifelturm") oder ggf. mehrere symbolische Indizes in Klartext (z. B. den Namen "Kölner Dom") zuzuordnen. Im Rahmen der Objekterkennung werden Merkmale des fotografierten Objektes ermittelt und mit Merkmalsdetektoren verglichen, die anhand von Beispielbildern, die vorab in einer Trainingsphase im Rahmen der Modellbildung von Objekten des Bildverarbeitungssystems trainiert wurden, aufgefunden werden. Der Fachmann liest mit, dass das fotografierte Objekt mit dem dem entsprechenden Objektmodell zugeordneten symbolischen Index versehen wird, wenn eine hinreichend gute Übereinstimmung zwischen Merkmalen des fotografierten Objektes und Merkmalsdetektoren eines Objektes aus der Datenbank des Bildverarbeitungssystems gefunden wird. In der Suchmaschine werden anhand des ermittelten Bildindexes bzw. der Indizes zugehörige Informationen in einer Datenbank gesucht und diese gefundenen Informationen an das Endgerät zurückgeschickt. Vom Informationsanbieter muss eine Vielzahl von Bildern als Beispielbilder für die Objekterkennung in das Bildverarbeitungssystem zur laufenden Aktualisierung bzw. Erweiterung der Datenbasis für den Trainingsdatensatz eingegeben werden, damit vom System eine Vielzahl von Objekten erkannt werden können, um dem Nutzer eine komfortable bildbasierte Suchfunktion zu bieten. Mit dem Hilfsantrag wird zusätzlich beansprucht, dass das System als Stadt- oder Museumsführer dient und in diesem Rahmen Informationen zu fotografierten Objekten zur Verfügung gestellt werden, und dass die Beispielbilder, die vorab in einer Trainingsphase im Rahmen der Modellbildung der Objekte des Bildverarbeitungssystems verwendet werden, Bilder eines Objektes umfassen, bei denen das Objekt unter verschiedenen Beleuchtungssituationen aufgenommen wurde.

2. Der Gegenstand des Patentanspruchs 1 in der Fassung des Hauptantrags sowie in der Fassung des Hilfsantrags beruht nicht auf erfinderischer Tätigkeit.

Von besonderer Bedeutung für die Beurteilung der Patentfähigkeit der beanspruchten Gegenstände sind die im Prüfungsverfahren genannten, vorveröffentlichten Druckschriften

D1: DE 101 10 979 A1 D6: DE 101 03 922 A1.

2.1 Der Gegenstand des Patentanspruchs 1 in der Fassung des Hauptantrags beruht nicht auf erfinderischer Tätigkeit gegenüber D6 in Verbindung mit D1.

Aus D6 ist ein System zur Anfrage an Datenbanken entnehmbar, wobei die Anfragen auf der Basis von Bildern generiert werden und damit bildbasiert sind (Abs. [0151], Fig. 1). Das System in D6 ist ausgelegt für mobile Endgeräte, wie Mobiltelefone oder mobile Computer, die an ein Datenfernübertragungsnetz angeschlossen (Abs. [0083], [0088]) und mit einer Kamera verbunden sind, die im bevorzugten Beispiel ein Brillensystem mit in einer Brille integrierten Kamera je Auge ist, um das Gesichtsfeld zu fotografieren (Abs. [0135]). Die Bildaufnahme kann aber gemäß Abs. [0003] auch anders erfolgen, woraus der Fachmann entnimmt, dass statt des Brillensystems eine in das mobile Endgerät eingebaute Kamera verwendet werden kann (Merkmal a).

Mit der Kamera wird ein Bild aufgenommen und im Endgerät zwischengespeichert. Das Bild kann direkt über das Netz gesendet werden zu dessen externer Anzeige (Sp. 5 Z. 18-23, Abs. [0160], Fig. 14 b). In der Regel erfolgt jedoch eine Bildverarbeitung mit Ermittlung von Objektmerkmalen zur Mustererkennung, d. h. zur Objekterkennung, indem das aufgenommene Bild im Endgerät selbst analysiert wird (Abs. [0024], [0037], [0149], [0151]). Die Objekterkennung erfolgt demnach nicht im Serverrechner (teilweise Merkmale b´ und b3). Wenn ein Objekt in dem Bild erkannt wurde, wird für das Bild als Ausgangssignal ein Informationsschlüssel erzeugt (Anspruch 13), den der Fachmann als symbolischen Index bzw. symbolische Indizes bezeichnen kann. Der Fachmann liest in Sp. 43 Z. 20-24 auch mit, dass dieser Informationsschlüssel in Klartext dargestellt wird, sonst könnte der Nutzer nicht in Kenntnis des Informationsschlüssels interaktiv tätig werden (Merkmal b4). Denn der Informationsschlüssel wird verwendet, um Informationen zu dem Objekt in einer externen Datenbank zu finden. Die gefundenen Informationen werden zu dem Endgerät zurückgeschickt (Abs. [0038], Sp. 11 Z. 20-23, Abs. [0086]). Der Fachmann liest dabei ebenfalls mit, dass hierfür ein mit dem Datenfernübertragungsnetz verbundener Serverrechner und eine Suchmaschine verwendet werden (Merkmale b2, c´). Damit ist im Unterschied zur Auffassung der Anmelderin aus D6 entnehmbar, einem erkannten Bildobjekt einen Index in Form von Klartext zuzuordnen, der zur Suche in einer externen Datenbank verwendet wird, wobei keine feste Zuordnung zwischen erkanntem Objekt und Information vorgesehen ist.

Im Unterschied zum Anmeldungsgegenstand wird in D6 die Objekterkennung allerdings nicht auf dem externen Serverrechner, sondern im Endgerät selbst vorgenommen und damit das aufgenommene Bild nicht an den externen Serverrechner mit Suchmaschine geschickt, sondern der bereits im Endgerät im Rahmen der Objekterkennung ermittelte Informationsschlüssel wird zur Suche in der externen Datenbank verwendet.

Die Möglichkeit, die Objekterkennung statt im Endgerät in einem externen Serverrechner durchzuführen, ist jedoch aus D1 vorbekannt.

Aus D1 ist ein System zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken zur Informationsbeschaffung über ein fotografiertes Objekt entnehmbar, bei dem die Bildern von einem mit einer eingebauten Kamera versehenen Endgerät wie Mobiltelefonen oder PDA (mobilen Computern) aufgenommen wurden (Abs. [0007], [0021], Anspruch 1). Das auf dem aufgenommen Bild gezeigte Objekt wird entweder im Endgerät selbst erkannt oder das Bild wird über ein an das Endgerät angeschlossenes Datenfernübertragungsnetz, z. B. Internet, an einen mit diesem Netz verbundenen Netzwerkprozessor (Serverrechner) gesendet (Anspruch 14, Abs. [0030]) (Merkmale a, b2). Dieser Netzwerkprozessor führt dann eine Objekterkennung des empfangenen Bildobjektes mit einem als Bearbeitungseinheit bezeichneten Bildverarbeitungssystem durch (Merkmal b´) und schickt die Identität des erkannten Objektes an das Endgerät. Dem erkannten Objekt sind in einem Speicher des Endgerätes zu diesem Objekt abgelegte Informationen zugeordnet (Sp. 1 Z. 38-40). Diese Informationen werden bei Erkennung des Objektes abgerufen und dem Nutzer z. B. auf dem Display des Endgerätes zur Verfügung gestellt (Abs. [0011], Anspruch 10). Auf einem Display wird aber auch die Identität des erkannten Objektes im Klartext dargestellt, beispielsweise "DVD-Player" (Sp. 2 Z. 57 f. i. V. m. Abs. [0020], Sp. 3 Z. 36 f.). Der Fachmann liest hierbei mit, dass die Identität des erkannten Objektes den symbolischen Bildindizes entspricht, zumal über sie auch eine Zuordnung der gespeichert vorliegenden zugehörigen Information erfolgen muss (Merkmal b4). Da auch verschiedene Informationen über ein erkanntes Objekt dynamisch aus dem Internet geladen werden können (Anspruch 8, Sp. 2 Z. 49-52), was nur über eine Suchfunktion möglich ist, entnimmt der Fachmann, dass eine ans Datenfernübertragungsnetz angeschlossene Suchmaschine genutzt wird. Um diese zusätzlichen Informationen mit Hilfe der Suchmaschine zu erhalten, werden zwangsläufig auch die Indizes des Bildes in Form von Klartext genutzt, um die gewünschte Information zu dem erkannten Objekt im Netz zu finden und zu dem Endgerät zurückzuschicken

(Merkmal c´). Damit ist auch entnehmbar, einen Index in Form von Klartext einem erkannten Bildobjekt zuzuordnen, der zur Suche in einer externen Datenbank verwendet wird. Der Aufbau der Datenbasis für die Objekterkennung in der Trainingsphase und die Objekterkennung selbst erfolgen wie in der beanspruchten Lehre durch Aufnahme mehrerer Beispielbilder, die Objekte in verschiedenen Aufnahmesituationen umfassen mit Referenzmusterbildung, bei der durch Erkennung von Merkmalen in den Beispielbildern dem Objekt angepasste Merkmalsdetektoren in der Lern- bzw. Trainingsphase ermittelt werden sowie die Überprüfung der aus dem empfangenen Bild ermittelten Merkmale in einer Bearbeitungseinheit mit den in der Lern- bzw. Trainingsphase ermittelten Merkmalen eines Objektes (Sp. 1 Z. 34-38, Abs. [0016], Sp. 4 Z. 15-20) (Merkmal b3). Es können auch dynamisch über die Internetverbindung Informationen zur Aktualisierung der Modelle und Referenzmuster geladen werden (Abs. [0017] f., Sp. 3 Z. 50 f., Anspruch 7). Hierdurch wird eine laufende Aktualisierung des Bildverarbeitungssystems analog zu Merkmal d´ erreicht.

Ausgehend von D6 liegt es für den Fachmann in Kenntnis von D1 nahe, die Objekterkennung nicht im Endgerät selbst, sondern im externen Serverrechner vorzunehmen. Der Serverrechner kann dann anhand des durch Objekterkennung zu dem Bild ermittelten Suchschlüssels, d. h. der Indizes des Bildes in Form von Klartext, wie in D6 die Suche von zugeordneten Informationen vornehmen. Der Fachmann wird auch eine Weiterentwicklung der Datenbank des für die Objekterkennung genutzten Bildverarbeitungssystems vornehmen, die analog zu D1 durch nachträgliche Eintragung von aus Beispielbildern gewonnenen Referenzmustern bzw. Modellen für die Objekterkennung erfolgen kann bzw. durch Eintragung von Beispielbildern, aus denen dann im Bildverarbeitungssystem selbst Referenzmuster bzw. Modelle ermittelt werden.

Damit ist ein System mit allen Merkmalen des Patentanspruchs 1 des Hauptantrags für den Fachmann in Kenntnis von D6 und D1 nahegelegt.

2.2 Der Gegenstand des Patentanspruchs 1 des Hilfsantrags beruht nicht auf erfinderischer Tätigkeit gegenüber D6 in Verbindung mit D1.

Der Patentanspruch 1 des Hilfsantrags basiert auf dem Patentanspruch 1 des Hauptantrags. Er unterscheidet sich von diesem durch die zusätzliche Aufnahme des Merkmals f, wonach das System "als Stadt- oder Museumsführer, bei dem Informationen gespeichert sind zu Objekten, zu denen der Benutzer ein Bild aufgenommen hat" ausgebildet ist, und des Merkmals e, wonach "mehrere unter verschiedenen Beleuchtungssituationen aufgenommene Beispielbilder (21) eines Objekts in das Bildverarbeitungssystem (14) eingetragen werden können".

Das aus D6 und D1 entnehmbare System kann ebenfalls als Stadt- oder Museumsführer genutzt werden, bei dem Informationen gespeichert sind zu Objekten, zu denen der Benutzer ein Bild aufgenommen hat (D6 Fig. 12 B - E, Abs. [0151]; D1 Sp. 1 Z. 51 und Abs. [0011] f.) (Merkmal f). In D1 werden Beispielbilder verwendet, für die das Objekt von unterschiedlichen Winkeln und Seiten aufgenommen wurde (Abs. [0016]). Dem Fachmann ist aus seinem allgemeinen Fachwissen bekannt, dass ein Objekt bei der Merkmalsbildung in verschiedenen Ausprägungen vorhanden sein muss, wozu neben den in D1 aufgeführten unterschiedlichen Aufnahmepositionen auch unterschiedliche Lichtverhältnisse gehören, wie dies auch in dem in der Beschreibungseinleitung der Anmeldung zitierten Fachbuch Ullman, Shimon: High-Level Vision - Object Recognition a. a. O. in Abschnitt 6.3 auf S. 163-165 ausführlich erläutert wird. Damit liegt Merkmal e im Bereich des Wissens des Fachmanns.

Damit können die im Hilfsantrag zusätzlich aufgenommenen Merkmale die erfinderische Tätigkeit nicht begründen.

3. Der Gegenstand des Anspruchs 1 des Hauptantrags sowie des Hilfsantrags ist somit nicht patentfähig. Mit dem Anspruch 1 des Hauptantrags sowie des Hilfsantrags fallen notwendigerweise auch die jeweils darauf rückbezogenen Unteransprüche; zumal die Unteransprüche lediglich fachgemäße Ausgestaltungen beinhalten und dafür auch keine erfinderische Besonderheit geltend gemacht wurde.

III.

Bei dieser Sachlage war die Beschwerde der Anmelderin gegen den Beschluss der Prüfungsstelle G 06 K zurückzuweisen.

Dr. Fritsch Prasch Eder Wickborn

Fa