ESE Fachwissen
Monitoring-Plattformen im IoT
Autor: Volkhard Klinger, FHDW Hannover, Arbeitsbereich Eingebettete Systeme
Beitrag - Embedded Software Engineering Kongress 2015
Kurzfassung
Modulare und mobile Systeme sind notwendige Voraussetzung für das mittel- und langfristige Monitoring von Biosignalen. Die Realisierung eines modularen Plattform-Systems zur Erfassung und Auswertung von Biosignalen und dessen Ergänzung durch Sensoren und Aktoren, die über eine Funktionalität nach dem Prinzip des Internet of Things (IoT) verfügen, ermöglichen dabei neue Anwendungsszenarien. In diesem Beitrag werden zwei Anwendungsbeispiele vorgestellt, und die korrespondierenden Anpassungen des plattformbasierten Konzeptes verdeutlicht. Die anwendungsfallabhängige Ergänzung der Plattform durch zusätzliche Geräte oder Sensoren vergrößert Einsatzbereich und Flexibilität der Plattform. Werden externe IoT-Systeme verwendet, ergeben sich Anforderungen an diese Systeme, die zusammenfassend benannt werden. Es wird deutlich, dass nur unter Einhaltung dieser Randbedingungen die Vorteile des Plattformansatzes erhalten bleiben können.
Einleitung
Das Erfassen und Verarbeiten von elektrischen Biosignalen, zum Beispiel Elektroenzephalogramm (EEG), Elektromyogramm (EMG) und Elektroneurogramm (ENG), ermöglicht eine Vielzahl von Anwendungen in Forschung, medizinischer Diagnostik oder Rehabilitation. Insbesondere EMG und ENG werden verwendet, um Informationen aus dem Bewegungsapparat zu erhalten, inklusive der peripheren Sensorinformationen und der Daten zur Bewegungssteuerung und -kontrolle. So können diese Signale und deren Auswertung von Ärzten, medizinischem Personal und auch Patienten oder Sportlern zur Diagnose oder zum Monitoring spezifischer Parameter verwendet werden. Die Bandbreite der Applikationen reicht zum Beispiel von der therapeutischen Messung der Nervenleitgeschwindigkeit im Rahmen einer Rehabilitationsmaßnahme bis hin zur komplexen Prothesenkontrolle.
Die Anforderungen an ein System zur Erfassung und Auswertung von Biosignalen sind in der folgenden Aufzählung zusammengefasst.
Datenaufnahme und Stimulation
Die EEG-, EMG- oder ENG-Daten müssen aufgenommen und unter Berücksichtigung der Signalcharakteristik (Tabelle 1, PDF) digitalisiert werden. In bestimmten Anwendungen ist auch eine Stimulation von Nervenimpulsen notwendig, zum Beispiel bei der Messung der Nervenleitgeschwindigkeit.
Datenverarbeitung
Die aufgenommenen Daten müssen bezüglich der Signalkonditionierung verbessert werden. Dazu sind je nach Anwendungsfall verschiedene Filter und Verstärker erforderlich. Auch zusätzliche Maßnahmen können notwendig sein, um asynchrone Signale und nicht-äquidistante Abtastwerte handhaben zu können. Die Datenverarbeitung hat darüber hinaus auch eine zentrale Aufgabe bei der Identifikation von Daten und der Datenkorrelation. Während die Identifikation notwendig ist, um aus dem ENG Gruppen von spezifischen Aktionspotentialen zuzuordnen [9] und Steuerungssignale und korrespondierende Rückkopplungssignale zu erkennen, hilft die Datenkorrelation bei der Sensorfusion. Basierend auf Konzepten der künstlichen Intelligenz (Machine Learning) werden komplexe Signalfolgen erkannt und mit biologischen Rückkopplungsmechanismen und zusätzlichen externen Sensoren korreliert. Die Identifikationsmethode und ein entsprechender Verifikationsansatz wurde in [7] und [8] basierend auf den Ergebnissen in [2], [3] und [4] eingeführt.
Daten-Archivierung
Die aufgenommenen Daten müssen lokal gespeichert werden, wenn keine direkte Übertragung zu einem Host-System erfolgt. Zusätzlich werden für den Identifikationsprozess auch Speicherressourcen benötigt. Dort werden die erlernten Daten für die Operationsphase gespeichert [7].
Datenaustausch / Connectivity
Die Daten müssen zur Evaluierung oder für das Monitoring zu einem Host-System übertragen werden.
User Interface
Die Benutzerschnittstelle ermöglicht die Auswahl der unterschiedlichen Funktionen. Gleichzeitig werden die erfassten und aufbereiteten Daten dargestellt.
Konfiguration
Die Systemfunktionen können für unterschiedliche Anwendungsfälle konfiguriert werden.
Anwendungsfälle
Aus den vielen möglichen Anwendungen werden hier zwei ausgewählt, die sehr unterschiedliche Ziele verfolgen. Nach einer kurzen Beschreibung der medizinischen Umstände, auf die hier nur sehr abstrakt eingegangen wird, kann im nächsten Kapitel die zum Anwendungsfall passende Systemarchitektur vorgestellt werden.
Monitoring der Nervenleitgeschwindigkeit
Die Verminderung der Nervenleitgeschwindigkeit kann viele Ursachen haben, zum Beispiel Demyelinisierung der axonalen Fasern oder eine axonale Schädigung. Neurophysiologische Messungen sind durchaus möglich und werden durch eine Stimulation und eine anschließende Messung der Antwortgeschwindigkeit in einem bestimmten Abstand zum Stimulationsort durchgeführt. Aber in der Regel werden diese Messungen nur selten, einmal die Woche oder noch weniger häufig durchgeführt. Regelmäßige und häufigere Messungen sind aber erforderlich, um die Nervenleitgeschwindigkeit auch in Abhängigkeit der Tageszeit, der Temperatur, dem Erschöpfungszustand, dem Einnahmezeitpunkt der Medikamentengabe, etc. zu erfassen. Der Einfluss dieser Parameter spielt eine wichtige Rolle, um die Veränderungen besser evaluieren zu können. Die primären Anforderungen an ein Mess-System lassen sich kurz zusammenfassen:
- Sensor -Schnittstelle
- Analoges Frontend zur Signalkonditionierung
- Mobilität des Mess-Systems
- Lokaler Speicher
- Datenaustausch / Connectivity
Prothesensteuerung und -kontrolle
Heutige Prothesen sind mehr als einfache statische Ersatzkomponenten. Die Herausforderung besteht weiterhin in der Kopplung, also im Informationstransfer zwischen Mensch und Prothese. Der hier verwendete Ansatz nutzt eine Kopplung mit Hilfe von den Aktionspotentialen der peripheren Nerven, also der Einsatz des ENG [6]. Bei Nutzung des ENGs und der Identifikationsmethode wird es möglich, aktorische und sensorische Daten auszuwerten und mit einer Bewegung zu korrelieren. Dazu sind allerdings Messdaten mit hoher Auflösung und guter Signalkonditionierung notwendig. Ferner ist die Einbeziehung weiterer Sensoren notwendig, um die Bewegungszuordnung mit höherer Sicherheit durchführen zu können. Diese externen Sensoren können sowohl als Mikro-Elektromechanisches System (MEMS) oder als Kamera ausgeführt sein Der Einsatz der unterschiedlichen Sensoren orientiert sich dabei am Betriebszustand des Systems, der in eine Lernphase (stationäre Anwendung des Systems) und eine Betriebsphase (mobile Anwendung des Systems) unterteilt werden kann. Die Korrelation der unterschiedlichen Sensoren ermöglicht den Einsatz von Methoden der Vorwärts- und Rückwärts-Kinematik [5].
Die primären Anforderungen an das Prothesenkontrollsystem lassen sich ebenfalls kurz zusammenfassen:
- Spezielle Sensor-Schnittstelle
- Komplexes analoges Frontend zur Signalkonditionierung
- Mobilität des Mess-Systems
- Lokaler Speicher
- Identifikationsmethode (Lern- und Betriebsphase)
- Lokale Datenverarbeitung mit großer Performance
- Datenaustausch / Connectivity
3 System-Plattform
Das Erfassungs- und Auswertesystem ist als Plattform entworfen und realisiert worden. Auf dieser Grundlage ist eine modulare Hardware- und Software-Architektur verfügbar, die genügend Flexibilität und Skalierbarkeit für die unterschiedlichen Anforderungen aufweist. Die Software-Plattform ist dabei durch die Anwendung von der hardwareunabhängigen dynamischen Softwareplattform OSGI (Open System Gateway Initiative) gekennzeichnet. Details zu den einzelnen Aspekten, wie zum Beispiel Sensortyp, analoges Frontend, etc. werden in diesem Papier vernachlässigt (siehe [7], [8]).
In Abbildung 1 (siehe PDF) ist das System für den ersten Anwendungsfall, die Messung der Nervenleitgeschwindigkeit, gezeigt. Die Plattform-Architektur wird durch die unterschiedlichen Module verdeutlicht. Ein neuer Aspekt wird hier durch die Verbindung zu einem Smartphone dargestellt, das durch Bluetooth (Connectivity) angebunden wird. Diese Verbindung wird im Kapitel 4 noch näher betrachtet.
In Abbildung 2 (siehe PDF) ist das System für den zweiten Anwendungsfall skizziert. Hier handelt es sich noch um einen Ausblick, aktuell existiert noch keine System-In-Package-Variante (SIP). Die Plattform ist gegenüber dem ersten Anwendungsfall in wesentlichen Punkten verändert. Der Grund liegt in der Änderung des analogen Frontends (EMG → ENG) und in den veränderten Ansprüchen in Bezug auf Identifikation und Datenkorrelation. Zusätzlich sind hier mehrere Schnittstellen vorhanden, die einerseits Daten des implantierten SIPS auf das am Körper getragene System übertragen, anderseits die Daten und Ereignisse zwischen externen Systemen, hier dargestellt als Smart-Device und MEMS-Sensor, und der Plattform austauschen. Die zu Beginn der Nutzung des Systems erforderliche Lernphase für die Identifikation ist hier nicht dargestellt.
Anforderungen an die IoT-Komponenten
Die Analyse der verschiedenen Anwendungsfälle zeigt die Notwendigkeit einer Einbindung zusätzlicher Sensoren in das Erfassungs- und Auswertesystem. Dadurch kann speziell die Konnektivität (A4) verbessert werden. Die Verbreitung vieler sogenannter Smart-Devices, wie zum Beispiel Tablet oder Smartphone, stellen eine potentielle Infrastruktur bereit, die als Teil der Plattform Verwendung finden kann und deren Flexibilität und Skalierbarkeit erweitert. Dazu kommt, dass die Verfügbarkeit von intelligenten Komponenten im Rahmen des „Internet der Dinge“ (IoT, [1]) rasant ansteigt. So lassen sich intelligente Sensoren in diesem Kontext an die Plattform anbinden. Diese dezentrale Peripherie erweitert das Anwendungsspektrum der Plattform erheblich.
Hierbei gelten jedoch einige Schlüsselaspekte, die zu beachten sind:
- Die Kern-Plattform bleibt notwendig, da eine Basisfunktionalität nur durch eine enge Kopplung von Systemkomponenten effizient und performant möglich ist.
- Der modulare Charakter von Hardware und Software beim Plattformentwurf ist mehr denn je ein notwendiges Entwurfskriterium.
- Der Einsatz speziell von Software-Plattformen, hier sei explizit OSGI erwähnt, ermöglicht erst eine effiziente Kopplung von Plattform-Systemen und IoT-Komponenten.
- Das Smart-Device muss von der Bereitstellung von Schnittstellen auf der OSI-Ebene 1 und 2 vielmehr als Gateway fungieren, um eine problemlose Kopplung zu ermöglichen [10]. Hier hilft Bluetooth als weit verbreitete Kommunikationsschnittstelle allein oft nicht weiter.
- Die Service-Orientierung der Schnittstelle ist ein wesentlicher Aspekt der Integration von IoT-Komponenten. Ohne eine Schnittstelle mit einem definierten Quality-Of-Service-Charakter ist eine effiziente Kopplung auf Anwendungs- oder Service-Ebene kaum möglich.
- Sicherheitsaspekte sind bei der Anbindung von IoT-Systemen ein weiterer zentraler Punkt. Ohne eine sichere Übertragung der Daten und eine Sicherheitsinfrastruktur, die zum Beispiel zertifikatsbasiert arbeitet, ist eine Nutzung der IoT-Konzepte für viele Anwendungen nicht nutzbar.
5 Zusammenfassung und Ausblick
Der Einsatz von Monitoring-Plattformen auf der Basis von Plattform-Architekturen ermöglicht es, das System flexibel auf unterschiedliche Anwendungsszenarien abzustimmen. Die zusätzliche Integration von IoT-Systemen erweitert das Anwendungsspektrum weiter und ermöglicht die Korrelation von Daten und damit die Sensorfusion und Kontexterkennung.
Die wesentlichen Funktionen jedes Erfassungssystem sind in Abbildung 3 (siehe PDF) dargestellt. Der Plattform-Kreis umfasst die Komponenten zur Kommunikation (C: Connectivity), zur Datenverarbeitung (P: Processing), zum lokalen Speichern (M: Memory) und die Aktor-/Sensor-Schnittstelle inklusive des notwendigen analogen Frontends (A/S: Actor/Sensor). Diese vier Komponenten sind für jeden Anwendungsfall entsprechend auszulegen. Zentraler Punkt ist gleichfalls der Kern des Systems (Core), der bestimmte Schnittstellen der Hardware- und Software-Plattform bereitstellt. Hier ist OSGI ein wesentlicher Faktor, der Services auf Anwendungsebene bereitstellen kann.
Bei Änderung des Anwendungsszenarios muss die Plattform angepasst werden. Dieser Vorgang ist in Abbildung 4 (siehe PDF) dargestellt.
In diesem Beispiel wird davon ausgegangen, dass die vier Basiskomponenten für den zweiten Anwendungsfall ausgelegt sein müssen. Das bedeutet einen Austausch von Modulen, um zum Beispiel die Anbindung des analogen Frontends an Signalcharakteristik und Sensortyp anpassen zu können. Ferner werden eine leistungsfähigere Verarbeitungseinheit und mehr lokaler Speicher gefordert. Die Software-Plattform wird ebenfalls geändert und stellt die entsprechenden Services bereit. Diese Änderungen müssen dann auch der Einbindung von IoT-Komponenten genügen. Für diese gelten dann die in Kapitel 4 aufgestellten Forderungen. Werden diese Forderungen zukünftig nicht erfüllt, ist die effiziente Nutzung dieses Konzepts kaum möglich.
Für zukünftige Systeme zur Datenerfassung und Auswertung wird die Abbildung des generellen Plattform-Kreises auf die physikalische Systemebene die entscheidende Herausforderung (Funktionalität -> Device). Je besser sich sowohl Hardware- als auch Software-Komponenten in die Plattform integrieren lassen, desto eher stellen auch IoT-Systeme eine verfügbare und sinnvolle Alternative zu speziell entwickelten Modulen mit geforderter Funktionalität dar.
Literatur
|
[1] |
A. Bassi, M. Bauer, M. Fiedler, T. Kramp, R. van Kranenburg, S. Lange, S. Meissner (Eds.). Enabling Things to Talk - Designing IoT solutions with the IoT Architectural Reference Model, 2013, Springer Berlin Heidelberg |
|
[2] |
Sebastian Bohlmann, Arne Klauke, Volkhard Klinger, and Helena Szczerbicka. Model synthesis using a multi-agent learning strategy. In The 23rd European Modeling & Simulation Symposium (Simulation in Industry), Rome, Italy, September 2011. |
|
[3] |
S.Bohlmann, A.Klauke, V.Klinger, and H.Szczerbicka. HPNS - a Hybrid Process Net Simulation Environment Executing Online Dynamic Models of Industrial Manufacturing Systems. In Proceedings of the 2009 Winter Simulation Conference M. D. Rossetti, R. R. Hill, B. Johansson, A. Dunkin, and R. G. Ingalls, eds., 2009. |
|
[4] |
S.Bohlmann, V.Klinger, and H.Szczerbicka. System Identification with Multi-Agent-based Evolutionary Computation Using a Local Optimization Kernel. In The Ninth International Conference on Machine Learning and Applications, pages 840–845, 2010. |
|
[5] |
J.J. Craig. Introduction to Robotics: Mechanics and Control. Prentice Hall, New Jersey, USA, 2004 |
|
[6] |
Gold, C., Henze, D. and Koch, C., 2007, Using extracellular action potential recordings to constrain compartmental models, Journal of Computational Neuroscience, 23(1), pp. 39–58. |
|
[7] |
Arne Klauke, V. Klinger. Identification Of Motion-Based Action Potentials In Neural Bundles Using An Algorithm With Multi Agent Technology, Proceedings of the International Workshop on Innovative Simulation for Health Care, 2013, 978-88-97999-26-3; Backfrieder, Bruzzone, Frascio, Longo, Novak Eds. |
|
[8] |
Volkhard Klinger. Verification concept for an electroneurogram based prosthesis control. In Agostino Bruzzone, Marco Frascio, Vera Novak, Francesco Longo, Yuri Merkuryev, and Vera Novak, editors, 3nd International Workshop on Innovative Simulation for Health Care (IWISH 2014), 2014 |
|
[9] |
Neymotin, S., Lytton, W., Olypher, A. and Fenton, A.. 2011, Measuring the quality of neuronal identification in ensemble recordings. J Neurosci, 31(45):16, pp. 398–409. |
|
[10] |
T. Zachariah, N. Klugman, B. Campbell, J. Adkins, N. Jackson, P. Dutta. |
System- und Hardwareentwicklung - unsere Trainings & Coachings
Wollen Sie sich auf den aktuellen Stand der Technik bringen?
Dann informieren Sie sich hier zu Schulungen/ Seminaren/ Trainings/ Workshops und individuellen Coachings von MircoConsult zum Thema Internet of Things/System- und Hardwareentwicklung.
Training & Coaching zu den weiteren Themen unseren Portfolios finden Sie hier.
System- und Hardwareentwicklung - Fachwissen
Wertvolles Fachwissen zum Thema Internet of Things/System- und Hardwareentwicklung steht hier für Sie zum kostenfreien Download bereit.
Fachwissen zu weiteren Themen unseren Portfolios finden Sie hier.