Speech-angular NPM

Speech-Angular

Speech-Angular ist eine Angular Typescript-Bibliothek zur Integration von Sprachdiensten, wie Sprachausgabe (TTS), Spracherkennung (ASR), Sprachverstehen (NLU), Dialogverarbeitung (NLP) und Aktionsausführung in eine Angular Web-Seite oder Web-App. Kern von Speech-Angular ist ein BotService, der Dialoge eines Dialogskripts ausführen kann.

Daneben git es folgende einzeln verwendbare Dienste:

SpeakService für die Sprachausgabe
ListenService für die Spracherennung
IntentService für das Sprachverstehen
ActionService für die Aktionserzeugung
DialogService für die Dialogausführung

In Speech-Angular kann für die Sprachausgabe (TTS) und das Sprachverstehen (NLU) auch ein Clouddienst von Amazon, Google oder Microsoft verwendet werden. Dazu wird ein eigener Clouddienst Account des jeweiligen Clouddienst-Anbieters benötigt.

Speech-Framework

Die Speech-Angular Bibliothek benötigt das Speech-Framework, welches unter https://github.com/lingualogic/speech-framework in Github zu finden ist.

Um in eigenen Projekten Speech-Angular nutzen zu können, muss das Speech-Framework NPM-Package von der LinguaLogic-Seite heruntergeladen werden, in den eigenen Projektordner kopiert werden und vor Speech-Angular installiert sein. Das Speech-Framework NPM-Package wird mit folgendem Befehl installiert:

$ npm install speech-framework-0.5.23.tgz

Alternativ kann das Speech-Framework auch über das offizielle globale NPM-Repository installiert werden:

$ npm install speech-framework

Wird speech-angular aus dem globalen NPM-Repository installert, wird speech-framework automatisch mitinstalliert.

Letzte Version

0.5.23.0041 Release vom 10.07.2021 Release Notizen

Voraussetzungen

Wir haben Speech-Angular auf Mac OS X 10.14, Win 10 und Ubuntu 20.04 getestet. Als Plattformen können eingesetzt werden:

Mac OS X >= 10.14
Windows >= 10
aktuelles Linux (z.B. Ubuntu 20.04)

Es wird die aktuellste Angular-Version empfohlen

Angular >= 12.x

Grundsätzlich ist das Speech-Framework in Chrome, Firefox, Opera, Safari und Edge nutzbar, allerdings hängt die Sprachausgabe unter diesen Browsern von der zugrunde liegenden Text-to-Speech Engine der jeweiligen Plattformen ab. Die Spracheingabe funktioniert bisher nur in Chrome ohne die Nutzung von Nuance. Mit Nuance kann die Spracheingabe in allen hier aufgeführten Browsern verwendet werden.

Chrome >= 80 Windows/Linux/MacOS (Html5: TTS, ASR)(Nuance: TTS, ASR, NLU)
Firefox >= 80 Windows/Linux/MacOS (Html5: TTS)(Nuance: TTS, ASR, NLU)
Opera >= 70 Windows/MacOS (Html5: TTS)(Nuance: TTS, ASR, NLU) Linux (kein Html5)
Safari >= 14 MacOS/iOS (Html5: TTS)(Nuance: ASR, NLU)
Edge >= 80 Windows (Html5: TTS)(Nuance: TTS, ASR, NLU)

NodeJS muss installiert sein.

NodeJS >= 12.X <= 14.x (NodeJS 14.x LTS-Version wird empfohlen)

Als weitere Plattformen können Android und iOS mit Cordova verwendet werden:

Cordova >= 10 für Android >= 5.1 und iOS >= 10

Für Cordova müssen weitere Programme zur Entwicklung von Android- und iOS-Apps installiert werden. Informationen hierzu finden sich unter docs/platform/Cordova.md.

Will man den Clouddienst verwenden, muss ein eigener Clouddienst Account eingerichtet werden und die Clouddienst-Komponente des Speech-Frameworks separat in die eigene App eingebunden werden. Wie man dies macht, findet man unter docs/cloud/Cloud.md

Installation

Die Installation kann vom globalen NPM-Repository aus erfolgen, oder als lokale Installation erzeugt man sich sein NPM-Package selbst.

NPM-Package

Zur Installation von Speech-Angular ins eigene Projekt, im Projektverzeichnis folgenden Befehl eingeben:

$ npm install speech-angular

Installiert man speech-angular auf diese Art, wird speech-framework automatisch mitinstalliert.

lokales Package

Zuerst muss das Speech-Angular Github-Repsitory unter https://github.com/lingualogic/speech-angular mit folgendem Befehl geklont werden:

$ git clone https://github.com/lingualogic/speech-angular
$ cd speech-angular

danach werden alle NPM-Pakete für Speech-Angular mit folgendem Befehl installiert:

$ npm install

anschließend kann man optional die Unit-Tests von Speech-Angular starten:

$ npm test

zum Schluß wird das NPM-Paket für Speech-Angular im dist/ Ordner erzeugt:

$ npm run build

Die API-Dokumentation kann mit folgenden Befehl in docs/api erzeugt werden:

$ npm run docs

Das im dist/ Ordner erzeugte npm-Paket 'speech-angular-0.5.23.tgz' kann in den eigenen Angular Projektordner kopiert werden.

Die Installation des speech-angular npm-Paketes erfolgt im eigenen Angular Projektordner mit folgendem Befehl:

$ npm install speech-angular-0.5.23.tgz

Danach kann Speech-Angular im eigenen Angular-Projekt verwendet werden. Probiert es einfach mit einem unserer Schnelleinstiege aus.

Alternativ kann das fertige Speech-Angular npm-Paket auch von der LinguaLogic-Webseite heruntergeladen werden.

Deinstallation

Speech-Angular kann mit folgendem Befehl wieder deinstalliert werden:

$ npm uninstall speech-angular

gebrochener Code gegenüber der Vorversion

wird das Google-Module eingebunden, muss jetzt auch der Parameter googleServerUrl bei den googleCredentials eingetragen und der Konfiguration mitübergeben werden.

Bekannte Probleme

Nuance hat seine Sprachdienste abgeschaltet und steht als Cloud-Dienst nicht mehr zur Verfügung
Unter Chrome in iOS funktioniert die Spracheingabe nicht

Dokumentation

Beispiel-Apps

Im examples Ordner sind mehrere kleine Beispiele für die einzelnen Services von Speech-Angular zu finden. Zum Ausführen der Beispiele darf nicht in den Beispielordner gewechselt werden. Von dort aus funktioniert der Start der jeweiligen Beispiel-App nicht, da globale NPM-Packages aus dem Projektverzeichnis benötigt werden.

Folgende Befehle sind für die SpeakService-Beispiele einzugeben: