Zlecenie 7214895 - ZAPYTANIE OFERTOWE na wykonanie usługi badawczo-rozwojowej...

ICZONĄ ODPOWIEDZIALNOŚCIĄ ODDZIAŁ W POLSCE

1. Przedmiotem zamówienia jest usługa badawczo - rozwojowa dla firmy OPUS STREAM SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ ODDZIAŁ W POLSCE
2. Przedmiot zamówienia, o którym mowa w pkt 1 niniejszego rozdziału zapytania ofertowego, obejmuje wykonanie usługi dotyczącej projektu : "Stworzenie systemu oceny intencji i reakcji afektywnych w rozmowie na podstawie wskaźników paralingwistycznych oraz analizy treści rozmowy z wykorzystaniem metod uczenia maszynowego oraz analizy języka naturalnego.”, która obejmuje

Zadanie 1
Określenie wektora dystynktywnych i istotnych cech, w tym cech głębokich:
Spośród wielu znanych cech sygnału mowy (MFCC, Δ+ΔΔMFCC, ZCR, energia sygnału, Perceptual Linear Prediction Coefficients, GFCC i inne) i transkrypcji (n-gramy, skip-gramy, bag-of-words, word embedding i inne) wybrać zestaw, który najlepiej reprezentuje cechy podkreślające badane emocje i pozwoli na osiągnięcie najlepszych wyników klasyfikacji emocji (bądź ekwiwalentnej metody regresji emocji). Oprócz cech eksperckich, dodatkowo należy przeanalizować możliwości użycia cech głębokich. Opracowanie metod pozwalających na odczyt danych oraz ekstrakcję wybranych cech. Metody powinny uwzględniać analizę wielu emocji, ewaluowane będą natomiast na zestawie pięciu wybranych emocji.
Zadanie 2
Opracowanie metod analizy języka naturalnego:
Opracowanie metod specyficznych dla oceny afektu, np. analiza powtarzalności języka, częstości używanych sformułowań oraz integracja ze słownikami walencyjnymi, ekstrakcja złożonych cech z transkrypcji nagrań dostarczonych przez klienta.
Zadanie 3
Opracowanie metod ekstrakcji cech paralingwistycznych z nagrań:
Zjawiska paralingwistyczne (zająknięcia, odchrząknięcia, zaśmiania) są instrumentalne dla oceny zarówno afektu jak i intencji. Należy opracować metody wykrywania, klasyfikacji i oceny zjawisk paralingwistycznych na podstawie odpowiednio oznaczonego i spreparowanego przez zleceniodawcę korpusu nagrań.
Zadanie 4
Opracowanie metod oceny afektu:
Prace eksperymentalne dotyczące budowania i trenowania modeli z podziałem na modelowanie lingwistyczne, akustyczne i wielomodalne. W trakcie prac powinny powstać i zostać porównane różne architektury sieci neuronowych (oparte o CNN, RNN, sieci z uwagą i inne) oraz innych, wybranych modeli wykorzystujących uczenie maszynowe (SVM, lasy losowe i inne dla sygnałów, LDA, NMF i inne dla języka naturalnego), a także autorskie podejścia, opracowane na potrzeby adresowanego zagadnienia technologicznego.
Zadanie 5
Analiza jakości oceny:
Opracowane modele powinny zostać ocenione na danych testowych i treningowych, a także porównane z wynikami opublikowanymi w literaturze naukowej, w oparciu o metryki zdefiniowane zarówno przez zleceniobiorcę, jak i przez zleceniodawcę.

Celem projektu jest Opracowanie metod oceny afektu z nagrań mowy i ich transkrypcji.
Metody oceny powinny być oparte na współczesnych metodach uczenia maszynowego i pozwalać na zwiększanie jakości oceny w przyszłości, w oparciu o zwiększające się dostępne zbiory danych uczących.
Zamawiający zastrzega, iż Wykonawca w wyniku przeprowadzenia powyższych badań będzie zobowiązany do przygotowania pełnej dokumentacji technicznej. Cel zamówienia Celem zamówienia jest wyłonienie Wykonawcy usługi badawczej dla firmy OPUS STREAM SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ ODDZIAŁ W POLSCE Przedmiot zamówienia 1. Przedmiotem zamówienia jest usługa badawczo - rozwojowa dla firmy OPUS STREAM SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ ODDZIAŁ W POLSCE
2. Przedmiot zamówienia, o którym mowa w pkt 1 niniejszego rozdziału zapytania ofertowego, obejmuje wykonanie usługi dotyczącej projektu : "Stworzenie systemu oceny intencji i reakcji afektywnych w rozmowie na podstawie wskaźników paralingwistycznych oraz analizy treści rozmowy z wykorzystaniem metod uczenia maszynowego oraz analizy języka naturalnego.”, która obejmuje

Zadanie 1
Określenie wektora dystynktywnych i istotnych cech, w tym cech głębokich:
Spośród wielu znanych cech sygnału mowy (MFCC, Δ+ΔΔMFCC, ZCR, energia sygnału, Perceptual Linear Prediction Coefficients, GFCC i inne) i transkrypcji (n-gramy, skip-gramy, bag-of-words, word embedding i inne) wybrać zestaw, który najlepiej reprezentuje cechy podkreślające badane emocje i pozwoli na osiągnięcie najlepszych wyników klasyfikacji emocji (bądź ekwiwalentnej metody regresji emocji). Oprócz cech eksperckich, dodatkowo należy przeanalizować możliwości użycia cech głębokich. Opracowanie metod pozwalających na odczyt danych oraz ekstrakcję wybranych cech. Metody powinny uwzględniać analizę wielu emocji, ewaluowane będą natomiast na zestawie pięciu wybranych emocji.
Zadanie 2
Opracowanie metod analizy języka naturalnego:
Opracowanie metod specyficznych dla oceny afektu, np. analiza powtarzalności języka, częstości używanych sformułowań oraz integracja ze słownikami walencyjnymi, ekstrakcja złożonych cech z transkrypcji nagrań dostarczonych przez klienta.
Zadanie 3
Opracowanie metod ekstrakcji cech paralingwistycznych z nagrań:
Zjawiska paralingwistyczne (zająknięcia, odchrząknięcia, zaśmiania) są instrumentalne dla oceny zarówno afektu jak i intencji. Należy opracować metody wykrywania, klasyfikacji i oceny zjawisk paralingwistycznych na podstawie odpowiednio oznaczonego i spreparowanego przez zleceniodawcę korpusu nagrań.
Zadanie 4
Opracowanie metod oceny afektu:
Prace eksperymentalne dotyczące budowania i trenowania modeli z podziałem na modelowanie lingwistyczne, akustyczne i wielomodalne. W trakcie prac powinny powstać i zostać porównane różne architektury sieci neuronowych (oparte o CNN, RNN, sieci z uwagą i inne) oraz innych, wybranych modeli wykorzystujących uczenie maszynowe (SVM, lasy losowe i inne dla sygnałów, LDA, NMF i inne dla języka naturalnego), a także autorskie podejścia, opracowane na potrzeby adresowanego zagadnienia technologicznego.
Zadanie 5
Analiza jakości oceny:
Opracowane modele powinny zostać ocenione na danych testowych i treningowych, a także porównane z wynikami opublikowanymi w literaturze naukowej, w oparciu o metryki zdefiniowane zarówno przez zleceniobiorcę, jak i przez zleceniodawcę.

Celem projektu jest Opracowanie metod oceny afektu z nagrań mowy i ich transkrypcji.
Metody oceny powinny być oparte na współczesnych metodach uczenia maszynowego i pozwalać na zwiększanie jakości oceny w przyszłości, w oparciu o zwiększające się dostępne zbiory danych uczących.
Zamawiający zastrzega, iż Wykonawca w wyniku przeprowadzenia powyższych badań będzie zobowiązany do przygotowania pełnej dokumentacji technicznej.