Strobokimografia
Autor: dr inż. Marcin Just, dr inż. Michał Tyc (DiagNova Technologies)Kimografia jest to analiza pracy fałdów głosowych wykorzystująca obrazowanie ich zwarć i rozwarć w przedziale czasu w dowolnie wybranym przekroju poprzecznym fałdów głosowych.
Kliknięcie prawym przyciskiem myszy na wybranej sekwencji wideo i wybranie opcji Strobokimografia w osobnym oknie badania powoduje otwarcie dodatkowej zakładki 1 do analizy kimograficznej nagrania (Rys. 1).
Pierwsza zakładka Wybór fragmentu (Rys. 1) rozpoczyna kimografię. Na tej zakładce użytkownik wybiera odpowiedni fragment nagrania. Fragment ten powinien obrazować całą długość fałdów głosowych w miarę możliwości widocznych w środku obrazu bez jakichkolwiek struktur, które mogłyby zasłonić całość lub ich fragment.
Rys. 1. Okno do analizy kimograficznej; wybór fragmentu nagrania do analizy
Początek oraz koniec wybranego fragmentu nagrania użytkownik oznacza za pomocą suwaków 2. Pierwszy suwak od góry umożliwia podgląd sekwencji wideo. Drugi suwak pozwala określić początek i koniec fragmentu do analizy
W tym oknie możliwa jest korekcja obrazu, usunięcie przeplotu oraz obrócenie o 90˚ (Rys. 2). Dodatkowo przycisk Panel korekcji 3 pozwala na otwarcie okna do precyzyjnej korekcji barw obrazu. Panel kontrolny korekcji koloru (Rys. 3) pozwala na delikatna korekcję obrazu lub całkowitą zmianę kolorystyki, aby na przykład uwidocznić naczynia krwionośne.
Rys. 2. Korekcja obrazu
Rys. 3. Panel kontrolny korekcji koloru
Po wybraniu odpowiedniego fragmentu nagranej sekwencji należy przejść do kolejnej zakładki Stabilizacja i kadrowanie (Rys. 4a). W tej zakładce użytkownik oznacza miejsce, gdzie występują fałdy głosowe. Za pomocą niebieskiego odcinka należy oznaczyć początek i koniec fałdów głosowych (Rys. 4b). Użytkownik może ustawić znacznik na dowolnie wybranej klatce, na której najlepiej widoczne są fałdy głosowe. Program automatycznie odnajdzie wskazane punkty na pozostałych klatkach sekwencji wideo po przejściu na kolejną zakładkę. Dodatkowo w przypadku „trudniejszych” nagrań, użytkownik może skorzystać z opcji stabilizacji (Rys. 5).
a)
b)
c)
Rys. 4. Okno analizy kimograficznej – Stabilizacja i kadrowanie; a) zakładka po otwarciu, b) ustawiony znacznik poło-żenia fałdów, c) fałdy z zaznaczoną powierzchnią głośni
Rys. 5. Opcje stabilizacji w oknie Stabilizacja i kadrowanie
Opcje Stabilizacji (Rys. 5) pozwalają na doprecyzowanie ustawień stabilizacji obrazu oznaczonego w obszarze określonym przez cztery żółte punkty, które przesuwają się wraz ze znacznikiem położenia fałdów.
W przypadku dużego zaciemnienia obrazu, możliwa jest edycja obszaru głośni 12. Obszar głośni domyślnie ustawiony jest na odrzucenie 10% najciemniejszych pikseli obrazu. Po włączeniu Zaznacz powierzchnię głośni, obszar brany pod uwagę jest zaznaczony kolorem niebieskim (Rys. 4c).
Włączona opcja Bez obszaru głośni w poziomie powoduje ignorowanie określonego w poziomie obszaru głośni przez program. Opcja ta może być pomocna w przypadku gdy fałdy drgają z różnicą fazy oraz szpara głośni jest wyraźnie widoczna (mocno zaczernionego obszaru głośni).
Po dokonaniu korekcji, należy wcisnąć przycisk Stabilizuj nagranie 14. Poniżej pojawi się podgląd obrazu kimograficznego 15, który pomoże zweryfikować efekt stabilizacji.
Rys. 6. Okno do analizy kimograficznej; długość fałdów
Analiza kimograficzna – Analiza kimo krótkoczasowa (Rys. 7) rozpoczyna się na zakładce Przekroje kimograficzne. Na zakładce z lewej strony znajduje się obraz przedstawiający wykadrowane fałdy głosowe A wraz z suwakiem do wyboru miejsca przekroju poprzecznego 16. W celu wybrania interesującego przekroju poprzecznego fałdów, należy ustawić suwak w odpowiednim miejscu, przesuwając go w górę lub w dół za pomocą kursora. W miarę przesuwania suwaka, z prawej strony pojawia się odpowiadająca danemu przekrojowi poprzecznemu analiza czasowa pracy fałdów.
Podobnie może zostać zmieniona klatka przedstawiająca fałdy głosowe B, odpowiadająca danej chwili czasu. W tym celu należy ustalić moment czasu, w którym klatka ta została nagrana, poprzez przesuwanie suwaka na przekroju czasowym pracy fałdów 17, co automatycznie pozwala ustawić odpowiednią wykadrowaną klatkę.
Poniżej obrazu wykadrowanych fałdów A znajdują się przyciski: Dodaj zespolony film oraz Dodaj wykadrowany film. Zespolony film jest złożeniem klatki w danym momencie czasu oraz nagrania składającego się z przedziałów czasowych w każdym możliwym przekroju tej klatki. Na zapisanym filmie po lewej stronie widoczna jest wykadrowana klatka (z zaznaczonym miejscem przekroju, jeśli opcja Zapisz z liniami wskaźnika jest zaznaczona). Po prawej stronie filmu znajduje się nagranie złożone ze wszystkich przekrojów czasowych (w miejscach przekroju pokazanych na obrazie z lewej strony). Wykadrowany film natomiast to nagranie składające się z wykadrowanych klatek.
Tak stworzone sekwencje wideo zostaną zapisane w oknie głównym badania w kolumnie zawierającej wszystkie zarejestrowane i wczytane materiały wideo. Po wyjściu z okna kimografii możliwe jest jego odtworzenie oraz wybór interesujących klatek w zwykłym oknie wyboru klatek.
Poniżej przebiegu kimograficznego B znajdują się przyciski, które umożliwiają zapisanie obrazów do raportu. Przycisk Dodaj zespolony przekrój kimograficzny, pozwala na zapisanie obrazu przedstawiającego wykadrowaną klatkę z fałdami głosowymi wraz z odpowiednim przekrojem kimograficznym 18. Przycisk Dodaj zestaw przekrojów pozwala na automatyczne dodanie obrazu, który przedstawia wykadrowaną klatkę wraz z przebiegami pracy fałdów głosowych w siedmiu miejscach przekrojów 19 (miejsca określone do wyboru na liście obok).
Rys. 8. Okno do analizy kimograficznej; Analiza kimo krótkoczasowa -> Krawędzie fałdów
Kolejna zakładka to Krawędzie fałdów (Rys. 8). Na obrazie wykadrowanych fałdów głosowych widoczne są dwa suwaki w kolorze zielonym, znajdujące się w połowie wysokości obrazu. Suwaki umożliwiają określenie obszaru, który ma być brany pod uwagę w tworzeniu obrazu kimograficznego. Wyznaczona szerokość pozwala skorygować stopień widocznego rozwarcia fałdów głosowych.
Poniżej obrazu wykadrowanych fałdów głosowych znajduje się przycisk Optymalizuj parametry detekcji 20. Po ustawieniu obrazu fałdów głosowych w momencie ich rozwarcia, naciśnięcie przycisku 20 spowoduje automatyczne dopasowanie się zestawu pięciu par punktów do prawego i lewego brzegu fałdów głosowych. W przypadku, gdy nie wszystkie punkty dopasują się prawidłowo, ich ustawienie można korygować „ręcznie” przesuwając pojedyncze punkty w prawo lub w lewo przesuwając za pomocą myszy. Po ustawieniu punktów na obrazie fałdów głosowych, użytkownik może przejść do określenia obszaru rozwarcia się fałdów na obrazie kimograficzny.
Na obrazie kimograficznym program zamalowuje na kolor niebieski obszary, w których fałdy są rozwarte. Po naciśnięciu przycisku znajdującego się poniżej obrazu kimograficznego, Optymalizuj parametry detekcji 21, program odnajduje obszary, gdzie fałdy są rozwarte. W przypadku, gdy nie wszystkie obszary dopasują się prawidłowo, ich ustawienie można korygować „ręcznie” przesuwając pojedyncze punkty 22 w prawo lub w lewo zmniejszając lub zwiększając zakresu jasności, które program bierze pod uwagę przy wyznaczaniu powierzchni rozwarcia fałdów na obrazie kimograficznym. Ważne jest, aby użytkownik zwrócił uwagę, w którym przedziale pomiędzy punktami znajduje się przekrój czasowy, którego obszary rozwarcia fałdów zostały nieprawidłowo wyznaczone, ponieważ korekcję przeprowadza się, przy użyciu punktu znajdującego się najbliżej właśnie tego przekroju. Poprzez przesuwanie suwakiem w lewą oraz prawą stronę, możliwe jest odpowiednio zmniejszenie zakresu jasności (zmniejszenie powierzchni zaznaczonej) oraz zwiększenie zakresu jasności (zwiększenie powierzchni zaznaczonej).
Do poprawnego wyznaczenia parametrów oraz fonowibrogramów należy jeszcze zaznaczyć ilość pełnych cykli (pełnego rozwarcia oraz zwarcia) pracy fałdów występujących na analizowanym nagraniu.
Rys. 10. Okno do analizy kimograficznej; Analiza kimo krótkoczasowa -> Weryfikacja przedziałów
W zakładce Weryfikacja przedziałów (Rys. 9) obraz kimograficzny oraz obraz fałdów głosowych. Uproszczony wykres 23 pozwala na precyzyjna weryfikację wyznaczonych zakresów długości fałdów oraz otwarcia fałdów. Dodatkowo w zakładce widoczne są wykresy obrazujące krawędzie fałdów głosowych. Na wykresie 24 obrazowane są krawędzie fałdów z uwzględnieniem korekcji (przycisk Licz korekcję symetryczności). Na wykresie 25 krawędzie fałdów według ustawień wykonanych w zakładce Krawędzie fałdów. W tym miejscu użytkownik może także skorygować ilość pełnych cykli (Deklarowana ilość cykli). Dodatkowo użytkownik może zaznaczyć Podgląd różnicy faz i otworzyć wykres 26.
Rys. 11. Okno do analizy kimograficznej; Analiza kimo krótkoczasowa -> Analiza parametryczna
Rys. 12. Okno do analizy kimograficznej; Analiza kimo krótkoczasowa -> Analiza parametryczna
Po naniesieniu odpowiednich poprawek można przejść do następnej zakładki – Analiza parametryczna (Rys. 11). W tej zakładce wyświetlane są wyznaczone na podstawie ustawień wykresy oraz wartości parametrów krótkoczasowych.
Wykresy można dodać do listy zapisanych obrazów do raportu poprzez dwukrotne kliknięcie na wykresie.
Opis parametrów krótkoczasowych (Rys. 12) przedstawiono w tabelach poniżej.
Analizator amplitudy bada ruchy fałdów głosowych w kierunku prostopadłym do ich osi. Określany jest zakres zmian położenia lewej i prawej krawędzi fałdu. Z analizatorem skojarzony jest jeden wykres 27 z trzema seriami danych (opis w tabeli 1) oraz parametry globalne przedstawione w tabeli 2. Jednostką osi X jest procent długości fałdu (%FL).
Analizator domykalności fałdów bada ruchy fałdów głosowych w kierunku prostopadłym do ich osi. Określana jest procentowo część czasu cyklu pracy fałdów, kiedy fałdy są w pełni domknięte (krawędzie stykają się). Z analizatorem skojarzony jest jeden wykres 28 z dwiema seriami danych (opis w tabeli 3) oraz parametry globalne przedstawione w tabeli 4. Jednostką osi X jest współczynnik otwarcia.
Analizator symetrii bada ruchy fałdów głosowych w kierunku prostopadłym do ich osi. Określany jest poziom asymetrii. Z analizatorem skojarzony jest jeden wykres 29 z dwiema seriami danych (opis w tabeli 5) oraz parametry globalne przedstawione w tabeli 6. Jednostką osi X są procenty.
Analizator różnicy faz bada ruchy fałdów głosowych w kierunku prostopadłym do ich osi. Określana jest różnica fazy pomiędzy ruchem obu fałdów. Z analizatorem skojarzony jest jeden wykres 30 z jedną serią danych (opis w tabeli 7) oraz parametry globalne przed-stawione w tabeli 8. Jednostką osi X są stopnie. Różnica fazy wyznaczana jest poprzez opisanie obu krawędzi fałdów poprzez funkcje okresowe zbliżone do sinusoid i określenie różnicy fazy pomiędzy tymi funkcjami.
Rys. 13. Okno do analizy kimograficznej; Analiza kimo krótkoczasowa -> Fonowibrogram
Kolejna zakładka to Fonowibrogram (Rys. 13). Fonowibrogram to mapa przedstawiająca informacje na temat ruchu fałdów głosowych w czasie trwania całej sekwencji slow motion. Wykres ten zawiera informacje na temat ruchu całych fałdów głosowych w całym przedziale czasu (nie tylko w jednym przekroju poprzecznym). Przy tworzeniu fonowibrogramu z sekwencji wideo zbierane są informacje na temat ruchu konturów oscylujących fałdów głosowych, a następnie przekształcone w jednobarwny obraz fonowibrogramu.