DOI: https://doi.org/10.20998/2413-4295.2020.02.09

Квазістереоскопічна система виявлення перешкод для сліпих на базі RASPBERRY PI 3 і STM8L

Vitaliy Kostenko, Sergey Kondratyev, Marina Yadrova, Diana Stelmakh

Анотація


Розроблено квазістереоскопічну систему для виявлення перешкод для сліпих з підвищеною інформативністю. Підвищення інформативності здійснюється за рахунок застосування одноплатного комп’ютера Raspberry Pi 3 і мікроконтролера STM8L. Підсистема панорамного ультразвукового виявлення дозволяє визначати наявність перешкод і їхню віддаленість за частотою проходження звукового сигналу, а підсистема створення тактильного рельєфу – за інтенсивністю тактильної інформації. У пристрої передбачена можливість комутації підсистем з джерелом живлення відповідно до режиму виявлення перешкод. За допомогою кнопки подачі живлення здійснюється відключення підсистеми створення тактильного рельєфу, струм споживання якої не менше 500 мА, зі збереженням роботи підсистеми ультразвукового виявлення перешкод, струм споживання якої не більше 20 мА, при цьому забезпечується економія заряду елемента автономного живлення, продовження терміну його роботи без підзарядки. Наведено результати розробки програмної моделі – алгоритм роботи системи, код програми побудови кадру з картою глибин у реальному часі, код програми роботи вібромоторів, модульні тести для тестування програмного коду підсистеми створення тактильного рельєфу. На основі даних досліджень був зібраний і випробуваний макет пристрою. Після певного циклу тренувань, слабозора людина набуває здатності до кращої орієнтації в просторі. Автономність системи забезпечується економним енергоспоживанням за рахунок застосування розробленого алгоритму роботи системи і сучасної енергоефективної апаратної частини


Ключові слова


відеокамера; Raspberry Pi; ШІМ контролер; вібромотор; ультразвуковий датчик; карта глибин

Повний текст:

PDF (Русский)

Посилання


Ezhegodno kolichestvo slepyih v mire rastet [Every year, the number of blind people in the world is growing] Available at: https://www.unian.net/health/country/152550-ejegodno-kolichestvo-slepyih-v-mire-rastet.html (accessed 03.02.2020).

Elmannai W., Elleithy K. Sensor-based assistive devices for visually-impaired people: current status, challenges and future directions. Sensors (Basel, Switzerland), 2017, 17 (3), pii: E565, Published online, doi: 10.3390/s17030565.

Ershov S. O., Mayer P., Baki-Borodov E. L. Lokalnyie i globalnyie programmno-apparatnyie sredstva pozitsionirovaniya i navigatsii dlya slepyih [Local and global positioning and navigation software and hardware for the blind], Informatizatsiya i svyaz [Informatization and communication], 2011, no. 1, p. 58–62.

Ong SK, Zhang J, Nee AY. Assistive obstacle detection and navigation devices for vision-impaired users. Disability and rehabilitation. Assistive technology, 2013, 8 (5), 409-16, doi: 10.3109/17483107.2012.756946.

Cardin S., Thalmann D., Vexo F. Wearable obstacle detection system for visually impaired peopl. Virtual Reality Laboratory (VRlab), Ecole Polytechnique Fédérale de Lausanne (EPFL), CH-1015, Lausanne, Switzerland, @epfl.ch.

Ilyasov E. S. Vyichislenie rasstoyaniya do nablyudaemogo ob'ekta po izobrazheniyam so stereoparyi, Molodoy uchYonyiy. Mezhdunarodnyiy nauchnyiy zhurnal, 2016, no. 14 (118), p. 146–151.

Caraiman S., Zvoristeanu O., Burlacu A., Herghelegiu P. Stereo Vision Based Sensory Substitution for the Visually Impaired. Sensors (Basel), 2019, 19 (12), 2771, doi: 10.3390/s19122771.

Altuhov V. G., Kolker A. B. Vyichislenie rasstoyaniya do ob'ekta na osnove kartyi glubin poluchennoy metodom zerkalnogo razdeleniya izobrazheniy [Calculation of the distance to the object based on the depth map obtained by mirror image division.] Avtomatika i programmnaya inzheneriya [Automation and software engineering], 2017, no. 1 (19), p. 65–69.

Mahdi Safaa A., Muhsin Asaad H. Al-Mosawi Ali I. Using ultrasonic sensor for blind and deaf persons combines voicealert and vibration properties. Research Journal of Recent Sciences, 2012, Vol. 1 (11), p. 50–52.

Popov D. A., Kostenko V. L., Yadrova M. V., Kondratev S. B. Razrabotka multisensornogo sonara dlya slepyih na osnove mikrokontrollera STM8L [Development of a multisensory sonar for the blind based on the STM8L microcontroller]. Komp’yuterno IntegrovanI tehnologiyi: osvita, nauka, virobnitstvo [Computer-integrated technologies: education, science, production], 2018, no. 30–31, Lutsk, p. 126–131.

Ershov S. O., Mayer P. Sistemyi tehnicheskogo zreniya s nevizualnyim predstavleniem prostranstvennoy informatsii [Vision systems with non-visual representation of spatial information]. Izvestiya vuzov. Priborostroenie [University News. Instrumentation], 2008, V. 51, no.1, p. 42–47, doi: 10.1109/ICDSC.2007.4357528.

Brown FE, Sutton J, Yuen HM, Green D. [et al.]. A novel, wearable, electronic visual aid to assist those with reduced peripheral vision. PLoS One, 2019, 14 (10), e0223755, doi: 10.1371/journal.pone.0223755.

Budrionis A, Plikynas D, Daniušis P, Indrulionis A. Smartphone-based computer vision travelling aids for blind and visually impaired individuals: A systematic review. Assistive Technology, 2020, 1–17, doi: 10.1080/10400435.2020.1743381.

Kostenko V. L., Kondratev S. B., Yadrova M. V., Popov D. A. Energoeffektivnaya sistema panoramnogo ultrazvukovogo obnaruzheni preyatstviy dlya slepyih [Energy-efficient panoramic ultrasonic obstacle detection system for the blind] VIsnik NTU «HPI». SerIya: «NovI rIshennya v suchasnih tehnologIyah» [Bulletin of the National Technical University "KhPI". Series: New solutions in modern technologies], HarkIv NTU «HPI», 2018, no. 16 (1292), p. 47–56, doi:10.20998/2413-4295.2018.16.07.

Kondratev S. B., SIroshtan M. V., Kostenko V. L., Yadrova M. V. Komp'yuterizovana sistema orientatsiyi dlya lyudey z vadami zoru [Computerized orientation system for the visually impaired]. MaterIali VII MIzhnarodnoYi naukovo-praktichnoYi konferentsIYi «InformatsIya, Kultura, tehnologIYi» IKT 2019 [Proceedings of the VII International Scientific and Practical Conference "Information, Culture, Technology" ICT 2019], Odesa: ONPU, 2019, p. 79–80.

Odnoplatnyie kompyuteryi: obzor i sravnenie modeley [Single-board computers: review and comparison of models].Available at: https://my-multi.ru/android/odnoplatnye-kompyutery-obzor-i-sravnenie-modelei-odnoplatnye.html(accessed 03.02.2020).

Raspberry Pi – opisanie, ustanovka OS, nastroyka i aksessuary [Raspberry Pi - description, OS installation, setup and accessories]. Available at: https://www.terraelectronica.ru/pdf (accessed 01.03.2020).

PCA9685 – 16-kanalnyiy 12-bitnyiy PWM/Servo modul s I2C interfeysom [PCA9685 - 16-channel 12-bit PWM/Servo module with I2C interface]. Available at: https://micro-pi.ru/pca9685-16-kanalnyiy-pwm-servo-i2c (accessed 01.03.2020).

Baza izobrazheniy sravneniya razlichnyih metodov postroeniya kartyi glubinyi [Database comparing different methods of constructing a depth map]. Available at: http://vision.middlebury.edu/stereo (accessed 01.02.2020).

Raspberry Pi 3: OpenCV Python – ustanovka biblioteki dlya ispolzovaniya s Python [aspberry Pi 3: OpenCV + Python (# 1) – installation of a library for use with Python]. Available at:http://codius.ru/articles (accessed 01.02.2020).


Пристатейна бібліографія ГОСТ


  1. Ежегодно количество слепых в мире растет. URL: https://www.unian.net/health/country/152550-ejegodno-kolichestvo-slepyih-v-mire-rastet.html (дата обращения: 03.02.2020).
  2. Elmannai W., Elleithy K. Sensor-based assistive devices for visually-impaired people: current status, challenges and future directions. Sensors (Basel, Switzerland). 2017. 17 (3): pii: E565. doi: 10.3390/s17030565
  3. Ершов С. О., Мейер П., Баки-Бородов Е. Л. Локальные и глобальные программно-аппаратные средства позиционирования и навигации для слепых. Информатизация и связь. 2011. № 1. С. 58–62.
  4. Ong SK, Zhang J, Nee AY. Assistive obstacle detection and navigation devices for vision-impaired users. Disability and rehabilitation. Assistive technology. 2013. 8(5). 409-16. doi: 10.3109/17483107.2012.756946.
  5. Cardin S., Thalmann D., Vexo F. Wearable obstacle detection system for visually impaired peopl. Virtual Reality Laboratory (VRlab). Ecole Polytechnique Fédérale de Lausanne (EPFL). CH-1015 Lausanne, Switzerland. @epfl.ch.
  6. Ильясов Э. С. Вычисление расстояния до наблюдаемого объекта по изображениям со стереопары. Молодой учёный. Международный научный журнал. 2016. № 14 (118). С. 146–151.
  7. Caraiman S., Zvoristeanu O., Burlacu A., Herghelegiu P. Stereo Vision Based Sensory Substitution for the Visually Impaired. Sensors (Basel). 2019. 19(12). 2771. doi: 10.3390/s19122771.
  8. Алтухов, В. Г. Колкер А. Б. Вычисление расстояния до объекта на основе карты глубин полученной методом зеркального разделения изображений. Автоматика и программная инженерия. 2017. №1 (19). С. 65–69.
  9. Mahdi, Safaa A., Muhsin Asaad H., Al-Mosawi Ali I. Using ultrasonic sensor for blind and deaf persons combines voicealert and vibration properties. Research Journal of  Recent  Sciences. 2012. Vol. 1 (11). P. 50–52.
  10. Попов Д. А., Костенко В. Л., Ядрова М. В., Кондратьев С. Б. Разработка мультисенсорного сонара для слепых на основе микроконтроллера STM8L. Комп’ютерно-інтегровані технології: освіта, наука, виробництво. Луцьк. 2018. Вип. № 30–31. С. 126–131.
  11. Ершов С. О., Майер П. Системы технического зрения с невизуальным представлением пространственной информации. Известия вузов. Приборостроение. 2008. Т. 51, № 1. С. 42–47. doi:10.1109/ICDSC.2007.4357528.
  12. Brown FE, Sutton J, Yuen HM, Green D. [et al.]. A novel, wearable, electronic visual aid to assist those with reduced peripheral vision. PLoS One. 2019. 14(10). e0223755. doi: 10.1371/journal.pone.0223755.
  13. Budrionis A, Plikynas D, Daniušis P, Indrulionis A. Smartphone-based computer vision travelling aids for blind and visually impaired individuals: A systematic review. Assistive Technology. 2020. 1–17. doi: 10.1080/10400435.2020.1743381.
  14. Костенко В. Л., Кондратьев С. Б., Ядрова М. В., Попов Д. О. Энергоэффективная система панорамного ультразвукового обнаружени преятствий для слепых. Вісник НТУ «ХПІ». Серія: «Нові рішення в сучасних технологіях». – Харків НТУ «ХПІ». 2018. №16 (1292). С. 47–56. doi:10.20998/2413-4295.2018.16.07.
  15. Кондратьєв С. Б., Сіроштан М. В., Костенко В. Л., Ядрова М. В. Комп'ютеризована система орієнтації для людей з вадами зору. Матеріали VII Міжнародної науково-практичної конференції «Інформація, культура, технології» ІКТ‑2019. Одеса: ОНПУ. 2019. С. 79–80.
  16. Одноплатные компьютеры: обзор и сравнение моделей. URL: https://my-multi.ru/android/odnoplatnye-kompyutery-obzor-i-sravnenie-modelei-odnoplatnye.html (дата обращения: 03.02.2020).
  17. Raspberry Pi – описание, установка ОС, настройка и аксессуары. URL: https://www.terraelectronica.ru/pdf (дата обращения: 01.03.2020).
  18. PCA9685 – 16-канальный 12-битный PWM/Servo модуль с I2C интерфейсом. URL: https://micro-pi.ru/pca9685-16-канальный-pwm-servo-i2c (дата обращения: 01.03.2020).
  19. База изображений сравнения различных методов построения карты глубины. URL: http://vision.middlebury.edu/stereo (дата обращения: 01.02.2020).
  20. Raspberry Pi 3: OpenCV + Python (#1) – установка библиотеки для использования с Python. URL: http://codius.ru/articles (дата обращения: 01.02.2020).