DOI: https://doi.org/10.20998/2413-4295.2019.05.11

Алгоритм пошуку стійких відповідностей пар ключових точок на зображеннях та картах глибини

Andrey Dashkevich, Darya Vorontsova, Nikita Skorobogatko

Анотація


Розвиток ефективних методів комп’ютерного зору постійно перебуває у центрі багатьох науковців, адже вони можуть підвищити швидкість і ефективність багатьох задач у різних галузях промисловості - картографія, робототехніка, системи віртуальної і доповненої реальності, системи автоматизованого проектування. Значну перспективу мають сучасні дослідження, методи і алгоритми вирішення задач стереозору, розпізнавання образів, в тому числі ті, які працюють в режимі реального часу. Однією з важливих задач стереозору є задача поєднання карт глибини у тривимірну модель сцени, але є деякі не вирішені питання процесу зіставлення карт глибин для великомасштабних сцен зовнішнього середовища, які отримані безпілотними літаками а саме: низька роздільна здатність по глибині завдяки великій відстані від сцени до камери та проблема наявності шуму внаслідок дефектів камери. Зазначені проблеми створюють труднощі в процесі пошуку ключових точок на зображеннях для їх подальшого зіставлення. В представленій роботі пропонується підхід до визначення ключових точок на суміжних картах глибини на основі пошуку ключових точок, що знаходяться в близьких областях простору параметрів. Підхід базується на пошуку множини ключових точок в двох послідовних відеокадрах та знаходженні серед них пар точок таких, що кожна точка пари відповідає одному й тому ж об’єкту на вхідному зображенні. Відповідні пари ключових точок, які локалізовані детектором ознак, можуть бути хибно-позитивними. Вищезазначений алгоритм може усунути такі пари точок шляхом визначення переважного напрямку руху ключових точок в локальних ділянках зображення, також алгоритм надає змогу визначення центру зміщення точки огляду камери, що забезпечує кращу оцінку положення для знімального оснащення. Результати роботи реалізовано у вигляді програмного додатку та протестовано на відео-матеріалах, що отримано безпілотним літаком


Ключові слова


комп’ютерний зір; стереозір; розпізнавання образів; карта глибини; тривимірна модель сцени; зіставлення ключових точок; детектор ознак; безпілотний літак

Повний текст:

PDF (Русский)

Посилання


Lowe, D. G. Object recognition from local scale-invariant features. Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, 2, 1150–1157.

Bay, H., Tuytelaars, T., Van Gool, L. SURF: Speeded Up Robust Features. Leonardis, A., Bischof, H., and Pinz, A. (eds.). Computer Vision – ECCV 2006, Springer Berlin Heidelberg, Berlin, Heidelberg, 2006, 404–417.

Rublee, E., Rabaud, V., Konolige, K., Bradski, G. ORB: An efficient alternative to SIFT or SURF. 2011 International Conference on Computer Vision, IEEE, Barcelona, Spain, 2011, 2564–2571.

Romanoni, A., Ciccone, M., Visin, F., Matteucci, M. Multi-view Stereo with Single-View Semantic Mesh Refinement. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), IEEE, Venice, 2017, 706–715.

Bouaziz, S., Tagliasacchi, A., Pauly, M. Sparse Iterative Closest Point. Computer Graphics Forum, 2013, 32, 113–123, doi:10.1111/cgf.12178.

Gold, S., Rangarajan, A., Lu, C.-P., Suguna, P., Mjolsness, E. New algorithms for 2d and 3d point matching: pose estimation and correspondence. Pattern Recognition, 1998, 38 (8), 1019–1031.

Lawin, F. J., Danelljan, M., Khan, F. S., Forssen, P.-E., Felsberg, M. Density Adaptive Point Set Registration. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, Salt Lake City, UT, USA, 2018, 3829–3837.

Evangelidis, G. D., Horaud, R. Joint Alignment of Multiple Point Sets with Batch and Incremental Expectation-Maximization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40, 1397–1410, doi: 10.1109/TPAMI.2017.2717829.

Riegler, G., Ulusoy, A. O., Bischof, H., Geiger, A. OctNetFusion: Learning Depth Fusion from Data. 2017 International Conference on 3D Vision (3DV), IEEE, Qingdao, 2017, 57–66.

Park, S.-Y., Subbarao, M. An accurate and fast point-to-plane registration technique. Pattern Recognition Letters, 2003, 24, 2967–2976, doi:10.1016/S0167-8655(03)00157-0.

Chetverikov, D., Svirko, D., Stepanov, D., Krsek, P. The Trimmed Iterative Closest Point Algorithm. In International Conference on Pattern Recognition, 2002, 545–548.

Rusinkiewicz, S., Levoy, M. Efficient variants of the ICP algorithm. Proceedings Third International Conference on 3-D Digital Imaging and Modeling, IEEE Comput. Soc, Quebec City, Que., Canada, 2001, 145–152.

Gelfand, N., Ikemoto, L., Rusinkiewicz, S., Levoy, M. Geometrically stable sampling for the ICP algorithm. Fourth International Conference on 3-D Digital Imaging and Modeling, 2003. 3DIM 2003. Proceedings, IEEE, Banff, Alberta, Canada, 2003, 260–267.

Dashkevich, A. Algoritm prostranstvennogo heshirovaniya dlya resheniya zadach priblizitelnogo poiska blizhayshih sosedey. Scientific bulletin of the Tavria agrotechnological state university, 2018, 8, 1, 79-86.

Muja, M., Lowe, D. G. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration. International Conference on Computer Vision Theory and Application VISSAPP’09), INSTICC Press, 2009, 331–340.


Пристатейна бібліографія ГОСТ


  1. Lowe,  D.  G.  Object  recognition  from  local  scale–invariant  features  /  D.  G.  Lowe  //  Proceedings  of  the  Seventh  IEEE  International  Conference  on  Computer  Vision,  1999.  –  2.  –  P.  1150–1157.
  2. Bay,  H.  SURF:  Speeded  Up  Robust  Features  /  H.  Bay,  T.  Tuytelaars,  L.  Van  Gool  //  Leonardis,  A.,  Bischof,  H.,  and  Pinz,  A.  (eds.).  Computer  Vision  –  ECCV  2006,  Springer  Berlin  Heidelberg,  Berlin,  Heidelberg,  2006.  –  P.  404–417.
  3. Rublee,  E.  ORB:  An  efficient  alternative  to  SIFT  or  SURF  /  E.  Rublee,  V.  Rabaud,  K.  Konolige,  G.  Bradski  //  2011  International  Conference  on  Computer  Vision,    Barcelona,  Spain,  2011.  –  P.  2564–2571.
  4. Romanoni,  A.  Multi–view  Stereo  with  Single–View  Semantic  Mesh  Refinement  /  A.  Romanoni,  M.  Ciccone,  F.  Visin,  M.  Matteucci  //  2017  IEEE  International  Conference  on  Computer  Vision  Workshops  (ICCVW),    IEEE,  Venice,  2017.  –  P.  706–715.
  5. Bouaziz,  S.  Sparse  Iterative  Closest  Point  /  S.  Bouaziz,  A.  Tagliasacchi,  M.  Pauly  //  Computer  Graphics  Forum.  –  2013.  –  32.  –  P.  113–123.  –  doi:10.1111/cgf.12178.
  6. Gold,  S.  New  algorithms  for  2d  and  3d  point  matching:  pose  estimation  and  correspondence  /  S.  Gold,  A.  Rangarajan,  C.–P.  Lu,  P.  Suguna,  E.  Mjolsness  //  Pattern  Recognition.  –  1998.  –  38  (8).  –  P.  1019–1031.
  7. Lawin,  F.  J.  Density  Adaptive  Point  Set  Registration  /  F.  J.  Lawin,  M.  Danelljan,  F.  S.  Khan,  P.–E.  Forssen,  M.  Felsberg  //  2018  IEEE/CVF  Conference  on  Computer  Vision  and  Pattern  Recognition,  IEEE,  Salt  Lake  City,  UT,  USA,  2018.  –  P.  3829–3837.
  8. Evangelidis,  G.  D.  Joint  Alignment  of  Multiple  Point  Sets  with  Batch  and  Incremental  Expectation–Maximization  /  G.  D.  Evangelidis,  R.  Horaud  //  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence.  –  2018.  –  40.  –  P.  1397–1410.  –  doi:10.1109/TPAMI.2017.2717829.
  9. Riegler,  G.  OctNetFusion:  Learning  Depth  Fusion  from  Data  /  G.  Riegler,  A.  O.  Ulusoy,  H.  Bischof,  A.  Geiger  //  2017  International  Conference  on  3D  Vision  (3DV),  IEEE,  Qingdao,  2017.  –  P.  57–66.
  10. Park,  S.–Y.  An  accurate  and  fast  point–to–plane  registration  technique  /  S.–Y.  Park,  M.  Subbarao  //  Pattern  Recognition  Letters.  –    2003.  –  24.  –  P.  2967–2976.  –  doi:10.1016/S0167–8655(03)00157–0.
  11. Chetverikov,  D.  The  Trimmed  Iterative  Closest  Point  Algorithm  /  D.  Chetverikov,  D.  Svirko,  D.  Stepanov,  P.  Krsek  //  In  International  Conference  on  Pattern  Recognition.  –  2002.  –  P.  545–548.
  12. Rusinkiewicz,  S.  Efficient  variants  of  the  ICP  algorithm  /  S.  Rusinkiewicz,  M.  Levoy  //  Proceedings  Third  International  Conference  on  3–D  Digital  Imaging  and  Modeling,  IEEE  Comput.  Soc,  Quebec  City,  Que.,  Canada,  2001.  –  P.  145–152.
  13. Gelfand,  N.  Geometrically  stable  sampling  for  the  ICP  algorithm  /  N.  Gelfand,  L.  Ikemoto,  S.  Rusinkiewicz,  M.  Levoy  //  Fourth  International  Conference  on  3–D  Digital  Imaging  and  Modeling,  2003.  3DIM  2003.  Proceedings,    IEEE,  Banff,  Alberta,  Canada,  2003.  –  P.  260–267.
  14. Дашкевич,  А.  А.  Алгоритм  пространственного  хеширования  для  решения  задач  приблизительного  поиска  ближайших  соседей  /  А.  А.  Дашкевич  //  Науковий  вісник  ТДАТУ.  –  2018.  –  Вип.  8.  –Т.  1.  –  С.  79–86.
  15. Muja,  M.  Fast  Approximate  Nearest  Neighbors  with  Automatic  Algorithm  Configuration  /  M.  Muja,  D.  G.  Lowe  //  International  Conference  on  Computer  Vision  Theory  and  Application  VISSAPP’09),  INSTICC  Press,  2009.  –  P.  331–340.