Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)
Journal of the Korean Society of Marine Environment and Safety Vol.25 No.6 pp.642-648
DOI : https://doi.org/10.7837/kosomes.2019.25.6.642

A Study on the Smart Maritime Traffic Safety Monitoring System Based on AI & AR

Won-Ouk Kim*†
*Korea Institute of Maritime and Fisheries Technology, Busan, Korea
kwo0228@seaman.or.kr, 051-620-5816
August 16, 2019 September 6, 2019 October 28, 2019

Abstract


Vessels sail according to the COLREG to prevent a collision. However, it is difficult to apply COLREG under special situation as heavy traffic, at this time personal skills of the operator are required. In this case, traffic control is required through the maritime traffic monitoring system. Therefore, maritime traffic management is globally implemented by VTS. In this system, VTS officer uses the VTS system to assess risks and recommends possible safety operation to vessels with radio systems. This study considers that the risk analysis method with AI (Artificial Intelligence) technology from the operator’s aspect. In addition, the research explains the Maritime Traffic Safety Monitoring System, Including AR (Augmented Reality) technology to increase vessel control efficiency. This system is able to predict hazards and risk priorities, and it leads to sequential elimination of dangerous situations. Especially, the hazard situations can be analyzed from operator’s perspective of each vessel instead of the VTS officer’s aspect, which is more practical than the conventional method. Furthermore, the result of analysis enables to comprehend quantitative hazardous areas and support recommended routes to avoid a collision. As a result, I firmly believe that the system will support to prevent a collision in complex traffic waters. In particular, it could be adopted as a collision prevention system for Maritime Autonomous Surface Ship, which occupies a significant proportion in Maritime 4th industrial revolution.



AI와 AR기반의 스마트 해상교통안전모니터링 시스템에 관한 연구

김 원욱*†
*한국해양수산연수원

초록


선박은 충돌방지를 위해 해상충돌예방규칙에 의해 운항한다. 하지만 다수의 선박이 동시에 운항하는 특수상황 시에는 해상충 돌예방규칙을 적용하기 곤란하며 이때는 운항자의 개인능력에 의한다. 이러한 경우 해상교통관제를 통한 교통상황 관리가 필요하다. 이 에 전 세계적으로 VTS(Vessel Traffic Services)를 통해 해상교통이 관리되고 있으며 운용 방법은 관제요원이 VTS 시스템을 이용하여 위험상 황을 판단하고 통신시설을 이용하여 선박들에게 안전운항을 권고한다. 이 연구에서는 기존 방법에 AI(Artificial Intelligence) 기법을 추가하 여 운항자의 관점에서 위험상황을 판단하는 방법에 대해 고찰한다. 또한, 관제 효율성 증대를 위해 AR(Augmented Reality)기법을 추가한 해 상교통안전모니터링 시스템에 대해 설명한다. 이 시스템은 위험상황 및 위험 우선순위 예측이 정량적으로 가능하여 복잡한 교통상황시 실제 운항자가 충돌회피하는 방법과 동일한 순차적 위험상황 해소가 가능하다. 특히, 위험상황을 관제요원의 관점뿐만 아니라 각 선박의 운항자의 관점에서 분석할 수 있어 기존의 방법보다 실제적이다. 또한, 분석결과를 통해 정량적인 위험수역 파악이 가능하여 충돌회피를 위한 권고항로 지원이 가능하다. 결과적으로 이 시스템은 해상교통상황이 복잡한 해역에서의 선박간 충돌방지에 도움이 될 것이다. 특히, 해양분야 제4차 산업혁명에 주요한 분야를 차지하는 자율운항선박에 충돌방지 기능으로 사용될 수 있을 것이다.



    1. 서 론

    선박은 해상 교통상황이 복잡하여 충돌 위험이 발생할 가 능성이 있는 항내, 좁은수로, 연안 등을 운항하지 않을 수 없다. 이런 경우 해상충돌예방규칙에 의해 운항하지만 다수 의 선박이 동시에 운항하게 될 경우 특수한 상황으로 이 규 칙을 적용하기 곤란하며 이때는 운항자의 개인능력에 의한 다. 이런 경우를 대비하여 충돌방지를 위해 육상에서 다수 선박에 대한 교통관제를 통해 해상 교통상황을 관리할 필요 가 있다. 이에 전 세계적으로 VTS(Vessel Traffic Service)를 통 해 해상교통관리가 수행되고 있으며 운용 방법은 관제요원 이 VTS 시스템을 이용하여 위험상황을 판단하고 통신시설 을 이용하여 선박들에게 안전운항을 권고한다. 이 연구에서 는 기존의 관리방법에 추가적인 기법인 AI 기능을 이용하여 선박운항자의 관점에서 위험상황을 판단하는 방법에 대해 고찰한다. 또한, 실제와 동일한 상황을 관제요원에게 제공하 기 위해 AR기법을 추가한 해상교통안전모니터링 시스템 개 발에 대해 고찰하고자 한다. 이 시스템은 해기지식을 가진 관제요원이 해상교통상황을 관리하는 것은 기본적으로 포 함하고 추가적인 기법을 적용하여 관제 효율성을 높이고 이 로 인해 안전도를 증진하는데 그 목적이 있다. 또한, VTS가 설치되지 않는 공사구간 등에 해기지식이 부족한 일반 관제 요원들에 의한 안전관리 시 정량적 위험상황을 알려주고 안 전한 교통관리를 위한 적절한 판단을 지원한다. 현재 VTS에 서는 해상충돌예방규칙과 DCPA(Distance of Closest Point of Approach)와 TCPA(Time of CPA)를 이용하여 관제하고 있다. 하지만 정량적인 위험 한계값을 파악 할 수는 없어 주관적 판단에 의거 관제를 수행한다. 다수의 선박이 운항할 경우 해상충돌예방규칙 적용이 어려울 뿐만 아니라 선박충돌 위 험도를 판단하는 DCPA, TCPA의 경우에도 어느 정도의 값이 위험한지 정량화되어 있지 않다. 그러므로 관제요원의 운항 지식에 의한 주관적 판단으로 수행되고 있으며 복잡한 해상 교통 발생의 경우 관제에 어려움이 발생할 수 있다. 이에 이 연구에서는 이러한 어려움을 감소시키기 위해 정량화된 위 험영역을 지정하여 상호 위험선박을 선별하고 이를 전자해 도 상에 가시화하여 쉽게 관제를 수행하도록 하는데 그 목 적을 둔다. 이를 위해 사용된 이론적 모델은 선박운항자의 심리적 부담감을 표현한 이론식과 선박의 속력을 고려한 동 적선박영역(Wang, 2010)을 결합하여 저자가 개발한 항해위험 성평가모델이며(Kim et al., 2017) 우리 학회에 여러 번 소개 되었으며 자세한 내용은 참고문헌으로 대신한다.

    2. 시스템 개요 및 개발 방법

    2.1 시스템 개요

    이 해상교통안전모니터링 시스템을 구현하기 위해서 기 본적으로 선박에 설치된 2D 기반의 전자해도 혹은 GPS 플 로터 상에 선박의 정보를 적용한다. 이때 선박의 정보는 AIS 를 기본으로 하며 AIS를 설치하지 않은 선박의 경우는 RADAR 신호를 이용한다. 이렇게 제작된 2D 시스템에 설치 된 카메라를 이용하여 AR 기법을 적용하면 실시간 화면 상 에서 모니터링이 가능하다. 이 기능만의 적용은 기존 VTS 시스템과 차별성이 거의 없으므로 이 연구에서는 항해위험 성평가모델을 적용하여 정량적 위험성 판단이 가능하게 하 였다. 즉, 위험 정도를 알려주는 기능이 탑재되었다. 이는 기 존의 해기지식이 있는 관제요원에게 다양한 정보를 제공하 거나 자신의 판단을 체크하는 순효과가 발생된다. 특히, VTS 관제 제외 구역이나 공사 중인 구역 등에 작업 관리를 수행 중인 해기지식이 부족한 일반 작업요원들이 정량적인 위험상황을 미리 알려주고 이를 통하여 적절한 판단을 하게 도움을 준다. 즉, 해상교통안전모니터링 시스템은 기존의 2D기반의 관제시스템에 추가적으로 AR기반의 실시간 모니 터링시스템과 정량적 위험판단이 가능한 시스템으로 구성 된다. 이때 위험 판단을 위한 경보신호는 기존 모니터링 시 스템뿐만 아니라 휴대폰 등 휴대 전자기기의 앱기능을 이용 하여 장소와 시간에 관계없이 모니터링이 가능하도록 하였 으며 자세한 내용은 Fig. 1과 같다.

    2.2 개발 방법

    해상 교통안전 모니터링 시스템은 Microsoft .NET Framework 기반으로 개발되었으며 사용자에게 반응성 유지와 컴퓨터 의 성능을 극대화를 위해 여러 실행 스레드를 사용하였다. 이 때 적용된 비동기 패턴으로는 APM(Asynchronous Programming Model)과 EAP(Event-based Asynchronouse Pattern Instructor)이 다. 개발 언어로는 .NET개발 환경의 모체가 되는 통합 개발 환경(IDE: Integrated Development Environment)에서 Microsoft .NET Framework 기반의 C#언어가 사용되었다(McConnell, 2003;Leffingwell, 2007). Fig. 2는 이를 이용하여 설계된 개발방법을 도식으로 나타낸 것이다.

    1) 해상교통안전 모니터닝 시스템

    해상교통안전 모니터닝 시스템의 기본적인 기능은 기존 VTS 시스템과 거의 유사하며 그 내용은 제1장에서도 밝힌 바와 같다. Fig. 3에서 보는 바와 같이 전자해도에서 혹은 GPS 플로터 기반에 AIS와 RADAR data를 이용하고 주요 해 역에 설치된 카메라에 이 정보를 적용하여 실제 화면에서 선박의 정보를 바로 확인할 수 있게 구성되어 있다.

    하지만 이 기능은 현재 VTS센터에서도 운용 중에 있다. 이런 이유로 이 연구에서는 해상교통관리의 효율성 증대와 충돌예방 등 해상교통의 안전도 향상을 위해 기능을 추가하 였다. 이를 위해 이 연구에서는 AI기법의 운항자의 조종 부 담감을 표현한 해상교통위험성모델을 적용하였다. 이 모델 의 적용 이유와 방법은 제1장에서 밝히고 있다. 해상교통위 험성모델을 간단히 설명하면 아래와 같고 자세한 내용은 참 고문헌을 참조한다(Kobayashi and Endoh, 1976). 운항자의 조 종 부담감을 이론식으로 구현하기 위해 다양한 상황 및 선 박운항자를 대상으로 실험결과 아래와 같은 수식을 얻었다.

    C J = υ R R a υ λ + b | λ |
    (1)

    식(2)에서 a, b는 실험결과에 의한 계수이며 각각 다음 값 으로 나타낸다.

    a 3.75 × 10 5
    (2a)
    b ( 1.3 1.7 ) × 10 4
    (2b)

    하지만, 이 수식에 의한 분석결과는 위험도의 상호 비교 분석은 가능하나 얼마의 값이 위험한지에 대한 평가지표가 없다. 이러한 이유로 선박의 조종성능과 선박의 속력, 길이 등이 고려된 선박 동적영역을 이용하여 두 수식을 결합하였 다. 이렇게 만들어진 수식을 이용하여 위험지표를 설정하여 해상교통위험성평가모델을 만들었다. 동적영역의 위험영역 은 이 영역 내부에 타 선박이 진입할 경우 충돌의 위험성이 존재하는 것을 의미하고 선박의 길이를 기준으로 한 정적선 박영역(Fujii and Tanaka, 1971;Coldwell, 1983)과 선박의 길이 뿐 만 아니라 선속, 조종성능과 상대선의 주변 환경을 반영 하는 동적선박영역으로 분류된다. 이때 위험영역은 경계영 역과 한계영역으로 구분되며 경계영역에 진입 시 위험을 느 끼고 한계영역에 도달하면 매우 큰 위험을 느낀다. 동적영 역모델은 다음 식으로 나타낸다(Arimura et al., 1988;Kijima and Furukawa, 2003). 이에 이 연구에서는 선박동적위험영역 을 구하여 해상교통관제에 적용하고자 한다. 혼잡한 해상교 통상황에서 선박 간 충돌방지를 위해서는 위험 우선순위를 파악하여 순차적으로 위험상황을 해소하여야 한다. 해상교 통관제 우선순위는 첫째, 선박 동적위험영역이 상호 겹쳐지 는 선박들을 분석한다. 이때 충돌 위험이 높은 우선순위를 확인하여 우선 관제가 필요한데 이때 우선순위는 DCPA와 TCPA 값과 동적영역의 상관관계를 이용하여 다음과 같이 설정하였다. 위험 우선순위 설정 기준은 [매우위험]은 DCPA 값이 한계영역 내이며 TCPA 값이 작은 순서, [위험]은 DCPA 값이 경계영역 내이며 TCPA가 작은 순서, 나머지는 [주의] 로 설정하였다.

    2) AR기반 실시간 모니터링 시스템

    해상교통안전모니터닝 시스템의 구성요소인 AR기반 실 시간 모니터링은 AIS와 RADAR 데이터 등과 주요 해역에 설 치된 카메라에서 얻어진 정보를 상부에 중첩 표기하여 Fig. 4에서 보는 바와 같이 실시간에서 화면을 통해 바로 확인할 수 있게 구성되어 있다.

    3) App. 기반 경보 시스템

    이러한 기능을 관제센터에서만 확인할 수 있게 아니라 App.을 통하여 접속권한을 가진 모든 관제요원들이 시간과 장소의 제약 없이 경보상황을 공유하도록 하였으며 Fig. 5에 서 보는 바와 같다.

    3. 스마트 해상교통안전모니터링 시스템을 이용한 결과분석

    Fig. 6은 부산항에 입항 및 출항하는 선박에 대한 위험도 파악에 대한 것이다. 물론 다양한 선박의 상세 및 운항 형태 에 대해 분석이 가능하다. 이때 입항 선박은 전장 100 m, 침 로 288°, 선속 10 kts로 운항 중이며 출항하는 선박은 전장 200 m, 침로 126°, 선속 10 kts로 운항 중으로 자세한 내용은 Table 1과 같다.

    Fig. 6에서 보는 바와 같이 입항 선박의 바깥영역인 경계 영역과 출항 선박의 바깥영역인 경계영역이 겹쳐 이 시스템 에서는 [주의]상태를 표현하고 있다.

    Fig. 7은 두 선박이 좀 더 접근한 상태로 입항 선박의 외 측영역인 경계영역과 출항 선박의 안쪽 영역인 한계영역이 중첩되어 이 시스템에서는 [위험]상태를 표현하고 있다.

    Fig. 8은 두 선박이 아주 근접 상태로 입항 선박과 출항 선박의 안쪽 영역인 한계영역이 겹쳐 이 시스템에서는 [매 우위험]상태를 표현하고 있다.

    Fig. 9에서 Fig. 12는 다수의 선박이 운항 중인 선박별로 위험상황으로 각 선박의 관점에서 위험상황을 분석한 것이 다. 이때 선박의 상세는 Table 2와 같다.

    Fig. 9는 1번 선박 관점에서 위험상황을 표현한 것이다. 분 석 결과 1번 선박의 관점에서는 2번과 4번 선박이 [매우위 험], 3번 선박은 [위험]으로 나타타났으며 [매우위험]은 붉은 색 사각형으로 표현되고 있다.

    Fig. 10은 2번 선박 관점에서 위험상황을 표현한 것으로 1 번, 3번, 4번 모든 선박과 [매우위험]한 것으로 나타났으며 [매우위험]은 붉은색 네모로 표현되고 있다.

    Fig. 11은 3번 선박 관점에서 위험상황을 표현한 것으로 2 번, 4번 선박과는 [매우위험], 1번 선박과는 [위험]한 것으로 나타났다. [매우위험]은 붉은색 네모로 표현되고 있다.

    Fig. 12는 4번 선박 관점에서 위험상황을 표현한 것으로 1 번, 3번, 4번 모든 선박과 [매우위험]한 것으로 나타났으며 [매우위험]은 붉은색 네모로 표현되고 있다.

    다수의 선박 간 위험상황을 각 선박 관점에서 위험상황을 분석한 결과 2번과 4번 선박은 타 모든 선박과 [매우위험]상 황이 발생함을 알 수 있었다. Fig. 13은 [매우위험]상황 중 2 번 선박에 대한 분석상황을 그래픽으로 표현한 것으로 붉은 색으로 표현된 구간은 타 선박과 충돌 예상 해역을 나타낸 다. 즉, 모니터링 요원은 대상 선박에게 이 상황을 전달하고 이 해역을 벗어나는 운항을 권고할 수 있다.

    4. 결 론

    이 연구는 기존 해상교통관리방법에 추가적인 기법을 적 용한 것이다. 이때 사용된 방법은 선박 운항자의 충돌에 대 한 심리적 부담감을 적용한 AI기법과 실제 교통상황과 동일 한 환경에서 모니터링을 가능하게 하는 AR기법이다. 이에 다양한 상황을 고려하여 결과를 분석한 후 아래와 같이 정 리하였다.

    • 1) 선박 위험상황에 대한 모니터링이 시간대별로 가능하 였다. [주의]에서 [매우위험]으로 진행되는 과정을 시간대별 로 확인할 수 있어 관제요원이 상황을 미리 예측할 수 있게 되었다. 즉, 위험 우선순위 예측이 가능하여 복잡한 교통 상 황시 순차적 위험상황 해소가 가능하게 되었다.

    • 2) 실제 운항형태와 유사한 선박 운항자의 관점에서 위험 을 분석할 수 있게 되었다.

    • 3) 다수 선박들의 복잡한 운항형태에 대하여 관제요원이 위험해역을 정량적으로 파악할 수 있어 충돌회피를 위한 안 전해역으로의 항로 지원이 가능하게 되었다.

    이 연구에서 고찰한 스마트 해양교통안전모니터링 시스 템은 복잡한 해역에서의 선박간 충돌 예방에 도움이 될 것 이다. 특히, 해양분야 제4차 산업혁명의 핵심분야인 자율운 항선박에 적용될 수 있을 것이다.

    Figure

    KOSOMES-25-6-642_F1.gif

    Total Management Server System.

    KOSOMES-25-6-642_F2.gif

    Development Method.

    KOSOMES-25-6-642_F3.gif

    Maritime Traffic Safety Monitoring System.

    KOSOMES-25-6-642_F4.gif

    Realtime monitoring system based on AR.

    KOSOMES-25-6-642_F5.gif

    Alarm function App.

    KOSOMES-25-6-642_F6.gif

    Warning condition.

    KOSOMES-25-6-642_F7.gif

    Dangerous condition.

    KOSOMES-25-6-642_F8.gif

    Very dangerous condition.

    KOSOMES-25-6-642_F9.gif

    Maritime traffic situation from the point of view of No. 1 ship.

    KOSOMES-25-6-642_F10.gif

    Maritime traffic situation from the point of view of No. 2 ship.

    KOSOMES-25-6-642_F11.gif

    Maritime traffic situation from the point of view of No. 3 ship.

    KOSOMES-25-6-642_F12.gif

    Maritime traffic situation from the point of view of No. 4 ship.

    KOSOMES-25-6-642_F13.gif

    Collision zone from the point of view of No. 2 ship.

    Table

    Vessel’s LOA, course and speed

    Vessel’s LOA, course and speed

    Reference

    1. Arimura, N. , K. Yamada, K. Watanabe, N. Shiota, and K. Ohtani (1988), A Study on Man-machine System in Vessel Traffic Flow, Ship's Research, Vol 25, No. 3, Research Report, pp. 55-71 (in Japanese).
    2. Coldwell, T. G. (1983), Marine traffic behaviour in restricted waters, The Journal of Navigation, 36, pp. 431-444.
    3. Fujii, Y. and K. Tanaka (1971), Traffic capacity, The Journal of Navigation, 24, pp. 543-552.
    4. Kijima, K. and Y. Furukawa (2003), Automatic collision avoidance system using the concept of blocking area, Proc. Of IFAC Conf. on Manoeuvring and Control of Marine Craft, Girona, Spain. pp. 262-267.
    5. Kim, W. O. , S. J. Kang, D. G. Youn, J. Y. Bae, and C. J. Kim (2017), A Study on the Coastal Navigation Safety by Navigational Risk Assessment Model, Journal of Fishier and Marine Educational Research, 29(1), pp. 201-207.
    6. Kobayashi H. and M. Endoh (1976), Analysis of Collision Avoiding Action of Ship, Journal of Japanese Navigation Research, No. 55, pp. 101-109 (in Japanese).
    7. Leffingwell, D. (2007), Scaling Software Agility, Part II, pp. 102-114.
    8. McConnell, S. (2003), Professional Software Development: Shorter Schedules, Higher Quality Products, More Successful Projects, Enhanced Careers, pp. 161-181.
    9. Wang, N. (2010). An Intelligent Spatial Collision risk Based on the Quaternion Ship Domain, The Journal of Navigation, 63, pp. 733-749.