Journal Search Engine

ISSN : 1229-3431(Print)
ISSN : 2287-3341(Online)

Journal of the Korean Society of Marine Environment and Safety Vol.25 No.4 pp.476-481
DOI : https://doi.org/10.7837/kosomes.2019.25.4.476

A Study on Fire Detection in Ship Engine Rooms Using Convolutional Neural Network

Kyung-Min Park^*

, Cherl-O Bae^**†

^*Division of Coast guard, Mokpo National Maritime University, Mokpo 58628, Korea
^**Division of Coast guard, Mokpo National Maritime University, Mokpo 58628, Korea

First Author : allre@mmu.ac.kr, 061-240-7232

Corresponding Author : baeco@mmu.ac.kr, 061-240-7223

Received February 12, 2019 Review April 12, 2019 Accepted June 27, 2019

Abstract

Early detection of fire is an important measure for minimizing the loss of life and property damage. However, fire and smoke need to be simultaneously detected. In this context, numerous studies have been conducted on image-based fire detection. Conventional fire detection methods are compute-intensive and comprise several algorithms for extracting the flame and smoke characteristics. Hence, deep learning algorithms and convolution neural networks can be alternatively employed for fire detection. In this study, recorded image data of fire in a ship engine room were analyzed. The flame and smoke characteristics were extracted from the outer box, and the YOLO (You Only Look Once) convolutional neural network algorithm was subsequently employed for learning and testing. Experimental results were evaluated with respect to three attributes, namely detection rate, error rate, and accuracy. The respective values of detection rate, error rate, and accuracy are found to be 0.994, 0.011, and 0.998 for the flame, 0.978, 0.021, and 0.978 for the smoke, and the calculation time is found to be 0.009 s.

Key Words : Fire Detection , Image-based , Ship Engine Room , Convolution Neural Network , YOLO

합성곱 신경망을 이용한 선박 기관실에서의 화재 검출에 관한 연구

박 경민^*

, 배 철오^**†

^*목포해양대학교 해양경찰학부
^**목포해양대학교 해양경찰학부

초록

화재의 초기 검출은 인명과 재화의 손실을 최소화하기 위한 중요한 요소이다. 불꽃과 연기를 신속하면서 동시에 검출해야 하며 이를 위해 영상 기반의 화재 검출에 관한 연구가 다양하게 진행되고 있다. 기존의 화재 검출은 불꽃과 연기의 특징을 추출하기 위해 여러 알고리즘을 거쳐서 화재의 검출 유무를 판단하므로 연산량이 많이 소모되었으나, 딥러닝 알고리즘인 합성곱 신경망을 이용 하면 별도의 과정이 생략되므로 신속하게 검출할 수 있다. 본 논문에서는 선박 기관실에서 화재 영상을 녹화한 데이터로 실험을 수행 하였다. 불꽃과 연기의 특징을 외각 상자로 추출한 후 합성곱 신경망 중 하나인 욜로(YOLO)를 이용하여 학습하고 결과를 테스트하였 다. 실험 결과를 검출률, 오검출률, 정확도로 평가하였으며 불꽃은 0.994, 0.011, 0.998, 연기는 0.978, 0.021, 0.978을 나타내었고, 연산시간 은 0.009s를 소모됨을 확인하였다.

키워드 : 화재검출 , 영상기반 , 선박 기관실 , 합성곱 신경망 , 욜로

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

선박의 화재는 생명과 재화의 손실을 입히는 사고로서, 대형 화재로 이어지지 않도록 화재의 초기 검지를 위해 화 재 감지 시스템을 갖추고 있다(SOLAS, 1974). 현재 사용 중 인 감지기는 화재에 의해 생성된 열, 연기, 그리고 화염 등 이 감지기에 도달하였을 때 검출가능하며, 화재에 대한 추 가 정보를 제공하지 않는다. 하지만, 비디오 기반의 화재 검 출기는 화재 지역이 아닌 곳에서 실시간으로 확인 가능하므 로 화재 발생의 위치 및 크기를 안전하고 용이하게 파악할 수 있다.

비디오 기반의 화재 검출에 관한 연구는 화재의 불꽃이나 연기의 색상, 모양, 움직임, 질감 등의 특징을 추출한 후 기 계학습 분류기를 이용하여 화재의 검출 유무를 판단하고 있 다. 이러한 검출 과정은 전처리, 후보영역 분리, 샘플링 방 법, 임계값 설정, 특징 추출 영역, 특징추출 방법, 분류기 선 정, 커널 옵션 등의 여러 단계의 복잡한 알고리즘으로 구성 되어 있어 전문적인 지식이 필요하며, 검출성능은 실험환경, 데이터 특성, 설정한 값에 의해 영향을 받게 되므로 제한적 으로 사용된다(Nguyen et al., 2018;Maruta et al., 2009;Wang et al., 2016;Park, 2018). 근래에는 고성능의 CPU 및 GPU의 개발 로 인해 딥러닝(Deep Learning) 알고리즘의 한 종류인 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 사람, 얼굴, 자동차, 동물, 행동 인식 등의 이미지 검출에 적용되고 있으며, 다양한 모델에서 높은 성능을 보이며 계속적으로 발전해 오고 있다.

CNN기반의 이미지 검출은 AlexNet에 의해 합성곱 레이어 (Convolution layer), 풀링(Pooling) 레이어 그리고 완전 연결 (Fully connected) 레이어를 사용하는 기본적인 모델을 정립한 다(Krizhevsky et al., 2012). Tao et al.(2016)은 숲에서의 연기 감지를 위해 AlexNet을 적용하였지만 이 모델은 비교적 크기 가 크기 때문에 제한적인 장비에서는 구현하기가 어렵다. Cho(2018)는 제한된 데이터로 불꽃과 연기를 검출하기 위해 VGGNet 네트워크 구조를 적용하였다. VGGNet은 합성곱 레 이어의 크기를 줄이고 레이어의 깊이를 증가한 후 활성함수 ReLU를 적용하여 Non-Linearity를 높였으나 메모리 사용이 많은 단점이 있다(Simonyan and Zisserman, 2015). Sharma et al.(2017)은 ResNet 모델을 적용하여 이미지에서 화재를 검출 하였다. ResNet은 CNN의 깊이를 152층까지 쌓은 모델이다. 딥러닝 네트워크는 레이어가 깊고 넓어질수록 파라미터가 많아져 학습이 어려워지는 문제가 있지만, Residual Block 모 듈의 Skip Connection을 통해 합성곱 연산을 수행하지 않고 이전 층에서 넘어온 값을 그대로 넘겨주는 방법으로 학습을 시킨다(He et al., 2016). Khan et al.(2018)은 GoogLeNet을 적용 하여 화재를 검출하였다. GoogLeNet은 파라미터가 많아지면 서 발생하는 과적합(Over-fitting)이나 기울기 소실(Gradient Vanishing)을 줄이기 위해 작은 합성곱 레이어 여러 개를 한 개의 모듈로 구성하여 연산을 병렬로 수행하고 출력 결과를 하나로 합치는 형태(Concatenation)로 구성한다(Szegedy et al., 2015). YOLO(You Only Look Once)는 합성곱 신경망을 이용한 기술 중 하나로서 기존 모델의 검출(Detection) 문제에서 회 귀(Regression)문제로 변형함으로서 속도를 향상시켰으며, 이 미지 전체에서 예측하기 때문에 배경에서의 오검출률이 적 다(Redmon et al., 2016).

본 논문에서는 선박 기관실에서의 화재를 신속하게 검출 하기 위해 비디오 기반에서 실험을 수행하였다. 비디오 기 반의 이미지 검출은 환경에 영향을 받기 때문에 선박 기관 실에서 화재를 발생시켜 영상을 녹화하였다(Namozov and Cho, 2018). YOLO를 적용하여 화재 이미지를 학습한 후 그 성능을 평가하였으며, 이는 선박 기관실에서 비디오 기반의 화재 검출에 활용될 수 있을 것으로 사료된다.

2. YOLO

2.1 CNN

CNN은 시각적 이미지를 분석하는데 사용되는 인공신경 망의 한 종류이다. 2차원 데이터의 학습에 적합한 구조로서 기본구조는 Fig. 1과 같이 합성곱 레이어, 풀링 레이어, 완전 연결 레이어로 구성되어 있다. 합성곱 레이어는 입력된 이 미지에서 필터를 사용해 데이터의 특징을 추출하여 특징 지 도(Feautre Map)를 생성하는 레이어이다. 풀링 레이어는 이미 지의 차원을 축소하여 부표본을 만드는 레이어로 과적합을 줄여서 성능을 향상시킨다. 그리고 완전 연결 레이어는 추 출된 특성으로부터 만들어진 최종 특성 지도를 이용하여 영 상의 객체를 분류하는 레이어이다.

2.2 YOLO

YOLO는 CNN을 이용한 딥러닝 알고리즘으로 영상 내 객 체를 검출할 수 있다. Fig. 2는 R-CNN(Regions with CNN)의 객체 검출 과정의 간략히 나타낸 것으로 R-CNN이나 Fast R-CNN은 후보영역 검출, CNN 학습 과정, 분류기 동작이 별도 로 동작하므로 성능이 저하된다(Girshick et al., 2014;Girshick, 2015). Fig. 3은 YOLO 검출 시스템의 개략도를 나타낸 것으 로 후보영역 검출, CNN 학습, 분류기의 3단계를 하나의 시 스템으로 통합하였다. 우선, CNN의 입력 사이즈에 맞게 크 기를 변형(Resize) 한 후 S×S 격자(Grid)로 이미지를 분할한 다. 그리고 각 격자 셀(Cell)에 B개의 외각 상자(Bounding Box)와 각각의 외각 상자에 객체를 포함하는 확률(Probability score)을 계산한다. 임계값(Threshold)보다 작은 상자들은 제거 하고 남은 상자에서 가장 큰 확률을 선택하여 외각 상자와 확률을 나타낸다. 이와 같이 이미지에서 추출한 특징으로 외각 상자를 예측하는데 사용되고 동시에 클래스(Class)를 예측하는데 사용됨으로서 빠르게 검출할 수 있다.

2.3 Tiny-YOLO

Tiny-YOLO는 YOLO의 Fast 버전으로 적은 수의 클래스를 검출하기에 적합한 가벼운 모델이다. Table 1은 Tiny-YOLOv2 의 합성곱 신경망을 나타내고 있다.

YOLOv2는 24개의 합성곱 레이어, YOLOv3는 53개의 합성 곱 레이어에 비해 Tiny-YOLOv2는 9개의 합성곱 레이어 (Layer 0, 2, 4, 6, 8, 10, 12, 13, 14)를 사용한다. 입력 이미지는 416 × 416 크기의 RGB 3채널 이미지이며(Layer 0 × Input), 3 × 3 필터와 1칸 건너뛰기(Stride)로 합성곱 연산을 수행한다. 풀링 레이어의 수는 6개(Layer 1, 3, 5, 7, 9, 11)이며 2 × 2 필터로 2 칸 건너뛰기 최댓값(Max) 풀링 레이어를 사용한다. 최종격자 (Layer 14 × Output)의 크기는 13 × 13이며 필터의 크기는 식(1) 과 같이 정의되므로 설정된 클래스가 20인 경우 필터는 125 를 나타낸다.

F i l t e r s = (c l a s s e s + 5) * 5

(1)

3. 실 험

3.1 실험환경

선박의 기관실에서 고체연료와 연기발생기를 이용하여 녹화한 영상으로 실험을 수행하였다. 실험 장소는 새누리호 의 기관실로 메인엔진과 보일러 앞에서 불꽃과 연기를 발생 하였으며, 실험장비 구성은 Table 2와 같다. Windows7, Visual Studio 2015, OpenCV 3.4.0, CUDA 9.1 그리고 CuDNN v7.1.3의 환경에서 실험을 수행하였다. CUDA(Compute Unified Device Architecture)는 그래픽 처리장치에서 수행하는 병렬 처리 알고 리즘을 프로그래밍 언어로 작성하여 개발자가 병렬 연산할 부분에 GPU의 성능을 활용하여 속도를 높일 수 있도록 하는 GPGPU(General Purpose GPU) 기술이며, CuDNN(CUDA Deep Neural Network Library)은 딥러닝을 위한 GPU 가속기이다.

3.2 데이터 학습

선박 기관실에서 1초에 1장씩 녹화한 영상을 프레임으로 변형하여 총 5259장의 이미지를 획득한 후 3813장의 학습 이 미지와 1446장의 테스트 이미지로 나누었다. 학습 이미지는 불꽃과 연기로 구분하여 각각의 클래스로 구성하였고, 테스 트 이미지는 화재 이미지 654개와 화재가 아닌 이미지 792개 로 나누었다.

Tiny-YOLOv2 모델에서 GPU 버전으로 학습을 수행하였으 며 클래스는 화재 1개이므로 필터는 식(1)에 의해 30이다. 활 성화 함수(Activation)의 경우 레이어 0-13은 leaky, 레이어 14 는 linear이다. 가중치를 갱신 할 때의 갱신되는 비율을 조절 하는 학습률(Learning rate)은 0.001, 누적된 기울기에 의해 현 재의 기울기를 보정하는 가속도(Momentum)는 0.9, 과적합을 줄이기 위한 가중치 억제(decay)는 0.0005로 설정하였다. 가 중치는 다크넷(Darknet)에서 제공하는 tiny-yolo-voc.cfg로부터 추출한 tiny-yolo-voc.conv.13을 사용하였다(Github, 2019). 화재 영역을 외각 상자로 추출한 후 GTX 1060 1개를 이용하여 40200번 학습하였으며 학습시간은 약 14시간이 소요되었다.

3.3 분류결과

학습한 데이터를 기반으로 화재이미지와 화재가 아닌 이 미지로 화재검출의 성능을 평가하였다. 화재의 검출유무를 판단하는 기준치(Confidence)는 0.2로 설정되어있으며(Redmon et al., 2016), 실제 화재를 화재로 예측한 경우에 불꽃과 연기 의 평균 신뢰도는 각각 65.47 %, 61.25 %로 나타났다. Table 3 과 4는 실제 화재와 예측한 화재와의 관계를 오차행렬로 나 타낸 것으로, 성능을 평가하기 위해 식(2) - (4)를 이용하여 검 출율(Detection rate), 오검출률(False alarm rate), 그리고 정확도 (Accuracy)을 Table 5에 나타내었다.

D e t e c t i o n r a t e = \frac{T P}{T P + F N}

(2)

F a l s e a l a r m r a t e = \frac{F P}{F P + T N}

(3)

A c c u r a c y = \frac{T P + T N}{T P + T N + F P + F N}

(4)

기존의 기계학습으로 분류한 경우에 검출율, 오검출률, 정 확도는 각각 0.961, 0.161, 0.949이고 80 × 60 화소에서 0.7s가 소 모된 것과 비교하였을 때 CNN을 적용한 경우에 성능이 향 상되었으며 416 × 416 크기의 영상을 입력하여 화재유무의 검 출까지 0.009s가 소모되었으므로 속도 또한 개선되었다(Park, 2019).

Fig. 4는 검출된 화재 이미지를 나타내고 있다. (a) - (c)는 불꽃, (d), (e)는 연기, (f) - (h)는 불꽃과 연기가 섞여 있는 것 으로 근거리부터 원거리까지 검출됨을 확인할 수 있다. Fig. 5는 배경을 화재로 인식한 예로 (a) - (c)는 불꽃과 유사한 색 상인 경우이며, (d) - (f)는 연기와 유사한 배경인 경우에 오검 출로 인식하였다. Fig. 6 (a)는 불꽃이 검출되지 않은 것이고 (b)는 불꽃만 검출하고 연기는 검출되지 않은 것으로서 화소 의 크기가 작거나 배경과 유사한 패턴 시 화재로 검출하지 못하였다.

4. 결 론

본 논문에서는 CNN을 이용한 딥러닝 알고리즘 중 하나인 Tiny-YOLOv2모델을 적용하여 선박의 기관실에서 발생하는 화재를 비디오 기반으로 검출하였다. 불꽃과 연기의 특징을 추출하여 클래스로 학습한 실험 결과는 검출률, 오검출률, 정확도로 성능을 평가하였으며 불꽃은 0.994, 0.011, 0.998이 고, 연기는 0.978, 0.021, 0.978을 나타내었다. 화재 검출을 위 한 연산시간은 카메라로부터 획득한 영상을 416 × 416 크기 로 변환한 후부터 화재유무를 판단하는데 약 0.009s가 소모 되었다. 기존의 비디오 기반 화재 검출방법은 카메라로부터 영상을 획득 후 전처리 과정과 복잡한 알고리즘을 수행해야 하므로 연산시간이 길어지지만, 합성곱 신경망을 이용하면 획득한 영상의 크기 변환 이외는 별도의 전처리 과정이 없 으므로 신속하게 화재유무를 판단할 수 있다. 성능을 향상 시키기 위해서 화재로 인식하지 못한 이미지는 추가로 학습 을 수행해야 하며, 사물을 화재로 인식한 이미지는 사물을 포함하고 있는 여러 배경과 함께 클래스를 추가하여 학습해 야 한다.

본 논문에서는 선박 기관실에서 비디오 기반으로 화재 검 출을 위해 CNN을 이용하여 실험을 수행하였으며, 그 결과는 우수함을 확인하였다. 하지만, 실험한 영상으로만 학습 데이 터를 구성하였기 때문에 일반적으로 적용하기에는 한계가 있다. 향후에는 추가적인 학습 데이터를 수집한 후 화재 클 래스뿐만 아니라 작업자, 기기, 도구 등과 같은 다양한 사물 과 함께 학습함으로서 성능을 향상시킬 계획이다.

Figure

Fig. 1.

Base architecture of CNN.

Fig. 2.

Object detection system overview of R-CNN.

Fig. 3.

Object detection system overview of YOLO.

Fig. 4.

Example of True Positive.

Fig. 5.

Example of False Positive.

Fig. 6.

Example of False Negative.

Table

Table 1.

Convolutional Neural Network of Tiny-YOLOv2

Table 2.

Configuration of experimental equipment

Table 3.

Confusion matrix of the flame detection

Table 4.

Confusion matrix of the smoke detection

Table 5.

Classification results of the experiment

Reference

Cho, Y. I. (2018), An Efficient Deep Learning Algorithm for Fire and Smoke Detecton with Limited Data, Advanced in Electrical and Computer Engineering, Vol. 18, No. 4, pp. 121-128.
Girshick, R. (2015), Fast R-CNN, Proceeding of the IEEE International Conference on Computer Vision, pp. 1440-1448.
Girshick, R. , J. Donahue, T. Darrell and J. Malik (2014), Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation, Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 580-587.
Github (2019), https://github.com/AlexeyAB/darknet.
He, K. , X. Zhang, S. Ren and J. Sun (2016), Deep Residual learning for Image Recognition, In IEEE Conference on Computer Vision and Pattern Recognition.
Khan, M. , J. Ahmad, I. Mehmood, S. M. Rho and S. W. Baik (2018), Convolutional Neural Networks based Fire Detection in Surveillance Videos, IEEE Access, Vol. 6, pp. 18174-18183.
Krizhevsky, A. , I. Sutskever and G. E. Hinton (2012), Imagenet Classification with Deep Convolutional Neural Networks. In Advance in Neural Information Processing Systems, pp. 1097-1105.
Maruta, H. , Y. Kato, A. Nakamura and F. Kurokawa (2009), Smoke Detection in Open Areas its texture features and Time Series Properties, Proceedings of the IEEE International Symposium on Industrial Electronics, Seoul, South Korea, pp. 1904-1908.
Namozov, A. and Y. I. Cho (2018), An Efficient Deep Learning Algorithm for Fire and Smoke Detection with Limited Data, Advances in Electrical and Computer Engineering, Vol. 18, No. 4, pp.121-128.
Nguyen, M. D. , B. G. Choi and S. H. Ro (2018), A Study on the Fire Detection Algorithm Using Surveillance Camera Systems, The Journal of Korean Institute of Communications and Information Sciences, Vol. 43, No. 6, pp. 921-929.
Park, K. M. (2018), A Study on smoke Detection using LBP-SVM in Ship’s Engine Room, Ph.D. Dissertation, Department of Geopraphy, Mokpo Maritime University.
Park, K. M. (2019), A Study on Smoke Detection using LBP and GLCM in Engine Room, Journal of the Korean Society of Marine Environment & Safety, Vol. 25, No. 1, pp. 111-116.
Redmon, J. , S. Divvala, R. Girshick and A. Farhadi (2016), You Only Look Onece: Unified, Real-Time Object Detection, In: CVPR.
Sharma, J. , O. C. Granmo, M. Goodwin and J. T. Fidje (2017), Deep Convolutional Neural Networks for Fire Detection in Images, Communications in Computer and Information Science, pp. 183-193.
Simonyan, K. and A. Zisserman (2015), Very Deep Convolutional Networks for Large-scale Image Recognition, ICLR, arXiv:1409.1556.
SOLAS (1974), Safety of Life at Sea, Regulation Ⅱ-2A, Fire Protection, Fire Detection and Fire Extinction.
Szegedy, C. , W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke and A. Rabinovich (2015), Gooing Deeper with Convolutions, In CVPR.
Tao, C. , J. Zhang and P. Wang (2016), Smoke detection based on deep convolutional neural networks, In industrial informatics Computing Technology, Intelligent Technology, Industrial Information Integration International Conference, pp. 150-153.
Wang, Y. , A. Wu, J. Zhang, M. Zhao, W. Li and N. Dong (2016), Fire Smoke Detection Based on Texture Features and Optical Flow Vector of Contour, World Congress on Intelligent Control and Automation, pp. 2879-2883.