[설정 상황]
기술의 발전과 인력난의 심화 속에 무인 아이스크림할인점, 무인 문방구, 무인 편의점 등 무인 판매점의 수가 증가하고 있다. 이에 따라 도난 발생이 자주 일어나며 무인 판매점의 점주가 직접 CCTV를 확인하여 도난 상황을 찾아내는 시간이 상당히 소요되는 것이 현실이다. Guardian이라는 프로젝트명으로 무인 판매점 이외 도난 가능성이 있는 장소에 대해서 이상행동을 탐지하고 알림 서비스를 제공하려고 한다.
[요구 사항]
기존 CCTV 카메라에 Image Deep Learning 모델을 적용시켜 행동 발생시점을 탐지하려고 한다.
[Idea]
- yolo v5 모듈을 사용하여 사람 객체 탐지
- 해당 객체 내 mediapipe를 이용하여 사람의 몸 관절의 위치(좌표) landmark 정보 습득
- landmark 정보의 sequence값을 LSTM(Long Short-Term Memory)로 학습하여 행동을 판단하는 DL 모델 생성
- RasberryPi 기반 카메라로 실시간 탐지에 응용
[한계점]
해당 모델을 서비스화 하기 위해서 H/W 부분의 개발이 필요하다.
학습을 위한 데이터 소스는 AI-Hub 실내(편의점, 매장) 사람 이상행동 데이터의 'TS_03.이상행동_12.절도.zip(26.65GB)'영상을 사용했습니다.
.
├── Guardian_project.pptx # 발표자료
├── SourceCode # 각 단계별 실행 코드 입니다.
│ ├── 1. 영상파일전처리.ipynb
│ ├── 1.dw_영상파일전처리.ipynb
│ ├── 2. 학습데이터구축.ipynb
│ ├── 3. 모델학습.ipynb
│ ├── 4.모델사용하기.ipynb
│ └── 모델학습코드_mj.ipynb
├── etc # dummy folder
├── model # 모델 결과물입니다.
│ ├── 2024-04-23_LSTM1.pt
│ ├── mj_s_500_1_40.pt
│ └── yolov5s.pt
├── output # 실행 결과
├── test_movie
└── trainset
├── dw
└── sw
- 학습한 영상은 물건을 집으면 바로 주머니나 가방에 넣기 때문에, 물건을 집었다가 내려놓는 케이스를 '도난'으로 처리함
- 향후 학습 영상 촬영시 집었다가 놓는 케이스를 별도로 넣을 필요가 있음