AI 데이터셋 작업을 위한 어노테이션 도구

[1] 영상 데이터 어노테이션 도구

(1) CVAT (Computer Vision Annotation Tool)

CVAT는 컴퓨터 비전을 위한 대화형 비디오 및 이미지 주석 도구. 전 세계 수만 명의 사용자와 회사에서 사용됨. CAVT의 목적은 데이터 중심 AI 접근 방식을 사용하여 전 세계 개발자, 회사 및 조직이 실제 문제를 해결할 수 있도록 돕는 것

https://github.com/opencv/cvat

 

(2) COCO Annotator

COCO Annotator는 이미지 위치 파악 및 개체 감지를 위한 교육 데이터를 생성하기 위해 이미지에 효율적으로 라벨을 지정하고 다용성을 위해 설계된 웹 기반 이미지 주석 도구. 이미지 세그먼트(또는 세그먼트의 일부)에 레이블을 지정하고, 개체 인스턴스를 추적하고, 연결이 끊긴 가시 부분이 있는 개체에 레이블을 지정하고, 잘 알려진 COCO 형식으로 주석을 효율적으로 저장하고 내보내는 기능을 포함한 다양한 고유 기능을 제공함. 주석 프로세스는 직관적이고 사용자 정의 가능한 인터페이스를 통해 제공되며 정확한 데이터세트를 생성하기 위한 다양한 도구를 제공함

https://github.com/jsbroks/coco-annotator

 

(3) EVA (Ericsson Video Annotation Tool)

EVA는 비디오 및 이미지 시퀀스의 효율적인 주석을 위한 웹 기반 도구. 추적 기능을 가지고 있으며, 주석은 BBox 수준에서 수행되며 레이블은 YOLO 또는 Pascal VOC 형식으로 내보낼 수 있음

https://github.com/Ericsson/eva

 

(4) LOST (Label Objects and Save Time)

LOST는 간단한 협업 이미지 주석을 위한 유연한 웹 기반 프레임워크. 빠른 이미지 주석을 위해 여러 주석 인터페이스를 제공하며, 프로그래밍 지식 없이도 이미지에 즉시 주석을 달 수 있는 즉시 사용 가능한 주석 파이프라인 세트를 제공함

https://github.com/l3p-cv/lost

 

(5) Ybat (YOLO BBox Annotation Tool)

Ybat는 YOLO는 물론 VOC/COCO 형식의 이미지에 빠르고 효율적인 BBox 주석을 추가하며, 모든 플랫폼의 브라우저에서 작동함 

https://github.com/drainingsun/ybat

 

(6) MuViLab

MuViLab은  컴퓨터 비전, 기계 학습, 딥 러닝 및 AI 애플리케이션용 비디오 레이블을 지정하는 데 도움이 되는 수동 주석 도구. MuViLab을 사용하면 단 몇 분 만에 몇 시간 분량의 동영상에 주석을 달 수 있음

https://github.com/ale152/muvilab

 

(7) turkey: an Amazon Mechanical Turk turn-key segment tool

turkey를 사용하면 Amazon Mechanical Turk에서 웹 UI를 쉽게 생성하여 이미지 주석 데이터를 크라우드 소싱할 수 있음. turkey는 jQuery와 부트스트랩의 약간의 도움을 받아 일반 JavaScript로 작성되었음.

https://github.com/yanfengliu/turkey

 

(8) DeepLabel

DeepLabel은 레이블이 지정된 BBox가 있는 이미지에 주석을 달기 위한 크로스 플랫폼 도구. 이 프로그램의 일반적인 사용 사례는 객체 감지 기계 학습 애플리케이션을 위한 실측 데이터에 라벨을 지정하는 것. DeepLabel은 독립형 앱으로 실행되며 Windows, Linux 및 Mac에서 컴파일하여 사용가능함

https://github.com/jveitchmichaelis/deeplabel

 

(9) VIA (VGG Image Annotator)

VGG Image Annotator는 이미지, 오디오 및 비디오를 위한 간단한 독립형 수동 주석 소프트웨어. VIA는 웹 브라우저에서 실행되며 설치나 설정이 필요하지 않으며, 대부분의 최신 웹 브라우저에서 오프라인 애플리케이션으로 실행되는 400KB 미만의 단일 HTML 페이지에 적합함. VIA는 HTML, Javascript 및 CSS만을 기반으로 하는 오픈 소스 프로젝트(외부 라이브러리에 종속되지 않음). BSD-2 조항 라이선스에 따라 출시되어 학술 프로젝트와 상업용 애플리케이션 모두에 유용함

https://gitlab.com/vgg/via

 

(10) Pixie

Pixie는 사용자가 Bounding box, Polygon, Free hand drawing, Semantic segmentation, Scene/Frame annotation을 사용하여 이미지에 라벨을 붙일 수 있는 이미지 라벨링/주석 애플리케이션

https://github.com/buni-rock/Pixie

 

(11) turktool

turktool은 이미지의 확장 가능한 경계 상자 주석을 위한 매끄럽고 현대적인 React 앱. 이를 Amazon Mechanical Turk 또는 사용자 지정 백엔드에 연결하여 가장 심층적인 데이터 라벨링 요구 사항을 충족할 수 있음

https://github.com/jaxony/turktool

 

(12) LabelD

LabelD는 전체 프로세스를 간소화하여 주석에 소요되는 작업량/시간을 최소화하기 위한 간단한 이미지 주석 도구로 만들어졌음. 이미지는 키워드 검색(오른쪽 상단의 검색 버튼)을 기반으로 Imgur에서 가져오거나 로컬로 가져올 수 있음

https://github.com/sweppner/labeld

 

(13) Labelimg

Label Studio는 현대적인 다중 모드 데이터 주석 도구. Tzutalin이 수십 명의 기여자의 도움으로 만든 인기 있는 이미지 주석 도구인 LabelImg는 더 이상 적극적으로 개발되지 않으며 Label Studio 커뮤니티의 일부가 되었음. 이미지, 텍스트, 하이퍼텍스트, 오디오, 비디오 및 시계열 데이터를 위한 가장 유연한 오픈 소스 데이터 라벨링 도구인 Label Studio를 확인. Label Studio를 설치하고 Slack 커뮤니티에 가입하여 시작하면 됨

https://github.com/HumanSignal/labelImg

https://github.com/HumanSignal/label-studio

 

(14) FIAT  (Fast Image Data Annotation Tool)

FIAT는 이미지 데이터 주석, 데이터 확대, 데이터 추출 및 결과 시각화/검증을 가능하게 함. 이미지 분류, 광학 문자 판독(숫자 분류, 문자 분류)을 위해 이미지에 주석을 달아줌. 데이터 확대(크기 조정, 변환/회전/스케일링 노이즈, 페퍼 노이즈, 가우스 노이즈, 직사각형 병합, 선 추출 ...)를 사용하여 다른 형식(Caffe LMDB, OpenCV Cascade Classifiers, Tesseract ...)으로 데이터를 추출함

https://github.com/christopher5106/FastAnnotationTool

 

(15) MedTagger

MedTagger는 의료 데이터 세트에 주석을 추가하기 위한 협업 프레임워크. 이 프로젝트의 주요 목표는 크라우드소싱 아이디어를 기반으로 대규모 의료 스캔 데이터 세트를 집계하고 레이블을 지정하는 데 도움이 되는 소프트웨어 환경을 설계하고 개발하는 것이었음. 플랫폼은 또한 라벨 검증을 위한 메커니즘을 제공하므로 생산된 라벨 데이터세트를 향후 사용을 위해 더욱 안정적으로 만듬

https://github.com/medtagger/MedTagger

 

(16) OpenLabeling (open-source image and video labeler)

PASCAL VOC 형식의 이미지 주석 도구

https://github.com/Cartucho/OpenLabeling

 

(17) Alturos.ImageAnnotation

이 프로젝트의 목적은 신경망의 훈련 데이터를 관리하는 것. 이미지는 Amazon S3와 같은 객체 스토리지에 저장됨. 함께 주석을 달고 싶은 다양한 실행에 대한 이미지 데이터가 있고 폴더를 패키지에 업로드할 수 있음. 모든 패키지에 대해 자신만의 태그를 설정할 수 있음. 이 정보는 Amazon DynamoDB와 같은 데이터베이스에 저장됨

https://github.com/AlturosDestinations/Alturos.ImageAnnotation

 

(18) Yolo_mark

Yolo v3 및 v2 훈련을 위해 이미지에 개체의 경계 상자를 표시하기 위한 Windows 및 Linux GUI를 가지는 도구. Yolo 엔진을 사용하는 곳에서는 많이 사용되고 있음

https://github.com/AlexeyAB/Yolo_mark

 

(19) OpenLabeler

OpenLabeler는 객체에 주석을 달기 위한 오픈 소스 애플리케이션. 인공 지능 및 딥 러닝 교육을 위한 PASCAL VOC 형식 XML 주석 파일을 생성할 수 있음. 특별한 기능은 추론(TensorFlow 포함)을 사용하여 정확도를 높이고 주석 프로세스 속도를 높이는 기능. OpenLabeler는 OpenJDK/OpenJFX(버전 18.x)로 작성되었음

https://github.com/kinhong/OpenLabeler

 

(20) UltimateLabeling

PyQt5를 사용하여 개발된 SOTA 감지기와 추적기가 통합된 Python의 다목적 비디오 라벨링 GUI 도구 

https://github.com/alexandre01/UltimateLabeling

 

(21) Visipedia Annotation Toolkit

COCO 스타일 데이터 세트를 편집하고 생성하기 위한 도구 모음이 포함되어 있음. 이러한 웹 기반 주석 도구는 Leaflet.js 및 Leaflet.draw 위에 구축되었음

https://github.com/visipedia/annotation_tools

 

 

... 업데이트 중

 

 

[2] Text 데이터 어노테이션 도구

(1) BRAT (brat rapid annotation tool)

brat(brat rapid annotation tool)는 원래 BioNLP'11 공유 작업 데이터를 시각화하기 위해 만들어진 stav 시각화 도구를 기반으로 하며, 텍스트 바인딩 및 관계형 주석을 생성하는 직관적이고 빠른 방법을 제공하는 것을 목표로 함. 최근에는 brat이 커뮤니티에 널리 채택되었고 Genia 그룹과 여러 주석 프로젝트를 위한 기타 여러 국제 연구 그룹이 50,000개가 넘는 주석을 작성하는 데 사용되었음

https://github.com/nlplab/brat

 

(2) doccano

doccano는 인간을 위한 오픈 소스 텍스트 주석 도구임. 텍스트 분류, 서열 라벨링 및 서열 간 작업을 위한 주석 기능을 제공하며,  감정 분석, 명명된 엔터티 인식, 텍스트 요약 등을 위해 레이블이 지정된 데이터를 생성할 수 있음. 프로젝트를 만들고, 데이터를 업로드하고, 주석을 달기 시작하면 몇 시간 안에 데이터 세트를 구축할 수 있음

https://github.com/doccano/doccano

 

(3) INCEpTION

INCEPTION은 작성된 텍스트에 대한 다양한 종류의 주석 작업에 유용한 텍스트 주석 환경이며, 주석은 일반적으로 언어 및/또는 기계 학습 문제에 사용됨. INCepTION은 여러 사용자가 동일한 주석 프로젝트에서 작업할 수 있는 웹 애플리케이션이며, 한 번에 여러 주석 프로젝트를 포함할 수 있음. 주석을 더 빠르고 쉽게 생성할 수 있도록 잠재적인 주석을 제안하는 추천 시스템을 제공함. 주석 달기 외에도 외부 문서 저장소를 검색하고 문서를 추가하여 말뭉치를 생성할 수도 있음

https://github.com/inception-project/inception

 

(4) YEDDA: A Lightweight Collaborative Text Span Annotation Tool

YEDDA(이전 SUTDAnnotator)는 텍스트(영어, 중국어를 포함한 거의 모든 언어), 기호 및 이모티콘에 청크/엔티티/이벤트에 주석을 달기 위해 개발되었고 텍스트에 주석을 다는 데 매우 효율적인 바로가기 주석을 지원함. 사용자는 텍스트 범위를 선택하고 바로가기 키만 누르면 해당 범위에 자동으로 주석이 추가됨. 또한 일괄적으로 여러 엔터티에 주석을 추가하고 주석이 달린 텍스트를 시퀀스 텍스트로 내보내는 명령 주석 모델을 지원함. 게다가 업데이트된 버전에는 지능형 추천 및 관리자 분석도 포함되어 있고 Windows, Linux 및 MacOS를 포함한 모든 주류 운영 체제와 호환됨

https://github.com/jiesutd/YEDDA

 

(5) TALEN: Tool for Annotation of Low-resource ENtities

단어 시퀀스에 주석을 추가하기 위한 경량 웹 기반 도구

https://github.com/CogComp/talen

 

(6) Anafora

Anafora("a-nuh-FOUR-uh", /ænəˈfɔɹə/로 발음)는 콜로라도 대학교에서 Wei-te Chen과 Will Styler가 작성한 새로운 주석 도구이며, 크고 작은 프로젝트에 쉽게 배포할 수 있는 가볍고 유연한 주석 솔루션으로 설계되었음. 이전 도구는 기본 로컬 애플리케이션으로 실행하고 복잡한 파일 또는 폴더 구조를 읽는 등 주로 로컬 주석을 염두에 두고 작성되었고, 이로 인해 크로스 플랫폼 배포가 제한되고 주석이 달린 데이터를 컴퓨터에 로컬로 저장해야 하므로 데이터 사용 계약이 복잡해지고 데이터 조각화가 증가함

https://github.com/weitechen/anafora

 

 

... 업데이트 중

 

 

[3] Audio 데이터 어노테이션 도구

(1) Audio-annotator

오디오 데이터에 주석을 추가하기 위한 Javascript 웹 인터페이스. Stefanie Mikloska, CrowdLab @ University of Waterloo 및 MARL @ New York University 개발 

https://github.com/CrowdCurio/audio-annotator

 

(2) Dynitag

Web기반의 협업 Audio 어노테이션 도구 

https://github.com/dynilib/dynitag

 

(3) EchoML

머신러닝을 위한 오디오 파일 재생, 시각화 및 어노테이션 도구

https://github.com/ritazh/EchoML

 

 

... 업데이트 중

 

[4] 시계열 데이터 어노테이션 도구

(1) Taganomaly

Taganomaly는 이상 탐지 모델을 위한 레이블이 지정된 데이터를 생성하는 도구이며, 이를 통해 라벨러는 시계열에서 지점을 선택하고, 동일한 시간 범위에서 다른 시계열의 동작을 확인하거나 이 시계열을 생성한 원시 데이터를 확인하여 추가로 검사할 수 있음

https://github.com/Microsoft/TagAnomaly

 

(2) CrowdCurio Time Series Annotator Library

CrowdCurio 시계열 주석 라이브러리는 시계열에 대한 분류 작업을 구현할 수 있는 라이브러리 임. 특징 어노테이션 작업을 지원하고, 대화형 연습 과제를 지원하며, 다변량 시계열을 지원하고, EDF 형식의 의료 시계열을 지원함

https://github.com/CrowdCurio/time-series-annotator

 

(3) Curve

Curve는 시계열 데이터의 이상 징후를 표시하는 데 도움이 되는 오픈 소스 도구이며, 시계열 이상 탐지 방법을 평가하려면 레이블이 지정된 데이터가 필요함. 그렇지 않으면 탐지 방법을 쉽게 선택할 수 없거나 방법 A가 방법 B보다 낫다고 말할 수 없음. 탐지를 위한 지도 학습 방법을 개발하려는 경우 레이블이 지정된 데이터를 훈련 세트로 사용할 수도 있음. 일시적인 프로젝트 중단, 더 이상 공식적인 지원이 없으며, 약간의 개인적인 지원을 제공할 수 있는 상태라고함

https://github.com/baidu/Curve

 

(4) Wearables Development Toolkit (WDK)

WDK(Wearables Development Toolkit)는 웨어러블 및 IoT 장치를 사용하여 활동 인식 애플리케이션의 반복 개발을 촉진하는 프레임워크이자 도구 세트. 시계열 데이터의 주석, 패턴을 식별하기 위한 데이터 분석 및 시각화, 활동 인식 알고리즘의 개발 및 성능 평가를 지원함. WDK의 핵심에는 활동 인식 응용 프로그램 전반에 걸쳐 사용되는 기능을 캡슐화하는 상위 수준 구성 요소 저장소가 있고, 이러한 구성 요소는 Matlab 스크립트 내에서 또는 시각적 flo 기반 프로그래밍 플랫폼 내에서 사용할 수 있음

https://github.com/avenix/WDK

 

 

... 업데이트 중

 

 

 

참조 사이트 : AI 핵심은 "데이터"이다. (tistory.com)

 

 

 

 

 

 

[ 퀴즈 ]

(1) Ensemble AI Model 4가지 & 특징 : https://dev-sites.tistory.com/61

(2) Confusion Matrix : Measure(Metric)의 기본

	[       ] 양성	[       ] 음성
[       ] 양성	?	?
[       ] 음성	?	?

(3) Precision = ?

(4) Recall = ?

(5) mAP = ?

(6) F1-Score = ?

 

정답 : https://dev-sites.tistory.com/62