Skip to content

sign/translate

Folders and files

NameName
Last commit message
Last commit date

Latest commit

Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 

Repository files navigation

πŸ‘‹ Sign Translate

Revolutionizing Sign Language Communication with Cutting-Edge Real-Time Translation Models.
Enjoy seamless Sign Language Translation on desktop and mobile.

sign.mt

Contribution Guidelines Β· Submit an Issue

Client Build Test Status Badge Server Build Test Status Badge Coverage Status Badge License: CC BY-NC-SA 4.0 Badge

GitHub Stars for sign/translate GitHub Forks for sign/translate GitHub Contributors for sign/translate GitHub Issues for sign/translate

Sign Language Translation Demo Image


Key Features

β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚Spoken Language Audioβ”‚                                                              β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜                                                  β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β–Ίβ”‚Human GANβ”‚
          β”‚                                                              β”‚           β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
          β–Ό                                                              β”‚
β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”     β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”     β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚Spoken Language Textβ”œβ”€β”€β”€β”€β–Ίβ”‚Normalized Textβ”œβ”€β”€β”€β”€β–Ίβ”‚SignWritingβ”œβ”€β”€β”€β–Ίβ”‚Pose Sequenceβ”œβ”€β”€β”€β–Ίβ”‚Skeleton Viewerβ”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜     β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜     β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
          β”‚                        β–²                   β–²                 β”‚
          β–Ό                        β”‚                   β”‚                 β”‚           β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”          β”‚                   β”‚                 └──────────►│3D Avatarβ”‚
β”‚Language Identificationβ”œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜                             β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”                                β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚Upload Sign Language Videoβ”‚                      β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β–Ίβ”‚Spoken Language Textβ”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜                      β”‚         β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
           β”‚                                      β”‚                    β”‚
           β”‚          β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”       β”Œβ”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”               β”‚
           β”œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β–Ίβ”‚Segmentationβ”œβ”€β”€β”€β”€β”€β”€β–Ίβ”‚SignWritingβ”‚               β”‚
           β”‚          β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜       β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜               β”‚
           β”‚                                                           β–Ό
β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”                               β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚Camera Sign Language Video β”‚                               β”‚Spoken Language Audioβ”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜                               β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜

Want to Help?

Join us on the journey to revolutionize sign language communication. Follow our progress on the Project Board, shape the project's future, and delve deeper into our vision and plans in the Wiki.

Wish to report a bug, contribute some code, or enhance documentation? Fantastic! Check our guidelines for contributing and then explore our issues marked as help wanted or good first issue.

Find this useful? Give our repo a star ⭐ ⬆️.

Stargazers repo roster for @sign/translate

Development

Prerequisites

Setting Up the Project

Install dependencies locally:

npm install

Run the application:

npm start

Test the application:

npm test

Run the application on iOS:

npm run build:full && \
npx cap sync ios && \
npx cap run ios

Cite

@misc{moryossef2023signmt,
    title={sign.mt: Effortless Real-Time Sign Language Translation},
    author={Moryossef, Amit},
    howpublished={\url{https://sign.mt/}},
    year={2023}
}