무인 터치스크린 키오스크 미적응자들을 위한 음성인식 AI 점원 API 서비스
- 음성인식 및 음성합성을 통한 대화
- FAQ 질의응답
| 기존 음성인식 키오스크 | 키오야 | |
|---|---|---|
| 서비스 범위 | 주문 및 결제 | 주문·결제 + 상품/매장 안내, 민원 접수 FAQ |
| 자막 | ✕ | ○ |
| 운영/관리 | 개별 단말기 단위 운영 | API 형태로 각 단말기에 연동, 모든 키오스크 OS와 호환되어 범용성·경제성 확보 |
| 데이터 수집·활용 | ✕ | 연동 기기의 대화 데이터를 수집해 자주 발생하는 문의 유형·오류 패턴을 파악, 서비스 개선에 활용 |
- Google Colab
- 음성인식(Speech-To-Text): Google cloud Speech-To-Text
- 음성합성(Text-To-Speech): Pyttsx3
- 의도 파악 모델: Bi-LSTM,Mutinomial Naive Bayes
- 개체명 인식 모델: Bi-LSTM+CRF
- 답변 생성 모델: Transformer
- 서버: Flask
동작 구조
사용자 음성 입력 → STT → 의도 파악 / 개체명 인식 병렬 처리 → 인식 결과를 답변 생성 모델과 장바구니(CART)에 반영 → TTS → 음성 응답 반환의 흐름으로 동작하는 Flask 기반 API 서버 구조
예시
사용자: "아이스 아메리카노 한 잔 주세요."
→ 의도: 주문확인 (정확도 99.98%)
→ 개체명: option=아이스, item=아메리카노, num=1
→ CART 반영: 상품명=아이스 아메리카노, 수량=1
→ 응답: "네, 아이스 아메리카노 한 잔 드리겠습니다."
├── README.md
├── STT,TTS
│ ├── .idea
│ │ ├── inspectionProfiles
│ │ │ └── profiles_settings.xml
│ │ ├── .gitignore
│ │ ├── flaskrestful.iml
│ │ ├── misc.xml
│ │ ├── modules.xml
│ │ └── vcs.xml
│ ├── static
│ │ └── styles
│ │ └── index.css
│ │
│ ├── templates
│ │ ├── frontend.html
│ │ └── index.html
│ ├── app.py
│ ├── stttts.ipynb
│ └── transcribe_streaming_mic.py
├── chatbot
│ ├── answer
│ │ └── answer_chatbot.py
│ ├── intent
│ │ ├─ Mutinomial_tfidf.py
│ │ └── lstmNBsfvoting.py
│ ├─ ner
│ │ └─ ner_chatbot.py
│ └── scenario.py
└── dataset
├── ChatBotData_answer.csv
├─ Intent_bilstm.csv
├─ ChatBotData_ner.csv
├── dataset.py
└── nerexcel.py