Project2 ADHD 진단을 위한 음성인식

프로젝트 목표
- 사용자와 음성으로 상호작용할 수 있는 API의 개발
  - 설문 문항을 음성으로 제시
  - 사용자의 음성응답을 인식하여 자동으로 기록
  - 체크된 항목을 바탕으로 사용자의 ADHD 진단
성인용 ADHD 자가보고 척도(Adult ADHD Self-Report Scale, ASRS)
- 세계 보건 기구(WHO)에서 개발한, 성인 ADHD의 증상 선별, 평가에 사용되는 설문지
- ASRS-v1.1이 가장 널리 사용
  - 한국어버전 설문 항목
API 요구사항
1. 사용자 이름 입력 가능
2. 질문 음성 출력
3. 사용자 음성 응답 수신
4. 음성 인식 및 응답 기록
5. 결과 해석
개인 진행
- Fast API
  - python 기반 웹 프레임워크
  - 비동기 웹 서버 구축
- 텍스트 - 음성 변환(TTS)
  - 구글의 gTTS를 이용
  - 각 질문의 텍스트를 음성으로 변환
- 음성 - 텍스트 변환(STT)
  - OpenAI의 Whisper모델을 이용
  - 프론트엔드로 녹음된 사용자의 음성을 텍스트로 변환
- 프론트엔드
  - 사용자 인터페이스를 웹 페이지로 구성
  - HTML
    - 설문 문항, 답변 선택지, 이름 입력란, 듣기/응답/제출 버튼 등으로 웹페이지 구성
  - CSS
    - 웹 페이지의 시각적 스타일을 지정
  - JavaScript
    - 설문 문항 듣기 기능
    - 음성 응답 녹음 기능
      - 마이크 권한을 얻어 3초간 녹음
      - 녹음 중인 것을 마이크 볼륨 바를 통해 시각적으로 표시
      - 백엔드 서버에서 텍스트 처리된 음성 응답을 받아 문항 응답 체크
    - 이름과 모든 항목의 응답 상태를 확인하는 기능
- 백엔드
  - 프론트엔드에서 전송된 음성 파일을 받아서 처리
    - STT모델로 음성을 텍스트로 변환하고, 텍스트에서 1~5의 숫자를 추출
    - 처리 결과를 프론트엔드로 전송
  - 프론트엔드에서 전송된 설문 결과를 받아서 처리
    - 이름과 각 항목의 결과를 받아 제출시각을 포함해 csv파일로 저장
- 개인 진행 API 코드
  
  GitHub - lsysungyeob/hkit_project02
프로젝트 결과
- 프론트엔드
  - SvelteKit을 이용해 완성도 높은 웹 페이지를 효율적으로 구성
  - 회원가입 및 로그인 페이지를 만들어 개인 활동에 대해 기록
- 백엔드
  - STT모델로 변환된 텍스트는 Google의 Gemini API를 이용해 텍스트의 내용을 상세히 분석
  - 설문 결과와 회원 정보 등을 database를 구축해, 저장 및 관리
- 시연 영상
  
  이성엽_16f18648fca880fc8361cabc16be07daProject2_ADHD_진단을_위한_음성인식_23c18648fca8803a9220fd2ee0da9115시연영상.mp4