2026 AI·SW중심대학 디지털 경진대회 : SW부문

AI·SW중심대학 | SW부문 | AI·SW개발 | AI Agent

  • moneyIcon 상금 1,220만 원
  • 237명 마감
마감

 

[Hey Desk] Voice Desktop Control

공동작성자

stroke
2026.07.05 11:31 248 조회 language

손가락 하나 까딱하지 않고 오직 목소리만으로 Mac을 완전히 지배하는 경험, VoiceDesk를 소개합니다.

단순히 비서 앱을 넘어, 사용자의 눈과 손을 완전히 대체하는 가장 진보된 macOS 음성 자동화 에이전트입니다.

PDF
코드
로그인이 필요합니다
0 / 1000
윤세훈
2026.07.15 14:07

안녕하세요! 필기·지식을 개념 지도로 잇는 AI 학습 에이전트로 대회 참여한 PiecePool 팀입니다 😊
 
마치 아이언맨의 "Hey Jarvis"가 연상되는 프로젝트네요! 제 개인적인 경험으론 과자 먹으면서 노트북 할 때 손에 부스러기 묻는 게 은근 신경 쓰였는데, 딱 지금 손이 안 되는데 컴퓨터는 써야 하는 순간을 음성으로 풀어주는 게 확 와닿았어요.
궁금한 게, 에이전트가 의도를 잘못 해석해서 엉뚱한 걸 클릭,입력하려 할 때 막아주는 안전장치가 살짝 궁금합니다! 
저희도 AI가 엉뚱한 결과를 내밀 때 걸러내는 검증 장치를 계속 고민하고 있어서,,

시간 되시면 프로필에 저희 PiecePool 프로젝트에도 의견 한 번 남겨주시면 감사하겠습니다 :) 
좋은 결과 있으시길 응원할게요, 화이팅!! 🔥

jss0306
2026.07.16 02:08

시현 영상: https://www.youtube.com/watch?v=9ZQIqyc2Vqc 
확인해주시면 정말 감사하겠습니다. 

유가영
2026.07.16 23:13

안녕하세요!
AI 리터러시 케어 에이전트 프로젝트를 진행하고 있는 AllDayHappyDay팀입니다.

반복적인 데스크톱 작업과 여러 앱을 오가는 과정에서 발생하는 시간 소모와 피로를 줄이기 위해, 음성만으로 macOS를 제어하도록 설계한 점이 인상 깊었습니다. 특히 단순한 명령어 실행이 아니라 사용자의 자연어 의도를 해석하고, 필요한 작업을 여러 단계로 나눈 뒤 실제 마우스 클릭과 키보드 입력까지 수행한다는 점에서 AI Agent의 특징이 잘 드러나는 것 같아요!

음성 입력을 텍스트로 변환하고, LLM이 실행 가능한 GUI 작업을 계획한 뒤 macOS 환경에서 직접 수행하는 흐름도 흥미로웠습니다. 실행 후 화면 상태를 다시 확인해 성공 여부를 검증하고, 실패하면 재계획하거나 사용자에게 피드백을 제공하는 구조도 실제 사용성을 높여주는 장점으로 느껴졌습니다.

또한 반복적으로 사용하는 행동 패턴을 기록해 이후 필요한 작업을 먼저 제안한다는 점도 인상적이었습니다. 단순한 음성 제어 도구를 넘어, 사용자의 작업 습관을 학습하는 개인화 데스크톱 에이전트로 발전할 수 있을 것 같아요. 특히 손 사용이 불편하거나 기존 마우스·키보드 조작에 어려움을 겪는 사용자에게 PC 접근성을 높여줄 수 있다는 점에서 의미가 큰 프로젝트라고 생각합니다.

저희 프로젝트에도 시간 괜찮으실 때 따뜻한 피드백 한 줄 남겨주시면 큰 힘이 될 것 같습니다! 좋은 결과 있으시기를 진심으로 응원하겠습니다. 감사합니다! :D

cappu
2026.07.16 23:32

안녕하세요! 다문화가정 학부모님을 위한 알림장 번역·행동 지원 에이전트 [GAON]을 만든 옆구리가시립대 팀입니다!
음성 명령을 다단계 GUI 액션으로 분해해서 실제 클릭, 입력까지 실행하는 구조가 인상깊었어요. 그리고 실행 후 화면 픽셀을 분석해 성공 여부를 확인하고 실패하면 재계획하는 검증 단계를 둔 점이 흥미로웠습니다! 계획을 그대로 믿지 않고 실제 화면 상태로 결과를 되짚는 설계는 저희가 LLM 출력이 근거 없이 단정하지 않도록 고민했던 지점과 결이 닿아 재밌었어요.
실례가 되지 않는다면 여유되실 때 저희 프로젝트에도 한번 들러 솔직한 의견 한 줄 남겨주시면 큰 배움이 될 것 같습니다. 남은 예선 일정 얼마 안 남았지만 파이팅입니다!!