도구를 고르기 전에 업무와 책임을 정의하세요
생성형 AI 도입이 실패하는 가장 흔한 이유는 기능이 부족해서가 아니라 ‘어떤 입력으로 무엇을 만들고, 누가 결과를 책임지는지’가 불명확해서입니다. 전사 구매부터 하지 말고 반복적이면서 결과를 사람이 검수할 수 있는 업무 한 가지를 고르세요.
예를 들어 “마케팅에 AI를 쓴다”보다 “승인된 제품 정보만 사용해 광고 문안 초안 5개를 만들고 담당자가 사실과 표현을 검수한다”가 좋은 도입 과제입니다.
1. 문제와 성공 기준이 구체적인가?
현재 업무 시간, 오류율, 처리량을 먼저 기록해야 도입 효과를 비교할 수 있습니다. 다음 네 문장을 채워보세요.
- 현재 반복 업무는 무엇인가?
- AI에 제공할 입력은 무엇인가?
- 허용 가능한 결과와 금지되는 결과는 무엇인가?
- 최종 승인자는 누구인가?
성공 지표는 ‘신기하다’가 아니라 초안 작성 시간, 수정 횟수, 사실 오류율, 고객 만족처럼 측정 가능한 값이어야 합니다.
2. 입력 데이터의 등급을 나눴는가?
직원이 공개형 AI 서비스에 고객 이름, 연락처, 계약서, 미공개 재무자료를 붙여 넣으면 개인정보·영업비밀 문제가 생길 수 있습니다. 최소한 아래처럼 입력 기준을 정하세요.
| 등급 | 예시 | 기본 원칙 |
|---|---|---|
| 공개 | 이미 게시된 보도자료, 공개 상품 설명 | 목적과 저작권을 확인한 뒤 사용 |
| 내부 | 사내 절차, 비공개 회의 요약 | 승인된 기업용 환경에서만 검토 |
| 민감 | 개인정보, 인증정보, 계약·재무·소스코드 | 원칙적으로 입력 금지, 필요 시 별도 승인·보호조치 |
가능하면 이름·전화번호 같은 식별자를 제거하고 필요한 최소 정보만 사용하세요. ‘이름만 지웠다’고 항상 익명 정보가 되는 것은 아니므로 다른 정보와 결합해 개인을 다시 알아볼 수 있는지도 살펴야 합니다.
3. 서비스 약관과 데이터 처리를 확인했는가?
무료·개인용과 기업용 요금제는 입력 데이터의 학습 사용 여부, 보관 기간, 관리자 통제, 감사 로그가 다를 수 있습니다. 계약 전에 다음을 문서로 확인하세요.
- 입력과 출력이 모델 학습에 사용되는가?
- 데이터는 어디에 얼마나 오래 저장되고 삭제 요청이 가능한가?
- 하위 처리업체와 국외 이전 조건은 무엇인가?
- 관리자 권한, 접근통제, 로그, 퇴사자 계정 회수가 가능한가?
- 장애나 침해사고가 발생하면 언제 어떤 방식으로 통지하는가?
- 데이터를 내보내고 다른 서비스로 이동할 수 있는가?
개인정보보호위원회의 생성형 AI 개인정보 처리 안내서처럼 최신 공식 지침을 조직의 개인정보 처리방침과 함께 검토하세요.
4. 정확성을 시험할 평가 세트가 있는가?
생성형 AI는 그럴듯하지만 틀린 답을 만들 수 있습니다. 실제 업무에서 자주 나오는 사례 20~50개를 모아 테스트 세트를 만들고, 정답 또는 평가 기준을 준비하세요.
평가 항목에는 사실 정확성, 빠진 정보, 금지 표현, 근거 표시, 형식 준수, 편향 가능성을 포함합니다. 평균 점수만 보지 말고 치명적 오류가 한 번이라도 나온 조건을 별도로 기록해야 합니다.
5. 사람의 검수와 책임 경계가 명확한가?
채용, 대출, 의료, 법률, 인사평가처럼 개인에게 큰 영향을 주는 결정은 특히 신중해야 합니다. AI가 추천하더라도 담당자가 근거를 확인하고 이의를 제기할 절차를 마련해야 합니다.
콘텐츠 업무라면 숫자·날짜·고유명사·인용·링크를 원문과 대조하고, 고객에게 발송하기 전 최종 승인자를 기록하세요. “AI가 작성했다”는 사실이 책임을 대신하지 않습니다.
6. 저작권과 투명성 기준이 있는가?
출력물이 기존 저작물을 지나치게 닮지 않았는지, 로고·이미지·인물의 권리를 침해하지 않는지 확인하세요. 외부에 공개되는 중요한 콘텐츠는 출처와 제작 과정을 기록하고, 소비자가 AI 생성 사실을 알아야 할 맥락인지 판단합니다.
직원에게는 “특정 작가의 문체를 그대로 복제해줘”보다 브랜드의 구체적인 톤, 독자, 길이, 금지 표현을 지시하도록 교육하는 편이 안전하고 결과도 일관됩니다.
7. 작은 파일럿과 종료 계획이 있는가?
2주 파일럿이면 충분히 많은 것을 배울 수 있습니다.
- 업무 한 가지와 참여자 3~5명을 정합니다.
- 기존 방식의 시간·품질 기준선을 측정합니다.
- 승인된 데이터와 프롬프트 템플릿만 사용합니다.
- 모든 결과를 사람이 검수하고 오류 유형을 기록합니다.
- 시간 절감, 오류, 비용, 사용자 경험을 비교합니다.
- 확대·수정·중단 중 하나를 결정하고 이유를 남깁니다.
좌석당 가격뿐 아니라 API 사용량, 검수 시간, 보안·법무 검토, 교육, 기존 시스템 연동, 공급자 변경 비용까지 총비용으로 보세요. 품질이 기준에 못 미칠 때 업무를 기존 방식으로 되돌릴 수 있어야 합니다.
바로 쓸 수 있는 사내 운영 규칙 초안
- 승인되지 않은 서비스에 개인정보·인증정보·영업비밀을 입력하지 않는다.
- 업무용 계정과 개인 계정을 분리하고 다단계 인증을 사용한다.
- 외부 공개 결과물의 사실, 출처, 저작권은 담당자가 검수한다.
- 고위험 의사결정을 AI에 단독으로 맡기지 않는다.
- 사용 목적, 모델·버전, 주요 입력, 검수자와 수정 사항을 필요한 범위에서 기록한다.
- 사고가 의심되면 입력을 중단하고 보안·개인정보 담당자에게 보고한다.
자주 묻는 질문
무료 서비스는 업무에 쓰면 안 되나요?
가격만으로 결정할 수 없습니다. 조직의 데이터 등급과 서비스 약관, 학습 사용 여부, 관리자 통제 기능이 기준을 충족하는지 확인해야 합니다.
개인정보를 가명 처리하면 입력해도 되나요?
가명정보도 개인정보보호법상 보호 대상일 수 있고 재식별 위험이 있습니다. 처리 목적과 법적 근거, 계약·기술적 보호조치를 개인정보 담당자와 검토하세요.
AI 결과에 출처 링크가 있으면 믿어도 되나요?
링크가 존재하는지, 해당 페이지가 주장을 실제로 뒷받침하는지 원문에서 확인해야 합니다. 존재하지 않는 출처나 문맥이 다른 근거가 제시될 수 있습니다.