뒤집어진 사과집

스타트업에 부는 챗GPT 열풍…활용 서비스 속속 도입

• 세금 신고·환급 도움 서비스 '삼쩜삼’
  • 챗GPT 기반 세금 챗봇 ‘인공지능(AI) 점삼이’ 베타 버전을 공개
  • 처음으로 세무 플랫폼에서 챗GPT를 도입
  • 이용자들의 연말 정산과 관련된 질문에 즉시 맞춤형 답변을 제공하는 챗봇 서비스
  • 정리된 답변엔 내용의 출처 콘텐츠도 제공한다는 게 특징
• 온라인 코딩 강의 ‘스파르타코딩클럽’
  • 수강생들이 빠르게 오류를 잡고, 다음 단계로 이어 나갈 수 있는 최적의 환경을 만들기 위함
  • 별도 프로그램을 설치하지 않아도 되며, 실시간으로 코드를 분석해 오류 원인을 알려줌
• 여행 플랫폼 스타트업 ‘마이리얼트립’
  • 국내 여행 업계 최초로 챗GPT를 활용한 ‘AI 여행플래너’를 출시’
  • 여행 관련 다양한 주제에 대해 실시간으로 대화가 가능할 뿐 아니라 여행 일정을 계획하는 것까지 도와줌
  • AI 여행플래너로 계획한 일정은 마이리얼트립 상품페이지로 곧바로 연동

가상자산 시장에 재생 금융 ‘리파이’가 뜬다

• 디파이와 리파이
  • 디파이(DeFi, 탈중앙화 금융): 은행이 제공하지 못한 투명하고 포용적인 금융 시스템을 제공하기 위해 등장
  • 리파이(ReFi, 재생 금융): 암호화폐를 활용해 더 포용적이고 지속 가능한 방식으로 경제를 재건하기 위해 등장
• 탄소배출권 거래
  • 최근 리파이는 환경 분야에 특화해 탄소배출권 거래 촉진 등에 초점을 맞추고 있음
  • 웹 3.0 탄소 플랫폼 “노리”에서는 수요자와 공급자 사이에 토근(NRT)이 거래됨
  • 공급자는 탄소저감이나 제거를 통해 토큰을 발행, 수요자는 크레딧 구매를 통해 순배출량을 줄임
• ESG 경영
  • 한 블록체인 기업은 동식물 다양성 시장, 깨끗한 물을 마실 권리와 같은 분야의 인프라 구축에도 투자 중
  • 리파이는 앞으로 지속 가능한 저탄소 경제로 나아가는 윤활유 역할이 될 것
  • 대표는 “블록체인을 활용해 인류의 번영, 교육, 평등을 이루고자 하는게 리파이의 취지” 라며
    “결국에는 재생 시장의 대차대조표(재정 상태 정보)를 블록체인으로 가져오는게 우리의 목표”

2023년, 인공지능의 발전 방향은 클라우드가 결정한다

• 현재 트렌드
  • 하이브리드 클라우드와 멀티클라우드 환경이 확대되는 동시에 인공지능의 발전에 속도를 붙이고 있음
  • 중소기업들도 가장 알맞은 기술을 가장 효율적으로 활용하기 위해 클라우드와 인공지능을 검토하기 시작
• 클라우드로 인해 인공지능의 성능 향상이 촉진될 것
  • 클라우드가 보급됨에 따라 컴퓨터 성능이 안좋아도 안공지능을 경험할 수 있게 됨
  • 클라우드 컴퓨팅과 인공지능의 발전과 활용을 가장 직관적으로 보여주는 건 게임과 엔터테인먼트 산업
• 클라우드로 인해 인공지능 관련 규정이 늘어날 것
  • 보안 사고들이 전 세계적으로 꾸준히 증가하고 있음
  • 클라우드를 통해 제공되는 인공지능도 덩달아 많아진 규정 아래 놓일 것
  • 적어도 데이터가 클라우드 상의 인공지능 알고리즘에서 어떻게 처리되는지는 투명하게 밝혀야 할 것으로 보임
• 클라우드 산업도 인공지능을 적극 도입할 것
  • 경제적 상황 때문에 클라우드 비용을 마냥 늘릴 수만은 없는 게 대부분 기업들의 현실
  • 상황에 따라 유연하게 비용을 늘렸다 줄였다 할 수 있는 유형의 클라우드 서비스가 인기를 끌 것
  • 클라우드를 사용하는 것 자체가 비용을 절감하는 방법으로 인식되고 있기 때문에, 더 많은 기업이 클라우드를 도입하되, 다양한 사항들을 보다 꼼꼼하게 검토할 것

⇒ 이제 클라우드와 인공지능은 하나의 서비스로 봐야 한다

'모바일'은 없었다…인공지능이 삼킨 MWC

• 동영상 서비스의 인기
  • 지난해 전 세계 인터넷 트래픽의 절반이 구글과 넷플릭스 등 단 6개의 빅테크에서 나왔음
  • 전체 트래픽의 60%를 동영상 서비스가 차지했음
• KT 초거대 AI “믿음”
  • KT는 국내 최초로 초거대 AI 상용화를 앞두고 있음
  • AI 반도체와 소프트웨어 기업까지 모두 참여한 인공지능 “풀스택” 라인업을 선보임
  • 상반기 내 “믿음”을 활용한 시니어 케어 서비스를 출시할 것
  • AI B2B 사업에 집중하여 연내 금융고객 상담서비스 등을 선보일 계획
• 모바일은 없었다
  • 세계 최대 통신기술 전시회지만 이제 더이상 그 누구도 '모바일'을 얘기하지 않음
  • 다가오는 인공지능 시대의 인프라를 선점하기 위한 새로운 경쟁을 시작

KB국민카드, 악성앱 탐지 솔루션 … 5천명 정보 지켰다

• 'KB페이'는 악성 앱을 자동으로 탐지해 대면/비대면 거래를 자동으로 차단, 고객에게 즉시 해당 사실을 안내
• 해당 서비스를 통해 지난해 추가 피해를 예방한 고객은 5300여 명
• 지속적으로 FDS를 고도화하고 인공지능을 접목한 모니터링 시스템을 구축할 계획
• 특히 가상 PC 환경 구축, 인터넷 망 분리, 내부통제 모니터링 및 외부 이상징후 탐지 시스템 구축 등 지속적으로 정보보호 체계를 강화하고 있음
• 정기적으로 이메일 모의훈련, 침해사고 대응 훈련, 임직원 맞춤형 정보보호 교육 등을 통해 정보보호 역량을 강화하고 있음

챗GPT, 사이버 공격에 적극 활용 ‘대책 시급’

• IT·사이버 보안 전문가 1500명을 대상 설문
  • 51%는 1년 안에 사이버 공격에 동원돼 관련 피해가 발생할 것이라 응답
  • 78%는 2년 내에 챗GPT를 통한 사이버 공격이 본격적으로 시작될 것이라 응답
• 사이버 공격의 유형
  • 정교한 피싱 이메일을 만드는 일
  • 해커들의 코딩 능력 향상
  • 챗GPT가 거짓 정보를 퍼트릴 수 있음
  • 새로운 유형의 악성 코드를 만들어 낼 수 있음

⇒ 기업 차원이든 국가 정책 차원이든, 고도화된 AI를 악용한 사이버 공격에 대한 대비책이 중요해질 전망

다양한 인공지능 프로젝트

• 구글의 작곡 AI(musicLM)
• Text-to-Motion
• 목소리에 어울리는 악기 연주를 제공해주는 언어모델 기반 오디오생성 모델
• 출처를 알 수 없는 답변을 하는 ChatGPT의 단점을 보완할 수 있는 perplexity.ai
  • 질문을 하면 어디에서 확인한 정보인지 출처 링크를 달아서 나열해줌
  • 출처를 알려줌으로써 실제 업무 활용에 유용해보임

애플의 AR 개발 SW

• 앞으로 출시될 헤드셋 판매 촉진을 위해서, 코딩을 모르는 사람도 AR앱을 개발 가능한 소프트웨어를 준비 중
• Siri에게 명령해서 앱을 만들고, 앱스토어에 올려서 다운로드 가능하게 될 것
• 애플은 자체 AR 콘텐츠도 준비중(VR보다는 AR에 더 집중)
• 애플의 헤드셋은 AR 과 VR을 혼합하여, 사용자가 둘 간에 전환 가능

야후(Yahoo)가 검색으로 돌아온다

• 가까운 시일 내에 컴백을 준비 중. 몇 주간 힌트가 될만한 행동을 했음
• @YahooSearch 트위터 계정을 재활성화
• 검색 플랫폼의 수석 PM 채용을 진행중
• 경영진들이 검색 관련 포스팅을 올림

chatGPT는 혁신의 도구가 될 수 있을까?

• 한계점
  • 기능상의 한계: 공정하고 정확한가?
    (잘못된 정보나 편향된 콘텐츠를 생성할 수 있고, 인간의 결함을 모방할 우려 존재)
  • 서비스상의 한계: 지속가능한 수익을 창출할 수 있는가?
    (단기간 사용자 확보보다는 ‘생성 AI의 시작을 알리는 계기’라는 점이 더 바람직)
• 시사점
  • 한계 극복을 통해 초거대 AI는 보편화
  • 지식을 얻기 위한 노력이 줄어드는 세상
  • 검색 엔진 시대에서 창의성 엔진 시대로의 전환

금융앱의 미래

• 리서치 기관인 컨슈머인사이트에서 금융앱 이용 만족도를 조사
• 카카오뱅크와 토스가 1, 2위를 차지
• 카카오뱅크, 토스, 카카오페이는 2000명 이상의 응답자를 기록한 반면 온라인 결제에서 강력한 성장세를 보이는 네이버페이는 1000명 이하의 응답자를 기록
• 뱅크샐러드의 응답자수는 24위지만 앱 만족도는 3위 → 고도화된 자산관리 덕분
• 토스는 압도적인 사용자 수와 만족도를 보이며 여러 세대의 필수 앱으로 등극
• 10위권 안의 6개가 기존 금융사 앱으로, 만족도가 의외로 높음
• 또한 파편화되고 있음에도 불구하고 사용자 수가 높음

강남권 새벽배송 핵심 거점...컬리, 송파 물류센터 이전

• 서울 송파 물류센터의 운영을 올해 상반기 중으로 종료
• 샛별배송 서비스
  • 컬리는 2015년 식품업계 최초로 문앞까지 신선식품을 배달해주는 서비스를 도입
  • 하지만 콜드체인이 갖춰진 물류센터 특수 포장과 배송, 인건비 등의 대규모 투자가 필요
  • 컬리, 쿠팡, SSG닷컴 모두 이익을 내지 못하다 쿠팡이 8년만에 드디어 흑자 전환
• 유통/물류업계 반응
  • ‘재무 상황이 어려워지고 있다는 신호’로 해석
  • 기업공개(IPO)를 목표로 화장품 새벽배송 등 덩치를 키우던 컬리가 상장이 미뤄지면서 비용 절감에 사활을 걸었다는 것
  • 송파 물류센터가 없으면 배송 동선이 두배, 세배는 늘어날 것
• 컬리 관계자
  • 송파 물류 클러스터는 사업 초기에 문을 연 곳으로, 오랜 기간 운영하다보니 설비나 시설 개선의 필요성이 있음
  • 가장 최근에 연 김포 물류 클러스터로 이전하는 것 뿐, 중단되는 기능은 없음
  • 송파가 단순히 서울만 담당했던 곳은 아님

본문 링크

들어가기에 앞서

36시간 장애 속에서 수백만 명이 서비스 오픈만을 기다리고 있고, DB를 만든 회사에서 복구는 불가능하다고 얘기하는 극한의 상황 속에서 CTO가 커리어를 걸고 비트 레벨까지 내려가서 DB를 해킹했던 이야기

해커 문화(Hacker Culture)

• ‘해킹’의 개념은 MIT에서 시작되었는데, 소프트웨어 시스템이나 하드웨어의 제약사항을 창조적으로 함께 극복해 내는 행위를 뜻함
• 문제를 해결하거나 시스템의 한계를 극복하기 위해 시스템의 밑바닥까지 파고들고, 그 시스템에 대한 완벽한 이해를 추구
• 해커 문화와 오픈소스와는 밀접한 연관이 있음
• 데브시스터즈의 엔지니어링 조직은 해커 문화와 오픈소스를 좋아하며, 사용하는 오픈소스 제품의 코드 레벨까지 다루곤 함

문제 발생

개발 환경

• 메인 데이터베이스로 CockroachDB를 사용
• CockroachDB는 전통적인 RDBMS처럼 ACID 특성을 가지고 있으며, SQL 기반의 트랜잭션 처리가 완벽하게 작동하는 분산 DB임
• 런칭 전부터 대규모 사용자 유입을 대비하여 데이터베이스는 24대의 노드, 12TB의 스토리지, 7개의 복제본을 두어 만반의 준비를 갖춤

오픈 당시 상황

• 오픈 직후 어마어마한 사용자 유입이 있었고, 한 주가 채 지나기도 전에 스토리지가 약 8TB 정도 차기 시작
• DevOps 조직은 런칭 첫 주 주말을 장애 없이 넘어가고, 월요일부터 스토리지가 차는 문제를 대응하기 위한 작업에 들어감
• 데이터베이스 확장 작업 전에 안전장치를 설정하기 위한 작업을 하던 중 의도치 않은 설정 미스로 인해 데이터베이스 노드 중 절반 이상이 다운

문제 발생 이유

• 앞서 CockroachDB는 트랜잭션을 지원한다고 했는데, CockroachDB 클러스터는 기본적으로 가장 높은 수준의 트랜잭션 일관성을 목표로 설정되어 있음
• 의도하지 않은 설정 이슈로 인해 절반 이상의 노드들이 비일관성을 탐지하고 에러가 발생하면서 클러스터에서 제외되기 시작
• 이에 따라 데이터베이스는 트랜잭션 일관성을 지켜줄 수 없다고 판단하고 트랜잭션 처리를 중단하는 일종의 보호 모드로 진입
• 이후 모든 종류의 SQL 쿼리가 처리되지 않게 되고, 게임 서버는 당연히 데이터베이스가 응답이 없으므로, 클라이언트의 모든 요청 처리를 못하게 됨
• 즉, 서비스 전체 장애가 발생

초기 장애 대응

기술 지원 요청

• DevOps 팀의 최우선 과제는 데이터베이스를 정상 상태로 복원하는 것
• 장애 시 기술적인 지원을 받을 수 있는 CockroachDB Enterprise를 사용 중이었기 때문에 기술 지원을 요청
• 상황을 설명하고, 노드의 로그 메시지를 공유하는 등 해당 업체와 함께 트러블슈팅 및 복구 방안을 찾기 위해 노력
• 그러나 업체 쪽에서는 복구가 불가능하다는 결론
• 마지막 백업본으로 데이터베이스를 복구하고 서비스를 재개하는 것을 추천

서포트 엔지니어의 판단 근거

• 기술적인 배경에는 CockroachDB의 설계 철학이 있을 것
• 다수의 노드가 설정 미스로 인하여 클러스터 참여가 불가해진 시점에선 이미 데이터가 일관되게 저장되어 있음을 보장할 수 없음
• 불완전한 현재 데이터를 복구하는 것 보다는 일관성이 보장된 상태의 백업으로 복구하는 것을 권장한 것으로 판단됨
• 만약 CRDB 기반으로 은행 서비스를 개발했다면, 실제로 데이터베이스 복구 작업은 불가하다고 보는 게 맞고, 백업에서 복원하는 게 가장 좋은 선택일지도 모름

쿠킹덤의 상황

• 그러나 쿠킹덤의 경우, 서버의 구조에 Snapshot과 Journal을 사용해 데이터를 커밋 하는 Event Sourcing 기반의 아키텍처를 사용했음
• 따라서 데이터베이스에 있는 Snapshot, Journal 데이터를 가져올 수만 있다면 확률적으로 거의 완벽한 데이터 복구가 가능하다고 판단함
• 이에 따라 CockroachDB에 저장되어 있는 원시 데이터에서 테이블에 저장된 row들을 복구하는 방법에 대해 문의 → 그런 방법은 존재하지 않는다는 답변
• 그러나 분명히 데이터는 스토리지에 저장되어 있고, 이를 끄집어낼 수 있는 방법이 있을 거라고 생각하고 이 점을 고민하기 시작함
• 실제 서비스의 장애 상황에서 이런 접근을 하기 쉽지는 않았으나, DB복구가 불가능할 경우를 대비한 로그 기반의 복구를 플랜B로 따로 진행하고 있었기에 가능했음

복구 데이터 탐색

아키텍쳐에 대한 사전 지식

• CRDB에 저장되어 있는 데이터를 끄집어낼 수 있는 방법을 리서치하기 시작
• 런칭 전에 CockroachDB 스터디를 진행했기 때문에 CRDB의 아키텍처에 대해서 일부 파악하고 있던 지식들이 있었음
• 하위 스토리지 레이어는 Pebble로 구성된 Key-Value 스토리지를 사용한다는 사실, 그 위에 Raft 기반의 Consensus Algorithm, 이를 통해 ACID 및 트랜잭션 구현을 했고, 그 위에 SQL 레이어를 구현했다는 것

스토리지 살펴보기

• 실제 노드에 물리적으로 저장된 파일들을 파보기 시작(sst 확장자의 파일들)
  • CockroachDB에서 사용하는 Pebble: Facebook에서 만든 RocksDB의 후계자
    RocksDB: Google에서 만든 LevelDB의 후계자
  • sst 파일은 LevelDB가 스토리지에 데이터를 물리적으로 저장할 때 사용하는 확장자임
• Pebble의 sst 파일이 RocksDB, LevelDB의 sst 파일과 호환이 될지 살펴봄

원하는 데이터 발굴

• 공식 문서에 따르면, Pebble은 RocksDB와 on-disk format 호환을 목표로 한다고 되어있음
• 하지만 RocksDB의 경우 LevelDB와 API 레벨에서의 호환성만 얘기하지, on-disk format 에 대한 이야기는 찾아볼 수 없었음
• 이에 따라 on-disk format이 동일한 RocksDB 의 구조를 파악하기 시작
• 조금 다르긴 하지만 기본적인 구성은 LevelDB와 유사하며, 확장한 형태로 보였음
• 실제 온전한 CRDB sst 파일들을 받아서 분석해 보기 시작
• hexdump 명령어로 원하던 데이터를 발견

데이터 파싱

CRDB 구조 파악

• sst 파일의 뒷부분의 metadata를 읽어야 data block들을 읽을 수 있음
• 다만 실제 data block들에 들어있는 CRDB의 row 데이터를 저장하는 방식도 파악할 필요를 느낌
• CRDB 문서를 통해 Column Family라는 개념으로 K-V Store 저장되는 것을 확인
• 구체적인 저장 방식을 확인하기 위해 CRDB 소스코드 레포지토리 내에 있는 Design Document 들을 읽어봄

코드레벨 분석

• 소스코드를 탐색하다보니 실제 저장에 사용되는 Protocol Buffer 파일을 발견
• 주석에 따르면 Value 값이 <4-byte-checksum><1-byte-tag><encoded-data> 형태로 저장되고 있음
• 스토리지에 저장된 파일을 파싱하기 위한 코드도 발견
• <1-byte-tag>를 읽고 case 문으로 Value Type 별로 별도의 파싱 루틴을 타서 예쁘게 출력을 하는 구조를 확인

가능성 검증

• 실제 데이터가 들어있는 sst 파일을 하나 hexdump로 열어봄
• 문서를 참고하여 데이터 타입, 길이 등을 지나면 실제로 저장된 데이터 값들이 보임(53~)
• 이론적으로 파싱이 가능한 것에서, 실제로 손 파싱을 통해 데이터를 파싱해올 수 있음을 증명
• 이제 7TB의 데이터를 전부 꺼내오는 방법만 고민하면 됨

데이터 저장

우선순위 판단

• 빠르게(장애 상황이기 때문), 그리고 정확하게(사용자의 데이터이기 때문), 좋은 성능으로(7TB) 구현해야 했음
• 우선순위를 따져보면, 처리 성능보다는 빠르게 구현 가능하면서 정확해야 함
• 처리 성능은 데브시스터즈 데이터 분산처리 역량과 AWS의 클라우드 컴퓨팅 자원을 믿고 돈으로 성능을 살 수 있다고 판단

해결 방안 탐색

• 결과적으로 채택한 것은 소스코드를 읽어보면서 발견한 PrettyPrint 함수
• CLI 툴에서 디버깅을 위한 기능에서 사용되는 기술로, 결국 바이너리 sst 파일을 파싱해서 엔지니어가 읽을 수 있는 형태로 터미널에 출력해 주는 함수
• 이를 변경해서 CSV로 출력하기로 함
• 가칭 crdb2csv 프로그래밍 작업에 착수

CSV 분산 처리

• 어떻게 하면 7TB의 데이터를 분산처리하여 csv 파일을 만들 수 있을지 고민
• PySpark 샘플 코드를 작성해 보면서 crdb2csv 프로그램이 왔을 때를 대비하여 분산처리를 준비
• csv 파일은 텍스트 포맷이고, stdout 출력물을 받으니 처리시간이 오래 걸리는 것은 어쩔 수 없음
• AWS 클라우드에서 컴퓨팅 자원을 끌어모을 수 있을 만큼 끌어모음
• 결과적으로 어떻게든 확보한 노드들로 7TB의 데이터를 CSV 파일로 변환하는 데만 4시간이 걸림
• crdb2csv 프로그램의 오류를 발견하여 이 4시간이 소요되는 작업도 여러 번 반복했음

CSV 파일 검증

• 변환한 파일에 모든 사용자 데이터가 담겨있는지 검증하는 작업도 꽤 오래 걸림
• 데이터베이스가 사용하는 MVCC 구조상 필요 없는 사용자의 데이터가 다수 있었기 때문에 이를 제거하고, 최신 값을 뽑아냄
• 이렇게 뽑아낸 데이터를 백업본, 분석 로그와 교차 검증을 하면서 빠진 데이터가 없는지 체크함
• 결과적으로 뽑아낸 파일에 모든 사용자 데이터가 정확하게 담겨있음을 확인

서비스 복구

새로운 클러스터 준비

• 인프라 조직에서는 새로운 CockroachDB 클러스터를 준비하고 있었음
• AWS 노드들을 다 끌어다 쓴 탓에, 해당 클러스터를 셋업하는 것도 힘들었음
• 결과적으로 클러스터 셋업이 완료되고, 확인이 완료된 CSV 파일을 클러스터에 적재함
• 불러올 데이터가 크다 보니 예상외로 이것도 상당한 시간이 소요됨
• 이렇게 다시 정상 작동하는 데이터베이스를 만들었고, 이를 전사적으로 테스트를 거쳐서 36시간 만에 서비스를 다시 오픈!

회고

• 이러한 서비스 복구 방식은 전혀 일반적인 방식은 아니라고 생각했음
• 데이터베이스 업체에서 복구 불가 판정을 내렸으면, 이미 그 시점부터 백업본으로 서비스를 복구하는 소위 ‘백섭'을 하는 게 일반적이었을 것
• 시간은 다소 오래 걸렸을지라도 이런 방식으로 장애를 복구한 것에는 이유가 있음

개발 문화

• 해커 문화를 가지고 있기 때문에 엔지니어들이 로우 레벨로 뛰어드는 것에 익숙했음
• 데이터베이스 레벨부터 커널, VM 레벨까지 다양한 경험이 있는 엔지니어들이 있었음
• 상호 지식공유를 통해 데이터베이스의 다양한 추상화 레벨에 대한 전방위적인 이해가 가능했음
• 남의 소스코드를 읽고 고치는 것에 익숙한 조직임
• 오픈소스 프로젝트들을 매일 이용하고, 문제가 있으면 소스코드를 읽고, 필요하다면 직접 고치면서 기여하기 때문에 가능했음

조직 구조

• 데브시스터즈 산하 CTO 조직인 진저랩은 데이터와 인프라 관련 팀들이 한 조직에 속해있음
• 일반적으로 분산처리 플랫폼은 지표 등의 데이터 분석에 주로 사용되는데, 데이터와 인프라가 한 조직에 있다 보니 분산처리 역량으로 인프라 장애를 극복하는 특별한 시너지가 가능했음

다양한 경험

• 확장성 있는 인프라를 다루는 경험, 대용량의 데이터를 분산처리하는 경험이 풍부했음
• 장애 대응 경험이 풍부했기 때문에 Plan A/B/C를 동시에 가동하는 등 여러가지 복구 전략을 함께 진행했고, 실제로 두 가지 복구 전략을 혼합하여 완벽하게 장애 복구를 할 수 있었음
• 조를 나누어서 여러 가지 복구 전략을 동시 실행했기 때문에, 내가 실패하더라도 플랜 B를 실행하는 동료를 믿고 과감하게 용기를 낼 수 있었음

국내 반응

부정적

• 서비스 측면에서, 과연 일부 사용자의 경험을 훼손하고 대다수를 지키는 롤백보다 36시간에 걸쳐서 모든 사용자 정보를 복구하는것이 비즈니스적으로 옳은 판단일까?
• 만약에 문제를 해결하지 못했으면 시간은 시간대로 낭비하고 백섭은 백섭대로 해서 원망을 들었을 것
• 해당 프로젝트에서는 CockroachDB를 사용하지 말았어야 했다는 의견이 다수

긍정적

• 요즘 게임에서 (특히 랜덤 뽑기류가 있는 게임에서) 롤백은 진짜 최악의 경우에만 쓸 수 있는 방법으로, 주로 보상을 크게 주는 편이기 때문에 옳은 판단이었다
• 게임이다보니 36시간 전으로 롤백하면 캐쉬 관련으로 금전적 손해가 많았을 수도 있었을 것
• 적절한 기술 기반과 준비된 아키텍처로 어떻게든 백섭이라는 "최악의 사태"를 회피한건 분명한 엔지니어링 성과로 평가받아야 함

부정 의견에 대한 반박

• 36시간 다운타임을 기대매출로 환산했을 때와, 롤백 후 보상지급액을 비교하고 결정한 사안이었을 것. 문제 해결을 중시하는 개발자 문화가 강한 조직이라는 점도 어느정도 영향이 있었을 것 같다
• DB를 정할 때 저만한 프로젝트에서 어련히 벤치마크 안했을까. 그저 익숙한 기술을 썼으면 안터졌을거라는 나이브한 주장은 너무 반엔지니어링적인 사고

chatGPT 업적

• 미국 의사 면허 시험 통과
• 변호사 시험 통과
• 와튼스쿨 MBA 운영 시험 통과

데이터 라벨링 직군

• chatGPT 개선을 위해 케냐에서 저임금 노동으로 활용해서 문제가 되고 있다고 함
• 해당 직군은 인공지능이 발전하면서 함께 커질 수밖에 없음
• 최근에는 고연령층에게 라벨링 교육도 시행 중
• 60세에 해당하는 100명의 고령층이 100시간 AI 교육을 이수해 76명에게 데이터 관련 일자리를 제공한 성과

NVIDIA - AI 시선 보정

• 아직까지는 완전히 자연스러운 시선을 느끼려면 더 발전이 필요하다고 함
• 이 기술을 어디에 활용할 수 있을까?
• 현재 ‘엔비디아 브로드캐스트’라는 AI를 탑재한 음성/영상 플랫폼에 해당 기능이 추가된 상태
• 비대면 강의의 경우, 카메라를 보면서 수업을 진행하는게 어렵다고 함. 이런 쪽으로 활용할 수 있지 않을까.

애플 자율주행 포기

• 애플카 출시를 2026년으로 기존보다 1년 연기하고, 완전 자율주행은 포기한다고 밝힘
• 당초 애플의 목표는 운전대나 페달이 없는 레벨 5단계의 자동차를 만드는 것이었음
• 즉, 이것이 실현 가능성이 없다고 판단한 것
• 결국 운전대와 페달을 제공하고, 고속도로에서만 완전 자율주행을 지원하는 수준으로 계획을 수정
• 고속도로 운행 중에는 운전자가 영화를 보거나 게임도 하며, 도심에 진입하거나 궂은 날씨를 만났을 때에는 수동으로 전환할 수 있는 충분한 시간을 제공하는 수준의 자율주행차
• 애플카 프로젝트의 주요 과제 4가지
  • 소음없이 자동으로 열리고 닫히는 도어
  • 운전대와 페달이 없는 내부 디자인
  • VR/AR이 가능한 내부 디스플레이
  • 좌회전/우회전이 아니라 차량 자체가 좌우로 이동하는 구 형태의 타이어 탑재
• 또한 애플카에 iOS를 적용시켜 아이폰이나 아이패드와 같은 스마트카를 만든다는 컨셉

본문 링크

MVP란

• 불확실한 시장에서 리스크를 최소화하고 적은 공수로 빠르게 제품을 출시하여 검증하는 방법?
• 근래 가장 많이 활용되는건 MVP(Minimum Viable Product)
• MVP란 ‘고객이 느끼는 문제에 대한 해결책(가설)이 유효한지 검증할 수 있는 최소한의 기능만을 지원하는 제품’을 의미

MVP 방법이 필요한 이유

• 5년 이상 버티는 한국 창업기업은 27%에 불과 → OECD 평균 생존률 41%에 비해 적은 숫자
• 시장에서 고객의 인정을 받지 못할 확률이 높은 상황에서, 한정된 예산과 리소스로 확신이 없는 제품을 만드는 것은 매우 위험한 도전
• 이를 해결하기 위해 핵심 가설만을 빠르게 검증하는 MVP를 구현하여 시장에 출시하는 전략이 중요해짐
• 핵심만을 담은 제품을 먼저 선보인 후, 사전에 정의한 가설을 바탕으로 고객의 피드백을 받아 순차적으로 개선해나가는 것

MVP를 통해 얻을 수 있는 가치

• 최대 장점은 예산과 리소스가 한정된 상태에서 리스크를 최소화하여 가설을 검증하는 것
• 만약 제품의 시장 반응이 좋지 않으면 다른 방향으로 빠르게 변화해 다른 가설로 도전할 수 있음
• 불확실한 스타트업 시장에서 최소한의 리스크를 가지고 다양한 시도를 해볼 수 있다는 장점

MVP 성공을 위한 핵심 요소

최소화(Minimally)라는 점을 상기하라

• MVP에서 가장 중요한건 ‘최소화’
• 수많은 기획자들이 이를 잊어버리는 경우가 빈번함
• ‘제품이 한번에 성공하면 좋겠다’같은 생각을 가지고 다른 부가적인 기능에 집중했을 때 실패가 발생

제품을 통해 해결하려는 문제&가설을 확실히 하라

• 막연한 가설으로는 성공 지표를 확실하게 정할 수 없기 때문에 얼마나 투자해야 할지 판단이 어려움
• 이를 방지하기 위해 기획자는
  • MVP에 대한 정의를 확실히 이해하고
  • 제품을 개발하기 전 고객이 느끼는 문제는 무엇이고
  • 최소한의 기능만으로 어떤 가설을 검증할 것이며
  • 다소 보수적으로 성공과 실패를 평가할 수 있는 명확한 기준점을 정해야 함

⇒ 이러한 기준점이 명확히 정해지면 MVP를 진행했을 때 사전에 합의한 기준을 통해 Go/Stop을 판단할 수 있음

가장 위험한 가정을 먼저 테스트하라

• 필자가 생각하는 위험한 가정/가설이란 ‘해당 제품 가치가 고객에게 무의미한 것인가?’
• 고객에 무의미하다면 제품 존재 이유가 없기 때문
• 대표적인 예로, 토스는 간편 송금이라는 핵심 서비스를 MVP로 만들어 시장에 진출
• ‘고객은 기존 송금 방식에 불편함을 느끼고 있다’, ‘간편 송금 기능에 편리함을 느낄 것이다’ 라는 가설을 해결하는걸 가장 우선시함
• 만약 이 가설이 통하지 않았다면 현재 토스의 서비스는 많은 것이 달라졌을 것

본문 링크

마이데이터 시대, 차별화 필요한 개인자산관리

2017년 앱 출시 이후, 초기에는 신용카드 추천 서비스로 시작했다가 마이데이터 시대로 접어들면서 데이터 관리 앱으로 거듭나겠다는 포부를 밝힘

초기

• 강력한 가계부 기능 덕분에 이름을 알림
• 정보를 긁어와 보여주는 스크래핑 방식 사용
• 홈페이지의 레이아웃을 바꾸기만 해도 다시 작업해야 하는 번거로움이 있어 당시 유사 서비스가 드물었음
• 은행, 카드사는 고객이 웹사이트에 직접 접속해야 의미 있는 MAU 확보가 가능한데 로봇이 와서 정보만 빼가니 서버비만 아까운 상황

⇒ 현업에서 논란이 적지 않았음

현재

• 2022년 1월, 마이데이터가 시작되면서 스크래핑 방식은 불법이 됨
• 마이데이터 사업자 라이선스를 받아 정해진 API 규격에 맞춰 데이터를 주고받아야 함
• 다양한 사업자들이 PFM(Personal Finance Management) 서비스를 시작
• 초기에 개인자산관리 기능을 제공하며 등장한 뱅샐에게는 달갑지 않은 상황

강력한 가계부 기능, 대중이 원할까

모바일 앱에서 개인자산관리는 얼마나 상세하게 이뤄져야 하는 걸까? 어떻게 해야 더 많은 Mass(대중) 고객을 사로잡을 수 있을까?

자산을 관리하는 사람들의 3가지 부류

1. 자산관리를 안 하는 사람 (애초에 관리할 것이 별로 없어 니즈도 적음)
2. 많은 금융 거래를 하기에 자산 관리 니즈는 있지만, 시간과 노력을 들이고 싶지는 않은 사람 (누가 정리해주면 볼 용의는 있지만 딱 거기까지)
3. 자산 관리를 칼같이 하는 사람 (시간과 노력을 들이더라도 정확한 데이터를 보겠다)

사업 방향

• 뱅샐은 태생부터 데이터와 자산 관리에 특화된 서비스로, 세 번째 부류에 맞는 상세한 메뉴를 제공함. 다만 기능이 다양한 만큼 손이 많이 감
• 하지만 1, 2번째 사람들이 이른바 ‘매스 고객’이며, 그들은 굳이 뱅샐을 쓰지 않아도 됨
• 하이엔드 가계부 앱으로 포지셔닝하는 것도 나쁘지 않은 전략이지만, 사용자를 더 늘리기 위해서는 연구가 필요함

건강 데이터, 미래 사업 전략 될까

유전자 검사 서비스

• 21년 10월부터 무료 유전자 검사 서비스를 선착순으로 제공
• 서비스를 시작한 지 1년이 넘었음에도 반응은 뜨거움
• 유전자 검사의 가격은 10~15만원 수준

⇒ “금융 데이터뿐 아니라 건강 데이터까지 확보하여 향후를 대비하겠다는 포석”
    “개인에게 최적화된 건강 관리, 보험 설계 등의 서비스를 제공하겠다”

건강 서비스

• 현재도 건강 탭을 핵심 기능 중 하나로 취급
  • 건강보험관리공단에서 건강검진 자료를 연동하여 조회
  • 이를 기반으로 각종 질병 발병률을 보여줌

⇒ “향후 의료 마이데이터 시대를 대비한 것”

의료 마이데이터

• 지난 몇 년간 금융 마이데이터가 부각되어 많은 사람들이 마이데이터를 금융 분야의 변화로만 생각하지만, 실제로는 행정/의료/교육 등 다양한 분야에서 마이데이터의 활용을 위한 준비가 진행되고 있음
• 정부는 현재 Health Myway라는 이름으로 2023년 7월부터 의료 마이데이터를 상용화할 예정임
• 의료법에 따라 민간기업에는 개인진료기록을 전송할 수 없기 때문에 민간 기업의 참여는 제외됨
• 보건복지부가 2024년 통과를 목표로 의료법 개정을 추진 중이니 해당 사업은 그 이후가 될 전망

마치며

• 작년 말 뱅크샐러드는 ‘금융 건강 분야에서 중립적으로 초개인화 서비스를 하는 유일한 데이터회사’를 목표로 언급함
• 그러기 위해서는 매스 고객을 더 유입할 방안을 찾아야 함
• 이대로는 다소 마니악한 서비스가 될 가능성이 높음
• 금융과 의료 모두 관(官)의 의사 결정에 따라 크게 방향이 바뀌는 영역인 만큼 이에 대한 대비도 필요
• 수집되는 데이터가 모두 민감하기 때문에 이를 활용한 수익 모델을 어떻게 만들어낼 수 있을지도 고민해야 함

본문 링크

메타버스와 NFT

메타버스

• 메타버스에서는 현실의 나를 대리하는 아바타를 통해 일상 생활과 경제 생활을 영위할 수 있음
• 2022년: 게임이나 SNS에 관련된 제한된 영역에 그침
  • 공간 구현을 위한 연관 기술이 아직 충분한 궤도에 오르지 못했음
  • 가상경제 구현에 필요한 NFT와 디지털 화폐의 실용화에도 한계가 있었음
• 2023년: 하드웨어 기기의 출시와 NFT의 비즈니스 도입 활성화로 상황이 변화할 전망
  • 애플이 1분기 내로 XR(확장 현실) 기기를 선보일 예정
  • 삼성은 MS와 함께 AR 헤드셋을 개발 중, 2024년까지는 출시할 것

NFT

• “크립토 윈터(블록체인 하락세)”
• 그럼에도 불구하고 NFT를 현실 경제와 연결하려는 시도
  • 스타벅스: 웹3과 NFT를 사용해 참여자 보상에 초점을 맞춘 ‘스타벅스 오디세이’라는 새로운 멤버십 서비스 베타 버전을 출시
  • 넷마블, 넥슨, 크래프톤: 자체 코인 및 NFT를 활용해 수익 창출이 가능한 C2E(Create to Earn) 시스템이 접목된 프로젝트를 진행 중

슈퍼 앱

중국의 알리페이와 위챗에서 시작된 모델로, 생태계를 구성하는 여러 기능들을 하나의 애플리케이션에 결합하는 것

등장 배경

• 애플과 구글이 프라이버시 정책을 강화하며, 기업들은 사용자의 다른 서비스에 걸친 활동들을 추적하기 어려워짐
• 고객 빅데이터를 수집하고, 맞춤형 서비스에 활용하기 위해 비교적 제약이 덜한 자체 슈퍼 앱이 주목

⇒ 국내외 기업들은 분야를 막론하고 슈퍼 앱을 주요 전략으로 내세워 버티컬 플랫폼을 중심으로 서비스를 확장 중

활용

• 국외
  • 페이팔(온라인 결제 플랫폼), 우버(승차 공유 서비스)와 같은 B2C
  • HR 솔루션 등의 B2B SW 시장에서도 주목
• 국내
  • 토스, 야놀자, 쏘카 등 대표 테크 기업들이 서비스 라인업을 확장 중
  • 네이버, 카카오를 위시한 빅테크에서 마이데이터와 인증이 활성화되면 더 강력한 위력을 발휘할 것

생성형 AI와 신뢰 가능성

생성 인공지능 모델

• 이용자가 입력한 음성, 텍스트, 이미지를 학습해 스스로 데이터를 만들어내는 모델
• 인간 대신 공모전을 수상한 미드저니, 영어로 텍스트를 입력하거나 이미지를 삽입하면 그림을 만들어주는 DALL-E 2, 대화형 ChatGPT 등

⇒ 동시에 ‘신뢰 가능한 AI’에 대한 관심도 부상

대응

• 우리나라: 인공지능 법안과 가이드라인을 예고하고 발표함으로써 AI 윤리 규제를 시작
• 일부 선진국: 관련 표준을 수립하고, 모니터링하기 위한 기술 및 솔루션 시장이 함께 성장 중
• 출시한 AI 모델이 공정한지 테스트하고 문제를 개선하기 위한 빅테크 기업의 편향성 검증 도구도 존재

⇒ 편향 문제가 나타날 수 있는 이미지를 미리 훈련 데이터에서 제거하는 등 AI의 정확도와 윤리성을 높이기 위한 시도는 지속적으로 발전할 것

적응형 AI

AI 엔지니어링

• AI의 복잡한 의사결정 과정과 블랙박스 문제 등으로 신뢰성 이슈가 발생
• 많은 기업이 AI를 비즈니스에 접목하는 데 어려움을 겪음

⇒ 가트너(2022)는 AI 모델을 프로덕트로 만드는 방법에 대한 프로세스 및 모범 사례인 ‘AI 엔지니어링’을 트렌드로 제시

적응형 AI

• Adaptive AI는 이러한 AI 엔지니어링에서 한 단계 더 나아간 형태로, AI 엔지니어링 중에서 변화 관리 측면을 대폭 강화한 것
• 역동성이 높은 환경에서 실시간 피드백을 사용해, 시스템이 실제 운영 중에도 변화하는 환경에 적응할 수 있도록 학습 관행과 행동을 조정할 수 있는 AI 시스템을 뜻함
• AI를 적극적으로 활용하는 기업들은 로그, 추적, API 호출 등을 활용해 의사 결정
• 데이터를 활용할 수 있을 뿐만 아니라 변화에도 더 유연하게 대처할 수 있게됨

⇒ 가트너는 2026년까지 적응형 AI를 구축/관리하기 위해 AI 엔지니어링을 도입한 기업들은 운영 부문에서 동종 업체를 최소 25%이상 앞설 것으로 예측

모빌리티 영역의 확장

전망

• 모빌리티란 사람들의 이동을 편리하게 만드는 각종 서비스나 이동 수단을 총칭하는 말
• 2023년에는 전기차 보급이 본격화되고, 자율주행차의 전동화가 더욱 진전되어 다양한 커넥티드 카 기술이 결합될 전망
• 자율주행이 자동차에서 농기계, 로봇 등으로 확장되고 있음

스마트 시티와의 연관성

• 모빌리티는 이동성, 연결성이라는 속성으로 인해 스마트 시티와 연계될 수밖에 없음
• 스마트 시티 개발과 운영에 필요한 IoT 인프라와 디지털 트윈 기술부터, 여러 종류의 혁신 교통 수단과 인프라에도 주목할 필요가 있음
• 인천공항은 CES2023에서 공항 실내를 그대로 메타버스로 구현한 스마트시티 미래상을 제시함
• 현대그룹은 에어 택시 등 도심 항공 모빌리티(UAM: Urban Air Mobility) 기체 개발을 본격화하며, 국내 UAM 생태계 조성에 박차를 가할 계획

무선 가치 실현을 위한 앰비언트 컴퓨팅

앰비언트 컴퓨팅(Ambient Computing)

• AI 기반의 IoT 기기 장비가 집 인테리어에 자연스럽게 녹아, 평소 컴퓨터가 어디에 있는지도 인지하기 어려운 상태
• 다양한 장치들이 네트워크를 통해 유기적으로 동작하게 됨을 뜻하는 유비쿼터스 컴퓨팅에서 한 단계 발전한 용어
• 앰비언트 컴퓨팅을 실행하는 기기는 자체적으로 축적한 데이터를 토대로 고객의 상황과 상태를 판단하고, 필요한 작업을 조용히 수행

사례

• 구글, 아마존 등 글로벌 빅테크들이 선도
• 삼성은 calm technology라는 청사진을 제시하고, 이를 구현할 수 있도록 기존의 스마트싱스 기반의 서비스들을 발전시킨 SmartThings Home Life를 선보임
• LG전자는 ‘업(UP) 가전’을 내세워 고객의 사용패턴을 빅데이터로 분석하여, 고객의 니즈와 페인포인트를 만족하는 맞춤형 서비스를 제공하고자 함
• LG전자는 멀티모달 인터페이스 개발에 주력하고 있으며, 향후 이를 가전에 접목해 앰비언트 컴퓨팅을 실현하겠다는 계획

⇒ 가트너는 2025년까지 기업의 60%가 5개 이상의 무선 기술을 동시에 사용할 것으로 전망

지속가능성

ESG

• 환경(Environment) + 사회(Social) + 지배구조(Governance)
• 기업 가치를 지속 가능하게 만드는 모든 기술과 솔루션을 활용하는 것이 ESG 경영이라 할 수 있음
• 지속가능한 기업 가치란 환경, 기업에 관여하는 사람들, 그리고 기업 자체를 모두 포함함
• 2023년부터는 여러 국가에서 발표한 ESG 관련 가이드라인이 본격적으로 시행될 예정임

카카오 화재

• 안산에 데이터 센터를 준공할 예정
• 탄소 배출 감축, 에너지 사용량 절감, 신재생 에너지 설비 도입 등의 친환경 사업을 센터에 적용할 전망
• 리스크 모니터링은 기업의 지속가능성에 중요한 역할을 함

⇒ 가트너는 2023년 AI, SW를 활용해 이상 징후로부터 응용 프로그램과 서비스를 보호하는 디지털 면역 체계가 고려될 것이라는 전망을 발표

결론

• 2023년 가트너가 제안한 메인 기술 트렌드는 지속 가능성
• 경제가 혼란스러운 상황인 만큼 과감하게 투자를 하거나 비즈니스 모델을 혁신적으로 전환하는 기업은 이전보다 나타나기 어려울 것
• 이러한 환경에서 기업들은
  • IT 서비스의 효율성을 높이고
  • 추적 및 분석, AI와 같은 기술을 통해 기업의 지속 가능성을 실현하며
  • 고객이 지속 가능성 목표를 달성할 수 있도록 IT 솔루션을 배치하는 등 효율적인 운영과 고도화에 집중해야 할 것

네이버의 해외 C2C 사업

• 북미 개인간거래(C2C) 플랫폼인 포시마크를 인수
  스페인 중고거래 플랫폼인 왈라팝에 투자
  국내 명품 한정판 거래 플랫폼인 크림과, 일본 패션 플랫폼 빈티지 시티를 운영 중
  프랑스 명품 중고 거래 플랫폼 베스티에르 콜렉티브와 싱가포르 중고 거래 플랫폼 캐러셀 등의 기업에 지속적인 투자

⇒ C2C, 특히 해외 시장에서 사업을 계속해서 확장하는 중. 왜?

• 네이버가 국내와 해외에서 처한 상황은 완전히 다름
• 해외에서는 커머스에 도전하는 수많은 기업 중 하나일 뿐
• 커머스 분야에서 해외로 진출할 때 가장 큰 허들은 해당 지역의 이용자를 확보하는 일
• C2C 플랫폼에 투자 혹은 인수하여 해당 플랫폼의 판매자, 유통 채널, 트래픽 등을 확보

금융권의 '게이미피케이션'

• 최근 금융 앱에 ‘게이미피케이션’을 도입하는 사례가 늘고 있음
• 화면 구성을 심플하게, 고객이 재미있게 투자할 수 있도록 게임 요소를 삽입
• 영국 금융행위감독청은 이것이 유사 도박 행위처럼 될 수 있으니 규제해야 한다고 주장
• 핀테크를 중심으로 거래 체결 축하 메세지, 리워드 제공 등 게이미피케이션과 긍정적 강화 기법을 활용한 금융 앱들이 사용자들에게 호평을 받고 있음
• 그런데 이런 요소들이 고객을 중독시키는 도박과 같다면, 어디까지가 건전한 게이미피케이션인 걸까?

"AI 인턴" 채용

• 미국의 한 마케팅 에이전시가 AI 인턴을 두 명 채용
• 디자인과 콘텐츠 편집을 하며, 이름과 얼굴도 있음
• 경험이 없는 직원이 제공할 수 있는 것과 동일한 수준의 양질의 작업을 생성할 수 있음
• 연봉 6만 달러 이상 받는 직원이 하루 걸려 하는 일을 무려 5분 만에 할 수 있다고 함

LG 전자 무선 TV

• 무선 TV가 세게 최대 가전/IT 전시회 CES 2023의 공식 어워드에서 최고 제품으로 선정
• 화면 주변에 전원을 제외한 모든 선을 없애 TV 주변 공간을 깔끔히 함
• 세계 최초로 4K, 120Hz 무선 전송 솔루션을 탑재
• TV와 약 10m 떨어진 곳에서도 고화질 영상과 소리를 안정적으로 전달하는 무선 전송 기술
• ‘제로 커넥트 박스’ 는 다양한 주변 기기를 연결할 수 있는 AV 전송박스
• 독자 기술로 완성한 무선 AV 전송 솔루션은 기존 와이파이6 대비 최대 3배 이상 빠른 속도로 대용량 데이터를 전송 가능
• 박스를 놓는 위치에 따라 안테나의 송신 방향을 조절할 수 있음
• 장애물을 실시간으로 인식하고 최적의 전파 송/수신 경로를 설정해주는 알고리즘을 탑재
  → TV 본체와 박스 사이에 사람이 움직이며 전파를 가로막아도 부드러운 영상을 즐길 수 있음