자동화의 미래, 초자동화(Hyperautomation)

우리가 RPA(Robotic Process Automation)에 나오는 로봇, 자동화를 얘기할 때면 늘 두 가지 예측이 등장합니다. 영화 『터미네이터』로 대변되는 디스토피아적인 측면과 영화 『Her』로 대변되는 유토피아(?)적인 측면이 그것입니다. 예술가들은 대개 미래를 비극으로 그리고 과학자들은 낙관적으로 미래를 예측하긴 합니다만, 이 상반되는 두 가지 예측은 경제학자들 이야기입니다.

자동화가 새로운 유형의 작업을 만들어 내고 인간을 단순 반복적인 작업에서 해방시킬 것이라는 긍정적인 주장은 2019년 세계경제포럼(World Economic Forum)^[1]에 기고한 "현대 경제는 최초의 산업혁명 이후 견실하게 임금과 고용 성장을 경험했으며, 자동화가 특정 작업을 수행하는 사람을 대처함에 따라 생산 프로세스에서 인간이 비교 우위를 차지하게 하는 새로운 기술이 등장했다"는 글로 힘을 받았습니다.

하지만 이런 평가는 산업혁명으로부터 200년이 흐른 현재에 살고 있는 경제학자들의 평균적인 평가일 뿐이고, 경제 역사학자이면서 자동화 전문가인 옥스포드 대학의 칼 프레이(Carl Frey) 교수의 당시를 연구한 논문^[2]에 따르면 "산업혁명 후 초기 70년간 임금은 정체되고 식량 소비는 감소했으며, 사람들의 생활 수준은 훨씬 악화되었다. 또한 현대의 모든 일자리의 50% 정도는 10년 내에 자동화될 것"이라고 합니다.

그런가 하면 영화 『레디플레이어원』처럼 사람들은 자기가 하기 싫어하는 일은 하지 않고 가상 세계에서 게임에 전념하기도 합니다. 누구나 기피하는 3D(Dangerous, Dirty, Difficult) 일자리는 없어지고 모두가 하고 싶은 일만 할 수 있는 유토피아가 열릴 것인지도 모르겠습니다. 어떤 주장이 옳은지에 대해서는 알 수 없지만, 200년 전 기계가 옷감을 짜기 시작한 '자동화(Automation)'와는 차원이 다른 '초자동화(Hyperautomation)'로의 변화가 다가오고 있는 것은 확실합니다. 지금부터 어떻게 자동화가 시작되었고 어떤 이유로 초자동화에 대한 요구가 발생했으며 어떤 변화가 일어나게 될지 살펴보도록 하겠습니다.

1단계(2016~2019): 독립형 RPA

2016년 RPA 시장이 활성화되기 시작했습니다. 이때는 주로 비용 절감에 초점이 맞추어져 있었고 CFO나 CIO는 최신 IT로의 투자는 미루고 그보다는 상대적으로 저렴한 RPA 도입으로 응급 처치만 하려던 시기라고 보면 되겠습니다. 많은 경우 비효율적인 기존 프로세스와 시스템을 개선하지 않고 그대로 둔 채 진행하여 기술적 부채를 다수 안고 갔다고 볼 수 있겠습니다.

 ① 2016년부터 2017년까지 순수 RPA 업체들이 다수 생겨나며 RPA 시장이 형성되기 시작했습니다. DPA(Digital Process Automation, 디지털 프로세스 자동화)와 같은 프로세스 업체들과 RPA 업체는 독립적으로 존재하였습니다.
 ② COE(Center of Excellence)가 조직되면서 RPA를 확장하고 관리하는 거버닝이 시작되었고 2018년 정점을 찍었으나 보안, 연결, 확대 적용 시 발생하는 이슈 등을 해결하기에는 역부족이었습니다.
 ③ Low-code라는 용어가 2017년 소개되면서 시민개발자(Citizen Developer 또는 Business Developer)가 주목을 받게 되고, 전문개발자들이 제공해 주는 애플리케이션보다 더 많은 애플리케이션이 필요하다는 것을 인식하기 시작하였습니다.

2단계(2020~2024): 팬데믹 부스터, RPA + α

팬데믹은 자동화에 부스터샷을 놓은 셈이 되었습니다. 노동력 부족 사태로 자동화에 대한 투자가 불가피해졌고 이제 "지능형 자동화(Intelligent Automation)", "초자동화"라는 용어가 나타나기 시작하였습니다. 프로세스 개선 플랫폼이 RPA나 Low-code, 프로세스 마이닝, 태스크 마이닝, OCR 같은 기능을 갖추게 되면 수천 개의 프로세스를 자동화할 수 있게 된다는 것을 깨닫게 된 시기입니다. 그 결과로, 2020년에서 2021년 사이, 많은 프로세스 관련 기업들이 인수합병을 진행하였습니다. Salesforce는 RPA 벤더인 ServiceTrace를 인수했고, SS&C Technologies는 Brue Prism의 지분을 전량 사 들였으며, 마이크로소프트는 Softmotive를 자사 RPA에 추가시켰고, Hyland는 떠오르는 독일 RPA 벤더인 Another Monday라는 업체를 인수했습니다. ServiceNow는, 전에는 소프트웨어 테스팅 업체였으나 최근 RPA 시장으로 포지셔닝을 바꾼 Intellibot을 사들였습니다.

3단계(2023~): 초자동화

실제 최근 몇 년간 기업의 최대 관심사는 RPA였으며 RPA는 자동화의 혁명으로 불리며 폭발적인 성장을 기록하였습니다. 그러나 RPA를 열심히 도입한 기업일수록 다음과 같은 한계에 부딪히게 되었습니다.

① 1세대 RPA 솔루션들은 UI 화면을 기반으로 정보를 스크랩하고 양식을 완성하며 데이터를 이동시키다 보니, 해당 애플리케이션이 UI를 변경하면 이를 자동으로 추적하지 못합니다.
② 프로세스와 봇 매칭 추적 관리가 안 되다 보니, 어떤 봇이 어떤 프로세스에 사용되고 있는지 추적할 방법은 IT관리팀이 엑셀에 일일이 기입해야 합니다. 그러나 RPA의 개념 자체가 Bottom up 방식으로 개인이 민주적으로 자유롭게 봇을 만들어서 활용하라는 취지로 시작한 프로젝트이다 보니, 이러한 작업을 수행한 조직은 거의 없었습니다.
③ 상기 문제점들로 인해, RPA가 비즈니스 애플리케이션의 업데이트를 방해하는 요인이 되었습니다. 단순 UI 변경이라도 RPA가 이를 자동 반영할 수 없다 보니, 관련된 봇을 찾아 일일이 수정 작업을 해 줘야 하는데, 관리가 제대로 이루어지지 않다 보니 작은 업데이트라도 어떤 RPA 봇에 영향을 미칠지 알 수가 없는 것입니다. 실제로 2천 개가량의 RPA봇을 운영하고 있는 동남아 소재 한 대형은행은 RPA 도입 전으로 돌아가고 싶어도 그렇게 할 수가 없는데, 애플리케이션을 변경할 경우 은행의 어떤 업무가 중단되어 버릴지 알 수 없기 때문입니다^[3].
④ 당장의 반복 업무를 자동화하는 일에 급급하다 보니, 개선이 필요한 프로세스를 그대로 유지한 채 RPA를 적용함으로써 미봉책으로 남겨 두고 있습니다. 이는 기술적 부채로 남게 됩니다.
⑤ 애초 기업이 RPA로 기대한 것은 자동화할 수 있는 모든 분야의 자동화였으나, RPA는 정형 또는 반정형 데이터만을 활용할 수 있습니다. 그러나 기업에서 정형 데이터는 20%에 불과합니다^[4]. 실제 기업의 데이터는 구조화·비구조화된 종이·워드 문서, 이메일, 첨부파일, 스캔 이미지, 비디오 콜, 채팅창 내 메시지, SNS 등으로 구성되어 있습니다. 이러한 80%의 비정형 데이터에서 필요한 데이터를 추출하여 정형화할 수 있어야 전체 자동화가 가능해집니다.
⑥ RPA 도입 시 거버넌스 없이 난개발된 경우는 보안 위협도 만만치 않습니다. RPA 봇 안에는 ID 인증정보를 아무 보안 장치 없이 내재한 경우도 많고, 봇이 실행되어도 로그 정보를 남기지 않는 데다가, 취급 데이터 중에는 고객이나 임직원의 개인정보가 포함된 경우도 있습니다. 그러나 시민개발자들은 보안 지식이 부족한 경우가 대부분이라 일관된 보안 프로토콜이 없거나 개인정보 보호 프로세스가 지켜지지 않는 경우가 많았습니다.
⑦ 봇에게 인간의 역할을 대체시킬 경우, 모든 업무 프로세스를 봇에게 시킬 수 있도록 No-code로 하든, Low-code로 하든 일일이 프로그래밍해 주어야 하는데 이 과정이 만만치 않습니다.
⑧ 기업 조직 내부 반발도 무시할 수 없습니다. 기존 단순 반복 업무를 처리하던 RPA는 노동시간 절감, 업무 효율성 증대 측면에서 상당한 내부 호응을 이끌어 냈습니다만, 이는 단순 업무를 주로 담당하는 직군에 비정규직 비율이 높아서 저항이 적었던 것과도 무관하지 않았습니다. 그러나 RPA가 기업의 고난도 업무로 확장되면서 정규직 직원들이 자신들의 일자리를 뺏기게 될까 위협을 느끼기 시작했다는 게 업계 전문가들의 귀뜸입니다^[5].

초자동화(Hyperautomation) 정의

이러한 문제점을 해결하기 위한 방안으로 등장한 것이 소위 초자동화^[6], 지능형 자동화(Intelligent Automation), 지능화 체계(Automation Fabric)^[7]라고 일컬어지는 자동화 고도화입니다. 이하, '초자동화'로 표현하겠습니다. 가트너는 초자동화를 'Rule 기반의 단순자동화에서 프로세스 마이닝, AI, ML, 지능형 OCR 등을 융합하여 기존 RPA 솔루션 한계를 극복하고 End-to-End 자동화를 지원하는 RPA' 또는 '점점 더 많은 프로세스를 자동화하고 인간을 증강하는 데 첨단 기술, 인공지능, 머신러닝을 활용하는 것’이라고 정의했습니다. 여기에는 인간과 디지털 워커와의 심리스한 인터랙션이 포함됩니다. 초자동화는 인간을 아예 배제하는 것이 아니라 인간의 역량을 결합하고 증강해 주는 개념입니다.

초자동화에는 여러 면면이 있어 하나의 예로 설명할 수는 없지만, 기존 자동화와 비교하여 설명을 드리자면 다음과 같습니다. 대화형 AI가 병원 진료 예약을 받는다고 하면, 자동화 관점에서는 음성 데이터를 텍스트 데이터로 전환하고 이를 분류하여 진료 일정을 업데이트하는 수준이라고 하면, 초자동화는 본 예약이 향후 매출 손익에 미치는 영향을 예측하고 필요한 약과 장비 등 리소스 수요 예측을 통해 주문 발주하는 것까지 포함한다고 볼 수 있겠습니다.

초자동화에 필요한 기술

Low-code/No-code 개발 플랫폼

시민개발자가 쉽게 필요한 자동화 산출물이나 Front-end 애플리케이션을 개발할 수 있게 하는 도구

IDP(Intelligent Data Processing)

기업 내 다양한 데이터(음성, 비구조화 문서 등)로부터 컨텐츠를 추출하여 정형데이터로 전환

대화형 AI를 지원하는 Virtual Assistant

챗봇 또는 대화형 AI로 인간과 인터랙션하며 필요한 Input이나 의사결정 데이터 수용

API 라이프사이클 관리

리얼타임 데이터 접근을 위해 API를 생성하고 업데이트하며 프로세스나 봇과의 관계를 관리

프로세스 개선, Discovery-to-Execution

 ① 이벤트 로그를 기반으로 자동화되지 않은 프로세스 발견
 ② 이벤트 로그 등을 통해 프로세스 문제점을 발견하고 이에 대한 최적화 방안 추천
 ③ 상기 추천 받은 최적화 프로세스 안 수용 시 프로세스 자동화 산출물 자동 생성

고도화된 RPA 플랫폼

 ① 오작동을 막기 위해 배포되기 전, 만들고 시도해 보는 기능
 ② 워크로드를 클라우드, 온프레미스, 하이브리드 클라우드 등 어디에나 업로드, 이관, 배포
 ③ AI, ML, OCR, Low-code, 챗봇 등 다양한 툴을 조화롭게 통합할 수 있는 플랫폼
 ④ 물리적 로봇과 RPA 간 연계로 End-to-End 자동화 실현

데이터 체계(Data Fabric)

데이터를 리얼타임으로 받아서 업데이트할 수 있게 하되 사일로화되지 않도록 중앙화

초자동화가 가져올 변화

초자동화로의 도약은 다음과 같은 변화를 불러오게 될 것으로 가트너, 포레스터 같은 리서치 기관들은 예측합니다.

메가 벤더, AI 기반 벤더들의 자동화 시장 진출

SAP, Microsoft, IBM, ServiceNow, Salesforce 등 메가 벤더들이 2020~2021년 RPA 업체를 인수하며 시장에 진출했다고 앞서 말씀드렸습니다. RPA 시장의 낮은 진입장벽, 그에 반해 다양한 이기종 애플리케이션을 통합해 주는 역량, 초자동화로의 비전 등은 메가 벤더들을 RPA로 향하게 했습니다. 이들은 글로벌하게 위치한 사업조직을 활용하여 기존 고객을 공격적으로 공략하고 있습니다. 그들의 기존 오퍼링에 번들로 넣는다든가 매우 저렴한 가격 등을 무기로 활용하며, API 연계도 적극적으로 준비함으로써 API 우선 데이터 관리로 유지보수 비용을 크게 절감시킵니다. 또한 다양한 초자동화 기술 업체들을 인수함으로써 자동화 플랫폼의 경쟁력까지 높여 가고 있습니다.

독립형 RPA 벤더들은 이에 대응하기 위해 API 통합 역량을 여러 방법으로 강화해 나가고 있습니다. 이는 RPA 소프트웨어 시장 성장을 위축시키고 API 관리와 iPaaS 시장을 키울 것으로 예상되고 있습니다. 실제로 가트너는 2026년 RPA 시장은 50억 달러로 잡고 있으나 API 관리와 iPaaS 시장은 각각 60억 달러, 110억 달러로 성장할 것으로 예측하고 있습니다^[8].

여기에 2023년에는 AI 기반 업체들마저 RPA 시장에 진출할 것으로 보입니다. 대화형 AI, AI가 가미된 프로세스 마이닝, AI 기반의 IDP(Intelligent Document Processing) 등 AI가 초자동화의 근간이 되다 보니 AI 기반의 벤더들이 초자동화 시장에 침투하기 시작할 것으로 보입니다. 이들은 챗봇 워크플로우, 의사결정 컴포넌트, 텍스트 분석 등의 차별화 포인트를 앞세워 기존 RPA 업체들과 효과적으로 경쟁하며 시장을 공략할 것입니다.

그러나 이처럼 강력한 무기를 탑재하고 시장에 진출하는 다양한 벤더들로 인해 RPA 시장은 갈수록 레드오션화될 것으로 보입니다. 실제 2021년 Top 5 RPA 업체 중 시장점유율이 증가한 업체는 UiPath 하나에 불과합니다. 상황이 이렇다 보니 수많은 RPA, 프로세스 마이닝 독립 벤더들이 인수되고 있습니다.

기업 내 IT 소프트웨어 구매는 IT 조직이 아닌 현업에서 의사결정

2023년 경기침체와 엔지니어 부족 현상으로 인해 기업은 생산성 압박을 더욱더 받게 될 것이고 이는 자동화에 대한 수요를 촉진시킬 것입니다. 또한 디지털 트랜스포메이션에 대한 기업 니즈도 초자동화에 대한 수요를 촉발할 것이며 이는 현업 담당자들이 어떻게 비즈니스를 변화시키고 성과를 낼 것인지에 초점이 맞춰 지면서 현업의 IT에 대한 관심이 증가하게 되고 소프트웨어 구매 의사결정에도 관여하게 할 것입니다.

2026년까지 고객에게 제공되는 서비스의 80%는 디지털 워커에 의해 수행

이미 보험과 은행 업계는 이러한 가상 고객 비서를 적용하고 있습니다. 일례로 레모네이드 보험사는 보험금 청구 봇, AI Jim을 개발하였고 AI Jim은 3초 만에 보상금 처리작업을 완료하면서 세계 신기록을 세웠습니다. 은행 계좌 개설, 모기지 승인, 소포 배송, 신차 디자인, 신상 화장품 개발 등에 이미 이러한 봇이 활동하고 있습니다.

비정형 데이터까지 소화

수기로 작성된 문서, 복잡하고 비구조화된 문서, 이메일, 첨부파일, 스캔 이미지, 전화, 문자 등 다양한 데이터들을 소화한다는 것은 너무나 복잡하고 어려운 일처럼 보입니다. 그러나 서명 검증 툴, OCR, IDP(Intelligent Data Process) 플랫폼, 대화형 AI, NLU(Natural Language Understanding), 기계번역 기술 등을 이용하여 데이터를 추출해 내고 이를 정형화하여 처리한 뒤, NLG(Natural Language Generation), 대화형 AI, 감정 지능 기술 등을 이용해 엔드 유저와 커뮤니케이션하는 등 비정형 데이터를 활용한 쌍방향 소통 및 자동화가 가능해질 것입니다.

네트워크 운영 자동화

기업의 네트워크 자동화는 최근 몇 년간 느리지만 꾸준히 증가해 가고 있습니다. 아직도 65%~79%의 네트워크 작업은 수작업으로 수행되고 있기는 하지만^[9] 기업이 점차 Software-defined WAN으로 업그레이드해 나감에 따라 점점 네트워크 운영 자동화 비율은 높아질 것입니다.

IT 인프라 및 오퍼레이션 팀이 처리하는 SR(Service Request)의 30%가 자동화될 것

현재 5%에 불과한 SR 처리 자동화 비율이 2025년에는 30%까지 증가할 것입니다. 다만 여기에는 고객 이탈과 같은 위험 요인이 공존하므로 이를 최소화하기 위해서 고객만족도, 고객 이탈률, 유지율, 전환율 등을 같이 관리해야 할 것입니다.

프로세스 개선 자동화

RPA는 프로세스 최적화가 선결된 후에 실행되어야 효과적이라고 말씀드렸습니다. RPA와 프로세스 마이닝은 뗄래야 뗄 수 없는 관계입니다. 이상적인 프로세스 마이닝이란 실시간 이벤트 로그를 표준 모델과 비교하여 적합도를 상시 검사하고 Rule 기반 이상 상황을 감지하여 경보를 보내고, 설정된 시간마다 프로세스 맵, KPI, 그래프나 테이블이 갱신되어 업무 진행 현황 모니터링이 자동화된 일상 업무로 수행되는 것입니다. 그러나 현실에서는 프로세스는 너무 High-level로 운영되는 데다가, 프로세스를 RPA 툴에 매핑하는 PDD(Process Description Document) 작업 비용이 너무 높아 전체를 수행할 수 없어 다수의 맹점이 나타나다 보니 정확도가 떨어져 자동화하기도 어려웠습니다.

그러나 RPA로 인해 UI 스크래핑 방식 등으로 데스크탑 레벨의 프로세스를 캡처하는 태스크 마이닝이 활성화되다 보니, 이러한 태스크 마이닝을 기반으로 하는 프로세스 마이닝이 발달하게 되었고 여기에 AI, ML을 가미하여, 자동화할 프로세스를 찾아내고 최적화 방안까지 추천하며, Pre-built 프로세스 자동화 산출물을 이용하여 바로 자동화까지 실행시켜 주는 Discovery-to-Execution 방식으로 진화하면서 프로세스 자동화와 Low-code 간 경계는 모호해질 것입니다.

물리적 로봇을 RPA와 통합

상당수의 기업은 물리적 로봇을 주류로 통합시킬 것으로 보입니다. 유럽 등 대부분의 선진국들은 인구가 감소하고 있고 일본의 노령화는 아시다시피 고질적인 사회문제이고 중국마저 2025년부터 인구감소를 경험하게 될 것이라고 합니다. 상황이 이렇다 보니 로봇 일꾼에 대한 니즈가 갈수록 높아지고 있습니다. 택배, 헬스케어, 식품, 제조 등의 업종에서는 포장하고 분류하고 운반하는 로봇 택배원, 환자를 돌보고 힘들고 무거운 식품 처리를 전담하는 협동 로봇, 로봇 경비원, 무거운 자재를 운반하고 조립하는 산업용 로봇, 현장 점검 드론 등을 적극적으로 도입하게 될 것입니다. 이러한 로봇들은 기존 로봇들과는 달리 고립된 형태가 아니라 소프트웨어 봇으로 연결되어 CoE의 관리 범위 안에 들어오게 될 것입니다. 즉, 로봇을 인간이 수작업으로 작동시키는 것이 아니라 프로세스 자동화에 의해 자동으로 작동되고, 로봇 작업 결과를 받아 이후 프로세스가 작동되는 자동화의 일부로 구성될 것이라는 말입니다. 기업들은 전담 로봇팀을 두게 될 것이고 Robots as a Service도 등장할 것으로 보입니다.

직원 경험(EX, Employee Experience)이 자동화의 주요 동인으로 작동

이전에는 경비 절감을 최우선 목적으로 자동화를 진행했다면 팬데믹 이후에는 부족한 노동력과 내부 직원 경험을 개선하기 위한 용도로 자동화가 추진될 것입니다. 직원의 감정 지능(Emotional Intelligence), 추론, 판단, 고객 소통 역량을 강화하기 위한 수단으로 자동화를 활용하게 되고 이는 리쿠르팅과 직원 유지에 매우 중요한 요인을 차지하게 될 것입니다.

Low-code 개발 플랫폼 수요 폭발

2023년은 경기 침체와 소프트웨어 엔지니어 부족, 빠른 개발 속도에 대한 니즈, 개발 민주화, 초자동화로의 전환 등으로 인해 Low-code에 대한 수요가 폭발적으로 증가하는 한 해가 될 것으로 보입니다. 개발 민주화로 인한 사람, 프로세스, 기술상의 문제를 해결하는 거버넌스, 코디네이션, 조직구조가 안정화되기 시작할 것이고 이를 효과적으로 해결하는 벤더들이 다수 출현할 것입니다. 가트너는 2026년까지 Low-code로 개발된 애플리케이션이 75%에 달할 것으로 전망하고 있습니다^[10].

Conclusion

이렇게 초자동화가 어떤 모습으로 구현될지 예상해 보았습니다. 문제는 이러한 초자동화 솔루션을 아직 구매할 수는 없다는 것입니다. 자동화 관련 벤더들이 본인들의 솔루션을 초자동화 솔루션으로 표방하고 각각의 기술들을 직접 개발하거나 인수하는 등의 노력을 경주하고 있기는 하지만 어느 벤더도 상기 초자동화 기술을 하나로 매끄럽게 통합된 End-to-End로 구현한 형태가 아닌 산재된 형태로 보유하고 있을 뿐입니다. 그러므로 각 기업의 테크니컬 리더는 초자동화를 염두에 두고 자동화 플랫폼 업체를 선택해야 할 것입니다.



References
[1] Daron Acemoglu and Pacual Restrepo, "There volution need not beautomated", 2019. 4. 3
[2] Carl Benedikt Frey and Michael A. Osborne, "The future of employment : How susceptible are - jobs to computerixation?", 2013. 9. 17
[3] NextDaily, [테크리포트] 왜 다시 RPA인가 ① 1세대 RPA, 업그레이드가 필요한 이유, 2022. 7. 1
[4] LG CNS 블로그, 비정형도 자동화? AI와 만난 RPA ‘하이퍼오토메이션’, 2021. 1. 18
[5] 디지털데일리, [기획/2021 금융IT (完)] 거침없이 달려왔던 로봇업무자동화(RPA)… 왜 주춤해졌을까, 2021. 10. 4
[6] Gartner에서 2019년말, Gartner Top 10 Strategic Technology Trends for 2020을 발표하면서 소개한 용어로 머신러닝과 패키지화된 RPA로 자동화 기술이 발휘되는 모든 단계를 포함하는 개념으로 설명함
[7] Forrester가 2021년 6월 발표한 Automation Is The New Fabric For Digital Business 보고서에서 나온 용어로, Automation이 디지털 비즈니스를 위한 새로운 체계(Fabric)라고 언급하며 RPA, iPaaS, 프로세스 지능화, 챗봇, ML 등의 집합체라고 소개함
[8] 가트너, Forecast: Enterprise Infrastructure software, worldwide, 2020-2026, 3Q22 Update.
[9] 가트너, Forecast Analysis: Hyperautomation Enablement Software, worldwide, 2022. 10
[10] 2021년 기준 low-code로 개발된 애플리케이션은 40% from 가트너, Low-code development technologies, worldwide, 2022. 10. 27