易商讯
当前位置: 首页 » 网络 » AI » 正文

实在智能全网首发IPA模式及智能屏幕语义理解技术|开启RPA可视化

放大字体  缩小字体 发布日期:2023-01-02 22:02:22
导读

12月7日,国内人工智能行业准独角兽“实在智能”2022冬季新品发布会重磅登场:“蝶变·新番”“带来一场震撼行业的RPA发布会!打破传统,变革模式。本次发布会从功能和体验两个维度带来了实在的“科技与狠活”,一言以蔽之:“一款真正人人可用的RPA。实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和

12月7日,国内人工智能行业准独角兽“实在智能”2022冬季新品发布会重磅登场:“蝶变·新番”“带来一场震撼行业的RPA发布会!打破传统,变革模式。本次发布会从功能和体验两个维度带来了实在的“科技与狠活”,一言以蔽之:“一款真正人人可用的RPA。

实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术

创业四年,实在智能始终秉持“AI赋能商业”的初心,坚定相信人机协同及超自动化时代的美好未来。凡事必作于细,也必成于实,致力于不断突破传统RPA的天花板,降低大众人群上手数字化工具的门槛,提升用户体验。

新模式:沉浸式搭建超自动化流程的IPA模式

新技术:智能屏幕语义理解技术(ISSUT)

沉浸式搭建超自动化流程的IPA模式,彻底打破RPA软件应用门槛,开启RPA“可视化窗口”时代:

相信大家正在用手机阅读这篇文章,那么不知您是否还记得2007年苹果公司的iPhone首次发布会。触屏手机的发明彻底改变了手机和消费电子产品行业,大幅降低手机的使用门槛,让手机全面普及,推动了移动互联网时代的爆发。这是一个用技术颠覆行业,并让全社会受益的经典案例。

沉浸式搭建超自动化流程的IPA模式,由“专家模式”迈向“小白模式”

传统RPA软件,其实是一种“专家模式”。即,用户如果想配置自动化操作,必须要先学会如何使用RPA软件,进而才能在RPA软件与业务软件之间不断切换,逐步以“拖拉拽”或“写代码”的方式,完成自动化流程配置。

而实在RPA的IPA模式,则完全不同,简言之这是一种“小白模式”。用户不需要额外学习使用实在RPA,也完全不需要“拖拉拽”或“写代码”,按照正常流程直接操作业务软件即可。

每当鼠标悬停,实在RPA会自动推荐(并可在线学习优化推荐)此处可以/可能进行的自动化操作。

每当鼠标点击,该步操作自动转为自动化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的数字员工。

传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”

实在RPA的IPA模式,类似触屏手机的颠覆式创新,彻底推平了横亘在用户面前,导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”,带来了真正的人人可用,实现“打开就能用、入门就上手”。

不妨来听听行业专家、专业用户提前尝鲜体验的反馈集锦:

震撼一:沉浸式的超自动化体验,识别一切,操作一切

· 不再需要传统RPA软件的“流程画布”,把“更大,更宽,更全面”的电脑屏幕留给用户。

· 不再需要传统RPA软件的“拖拉拽”,鼠标悬停+鼠标点击,即可完成自动化流程配置。

· 不再需要传统RPA软件与应用软件之间所必须的频繁切换,基于对所有屏幕元素的识别和理解,以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互,实现在超自动化的元宇宙中快速打造数字员工。

震撼二:所见即所得的操作,一看就会,一用就对

无需学习:不用理解和记忆“组件/元素/变量”,不用“拖拉拽”,不用“写代码”。

无需思考:

· 鼠标悬停,马上弹出可能的自动化操作推荐列表

· 鼠标框选任意图像区域后,马上弹出可能的AI能力推荐列表(文字识别等)

· 支持基于场景和动作的在线学习,用得越多越“聪明”,推荐越准。

无需转化:鼠标点击,马上在“流程窗”中自动生成自动化流程。

自动理解上千种图标含义复杂页面结构并预测推荐自动化操作

为了更清晰、更全面地展示IPA模式的强大功能,这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。任何直接对数据表的操作,不仅包括,插入行或列,写入单元格或区域内容,自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等。

甚至是,复杂的数据透视操作。都会在右侧“流程窗”中自动生成自动化流程,并自动忽略无效步骤,且可以直接运行。这种所见即所得的数字员工搭建方式,大幅提升数据采集和处理效率,降低了数据自动化处理门槛。

对Excel的人工操作自动生成简洁可执行的自动化流程。基于以上模式,以某客户真实场景的Excel自动化操作需求为例:

使用传统RPA:相对资深的RPA开发工程师需花4个多小时,通过50多个组件才能完成搭建。

使用实在RPA的IPA模式:无需RPA开发工程师,业务人员自身只需短短6分钟左右即可完成,“流程窗”中生成的动作只有32个,前所未有地提升了工作效率。同时,IPA模式还支持对复杂页面数据结构的自动分析,实现一键采集整个表格数据。

二、创新技术:国产自研,行业首创的智能屏幕语义理解技术

本次发布会上,实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术(ISSUT:Intelligence Screen Semantics Understanding Techonology)。

产品是表,技术是里。

用心优化,用AI改变。

看到这里,相信大家已经领略了IPA模式的神奇和惊艳,下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”:

Action 1:识别屏幕

1、融合拾取3.0技术:使得“元素”皆可拾取

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。

基于CV技术的融合拾取,支持无差别识别各类软件

实在智能在2022年3月31日“AI你所爱 新益求新”发布会中全行业首发了“融合拾取3.0”技术,高效精准地解决了复杂元素的识别和操作。

融合拾取技术持续快速迭代,精度速度大幅提升

在前期工作基础上,本次发布的ISSUT技术,解决了“何为元素、能否识别”等问题,只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。这是实现智能屏幕语义理解的第一步,也是实现RPA真正人人可用的第一步!

2、动态元素匹配技术:使得“元素”一键适配

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。当文字内容或图标外观发生了改变时, RPA机器人有可能会找不到之前的元素。这时就是动态元素匹配技术的用武之地:

· 借助AI算法,轻松处理元素变化情况

· 一次识别,永久适配

Action 2:理解屏幕

1、页面结构分析技术:既能检得更小,也能看得更大

举个栗子:

当我们使用聊天软件的时候,人可以轻松理解软件界面(电脑屏幕),知道哪里是消息列表,哪里是对话输入框……那么问题来了,RPA机器人如何准确、快速、更好地模拟人工操作呢?

为此,我们引入了页面结构分析技术,使得实在RPA在“认识屏幕”之外,更可以“理解屏幕”,并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点:

· 页面图神经网络分析

· 动态缩放自适应

· 区域内容填充识别

通过页面结构分析技术智能理解聊天软件界面

2、屏幕语义抽取技术:隔屏取物,懂你所见

这项技术,使得IPA模式真正像人一样理解屏幕的每一个部分,将我们的办公直觉投射到屏幕上,实现真正的所见即所得:

在VR中,我们可以隔空取物;在实在RPA的IPA模式中,我们可以隔“屏”取物——即,鼠标的每一次滑动,背后的AI算法都将瞬间完成一次计算,分析出屏幕中元素和区域的含义并且推荐相应的自动化操作:

· 当鼠标滑过一个浏览器图标,AI就知道它能用来打开网页和搜索新闻;

· 当鼠标滑过一个对话框,AI就判断可以输入文字并发送消息;

· 当鼠标框选一个包含各种文字的区域,AI就知道可以进行文字识别及抽取。

Action 3:操作预测:

1、多模态意图预测从“头秃想想想”到“自如点点点”

对于传统RPA(“专家模式”)RPA开发工程师往往需要从一堆的组件中找到一个想要的组件,通过“想想想+拖拉拽”完成自动化流程配置;

对于实在RPA(“IPA模式/小白模式”)多模态意图预测技术,可以支持通过多模态识别和序列上下文挖掘等方法,精准预测用户的每一个操作意图,抹平了从业务场景操作到RPA组件之间的理解鸿沟:

· 用户的每一次点击就是一次拾取;

· 用户的每一步操作都在配置流程。

应用软件操作回到台前,RPA开发退回到幕后,实现二者的真正分离。

2、业务感知推荐:理解场景,操作业务

结合表格检测、场景预测和自然语言处理技术,实在RPA的IPA模式。不仅可以,自动推荐原子级操作(点击图标、输入文字、鼠标移动);还可以,基于业务场景理解,自动推荐业务级操作:

· 打开网站登录页面,鼠标划过登录区域,自动推荐「智能登录」操作;

· 打开商品列表页面,鼠标划过任何带有数据区域,自动推荐「数据采集」操作。

通过多模态意图预测技术,感知业务场景并推荐自动化操作

Action 4:在线学习

本次发布会还有一个功能彩蛋:实在RPA的IPA模式支持在线学习和迭代优化。这也正是AI产品的魅力之所在!根据用户的反馈,算法模型将通过在线学习技术和自动优化机制,能够记住选择和喜好,用的越多,推荐越准。

值得一提的是,所有模型算法都内置在用户本地办公环境,操作习惯和数据均不会通过网络上传,并且配置有防护机制,最大限度地保护用户数据隐私安全。从这个意义而言,实在RPA的IPA模式:

· 不仅是人人可用的沉浸式超自动化流程配置模式,更是千人千面的个性化数字员工搭建工具。

· 通过技术的“仪式感”,让每个人都拥有专属的、尊重数据隐私的超级自动化产品。

“蝶变”意味着破茧而出,羽化成蝶。本次发布会选此作为主题,寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶,真正实现RPA成为人人可用——也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段。越过山丘,IPA模式引领超自动化全新时代。

关键词: 人工智能 AI
 
(文/小编)
免责声明
• 
本文实在智能全网首发IPA模式及智能屏幕语义理解技术|开启RPA可视化链接:http://www.esxun.cn/internet/86870.html 。本文仅代表作者个人观点,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们,我们将在24小时内处理完毕。如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
 

Copyright © www.esxun.cn 易商讯ALL Right Reserved


冀ICP备2023038169号-3