在线咨询

博客

机器学习监测哪几类异常?实际生活中如何应用

2022-05-10来源:CSDN圣普伦官方号

机器学习最广泛的应用之一是异常监测,寻找和识别异常有助于防止欺诈、对手攻击和网络入侵,保证网络安全。

今天圣普伦将和大家聊聊,机器学习是如何监测异常的。

什么是异常?

不符合正常状态的情况,或者偏离常规标准过远的数值。比如说,数据突然狂飙或者疯狂下跌;错误报警、温度突然升高,出现很大的噪音,或者无限循环;

导致异常的原因可能是数据预处理错误,也有可能是病毒攻击、人为进行远程欺诈、入侵等等。

遇到异常,你的第一反应是想把问题揪出来,然后胖揍它一顿。最常见的是资金方面,假如你在同一天内,你的账户连续被扣款,这是不符合常规的,因为你平时不会在一天内多次消费巨款。这时,机器学习监测到行为异常后,它会

判断为“欺诈”,并阻止扣款,从而保证你的财产安全。

异常的类型

机器学习工程师通常会遇到哪些异常或异常:

1、全球异常值

当一个数据点与数据集内的其他数据值有很大偏差的时候,全球异常值就出现了。换句话说,这个异常千载难逢。

比如,你的银行账户每个月收入1万元,连续很多年都在一定的范围内保持稳定。但是,突然有一天,你的账户进账1亿,机器学习判断为“全球异常”

2、上下文异常值

上下文异常,说的是机器学习将会通过上下文(比如环境、最近发生的事件)综合分析数据异常。比如,一家餐厅在节假日的时候,流量翻几倍是正常的,但是如果在一个平平无奇,什么事都没有发生的一天,后台营收数据暴涨几

倍,那应该就是出现了上下文异常。

3、集体离群值异常

当不是一个,而是多个数据偏离正常标准值过远时,我们称为集体离群值异常。比如,一家公司破产,是正常的,但是同一段时间内,大量企业破产,那就是不正常的。

为什么需要机器学习来进行异常检测?

企业每天都产生大量的数据,用户点击数据、交易数据、对话数据、跳出数据等等,而人力是有限的,我们难以从浩如烟海的数据里提取出最有价值的数据,但机器学习可以。

另一个问题是数据经常是非结构化的,乱糟糟一堆,比如商业文件、电子邮件和图像等内容,面对它们,如何收集、整理、分析,任何一个人都表示头大,更不用说通过数据发现异常了,这个工作就可以交给机器学习去做,通过算

法,它的效率是人类的N倍。

异常检测的实际应用

1、入侵检测

网络入侵,比如非法盗取客户信息,获取敏感文件信息,机器学习可以时刻进行检测,获取潜在的恶意流量报告。如果检测到可疑活动,IDS 软件会向团队发出警报。比较典型的应用是思科系统和MсАfee 软件。

2、欺诈检测

机器学习欺诈检测有助于阻止金融诈骗。银行、信用合作社和保险公司都使用欺诈检测软件。比如,银行在决定是否划掉你账户中的资金前,它会先回顾一遍你的贷款应用程序,当检测到支付文件具备欺诈性(对方账户异常、在境

外、有风险),它将会提醒客户账户存在风险,谨慎支付。

3、健康监测

机器学习在医疗领域发挥了重要作用,尤其是在疾病检测诊断行业,机器学习使用数以万计的例子来进行训练和学习,她们的诊断报告有时候比拥有20年行医经验的医生还准确。

4、缺陷检测

这个通常应用在制造领域,比如汽车制造、飞机制造等。这些设备,如果出现1个零件错误,不仅仅会造成经济损失,还有可能会酿成事故。机器学习则可以用于检测各个细节是否存在缺陷,如发动机温度是否过高、燃油量是否充足。

今天就精通异常检测!

总的来说,机器学习是检测异常必不可少的一项技术,从入侵检测到欺诈检测再到医学诊断、缺陷检测,机器学习都可以自动检测和改进异常检测,将潜在的风险事故扼杀在摇篮里。

如果你计划在机器学习领域深耕,可以参加simplilearn圣普伦的机器学习训练营,课程包括58小时的应用学习、互动实验室、4个实践项目和指导,通过圣普伦机器学习认证培训,你将会掌握机器学习认证考试所需的机器学习知识,比

如数据预处理、异常监测、监督学习和无监督学习、时间序列建模、回归以及文本挖掘等。