加入收藏 | 设为首页 | 会员中心 | 我要投稿 厦门站长网 (https://www.0592zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

数据科学是一种极限运动

发布时间:2021-07-05 20:04:43 所属栏目:大数据 来源:互联网
导读:算法和机器学习模型构成了企业高级分析和机器学习难题的一部分。数据科学家、数据工程师、机器学习工程师、数据分析师和公民数据科学家都需要在这些元素上进行协作,以便为业务决策提供数据驱动的见解。 当数据科学家在他们的笔记本电脑上构建模型时,他们会

算法和机器学习模型构成了企业高级分析和机器学习难题的一部分。数据科学家、数据工程师、机器学习工程师、数据分析师和公民数据科学家都需要在这些元素上进行协作,以便为业务决策提供数据驱动的见解。

当数据科学家在他们的笔记本电脑上构建模型时,他们会将数据工程师创建的数据集下载到他们的机器上,以构建和训练机器学习模型。有时他们会使用本地服务器进行构建和培训,但通常采用的是笔记本电脑。由于笔记本电脑和本地服务器的处理计算能力和内存有限,数据科学家必须对数据集进行采样,以创建更小、更易于管理的数据集。虽然这些样本集可以帮助实现项目,但它们在数据科学生命周期的后期阶段会产生许多问题。

数据过时也成为一个问题。有了这些数据的本地副本,数据科学家们可能会根据不准确的全局快照来构建预测。而在核心的云计算使用更大、更具代表性的样本可以缓解这种担忧。

大数据胜过智能算法

最近,人们对人工智能和机器学习的兴趣激增,这是由于能够在大量结构化、非结构化和半结构化数据上快速处理和迭代(训练和调整机器学习模型)。几乎在所有情况下,机器学习都得益于在更大、更具代表性的样本集上进行训练。

企业可以通过将半结构化交互数据(网站交互日志、事件数据)和非结构化数据(电子邮件文本、在线评论文本)与结构化交易数据(ERP、CRM、订单管理系统)相结合来解锁强大的用例。从机器学习中释放业务价值的关键是拥有结合事务和交互数据的大型数据集。随着规模的扩大,数据通常需要在云端或大型内部部署集群中进行处理。将笔记本电脑添加到混合部署中会在整个流程中造成瓶颈,并导致延迟。

(编辑:厦门站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!