大数据基础知识【大数据导论】

news/2024/7/8 10:49:12 标签: 学习, 大数据, 经验分享
各位大佬好 ,这里是阿川的博客,祝您变得更强

在这里插入图片描述 个人主页:在线OJ的阿川

大佬的支持和鼓励,将是我成长路上最大的动力在这里插入图片描述

阿川水平有限,如有错误,欢迎大佬指正在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据基础知识前 必看
大数据导论】—大数据序言
大数据导论】—大数据、人工智能、云计算、物联网、区块链序言

目录

大数据素养

技术性内容

  • 采集
  • 处理
  • 储存
  • 分析
  • 技术
  • 工具
    在这里插入图片描述

非技术性内容

大数据基本知识

在这里插入图片描述

  • 其中大数据交易
    买卖数据的活动,是以货币为媒介 获取数据商品的过程
    在这里插入图片描述
    数据商品三大特征

    • 处理后的数据才能交易
      在这里插入图片描述
    • 数据交易主体涉及众多
      在这里插入图片描述
    • 交易过程涉及多个产业链
      在这里插入图片描述
      大数据交易形式
      • 大数据交易公司
        在这里插入图片描述
      • 提供个人数据场所公司
        在这里插入图片描述
      • 数据交易所
        在这里插入图片描述
      • API模式
        用户提供接口允许用户对平台数据进行访问
        在这里插入图片描述
        大数据交易技术支撑
        在这里插入图片描述
        大数据交易发展现状
        在这里插入图片描述
        大数据数据来源
        • 政府公开数据
        • 企业内部数据
        • 数据供应方数据
        • 网页爬虫数据
          在这里插入图片描述
          大数据数据产品类型
          • API
          • 数据包
          • 云服务
          • 解决方案
          • 数据产品
          • 数据定制服务
            在这里插入图片描述
            大数据交易平台类型
            • 综合数据服务平台
              为用户提供定制化的服务,涉及数据的处理和加工
            • 第三方数据交易平台
              对交易过程进行监管,并提供数据出售、数据购买、数据供应方查询、数据需求发布等一系列服务
              在这里插入图片描述
              从运行角度划分
              • 政府主导的大数据交易平台
              • 企业以市场需求为导向建立的大数据交易平台
              • 产业联盟性质的大数据交易平台
                在这里插入图片描述
                大数据交易平台的运营模式
                数据中介数据处理加工功能的交易平台
                在这里插入图片描述
                只具备中介功能的交易平台
                在这里插入图片描述
  • 其中大数据思维
    在这里插入图片描述
    大数据思维主要指

    • 全样而非抽样
      在这里插入图片描述
      因为有了分布式储存和处理技术,从而可以对全部的数据进行分析而不是只能对小样本处理
    • 效率而非精确
      在这里插入图片描述
      处理数据时往往要"秒级"响应,所以效率往往是被关注的重点,分析的精确度达到一定的程度即可。
    • 相关而非因果
      在这里插入图片描述
      解释事物背后发展的机理
      预测未来可能发生事件
    • 以数据为中心
      在这里插入图片描述
      海量的数据进行计算,从而推测结果
    • 我为人人,人人为我
      在这里插入图片描述
      其中涉及
      • 数据采集
      • 数据处理
      • 信息发布
        在这里插入图片描述
  • 其中大数据安全
    重点关注数据

    • 保密性
    • 完整性
    • 可用性
      在这里插入图片描述
      大数据安全的隐患
      • 大数据成为网络攻击的显著目标
        在这里插入图片描述

      • 大数据加大隐私泄露风险
        在这里插入图片描述

      • 大数据技术被应用到攻击手段中
        在这里插入图片描述

      • 大数据成为高级可持续攻击的一个载体
        在这里插入图片描述
        大数据安全的变化

        • 静态安全到动态安全
          在这里插入图片描述
          大数据安全范围
          • 隐私和个人信息安全
            在这里插入图片描述
            其中包含个人的
            在这里插入图片描述
  • 其中大数据伦理

    • 个人信息被无形滥用
      在这里插入图片描述
    • 生活隐私被窥探利用
      在这里插入图片描述
    • 数据安全漏洞
      在这里插入图片描述
    • 数据垄断
      在这里插入图片描述
  • 其中数据共享
    不数据共享会导致

    • 数据孤岛
      政府和企业里各个部门各自储存数据,部门之间的数据无法共通,导致数据像各个孤岛一样缺乏关联性
      在这里插入图片描述
      数据共享意义
      • 对于政府\企业意义
        在这里插入图片描述
  • 其中数据开放
    数据开放三大理论
    在这里插入图片描述

好的,到此为止啦,祝您变得更强

在这里插入图片描述
想说的话

学习来源厦门大学林子雨老师的 大数据导论》(反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写)
实不相瞒,写的这篇博客要写五个小时以上(加上自己学习和纸质笔记,共七小时吧),很累希望大佬支持一下

在这里插入图片描述

道阻且长 行则将至
个人主页:在线OJ的阿川大佬的支持和鼓励,将是我成长路上最大的动力 在这里插入图片描述

http://www.niftyadmin.cn/n/5537128.html

相关文章

从我邮毕业啦!!!

引言 时间过的好快,转眼间就要从北邮毕业了,距离上一次月度总结又过去了两个月,故作本次总结。 PS: https://github.com/WeiXiao-Hyy/blog整理了后端开发的知识网络,欢迎Star! 毕业🎓 6月1号完成了自己的…

sqlserver 修改库 取消大小写,无视别的线程使用

将数据库设置为单用户模式,然后再次尝试修改排序规则: 避免修改失败! USE master; ALTER DATABASE 数据库名称SET SINGLE_USER WITH ROLLBACK IMMEDIATE; ALTER DATABASE 数据库名称COLLATE Chinese_PRC_CI_AS; ALTER DATABASE 数据库名称SET MULTI_USE…

MViT(ICCV 2021, Meta)论文解读

paper:Multiscale Vision Transformers official implementation:https://github.com/facebookresearch/SlowFast 背景和出发点 这篇文章提出了多尺度视觉Transformer(Multiscale Vision Transformers, MViT)的概念&#xff0c…

SQLite 附加数据库

SQLite 附加数据库 SQLite 是一种轻量级的数据库管理系统,因其小巧、快速和易于使用而广受欢迎。在 SQLite 中,可以将多个数据库文件附加到单个数据库连接中,从而允许用户在不同的数据库之间轻松切换和操作数据。本文将详细介绍如何在 SQLite 中附加数据库,并探讨其使用场…

如何在 Odoo 16 网站中创建通用控制器

在Odoo中,通常网站表单允许用户输入数据,提交后会调用相应的控制器,并在控制器指定的模型中创建记录。 在这篇博客中,我们将创建一个通用控制器,可用于在提交表单时在任何模型中创建记录。 1. 首先,我们必须创建一个带有输入字段的网站表单。 <template id="ge…

flask项目部署总结

这个部署的时候要用虚拟环境&#xff0c;cd进项目文件夹 python3 -m venv myenv source myenv/bin/activate激活 之后就安装一些库包之类的&#xff0c;&#xff08;flask&#xff0c;requests,bs4,等等&#xff09; 最重要的是要写.flaskenv文件并且pip install 一个能运行…

将带有 商店idr 商品信息的json导入到mongodb后,能不能根据商店id把所有商品全部提取并转为电子表格

当您已经将包含商店ID&#xff08;如realMallId&#xff09;的商品信息导入MongoDB后&#xff0c;确实可以轻松地根据商店ID提取所有相关商品信息并转换为电子表格&#xff08;例如Excel&#xff09;。这里是一个简化的流程&#xff0c;使用Python的pymongo库来查询MongoDB&…

【笔试记录】腾讯音乐 | 20230903 | cpp (更新ing)

1 完美数 1.1 题目描述 小红定义一个数为“完美数”&#xff0c;当且仅当该数仅有一个非零数字。例如 5000, 4, 1, 10, 200 都是完美数。 小红拿到了一个大小为 n&#xff08;2 < n < 2000&#xff09;的数组 a&#xff0c;她希望选择数组中的两个元素&#xff08;1 …