当前位置:网站首页 / Spark

详解如何使用Spark和Scala分析Apache访问日志

详解如何使用Spark和Scala分析Apache访问日志

安装首先需要安装好Java和Scala,然后下载Spark安装,确保PATH和JAVA_HOME已经设置,然后需要使用Scala...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 详解Java编写并运行spark应用程序的方法

    详解Java编写并运行spark应用程序的方法

    我们首先提出这样一个简单的需求:现在要分析某网站的访问日志信息,统计来自不同IP的用户访问的次数,从而通过Geo信息来获得来访用户所...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 详解IntelliJ IDEA创建spark项目的两种方式

    详解IntelliJ IDEA创建spark项目的两种方式

    Intellij是进行scala开发的一个非常好用的工具,可以非常轻松查看scala源码,当然用它来开发Java也是很爽的,之前一直在用sc...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 解析spark源码yarn-cluster模式任务提交

    解析spark源码yarn-cluster模式任务提交

    目录一,运行命令二,任务提交流程图三,启动脚本四,程序入口类org.apache.spark.deploy.SparkSubmit五,org...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 解决java.util.NoSuchElementException异常的问题

    解决java.util.NoSuchElementException异常的问题

    java.util.NoSuchElementException报错的行数是一个scnner的next,本来和老师讨论了半天没有...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 简要了解Hadoop集群技术与Spark集群技术的对比

    简要了解Hadoop集群技术与Spark集群技术的对比

    Hadoop:分布式批处理计算,强调批处理,常用于数据挖掘、分析。Spark:是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速,Spark是一种与Hadoop相...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 简单总结Hadoop和Spark集群技术的不同点

    简单总结Hadoop和Spark集群技术的不同点

    谈到大数据,相信大家对Hadoop和ApacheSpark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 深入了解SparkSQL的运用及方法

    深入了解SparkSQL的运用及方法

    目录一:SparkSQL1.SparkSQL简介2.SparkSQL运行原理3.SparkSQL特点二、SparkSQL运用一:SparkS...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 浅谈七种常见的Hadoop和Spark项目案例

    浅谈七种常见的Hadoop和Spark项目案例

    有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的H...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 浅谈Spark RDD API中的Map和Reduce

    浅谈Spark RDD API中的Map和Reduce

    RDD是什么?RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 浅谈DataFrame和SparkSql取值误区

    浅谈DataFrame和SparkSql取值误区

    1、DataFrame返回的不是对象。2、DataFrame查出来的数据返回的是一个dataframe数据集。3、DataFrame...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 文件路径正确,报java.io.FileNotFoundException异常的原因及解决办法

    文件路径正确,报java.io.FileNotFoundException异常的原因及解决办法

    新添加个发文类型insertintomis.zyb_sf_typevalues('121','榆财法字','榆财法字',2...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 教你如何让sparksql写mysql的时候支持update操作

    教你如何让sparksql写mysql的时候支持update操作

    目录1、首先了解背景2、如何让sparkSQL支持update3、改造源码前,需要了解整体的代码设计和执行流程4、改造源码如何让spar...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 将string类型的数据类型转换为spark rdd时报错的解决方法

    将string类型的数据类型转换为spark rdd时报错的解决方法

    在将string类型的数据类型转换为sparkrdd时,一直报这个错,StructTypecannotacceptobject%...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 如何使用IDEA开发Spark SQL程序(一文搞懂)

    如何使用IDEA开发Spark SQL程序(一文搞懂)

    目录前言SparkSQL是什么1、使用IDEA开发SparkSQL 1.1、指定列名添加Schema1.2、通过Struc...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 如何为Spark Application指定不同的JDK版本详解

    如何为Spark Application指定不同的JDK版本详解

    前言随着企业内部业务系统越来越多,基于JVM的服务,通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 大数据spark经典面试题目与参考答案总结

    大数据spark经典面试题目与参考答案总结

    一、简答题1.Sparkmaster使用zookeeper进行HA的,有哪些元数据保存在Zookeeper?答:spark通过这个参数spark.deploy.zookeep...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 大数据Spark Sql中日期转换FROM_UNIXTIME和UNIX_TIMESTAMP的使用

    大数据Spark Sql中日期转换FROM_UNIXTIME和UNIX_TIMESTAMP的使用

    目录UNIX_TIMESTAMPFROM_UNIXTIME众所周知,数字整型用来大小比较和计算运算要比字符型快的多,因此部分业务需要把时间字...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 基于Spark实现随机森林代码

    基于Spark实现随机森林代码

    本文实例为大家分享了基于Spark实现随机森林的具体代码,供大家参考,具体内容如下publicclassRandomFore...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 基于Jupyter notebook搭建Spark集群开发环境的详细过程

    基于Jupyter notebook搭建Spark集群开发环境的详细过程

    一、概念介绍:1、Sparkmagic:它是一个在JupyterNotebook中的通过Livy服务器SparkREST与远程Sp...

  • 2022年12月03日 | 分类:Spark | TAG:Spark
  • 相关发表
    最近发表
    标签列表