×

scala

RDD转换为DataFrame(rdd转换为dataframe的两种方)

無言以對 無言以對 发表于2024-05-01 浏览5742 评论0
        spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema,这种方式适用于对已知的数据结构的RDD转换;第二种方法通过编程接口构造一个 Schema ,并将其应用在已知的RDD数据中。 (一)反射机制推断Schema         在Windows系统下开发Scala 代码,可以使用本地环境测试,因此首先需要在本地磁  盘准备文本数据文件,这里将HD FS中的/spark/person.txt文件下载到本地

scala

词频的统计(词频的统计方法)

無言以對 無言以對 发表于2024-05-01 浏览6098 评论0
任务8、词频统计 -参看本博《经典案例【词频统计】十一种实现方式》 -针对单词文本文件,统计每个单词出现的次数 hello hadoop hello spark i love you hadoop and spark i learn hadoop and scala -思路:读取文件,通过拆分得到单词数组,定义一个哈希映射保存词频统计结果,遍历单词数组,如果第一次遇到某个单词,就在哈希映射里添加一个元素,单词为键,1为值;如果不是第一次遇到,那么在哈希映射里找到该键,将其值加1…… (一)编

nginx

Linux(Nginx)(linuxnginx虚拟主机管理系统)

無言以對 無言以對 发表于2024-04-30 浏览5254 评论0
目录 一、Nginx简介 二、Nginx使用 Nginx安装 tomcat负载均衡   Nginx配置 三、Nginx部署项目 项目打包前 将前端项目打包(测试本地项目打包后没问题) ip/host主机映射 完成Nginx动静分离的default.conf的相关配置 将前台项目打包(配合Nginx动静分离) 一、Nginx简介 1.负载均衡:流量分摊 2.反向代理:处理外网访问内网问题 3.动静分离:判断动态请求还是静态请求,选择性的访问指定服务器 二、

MYSQL教程

接口测试项目(非常值得练手)(接口测试实操)

無言以對 無言以對 发表于2024-04-30 浏览5505 评论0
大家好,我是小谭。 之前跟大家分享了一份适合练手的接口测试实战项目,算是一份接口测试的入门级项目。但这个项目有诸多局限,比如部署不便,接口有限,没有鉴权等等。 因此,趁着周末,小谭又给大家找了一个接口测试项目,该项目: 部署方便——只需无脑安装,无须处理太多环境问题; 接口较多——约40个接口,且有完整的功能测试流程; 有鉴权——其他接口依赖登录返回的token,接近实际工作。 话不多说,我们一起来看看吧: 获取项目 如果你联系过小谭,先点赞三连,再去小谭的资料库获取吧。

scala

SparkContext应用:rdd算子 SQL练习,from hdfs to mysql

無言以對 無言以對 发表于2024-04-28 浏览3803 评论0
本文主要讲解应用SparkContext从hdfs上获取数据,做搜索,结果传到mysql上的过程! 一、应用scala编程,批处理上传数据到hdfs上 1.1.在maven工程的同目录小创建config目录,在下面在创建datasource.properties配置文件config/datasource.properties配置文件的内容为: mysql.driver=com.mysql.jdbc.Driver mysql.url=jdbc:mysql://192.168.43.200:3

spring boot

Spring Boot整合 NoSQL 数据库 Redis

無言以對 無言以對 发表于2024-04-28 浏览4888 评论0
📢 专栏推荐:Spring Boot整合第三方组件 📖系列文章:【快速上手】使用SpringBoot 2.X + Mybatis-Plus 轻松实现CRUD(持续更新。。。) 🌲专栏简介:在日常实际的开发中,我们会使用企业级快速构建项目框架Spring Boot整和 各个组件进行开发,本专栏将总结使用Spring Boot与常用第三方组件进行整合的详细步骤,欢迎大佬们交流学习。👏👏👏 在日常的开发中,除了使用Spring Boot这个企业级快速构建项目的框架之外,随着业务

MSSQL教程

【送书啦】Python操作Mysql(连接、数据探查、写Excel)

無言以對 無言以對 发表于2024-04-27 浏览12991 评论0
🍅 作者主页:不吃西红柿  🍅 简介:CSDN博客专家🏆、HDZ核心组成员💪 欢迎点赞、收藏、评论 🍅 粉丝专属福利:简历模板、PPT模板、知识体系、面试题库、技术互助。直接去文末领取 🍅 包邮送书:关注文末公众号回复「送书」 公号「信息技术智库」知识内容如下: 本期重点:使用python探查mysql数据库,数据分析类人员必备 目录 一、缘起 二、转机 三、成果 四、过程  1、导包 2、连接数据库 3、数据探查 4、写execl 一、缘起

tomcat

docker安装Nginx、tomcat、Elasticsearch

無言以對 無言以對 发表于2024-04-27 浏览5458 评论0
分别明白:1.暴露端口的重要性; 2.官方测试以及如何进入容器的重要性; 3.如何看当前容器的存活状态如何进行修改 Docker 安装Nginx 安装镜像 #搜索镜像 search 建议大家去docker搜索,可以看到帮助文档 [root@localhost ~]# docker search nginx #拉取下载镜像 pull [root@localhost ~]# docker pull nginx #查看是否下载成功镜像 [root@localhost ~]# docke

架构

ARM 之十五 扫盲 ARM 架构、指令集、微架构、系统架构、ARM IP、授权方式

無言以對 無言以對 发表于2024-04-26 浏览12737 评论0
  ARM 架构的 MCU 用了好多年,进一步对于 ARM 架构也或多或少的有了一些了解。之前都是遇到啥问题直接去官网找对应的手册,一直没有系统的总结一下。是时候总结一下,以便进行下一步学习了! 总的来说,整个 ARM 可以分为两大部分:SoC 设计 和 ARM 平台软件开发。 ARM 文档   在了解 ARM 相关的各种概念之前,先来简单说一下 ARM 官方提供的文档的组织结构。其实,国外这些大公司对于文档的组织都是比较规范的,例如,ST 的 参考手册、数据手册、应用手册等等,ARM

node.js

VUE2安装初始化步骤(2022)

無言以對 無言以對 发表于2024-04-26 浏览10358 评论0
1.安装node.js 下载安装node.js,win7使用node.js v12版的(为目前通用,建议都是用这个版本),win10可以使用最新版本的。CLI至少要求v12版本的。 node-v12.22.10-x64.msi 安装完成后开启cmd,检验版本: node -v 2.配置淘宝镜像 搜索npm淘宝镜像,加速后续包的下载,在cmd中配置: npm config set registry https://registry.npm.taobao.org 检验配置的淘宝镜像

spring boot

Springboot 整合 Socket 实战案例 ,实现 单点发送、广播群发,1对1,1对多

無言以對 無言以對 发表于2024-04-24 浏览5701 评论0
本篇内容: 后端 + 前端简单HTML页面 功能场景点: 1.  群发,所有人都能收到 2.  局部群发,部分人群都能收到 3.  单点推送, 指定某个人的页面 惯例,先看看本次实战示例项目结构:   可以看到内容不多,也就是说,springboot 整合socket, 跟着我学,轻轻松松。 古有曹植七步成诗,如今,咱们也是 7步学会整合socket! 不多说,开始:  ① pom引入核心依赖 <dependencies>