×

scala

Spark的RDD行动算子(spark rdd 算子)

金百丰广告 金百丰广告 发表于2024-05-24 浏览4517 评论0
基本概念 行动算子主要是将在数据集上运行计算后的数值返回到驱动程序,从而触发触发作业(Job)的执行。其底层代码调用的就是runJob的方法,底层会创建ActiveJob,并提交执行。 算子介绍 1. reduce 函数定义 def reduce(f: (T, T) => T): T 说明 聚集RDD 中的所有元素,先聚合分区内数据,再聚合分区间数据。 2. collect 函数定义 def collect(): Array[T] 说明 在驱动程

前端

VSCode 入门操作大全 + 实用插件推荐【零基础专属详细教程】(vscode插件编写入门简书)

金百丰广告 金百丰广告 发表于2024-05-23 浏览7231 评论0
📀 前言: 🎫  选择一个好的开发工具很重要,很多刚学编程的小伙伴在 webstorm 和 vscode 上很难抉择,我个人更喜欢使用 vscode,因为其有着简洁的操作风格和丰富的人性化的各种功能,这篇文章带给大家 vscode 的新手操作指南,大家可以把这篇文章当做一个工具文档,有记不起来操作的地方可以来看看。 一:VSCode 的下载安装 🧵 下载安装我们可以去 vscode 的官网,也可以直接在下方链接下载,官网里面给了各种操作系统对应的版本,支持 m

tomcat

Tomcat肥猫越来越胖,干崩了我的云服务器

金百丰广告 金百丰广告 发表于2024-05-23 浏览6252 评论0
问题描述 一个月前,我申请了一年的2核4G的腾讯云服务器,将一个单体架构Java应用部署到这台新开封的云服务器上面,就在今天,我依然一如既往的访问了一下服务器(想好好欣赏一下),但是事与愿违,它挂掉了。。 接着我通过 ping 命令来访问自己的服务器ip地址,结果发现可以ping通(服务器正在运行),这就奇怪了,昨天还能访问的网站为什么今天就没办法访问了? 不服气,我登陆了腾讯云官网,查看了一下自己的服务器状态,发现确实没有任何问题。突然我发现了一个醒目的地方,我的系统盘竟然满了!

scala

Flink流处理API(flink流处理api是)

金百丰广告 金百丰广告 发表于2024-05-22 浏览4696 评论0
1、支持的数据类型 Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部,我们需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点,Flink需要明确知道应用程序所处理的数据类型。Flink使用类型信息的概念来表示数据类型,并为每个数据类型生成特定的序列化器、反序列化器和比较器Flink还具有一个类型提取系统,该系统分析函数的输入和返回类型,以自动获取类型信息,从而获得序列化器和反序列化器。

rabbitmq

Springboot整合RabbitMQ手动ACK

金百丰广告 金百丰广告 发表于2024-05-22 浏览7712 评论0
消息应答 消费者完成一个任务可能需要一段时间,如果其中一个消费者处理一个长的任务但是只完成了部分突然它挂掉了,会发生什么情况?RabbitMQ 一旦向消费者传递了一条消息,便立即将该消息标记为删除。在这种情况下,突然有个消费者挂掉了,我们将丢失正在处理的消息,以及后续发送给该消费者的消息,因为它无法接收到。为了保证消息在发送过程中不丢失,引入消息应答机制,消息应答就是:消费者在接收到消息并且处理该消息之后,告诉 rabbitmq 它已经处理了,rabbitmq 可以把该消息删除了。 自动应答

django

CGI、WSGI、uWSGI、ASGI概念和Django项目部署架构的关系(django uwsgi部署)

金百丰广告 金百丰广告 发表于2024-05-22 浏览7679 评论0
学习Python Web 开发的时候,经常遇到一些名词:uwsgi、wsgi,今天整理一下。 CGI(Common Gateway Interface)通用网关接口 顾名思义,CGI(Common Gateway Interface)通用网关接口,它是一个协议,是外部应用程序(CGI 程序)与Web服务器之间的接口标准,该协议定义了 Web 服务器调用外部应用程序的时候需要输入的参数以及给Web服务器的返回结果。 通俗地讲,它规定一个程序应当如何与Web服务器程序进行通信,让这

rabbitmq

docker 安卓部署RabbitMQ(docker搭建安卓)

金百丰广告 金百丰广告 发表于2024-05-22 浏览8215 评论0
如果已经安装好docker 1.获取镜像 登录rabbitmq官网找到docker镜像,选择想要的镜像的tag https://www.rabbitmq.com/download.html https://hub.docker.com/_/rabbitmq 如果需要访问web管理页面,就选择tag为management的 直接用docker search 搜索,默认下载标签为latest的镜像(无法打开web管理页面) docker search 下载镜像 docker pull r

MSSQL教程

MySQL 操作语句大全(详细)(MySQL操作语句)

金百丰广告 金百丰广告 发表于2024-05-22 浏览20107 评论0
总结内容 1. 基本概念 数据库的概念 1)结构化查询语言(Structured Query Language)简称SQL; 2)数据库管理系统(Database Management System)简称DBMS; 3)数据库管理员(Database Administration)简称DBA,功能是确保DBMS的正常高效运行; SQL常用的3个部分 1)数据查询语言(DQL):其语句也称“数据库检索语句”,用以从表中获得数据,保留字SELECT经常使用,DQL也是所有SQ

spring boot

基于Java+SpringBoot+vue实现图书借阅和销售商城一体化系统

金百丰广告 金百丰广告 发表于2024-05-22 浏览14196 评论0
  博主介绍:✌全网粉丝20W+,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,CSDN博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业设计✌  🍅文末获取源码联系🍅    精彩专栏推荐👇🏻👇🏻👇🏻👇🏻 java项目精品实战案例《100套》https://blog.csdn.net/weixin_39709134/category_11128297.html 目录 前言介绍: 系统实现功能: 系统设计

mysql

MySQL索引优化:哪些情况下需要建立索引(适合构建索引的几种情况)

金百丰广告 金百丰广告 发表于2024-05-22 浏览6359 评论0
适合构建索引的几种情况: 引言 我们知道正确的建立索引可以加快数据库的查询,但是如果索引建立不当,或者随意的建立过多索引不仅不会提升数据库的效率,反而在进行数据更新操作的时候需要耗费系统资源对索引进行维护,同时占用大量的存储空间来对索引进行存储,本文主要讲述在哪些情况下适合建立索引 结论: 在where后面的过滤字段上建立索引(select/update/delete后面的where都是适用的),使用索引加快过滤效率,不用进行全表扫描 在具有唯一要求的字段上添加唯一索引,加快查询