1.Redis功能操作的命令clear 清屏服务器端 两次ctrl + c 退出客户端 一次 Ctril + c 退出 / eschelp 命令名称

2.string类型的命令get key 获取key对应value的值set key value 设置数据，如果key存在就覆盖mset key1 value1 key2 value2… 设置多个key跟 valuemget key1 key2 获取多个key对应valueappend key value key如果存在就追加否则新建del key 删除keystrlen key 获取key对应的value字符个数

nil 表示空integer0 失败 integer1 成功

3.string的增量incr key 自增1decr key 自减1incrby key 自增值decrby key 自减值

4.string的时效设置setex key 时间(秒/毫秒) value注意 如果重新对key做了set动作 之前的key会覆盖

5.hash类型的基本命令hset key field valuehget key field 单个field字段的valuehgetall key 获取所有 field+value的值hdel key field 删除单个的fieldhmset key field1 value1 field2 value3 设置多个hmget key field1 field2hkeys key 获取所有的filedhvals key 获取所有的filed对应的valuedel key 删除整个keyhincrby key filed incrment 对field进行指定增量hlen key 获取value中的hash键值对个数hsetnx key filed value 设置filed 字段 如果不存在则添加 如果存在则不设置

6.list类型的基本命令lpush key value1 value2 value3 value4…

rpush key value1 value2 value3 value4…

lrange key start stop 一般我们获取lrange list1 0 -1 获取全部元素lindex key 索引 根据索引查找元素llen key 获取集合中元素的个数lpop key 从左侧弹出元素，也就是删除元素并返回删除的元素rpop key 从右侧弹出元素，也就是删除元素并返回删除的元素blpop key1 [key2] timeout 设置具体的时间进行阻塞等待从左边获取元素brpop key1 [key2] timeout 设置具体的时间进行阻塞等待从右边获取元素lrem list1 1 b 删除list1中的元素b 只删除一个

7.set类型的基本命令sadd key value1 value2… 添加元素smembers key 获取所有元素scard set1 获取元素的总量sismember key value 判断set体系中是否包含某个元素 包含返回1 不包含返回0srandmember key 1 随机从set体系中获取一个元素spop key 随机从set体系中获取一个元素并移除sinter u1 u2] 交集sunion u1 u2 并集sdiff u1 u2 差集sinterstore u3 u1 u2 交集取出存入新的集合sunionstore u3 u1 u2 并集取出存入新的集合sdiffstore u3 u1 u2 差集取出存入新的集合smove u2 u4 [需要移动的数据] 将u2 中指定的元素移动到u4

8.sort_set的基本命令zadd key score value 存入元素 zadd scores 99 zhangsanzrange scores 0 -1 从低到高显示value信息zrange scores 0 -1 withscores 从低到高显示value信息(包含了score信息)zrevrange scores 0 -1 从高到低显示value信息zrevrange scores 0 -1 withscores 从高到低显示value信息(包含了score信息)zrem scores value 根据value删除元素zrangebyscore scores 60 90 withscores 表示根据60 到90的区间去进行查找zrangebyscore scores 60 90 withscores limit 0 2 表示根据60 到90的区间去进行查找，只要从0开始 需要2个zremrangebyrank scores 0 1 根据索引删除含0也含1zremrangebyscore socres 99 100根据数据范围删除含min也含maxzcard scores 统计集合中的总数据量zcount scores min max 根据范围统计总量

合并操作添加3条数据zadd s1 50 aa 60 bb 70 cczadd s2 60 aa 70 bb 80 cczadd s3 70 aa 80 bb 90 cc 100 dd

zinterstore ss 3 s1 s2 s3 合并几个集合中交集的部分zunionstore sss 3 s1 s2 s3 合并几个集合中并集的部分

zadd movies 143 aa 97 bb 201 cczrank movies bb返回的是默认排序(升序)中，该元素的索引zrevrank movies cc 返回的是排序(降序)中，该元素的索引

zscore movies cc 获取cc对应的scorezincrby movies 1 cc 对cc进行加1 指定增量

sorted_set底层存储还是基于set结构的，因此数据不能重复，如果重复添加相同的数据，score值将被反复覆盖，保留最后一次修改的结果

9.redis的通用命令del key 删除所有的类型keyexists key 判断key是否存在type key 获取key对应的value类型expire str 3 表示str这个key存在的时间是3秒ttl key 获取该key剩余的时效 注意如果key不存在返回-2

ttl这个命令，会返回3种结果，一是在有效期返回有效时长，而是不在有效期返回-2，三是既没有有效期又存在返回-1

persist key 切换key的时效为永久

keys * 查询所有keys qi* 查询所有以qi开头keys qianfeng 查询所有以qianfeng结尾keys ??qianfeng 查询所有前面两个字符，后面以qianfeng结尾keys user:? 查询所有以user:开头，最后一个字符任意keys u[st]er:1 查询以u开头,以er:1结尾，中间包含一个字母，s或trename key newkey //如果已经有newkey的数据，直接覆盖renamenx key newkey //如果已经有，则失败，没有则设置

排序lpush aa 22lpush aa 11lpush aa 33sort aa

切换数据库select index index表示数据库编号 编号从0开始退出客户端连接quit数据移动move key index index表示数据库编号 编号从0开始查看数据库中key的总量dbsizeflushdb(删除当前库的数据)flushall(删除所有库的数据)

Original: https://blog.csdn.net/weixin_43110289/article/details/125007402Author: JAVA-xiaoyangTitle: Redis的常用命令，Redis常用操作命令

今天又是新的一天，又是喜欢你的一天

好久没有写过文章了，虽然过去了四五天，今天写文章很简单，手痒痒了是在想写文章了。今天的文章是关于Spark SQL系列的文章，关于上一个追妻系列的RDD编程，并没有放弃，还是会写的。基本的行动算子和转换算子都写完了。之后就是累加器分区器还有其它的数据类型了。

今天更新的是Spark SQL，为什么不写RDD呢，很简单，SQL写得好，工作随便找

如果不出意外的话，Spark SQL将会很长一段时间出现在博客里面。

先来介绍一下什么是Spark SQL吧

Spark SQl的前身是Shark，当时Hadoop 上有Hive，可以用Hsql来替代mr程序去完成数据分析，非常的方便，使得开发的困难大大减少，当时的Spark生态系统没有，因此创建了前身Shark，后来Shark不维护了，全面在Spark上面来实现Shark。也就是现在的Spark SQL。

虽然说Spark有自己的生态系统，但是Spark大部分都是在Hdfs上面的。前面说过，MR过时了，但是hdfs这个存储系统并不过时，Spark就在hdfs上面进行的。

毕竟是SQL Boy,那么就从ETL方面来讲解Spark SQL可以干什么吧

Spark主要用来处理结构化的数据，什么是结构化数据呢？

结构化数据是指记录内容具有明确的结构信息且数据集内的每一条记录都符合结构规范的数据集合，由二维表结构来逻辑表达和实现的数据集合。举个例子，就是关系型数据库的各个字段以及属性和类型等信息。

Data Frame。可以通过Data Frame的API来对数据进行分析，称之为DSL。

同时，也可以先将Data Frame注册成表，然后使用SQL或者Hive SQL来进行数据分析。对于熟练使用SQL的我们可以更加的迅速上手

既然说到了Data Frame，那么来介绍一下

之前学习RDD的时候，RDD是一条条数据的集合，但是并不了解每一条数据的内容是什么，Data Frame就不一样了，Data Frame明确规定了每一条数据有几个命名字段组成。为了形象的对比一下，来看图片

RDD只能知道存储的是Person类型的对象，Data Frame存储的是每个Person对象的信息。Data Frame就是裸泳，RDD就好比穿了衣服。一个一览无余，一个啥都看不出来

Spark SQL编程的起点就是Spark Session,刚开始学习Spark Core的时候，编程的入口就是spark conf。现在Spark SQL的入口变了。

Spark Session可以创建Data Frame对象，可以读取外部文件并且通过SQL进行查询分析。

spark conf:创建上下文环境对象

spark Session:创建Spark Session对象

通过读取json文件来创建df对象。先看一下json文件

开始进行表演

读取people.json文件来创建Data Frame对象

如何展示这个文件的数据？

frame.show()

可以看到，结果出来了，就跟表查询的结果一样

明天就会更新Spark SQL的DSL和Sql语句了。

今天就更新到这里

希望我的科目四可以预约成功

Original: https://blog.csdn.net/weixin_46300771/article/details/122901241Author: 数仓白菜白Title: Spark SQL追妻系列(初了解)

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/400119/

转载文章受原作者版权保护。转载请注明原作者出处！