Vagrantfile

Submitted by Lizhe on Mon, 02/22/2021 - 08:44

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|
  config.vm.box = "ubuntu18"
  config.vm.network "forwarded_port", guest: 9200, host: 9200
  config.vm.network "forwarded_port", guest: 9300, host: 9300
  config.vm.provider "virtualbox" do |v|
    v.memory = 4096
    v.cpus = 4
  end
end

# -*- mode: ruby -*-
# vi: set ft=ruby :

numpy reshape

Submitted by Lizhe on Sat, 01/09/2021 - 10:19

numpy的reshape方法平时用的地方很多,但是有好多人实际上并不了解这个方法到底在做什么

1. reshape不会修改数组中的任何数据

2. shape的形状有时候会比较复杂,比如 (2,3,4,5,6)

这种看起来比较复杂,其实理解起来也很容易,可以把它想象成俄罗斯套娃,

第一层有2个元素

这两个元素中每个又包含3个元素

这三个元素中每个又包含4个元素

这样一层又一层包了5层

Elasticsearch 3 不同的节点类型

Submitted by Lizhe on Thu, 01/07/2021 - 12:29

Elasticsearch 集群中为了良好 可用性和性能,需要明确各个节点的角色

 

node.master: true/false

node.data: true/false

node.ingest: true/false

主节点:

主节点是集群的主要管理者,负责分片管理、保持集群状态,并且是每个索引操作的主要控制者。

如果主节点处于过载状态,所有集群都会受到性能损失。速度变慢或者节点阻塞。

当集群 master 候选数量不小于 3 个时,可以通过设置最少投票通过数量(discovery.zen.minimum_master_nodes)超过所有候选节点一半以上来解决脑裂问题 

 

数据节点:

node.data 参数允许将数据存储在该节点中。数据节点是负责 索引和搜索数据的 worker

 

混合master和data参数可以得到

Elasticsearch 2 安装中文分词器

Submitted by Lizhe on Thu, 01/07/2021 - 07:20

这里用的是ik,安装之前,检查一下自己的es版本

我这里是 7.10.1

找到对应的版本

https://github.com/medcl/elasticsearch-analysis-ik/releases

 

./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.1/elasticsearch-analysis-ik-7.10.1.zip

20210107153054

重启es看一下是否已经加载

Elasticsearch 1 本地集群配置

Submitted by Lizhe on Thu, 01/07/2021 - 02:12

目的是学习研究,所以这里就不用docker了

安装jdk

sudo apt install openjdk-8-jdk

安装es

详细内容可以参考 https://www.elastic.co/cn/downloads/elasticsearch

不看不看直接上命令还是 apt 省事

sudo apt-get install apt-transport-https

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list

sudo apt-get update && sudo apt-get install elasticsearch

3080 装 cuda 的坑

Submitted by Lizhe on Sun, 01/03/2021 - 16:01

1 你要用 TensorFlow2.4 的 gpu 版本

2 cuda10.1 3080不认,会出现不报错也不训练的情况

3 cuda要用 11.0 ,cudnn是 8.0.5

4 numpy报错的话

pip install numpy==1.19.3

5 然后cudnn目前还无法通过 conda、pip之类的安装,下载之后copy文件

lib文件

G:\迅雷下载\cudnn-11.0-windows-x64-v8.0.5.39\cuda\lib\x64

D:\ProgramWorks\Miniconda3\envs\tf24\Library\lib

 

include文件

G:\迅雷下载\cudnn-11.0-windows-x64-v8.0.5.39\cuda\include

D:\ProgramWorks\Miniconda3\envs\tf24\Library\include

bin文件

阿里云视频 2 视频上传

Submitted by Lizhe on Thu, 12/31/2020 - 06:14

视频推流的上传方式分为凭证方式与STS方式

以下是官方文档 https://help.aliyun.com/document_detail/99379.html?spm=a2c4g.11186623.2.14.46798d6eWZn4BB#concept-1986524

上传凭证、播放凭证和STS方式都能解决上传和播放过程中的授权和安全问题,防止被恶意上传和播放。

阿里云视频 1 视频点播

Submitted by Lizhe on Wed, 12/30/2020 - 10:25

本例是一个 阿里云 视频点播 (不是直播)的 helloworld

这里用户浏览器先后调用两个服务器

20201230065309

我们先看 golang 端

/Users/lizhe/works/aus/alivedioauth/go.mod

 

module vedioAuth

 

go 1.14

 

require (

github.com/tidwall/gjson v1.6.0

github.com/tidwall/sjson v1.1.1

gRPC 2 kubernetes

Submitted by Lizhe on Sun, 12/27/2020 - 15:32

这里因为 为了更好的看出 被访问的目标pod,我对server端代码进行了一些修改,所以干脆就把所有代码再贴一遍

先看目录结构

20201225213517

/home/lizhe/works/grpc_helloworld_golang/pbfiles/Hi.proto