在人间
0%

发表于 更新于 分类于 ，

trivy漏洞数据库下载

  • 数据存储以oci方式存储，需要通过专用工具下载。
1
2
3
$ oras pull ghcr.io/aquasecurity/trivy-db:2
$ ls -l
.rw-rw-r--  47M yang 28 3月  10:57 db.tar.gz

trivy漏洞数据库上传服务

  • 上传数据命令
1
curl -XPUT http://localhost/api/trivy/v1/database -F "db=@bin/db.tar.gz"
  • 以github.com/emicklei/go-restful-openapi/v2 v2.9.1为API框架注册上传接口
1
2
3
4
5
6
7
webservice.Route(webservice.PUT("/database").
	Doc("Update trivy vulnerability database.").
	Param(webservice.BodyParameter("db", "trivy vulnerability database.")).
	To(h.updateVulnerabilityDatabase).
	Consumes("multipart/form-data").
	Returns(http.StatusOK, api.StatusOK, nil).
	Metadata(restfulspec.KeyOpenAPITags, []string{constants.TrivyTag}))
  • 读入form-data，直接解压并返回trivy metedata信息
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
func (h *handler) updateVulnerabilityDatabase(request *restful.Request, response *restful.Response) {
	formfile, _, err := request.Request.FormFile("db")
	if err != nil {
		api.HandleBadRequest(response, request, err)
		return
	}
	defer formfile.Close()

	err = utils.Extract(formfile, h.trivyOptions.Cache)
	if err != nil {
		api.HandleBadRequest(response, request, err)
		return
	}

	// 读数据的元信息并返回，确认一致性
	metadata, err := os.ReadFile(filepath.Join(h.trivyOptions.Cache, "metadata.json"))
	if err != nil {
		api.HandleBadRequest(response, request, err)
		return
	}
	response.Write(metadata)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
// Implements Extractor.
func Extract(buffer io.Reader, targetDir string) error {
	uncompressedStream, err := gzip.NewReader(buffer)
	if err != nil {
		return err
	}

	if err := os.MkdirAll(targetDir, 0755); err != nil {
		return err
	}

	tarReader := tar.NewReader(uncompressedStream)
	for {
		header, err := tarReader.Next()
		if err == io.EOF {
			break
		}
		if err != nil {
			return err
		}

		path, err := cleanJoin(targetDir, header.Name)
		if err != nil {
			return err
		}

		switch header.Typeflag {
		case tar.TypeDir:
			if err := os.Mkdir(path, 0755); err != nil {
				return err
			}
		case tar.TypeReg:
			outFile, err := os.OpenFile(path, os.O_CREATE|os.O_RDWR, os.FileMode(header.Mode))
			if err != nil {
				return err
			}
			if _, err := io.Copy(outFile, tarReader); err != nil {
				outFile.Close()
				return err
			}
			outFile.Close()
		// We don't want to process these extension header files.
		case tar.TypeXGlobalHeader, tar.TypeXHeader:
			continue
		default:
			return errors.Errorf("unknown type: %b in %s", header.Typeflag, header.Name)
		}
	}
	return nil
}
  • 服务镜像制作
1
2
3
4
5
6
7
8
FROM alpine:3.16.2

COPY bin/cmd/trivy-apiserver /
COPY trivy-core.yaml /etc/trivy-core/
WORKDIR /

EXPOSE 9090
CMD ["/trivy-apiserver", "-v5"]

API服务与Harbor集成(ingress, pod)

  • 增加traefik middleware以处理URL路径前缀
1
2
3
4
5
6
7
8
9
10
11
12
13
# Middleware
# Strip prefix /trivy
apiVersion: traefik.containo.us/v1alpha1
kind: Middleware
metadata:
  name: strip-trivy
  namespace: "default"

spec:
  stripPrefix:
    forceSlash: false
    prefixes:
      - /trivy
  • 增加harbor-ingress配置（需要更新部分）
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: harbor-ingress
  annotations:
    kubernetes.io/ingress.class: traefik
    traefik.ingress.kubernetes.io/router.middlewares: default-strip-trivy@kubernetescrd
spec:
  rules:
    - host: harbor.internal.io
      http:
        paths:
          - path: /trivy/
            pathType: Prefix
            backend:
              service:
                name: harbor-trivy
                port:
                  name: trivy-api
  • 在已有harbor-trivy内加入trivy-apiserver容器
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
apiVersion: apps/v1
kind: Deployment
metadata:
  name: harbor-trivy
spec:
  replicas: 1
  template:
    spec:
      containers:
        - name: trivy
          image: harbor-adapter-trivy:2.10.0-debian-12-r13
          imagePullPolicy: "IfNotPresent"
          ports:
            - name: api-server
              containerPort: 8080
          volumeMounts:
            - name: data
              mountPath: /bitnami/harbor-adapter-trivy/.cache
              readOnly: false
        - name: apiserver
          image: trivy-apiserver:v1.0.2
          imagePullPolicy: "IfNotPresent"
          ports:
            - name: trivy-api
              containerPort: 9090
          volumeMounts:
            - name: data
              mountPath: /bitnami/harbor-adapter-trivy/.cache
              readOnly: false
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: trivy-data
  • 测试外部接口上传数据
1
2
$ curl -kXPUT https://harbor.internal.io:21000/trivy/api/v1/database -F "db=@bin/db.tar.gz"
{"Version":2,"NextUpdate":"2024-03-28T06:15:32.76330602Z","UpdatedAt":"2024-03-28T00:15:32.763306431Z","DownloadedAt":"0001-01-01T00:00:00Z"}

发表于 更新于 分类于 ，

部署Kubernetes及必要服务

  • docker版本24.0.5

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    $ docker version
    Client:
     Version:           24.0.5
     API version:       1.43
     Go version:        go1.20.3
     Git commit:        24.0.5-0ubuntu1~22.04.1
     Built:             Mon Aug 21 19:50:14 2023
     OS/Arch:           linux/amd64
     Context:           default

    Server:
     Engine:
      Version:          24.0.5
      API version:      1.43 (minimum version 1.12)
      Go version:       go1.20.3
      Git commit:       24.0.5-0ubuntu1~22.04.1
      Built:            Mon Aug 21 19:50:14 2023
      OS/Arch:          linux/amd64
      Experimental:     true
     containerd:
      Version:          1.7.2
      GitCommit:        
     runc:
      Version:          1.1.0-0ubuntu1.1
      GitCommit:        
     docker-init:
      Version:          0.19.0
      GitCommit:

  • kind版本v0.22.0

    1
    2
    $ kind version
    kind v0.22.0 go1.21.1 linux/amd64

  • kind集群配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    kind: Cluster
    apiVersion: kind.x-k8s.io/v1alpha4
    containerdConfigPatches:
    - |-
      [plugins."io.containerd.grpc.v1.cri".registry]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
          [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
            endpoint = ["https://registry-1.docker.io"]
          [plugins."io.containerd.grpc.v1.cri".registry.mirrors."gcr.io"]
            endpoint = ["https://gcr.m.daocloud.io"]

    networking:
      apiServerAddress: "0.0.0.0"
      apiServerPort: 6443

    nodes:
    - role: control-plane
      kubeadmConfigPatches:
      - |
        kind: InitConfiguration
        nodeRegistration:
          kubeletExtraArgs:
            node-labels: "ingress-ready=true"
      extraPortMappings:
      - containerPort: 31000
        hostPort: 21000
        protocol: TCP

  • 部署Kubernetes集群（单节点）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    $ kind create cluster --name harbor --config demo.yaml
    Creating cluster "harbor" ...
     ✓ Ensuring node image (kindest/node:v1.29.2) 🖼
     ✓ Preparing nodes 📦  
     ✓ Writing configuration 📜 
     ✓ Starting control-plane 🕹️ 
     ✓ Installing CNI 🔌 
     ✓ Installing StorageClass 💾 
    Set kubectl context to "kind-harbor"
    You can now use your cluster with:

    kubectl cluster-info --context kind-harbor

    Not sure what to do next? 😅  Check out https://kind.sigs.k8s.io/docs/user/quick-start/

  • 验证集群(默认context已经修改为最新部署的kind-harbor)

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    $ kubectl get no
    NAME                   STATUS   ROLES           AGE   VERSION
    harbor-control-plane   Ready    control-plane   37s   v1.29.2

    $ kubectl get po -A
    NAMESPACE            NAME                                           READY   STATUS    RESTARTS   AGE
    kube-system          coredns-76f75df574-6zqwf                       1/1     Running   0          98s
    kube-system          coredns-76f75df574-kwtm7                       1/1     Running   0          98s
    kube-system          etcd-harbor-control-plane                      1/1     Running   0          112s
    kube-system          kindnet-6xcrd                                  1/1     Running   0          98s
    kube-system          kube-apiserver-harbor-control-plane            1/1     Running   0          113s
    kube-system          kube-controller-manager-harbor-control-plane   1/1     Running   0          113s
    kube-system          kube-proxy-sslv8                               1/1     Running   0          98s
    kube-system          kube-scheduler-harbor-control-plane            1/1     Running   0          113s
    local-path-storage   local-path-provisioner-7577fdbbfb-9zgqc        1/1     Running   0          98s

  • 获取cert-manager的Chart版本v1.14.3

    1
    2
    3
    4
    $ cat Chart.yaml
    name: cert-manager
    appVersion: v1.14.3
    version: v1.14.3

  • 部署cert-manager

    1
    $ helm install cert-manager --namespace cert-manager --create-namespace --kube-context kind-harbor .

  • 获取traefik的Chart版本26.1.0

    1
    2
    3
    4
    $ cat Chart.yaml
    name: traefik
    appVersion: v2.11.0
    version: 26.1.0

  • 部署traefik

    1
    $ helm install traefik --namespace kube-system --create-namespace --kube-context kind-harbor .

  • 修改traefik的service配置

  1. 修改traefik的service类型，LoadBalancer => NodePort。
  2. 修改nodePort端口为31000，与之前部署集群的对外端口对应
1
2
3
4
5
6
7
8
spec:
  ports:
  - name: websecure
    nodePort: 31000
    port: 443
    protocol: TCP
    targetPort: websecure
  type: NodePort
  • 修改local-path以支持ReadWriteMany模式
    1
    $ kubectl edit cm local-path-config -n local-path-storage

更新config.json如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
apiVersion: v1
data:
  config.json: |-
    {
            "nodePathMap":[
            {
                    "node":"DEFAULT_PATH_FOR_NON_LISTED_NODES",
                    "paths":["/var/local-path-provisioner"]
            }
            ]
    }
---
apiVersion: v1
data:
  config.json: |-
    {
      "sharedFileSystemPath": "/opt/local-path-provisioner"
    }

重启local-path服务

1
$ kubectl -n local-path-storage get po -o jsonpath="{.items[].metadata.name}" | xargs kubectl -n local-path-storage delete po

部署Harbor服务

  • 获取harbor的Chart版本19.9.0

https://github.com/bitnami/charts/tree/main/bitnami/harbor

1
2
3
4
$ cat Chart.yaml
name: harbor
apiVersion: v2
version: 19.9.0
  • 修改values.yaml
1
2
3
4
5
6
7
externalURL: https://harbor.internal.com
adminPassword: "Passw0rd"

ingress:
  certProvider: "cert-manager"
  core:
    hostname: harbor.internal.com
  • 部署harbor
    1
    $ helm upgrade harbor -i --namespace harbor --create-namespace --set global.storageClass=standard --kube-context kind-harbor .

查看部署的POD情况

1
2
3
4
5
6
7
8
9
$ kubectl -n harbor get po
NAME                                 READY   STATUS    RESTARTS      AGE
harbor-core-75f79fb9f9-qpblp         1/1     Running   0             14m
harbor-jobservice-5677b948b8-sw87s   1/1     Running   0             14m
harbor-portal-67995b4946-mhvkn       1/1     Running   0             14m
harbor-postgresql-0                  1/1     Running   0             14m
harbor-redis-master-0                1/1     Running   0             14m
harbor-registry-5fb59b549-c86kj      2/2     Running   0             14m
harbor-trivy-0                       1/1     Running   0             14m

  • 配置域名
    在/etc/hosts内配置

    1
    192.168.2.110 harbor.internal.com

  • 访问harbor页面，输入之前配置的admin的密码

    1
    https://harbor.internal.com:21000

修改Harbor服务类型

从Statefulset修改为Deployment。

1
2
3
4
5
6
7
8
9
10
11
12
kind: StatefulSet => Deployment
spec:
    # serviceName # 需要注释掉
    updateStrategy => strategy

    # 需要将整个volumeClaimTemplates改为PersistentVolumeClaim形式
    # 同时要增加volumes声明域
    volumeClaimTemplates => PersistentVolumeClaim 
    volumes:
        - name: data
          persistentVolumeClaim:
            claimName: data

发表于 更新于 分类于

基本概念

方差，标准差中要求差的平方的原因及其几何意义

下采样和上采样

上采样(UnSampling)和下采样(DownSampling)是啥

缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：

  1. 使得图像符合显示区域的大小
  2. 生成对应图像的缩略图

放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是：

  1. 放大原图像，从而可以显示在更高分辨率的显示设备上

Models

深度残差网络（Deep residual network, ResNet）

发表于 更新于 分类于 ，

学习Kubeflow

介绍

Kubeflow的目标是在Kubernetes上能够简单的部署机器学习过程中涉及到的各种工具和服务，并提供迁移和扩展的方法。

Kubeflow牵扯到大量机器学习的概念和方式方法，需要对ML有基本的了解才能更好的运用和理解。

安装

  • 环境是两台虚拟机，16C32G100G
    1
    2
    # cat /etc/rocky-release
    Rocky Linux release 8.5 (Green Obsidian)
  • 更新系统
    1
    # dnf update -y
  • 安装Kubernetes(1.28.6)
    1
    2
    3
    4
    # dnf install -y conntrack socat iptables ipvsadm wget git
    # kk create cluster -f config.yml -y
    17:06:32 CST Pipeline[CreateClusterPipeline] execute successfully
    Installation is complete.
  • 安装基础工具
    1
    2
    3
    4
    5
    6
    7
    sudo sysctl fs.inotify.max_user_instances=2280
    sudo sysctl fs.inotify.max_user_watches=1255360

    wget https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize%2Fv5.3.0/kustomize_v5.3.0_linux_amd64.tar.gz



发表于 更新于 分类于 ，

https://github.com/petehunt/react-howto/blob/master/README-zh.md

如果你是一个 React (或者前端) 新手, 出于以下的原因, 你可能会对这个生态圈感到困惑:

  • React 的目标群体历来是喜欢尝试新事物的开发者和前端专家.
  • Facebook 开源的内容是应用在他们的实际应用中, 因此他们没有关注那些比 Facebook 小的工程需求.
  • 现有的 React 指引水平参差不齐.

在本文中, 我会假设你已有使用 HTML, CSS 和 JavaScript 开发网页的基础.

为什么要听我的?

关于 React, 现在已经有大量的相互冲突的建议了, 为什么要听我的?

因为我是在 Facebook 构建并开源 React 的最初成员之一. 现在我离开了 Facebook 并加入了一家初创公司, 所以我也不会站在 Facebook 的立场上来表态.

如何踏入 React 生态圈

所有的软件都是建立在某个技术栈之上的, 你需要对整个技术栈有足够深入的理解, 才能建造你的应用. 为什么 React 生态圈的工具似乎总让人感觉压力山大呢, 因为它总是以错误的顺序被解释:

你应该按照以下的顺序进行学习, 而不是跳着学或者同时学习:

你不需要把这些都学完才去使用 React. 只需要在你遇到问题需要解决的时候, 才进入下一步的学习.

另外, 在 React 社区中, 有一些前沿主题是经常被提及到的, 以下的这些主题很有意思, 但也很难弄懂, 所以它们远没有上面的主题流行, 大多数应用也不需要用到这些.

学习 React 本身

有一种常见的误解是: 你需要花费大量时间在配置工具上, 然后才开始学习 React. 在官方文档里, 你可以找到 copy-paste HTML template. 只需要保存为 .html 文件, 你就可以马上开始学习了. 这个步骤不需要任何工具, 你也无需额外学习工具使用, 直到你能熟练掌握 React 基础.

我依然觉得, 学习 React 最简单的方法是通过官方教程 the official tutorial.

学习 npm

npm 是 Node.js 包管理工具, 也是前端工程师和设计师分享 JavaScript 代码最流行的方式. 它包含了名为 CommonJS 的模块系统, 让你可以安装 JavaScript 写的命令行工具. 作为背景知识, 可以阅读 这篇文章 了解 CommonJS 对于浏览器的重要性, 阅读 CommonJS Spec Wiki 了解关于 CommonJS API 的更多内容

在 React 生态圈中, 大部分可重用的组件、库和工具遵循 CommonJS 模块规范, 可通过 npm 来安装.

学习 JavaScript 打包工具

出于若干技术原因, CommonJS 模块 (也就是 npm 里的所有内容) 不能直接用到浏览器. 你需要一个 JavaScript “打包工具(bundler)” 来把这些模块打包成 .js 文件, 使你可以在网页中通过 <script> 标签引入它们.

JavaScript 打包工具包括 webpack 和 browserify. 它们都是好的选择, 但我个人更喜欢 webpack , 因为它有许多功能简化大型应用开发. 鉴于 webpack 文档可能令人感到困惑, 我也写了两篇文章: plug-and-play template for getting started 和针对更复杂用例的 how-to guide for webpack.

要记住的一点: CommonJS 使用了 require() 函数来引入模块, 因此许多人对此感到疑惑, 并认为需要导入 require.js 到工程里. 出于若干技术原因, 我建议你避免使用 require.js. 它在 React 生态圈并不流行.

学习 ES6

在 JSX (你会在 React tutorial 中学习到) 以外, 你可能会注意到 React 例子中一些有趣的语法. 这被称为 ECMAScript6, 是 JavaScript 的最新版本. 由于 ES6 很新, 你可能还没学习到, 浏览器也可能尚未兼容, 但别担心, 通过合适的配置, 你的打包工具会为你自动转换成兼容代码.

如果你只想要使用 React 来把事情做完, 你可以跳过 ES6 的学习, 或者留到以后再学习.

你可能会看到一些讨论说更适合用 ES6 的 class 来创建 React 组件. 这并不是真的, 大多数人 (包括 Facebook) 用的还是 React.createClass().

学习路由 (routing)

“单页面应用” 是时下的技术热点. 当网页加载完成, 用户点击链接或者按钮的时候, JavaScript 会更新页面和改变地址栏, 但网页不会刷新. 地址栏的管理就是通过 路由(router) 来完成的.

目前 React 生态圈最受欢迎的路由解决方案是 react-router. 如果你正在创建一个单页面应用, 有什么理由不去使用它呢?

如果你创建的并非单页面应用, 请不要使用路由. 无论如何, 大部分项目都是从大型应用中的小组件开始的.

学习内联样式

在 React 出现之前, 很多人通过像 SASS 这样的预处理器来重用复杂的 CSS 样式表. 鉴于 React 使开发可重用组件变得容易, 你的样式表可以变得没那么复杂了. 社区中许多人 (包括我) 正尝试完全抛弃样式表.

由于一些原因, 其实这是个相当疯狂的主意. 这让媒体查询 (media quries) 更加困难了, 而且这种技术可能有性能上的局限性. 当你开始用 React 的时候, 只要用你平常使用的方法去写就好了.

一旦你找到了用 React 开发的感觉, 你就可以关注那些可作为替代的技术了. 其中一种流行技术是 BEM. 我建议你逐渐停用 CSS 预处理器, 因为 React 给了你一种更强大的方式去重用样式 (通过重用组件), 并且 JavaScript 打包工具可以为你生成更高效的样式表 (我曾经在 OSCON 上发表过关于这个的演讲). 说了这么多, 总之 React 就像其他 JavaScript 库一样, 可以和 CSS 预处理器很好地配合工作.

另一种可选项是 CSS 模块, 更具体地说, 是 react-css-modules. 虽然有了这些 CSS 模块, 你还是写 CSS (或者是 SASS/LESS/Stylus), 但你可以像处理 React 中的内联样式那样管理和组织 CSS 文件. 你也不需要担心用到 BEM 那样的方法学去管理类名, 因为模块系统在底层已经帮你处理好了.

学习服务器端渲染

服务器端渲染经常被称为 “通用应用” 或 “同构应用”. 这意味着你可以用 React 组件在服务器端渲染出静态 HTML. 这样做可以提高初始化加载的性能, 因为用户不用等到 JS 下载完才看到初始界面, 并且 React 可以重用服务器端渲染出的 HTML, 无需客户端重新生成.

如果你发现首屏渲染速度过慢, 或者想提高网站在搜索引擎的排行, 你就需要服务器端渲染了. 尽管 Google 现在也会索引客户端渲染的内容, 但截至 2016 年 1 月, 这样做仍被证实会对排行有负面影响, 这可能是由于客户端渲染的性能问题所造成的.

服务器端渲染还需要许多工具的辅助, 因为显然 React 组件不是在考虑服务器端渲染的情况下写出来的, 你应该先构建你的应用, 之后再关心服务器端渲染的问题. 不用担心, 你不需要重写所有组件去支持它.

学习 Flux

你可能听过 Flux, 不过关于 Flux 有大量的错误资讯.

许多人一坐下来刚开始构建应用, 就认为需要用 Flux 来定义他们的数据模型. 这样采用 Flux 是不对的, Flux 应该在大量组件被建立完成以后才被引入.

React 组件之间存在层级关系. 在很多时候, 你的数据模型也跟随这种层级. 这种情况下, Flux 不会给你很大帮助. 但有些时候, 你的数据模型没有层次, 当你的 React 组件开始接受没有关联的 props 的时候, 或者当小部分组件开始变得复杂的时候, 你才可能需要看看 Flux.

你会知道什么时候需要用 Flux. 如果你不确定是否需要用它, 你就不需要它.

如果你决定使用 Flux, 现在最流行的、文档最全的 Flux 库是 Redux. 当然也有许多其他选择, 你或者会有兴趣尝试使用它们, 但我的建议是只需要用最流行的 Redux 就足够了.

学习 Immutable.js

Immutable.js 提供了一系列的数据结构, 以帮助解决构造 React 应用时的某些性能问题. 这是一个很棒的库, 你可能会在应用发展的过程里大量用到它, 但直到你在意识到性能问题以前, 它是完全不必要的.

学习 Relay, Falcor 等

这些技术可以帮你减少 AJAX 请求数, 它们仍然是非常前沿的, 所以如果你没有遇到过多 AJAX 请求的问题, 就不需要用到 Relay 或者 Falcor.