顯示具有 docker 標籤的文章。 顯示所有文章
顯示具有 docker 標籤的文章。 顯示所有文章

2022年10月18日 星期二

在Docker環境安裝MySQL8

要使用Docker安裝MySQL8,並可以遠端作db連線

原先MySQL5的設定方式已經不能用,且my.cnf內容也需要調整

- 編輯my.cnf

  已經沒有/etc/mysql/mysql.conf.d/目錄

  ```

  !includedir /etc/mysql/conf.d/

  [mysqldump]

  user=xxx

  password=xxx

  [mysql]

  user=xxx

  password=xxx

  [mysqld]

  skip-grant-tables // 這個設定完成要以#關閉

  ```

  會發生無法用mysql -u root -p 進入mysql

  暫時把skip-grant-tables開啟

- 進入mysql container 修改root密碼

  會發生無法用mysql -u root -p 進入mysql

  改密碼讓正常可以進入mysql

  ```bash

  sudo docker exec -it mysql99 bash

  ```

  設定root@local的密碼

  ```mysql

  flush privileges;

  ALTER USER 'root'@'localhost' IDENTIFIED BY 'xxxxx';

  ```

- 編輯my.cnf

  關閉 skip-grant-tables

  重啟mysql

- 進入mysql 改以新的方式取得遠端權限設定

  ```bash

  sudo docker exec -it mysql99 bash

  ```

  ```mysql

  CREATE USER 'root'@'%' IDENTIFIED BY 'be5578360';

  GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;

  FLUSH PRIVILEGES;

  ```

2022年5月4日 星期三

透過ansible 匯出docker MySQL db

要把docker mysql container的資料倒出來

當然可以透過像MySql workbench倒回即可

但目標是透過ansible腳本可以遠端隨時把db dump出來

所以需要的是透過單一指令執行

基本作法是

先進入container

sudo docker exec -it mysql99 bash

再執行mysql dump指令

mysqldump -u root -p mydb > mydb.sql


可以簡化成由docker exec直接執行

sudo docker exec -it mysql99 bash -c 'mysqldump -u root -p mydb > mydb.sql'


但如果要自動化這有一個問題是,每次都需要輸入password

解決方式是 在my.cnf加入設定

[mysqldump]

user=xxx

password=xxx

指令可以再簡化連使用者都不用輸入 

sudo docker exec -it mysql99 bash -c 'mysqldump mydb > mydb.sql'


已經準備好自動化的指令

接下來就可以使用ansible腳本來執行

dump.yml

- name: Dump MySQL db

  hosts: myhost

  tasks:

    - name: Dump MySQL DB -e db要帶匯出的db名稱

      become: true

      shell:

        cmd: "docker exec -it contianerName bash -c 'mysqldump {{db}} > {{db}}_{{ ansible_date_time.date }}.sql'"

      register: output

    - debug:

        var: output

執行

ansible-playbook -i hosts.yml -e db=mydb dump.yml

就會將mydb dump到 mydb_20200501.sql這樣帶有日期的sql檔案

2021年11月10日 星期三

mongo-express錯誤listDatabases requires authentication

原本mongo+mongo-express運作相當穩定

後來掛掉 透過docker logs察看到一個錯誤

MongoError: command listDatabases requires authentication

需要驗證

在docker-compose.yml上加上設定ME_CONFIG_MONGODB_URL解決

ex: docker-compose.yml

mongo-express:

  image: mongo-express:latest

  container_name: mongo_admin

  restart: always

  ports:

    - 8081:8081

  environment:

    ME_CONFIG_MONGODB_ADMINUSERNAME: 帳號

    ME_CONFIG_MONGODB_ADMINPASSWORD: 設定密碼

    ME_CONFIG_SITE_BASEURL: /mongo

    ME_CONFIG_MONGODB_URL: "mongodb://帳號:密碼@mongo—container名稱:27017/"


2021年11月9日 星期二

透過 ansible 限制docker-compose 執行的cpu與記憶體

 實際場域遇到一個狀況

在Window Server運行node api server

發生node吃掉100%cpu 而讓系統無法回應


將node api server以docker佈署到Linux主機上

希望可以限制每個continainer的資源

限制可使用的cpu與記憶體

佈署docker container是透過ansible執行

ansible設定docker-compose的cpu限制 在3.x版後就不支援了

只能透過docker執行

要透過docker-compose執行 只能透過shell執行


安裝

1.docker-compose.yml

node-api-server:

  image: node:12.22.7-alpine3.14

  container_name: node-api-server

  working_dir: /usr/src/NODE_API_SERVER/bin

  restart: always

  command: >

    sh -c 'node index'

  volumes:

    - '/home/vagrant/project_pools:/usr/src/'

  ports:

    - 12345:12345

    - 9229:9229

  deploy:

    resources:

      limits:

        cpus: '0.40'

        memory: '300M'

2.ansible 安裝檔 install.yml

tasks

  - name: build docker

    become: true

    docker_compose:

      project_src: 'docker-comose檔案所在的目錄'

3.ansible 執行檔start.yml

tasks:

  - name: Shell Start node-api-server

    shell:

      cmd: docker-compose --compatibility up -d

      chdir: 'docker-comose檔案所在的目錄'

      

參考

https://blog.yowko.com/docker-compose-3-cpu-memory-limit/

2021年10月31日 星期日

vagrant 安裝docker與docker compose

1.先安裝vagrant plugin

  vagrant plugin install docker

  vagrant plugin install vagrant-docker-compose

2.VagrantFile

  Vagrant.configure("2") do |config|

  ...

    config.vm.provision :docker

    config.vm.provision :docker_compose

  end

其他詳細使用可以參考

https://github.com/leighmcculloch/vagrant-docker-compose

2020年12月24日 星期四

nginx透過Reserver Proxy到docker grafana設定

grafana預設跑在3000的port上

要讓nginx可以upstream到grafana上

並不能只是在nginx上設定

grafana的init設定檔 也需要對應設定


為了讓我們方便管理

可以透過 ansible 將本機準備好的grafana.ini丟到遠端主機上

再透過docker volumn對應 將這ini檔案 對應到container內設定檔的位置

docker-compose 設定

version: '3.8'
services:
  grafana:
    image: grafana/grafana
    container_name: grafana99
    restart: always
    volumes:
        - grafana_data:/var/lib/grafana
        - /home/ozzy/docker_share/monitor/grafana.ini:/etc/grafana/grafana.ini:ro
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=xxxx
    depends_on:
      - prometheus
    ports:
      - '3000:3000'

grafana.ini設定

instance_name = ozzysun.com
protocol = http
http_port = 3000
domain = ozzysun.com
enforce_domain = true
root_url = http://ozzysun.com/grafana
serve_from_sub_path = true
nginx端設定

location /grafana/ {
    proxy_pass http://192.168.0.99:3000;
    proxy_set_header Host       $http_host;
    proxy_set_header X-Real-IP    $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

test

2020年12月22日 星期二

docker prometheus 儲存資料設定

當使用docker執行prometheus 有一個問題是

當有更改設定檔或是重新啟動服務

所有的資料就都清空了

要確保資料可以長久保留下來

需要將儲存資料的目錄mount到host上的資料夾


在prometheus內資料是存放在container內的 /prometheeus/data目錄下

通常docker container透過volume 去mount指定目錄就可以

但可能會遇到目錄的權限問題

open data/queries.active: permission denied


必須要將mount的host目錄權限設定與執行promethus的使用者權限才可以

譬如說我在docker compose設定以root來執行promethus

則要mount的目錄的owner 就必須要是root


 docker-compose.yml內容  
 version: '3.8'  
 services:  
  prometheus:  
   image: prom/prometheus:latest  
   user: "0:0"  
   container_name: prometheus99  
   restart: always  
   volumes:  
    - /home/ozzy/docker_share/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro  
    - /home/ozzy/docker_share/prometheus/prometheus_data:/prometheus  
   environment:  
    - GO15VENDOREXPERIMENT=1  
   command:  
    - '--config.file=/etc/prometheus/prometheus.yml'  
   ports:  
    - '9090:9090'  
說明
通常我會使用ansible來管理docker的佈署與更新
先將需要維護的設定檔 透過ansible 由開發本機複製到遠端主機host的指定目錄下
接下來再經由docker container mount volume到這指定的目錄下
來達到docker的資料管理都可以在遠端的host上

個人在這個地方卡了一些時間是因為
使用ansible在遠端主機上建立目錄
是指定了become: true也就是使用root建立
但在docker-compose內我並沒有特別設定執行的user
因次premethus是使用遠端主機登入的使用者ozzy執行
造成了寫紀錄的目錄與執行service是不同使用者而
造成權限問題
docker-compose設定的使用者是以設定UID
如果要查uid 可以使用以下指令
顯示目前使用者uid
echo $UID

顯示所有使用者id

 awk -F: '{printf "%s:%s\n",$1,$3}' /etc/passwd  

如果要進入promethus container內 注意 內部並沒有bash 需要改呼叫sh


docker exec -it grafanaContainer sh

2020年10月14日 星期三

Error response from daemon: cannot stop container 無法停止docker container


當使用

sudo docker container stop xxx 

卻發生 無法停止的錯誤

Error response from daemon: cannot stop container

可以透過

sudo aa-remove-unknown

之後就可以stop container

2020年7月24日 星期五

docker nginx container使用注意事項

通常使用nginx container 會將設定檔的部份
還有html的部份mount到主機host
方便異動檔案
以下是一些與平常使用nginx的差異注意的部份
1.upstream到本機host上的其他服務
原本的upstream server 設定只要設定
upstream myapi_srv{
  ip_hash;
  server localhost:12347;
}
當是使用container時
不要使用127.0.0.1或localhost這會是指到container內
需改為指到本機host所在的ip上
upstream api_srv01{
  ip_hash;
  server 192.168.0.195:12347;
}


2.alias設定檔案路徑
將host的myFlder目錄 mount到container下的/usr/share/nginx/html
-v ~/myFolder:/usr/share/nginx/html
原本alias到實體檔案所在位置 ~/myFolder/www
location /test {
  alias ~/myFolder/www;
}
nginx container則需改設定
location /test {
  alias /usr/share/nginx/html/www;
}

4.nginx.pid位置
pid檔的位置要查nginx.conf 內的設定路徑

2020年6月30日 星期二

docker nginx 時間不同步

docker nginx 時間不同步
通常nginx上時區的設定只需要加上
autoindex_localtime on;
即可使用到local的timezone
但在container內是無效的
需要讓container與host也就是安裝docker本身的主機環境時間同步
可以在啟動時加上
v /etc/localtime:/etc/localtime:ro
完整的啟動指令範例如下
docker run --name=mynginx -d 
-v /etc/localtime:/etc/localtime:ro 
-v ~/myhtmlfolder:/usr/share/nginx/html 
-v ~/docker_share/nginx/conf:/etc/nginx/conf.d
-v ~/docker_share/nginx/nginx.conf:/etc/nginx/nginx.conf:ro 
-v ~/docker_share/nginx/logs:/var/log/nginx 
-p 80:80 nginx

mac上時區設定localtime無效須改用時區設定

docker run --name=mynginx -d 
-e "TZ=Asia/Taipei" 
-v ~/docker_share/nginx/nginx.conf:/etc/nginx/nginx.conf:ro 
-v ~/bcc:/usr/share/nginx/html 
-v ~/docker_share/nginx/conf:/etc/nginx/conf.d
-v ~/docker_share/nginx/nginx.conf:/etc/nginx/nginx.conf:ro
-v ~/docker_share/nginx/logs:/var/log/nginx -p 80:80 nginx

2020年4月24日 星期五

安裝與設定使用 nginx docker

利用nginx docker取代在系統內安裝的nginx
1.基本docker指令

docker images 察看本機已下載的image
docker container list 察看本機上已經建立的container
docker ps 列出正在運行的container
docker stop containerID 停止container運作
docker container rm containerId 刪除container
docker image rm imageName 刪除image

2.初始安裝nginx
docker run --name=mynginx nginx -p 3838:80
  以nginx這個image安裝 命名為mynginx的container
  並將docker內部的80 port 對應到外部(host)使用的3838 port
  若本機並不存在nginx image會自動由網路下載安裝

3.進入nginx container 察看目錄
docker exec -it mynginx bash
  進入container 內察看設定檔的目錄準備用來對應到本機目錄使用
  查到nginx目錄在container內的
  /etc/nginx
  www根目錄在
  /usr/share/nginx/html

4.將nginx 設定檔與html目錄對應到本機上
  在本機上建立目錄用來對應
  ~/docker_share/nginx/html 對應html目錄
  ~/docker_share/nginx/conf 對應nginx設定檔
  設定nginx.conf單一檔案的對應需要使用:ro readyonly模式
  重新建立 container
docker run --name=mynginx -d -v ~/docker_share/nginx/html:/usr/share/nginx/html 
  -v ~/docker_share/nginx/conf:/etc/nginx/conf.d -v ~/docker_share/nginx/nginx.conf:/etc/nginx/nginx.conf:ro
  -p 3388:80 nginx
  若原container已存在可停止刪除再安裝

5.重啟nginx
  重啟nginx 的指令為 nginx -s reload
  可透過exec指令執行container內部指令
docker exec -d mynginx nginx -s reload
  當然也可以透過
  docker exec -it mynginx bash 直接開shell進入container
  再執行
  nginx -s reload


2019年9月22日 星期日

在Linux上build Kitematic

最近開始將工作環境從mac搬到Linux上
之前在mac上使用docker會使用kitematic這個很方便的管理界面
到github官方站台上只有winodw與mac的release版本可以下載
Linux則是只有source code需要自己build 執行程式

下載source code 解開發現原來kitematic是一個electron應用程式
直接執行Makefile是有問題的,原因是makefile內引用的npm script有錯
只能選擇自己依照標準electron專案的步驟來build
所有需要的script都已經放在package.json內
只要依照順序執行即可
 npm install // 安裝專案需要的node module  
 npm install electron-packager // 因為需要打包成執行檔 需要安裝electron打包程式  
 npm run release:debian:x64 // 依照自己的作業系統 在package.json內找到適合的script執行  
打包好的程式就會產生在dist目錄下

注意 如果build好的kitematic 執行有錯誤

we can't find a native setup

只要改用sudo kitematic執行即可