顯示具有 nodejs 標籤的文章。 顯示所有文章
顯示具有 nodejs 標籤的文章。 顯示所有文章

2024年1月16日 星期二

node 多版本問題

透過nvm 可以在主機上安裝多版本nodejs

任意切換

最近在把原本系統node16升級到node 20

一直遇到錯誤顯示 module的版本錯誤

但透過node --version檢查 版本已經20對了

還是報錯

最後發現當使用sudo node --version看到的版本卻是16

才發現若用sudo 執行會是執行到16的版本

這問題來自於

早期系統安裝node 16時

有把/usr/bin/node link到 nvm內16的版本

造成版本不一

2022年8月1日 星期一

got.js response內容

當以got作 request取得的資料內容為

如果是正確的完成 會取得response物件

物件的內容為{ body, statusCode}

若發生錯誤catch到的error物件

error.response 也是一個response物件

也就是是原始的httpResponse物件

內容一樣是{ body, statusCode}


ex:

const response = await got(url, opt).catch(e => {

  // e.response 就是httpResponse物件 // ex:403

  // e.response.statusCode

  // e.response.body 錯誤資訊 ERR_NON_2XX_3XX_RESPONSE, ETIMEDOUT

})

抱怨一下got.js的文件看起來很多 但可用性真的很低

真的很難找到需要的資訊

2022年7月27日 星期三

開機自動執行pm2

pm2本身內建產生自動執行腳本

// 執行要透過pm2執行的指令

pm2 start src/index.js --name=jdagent

//儲存

pm2 save

// 產生啟動腳本

pm2 startup

執行後通常會提示 你真正要執行的指令

複製 執行就可以了

ex:

sudo env PATH=$PATH:/home/ozzy/.nvm/versions/node/v12.22.8/bin /home/ozzy/.nvm/versions/node/v12.22.8/lib/node_modules/pm2/bin/pm2 startup systemd -u ozzy --hp /home/ozzy

產生的腳本會是存在

ex:

/etc/systemd/system/pm2-ozzy.service


要移除自動啟動

pm2 unstartup systemd

執行後通常會提示 你真正要執行的指令

複製 執行就可以了

ex:

sudo env PATH=$PATH:/home/ozzy/.nvm/versions/node/v12.22.8/bin /home/ozzy/.nvm/versions/node/v12.22.8/lib/node_modules/pm2/bin/pm2 unstartup systemd -u ozzy --hp /home/ozzy


2022年6月21日 星期二

express api 同時處理form與raw

express api 同時處理form與raw

寫api接收post資料可能會是raw data或form或x-www-form-urlencoded

透過header Content-Type 判斷

如果是raw conten-type會是text/plain

其他分別就會是

1. raw data

content-type==='text/plain'

raw data 無法由req.body拿到資料

必須透過

req.on('data',()=>{})接收

req.on('end',()=>{})完成接收取得完整資料

取到的完整資料會是string


2.application/x-www-form-urlencoded

content-type==='application/x-www-form-urlencoded'

直接由req.body取得資料

req.body為object物件內容


3.multipart/form-data

用來上傳檔案與資料用的

一樣可以透過req.body取到資料

但必須要有安裝multer

app.use(multer({ dest: './uploads/' }))

注意要判斷是否使用form-data

要用contentType.indexOf('multipart/form-data') !== -1 判斷

因為內容值不只multipart/form-data

 const contentType = req.get('Content-Type')  
  // 處理raw data  
  let data = ''  
 if (contentType === 'text/plain') {  
  req.setEncoding('utf8')  
  req.on('data', (chunk) => {  
   data += chunk  
  })  
  req.on('end', async() => {  
   res.send(data)  
  })  
 } else {  
  let data = req.body  
  if (typeof data === 'object') data = JSON.stringify(data)  
  res.json({ data })  
 }  

2022年3月1日 星期二

pkg讀取資料檔案路徑

使用pkg將node應用程式封裝成各平台的執行檔

當執行時要讀取其他檔案的路徑

其他檔案有無被封裝 路徑是有差異的

舉例來說

有一個專案目錄

node_proj/

  tmp/

  js/

js目錄內的檔案要被封裝到執行檔內

tmp目錄內的檔案不封裝到執行檔

執行封裝好的執行檔時

1.封裝到執行檔的目錄

  在package.json內需設定要封裝的檔案

  "pkg": {

    "scripts": [

      "./js/**/**/*.js"

    ],

    "assets": ''

  }

  封裝好的執行檔在執行時 js/目錄會是在'snapshot/node_proj/js/file.js'

  在程式內要讀取的路徑需以相對路徑方式寫

  path.resolve(__dirname,'..','js','file.js')

2.若是要讀取未被封裝在執行檔內的檔案

  path.resolve('.','tmp','hello.txt')

  會讀到執行目錄下的檔案


2021年10月3日 星期日

vagrant shared folder npm問題與symlink操作

目的希望以vagrant建立開發環境

只將要開發的nodejs專案以shared folder方式

在host上執行開發

但問題會發生在 如果在shared folder內執行npm install

將造成錯誤

如果是在vm內的非shared folder執行是不會有什麼問題


目前測試比較簡易的作法是

shared folder內作npm install會安裝的node_modules目錄

不要是實體目錄,而只是一個連結到其他位置的symlink即可解決

ubuntu內建立symlink


ln -s 實體目錄 虛擬目錄


1.列出指定目錄下的symlink

  find 目錄 -type l

2.建立symlink

  ln -s 實體目錄 虛擬目錄

3.移除symlink

  rm 虛擬目錄

注意

  如果是實體目錄 必須以rm -rf 目錄名稱

  如果只是連結 只需要rm即可

2021年9月23日 星期四

express透過req要取得request進來的url資訊

可以透過

1.req.protocol // http或https

2.req.hostname // 這只會取到example.com

3.req.get('host') // 可以取到 example.com:3000

4.req.originalUrl // 取得/main?x=1&y=2

2021年5月17日 星期一

各種執行方式下傳遞參數給nodejs的執行

在使用command line執行node程式

透過參數傳遞到程式內的幾個執行方式

參數的傳遞

1.node

  js程式內(buildTest.js)

    const host = process.argv[2]

    const type = process.argv[3]

  執行

    node buildTest myhost mytype

2.透過npm執行

  將node執行放到package.json的script上透過

  npm run執行

  1.package.json內設定

    {

      ...

      "build-test": "node ./xxx/buildTest",

    }

  2.npm 執行

    npn run build-test myhost

3.包裝成bat檔案執行

  bat檔案內容(build-test.bat)

    @echo off

    node buildTest.js %1

  執行

    build-test.bat myhost

4.保證正確的執行路徑設定

  透過各種方式執行

  需要注意到路徑問題

  要執行的js檔案在 /ozzy/test/build-test.js

  執行方式

  1.在根目錄下執行

    使用node /ozzy/test/build-test.js執行

  2.進入到js檔案所在目錄執行

    cd /test/

    node build-test.js

  若執行的js內有用到相對路徑

  相對的對象會是node執行的位置

  可能會造成問題


  要保證在任何地方都可執行

  最好取得完整路徑

  作法是以__dirname 搭配path.join取得絕對路徑

  __dirname會拿到js檔案所在目錄的位置

  ex:

    在build-tes.js內要取到/ozzy目錄

    原本相對路徑是用

    const ozzyPath = '../'

    改用

    const ozzyPath = path.join(__dirname,'..')

2020年12月10日 星期四

nodejs express 非同步錯誤處理的error傳遞

情境

route main內執行 child()

child為非同步

非同步的child function可以是


1.以async宣告
const asyncFun = async(res) => {
  await sleep(2000)
  const result = JSON.parse(body)
  return result
}
2.以Promise宣告
const promiseFun = (res) => {
  return new Promise((resolve, reject) => {
    try {
      const result = JSON.parse(body)
      resolve(result)
    } catch (e) {
      reject(e)
    }
  })
}

如果child function內沒有使用try catch包裹

發生錯誤就會是往呼叫端(main)的catch丟
如果呼叫端(main)也沒有用try catch或是asyc 的catch攔截
錯誤就會往外 讓express的錯誤處理接收到

有一個特別的例外是當child內有使用setTimeout把執行的工作包裝起來
那麼當發生錯誤時
若在child內寫try catch是可以攔截到 但卻無法把錯誤往呼叫端丟
唯一可行的是child是使用promise寫 就可以在try catch攔截到錯誤
時呼叫reject回傳給呼叫端的catch

儘可能不要在child內直接處理res回應
否則當child發生錯誤 res回應的部份不被執行
可能造成系統掛掉

2020年12月8日 星期二

node express async程式發生錯誤時的幾種狀況

 

當執行的async程式發生錯誤時的幾種狀況

一.以try catch 包覆整個程式

1.try catch 包覆外的程式

  無論有無錯誤發生都會被執行

  常見的Cannot set headers after they are sent to the client錯誤 就是這樣發生

2.在try區塊內發生錯誤

  會直接跳到catch區塊,try內其他往下程式碼不會被執行到

3.只要有catch區塊存在

  系統會認為你有處理 就不會主動把錯誤往外丟

4.catch區塊內 以reject回應

  以reject回應錯誤,會回到呼叫端的catch

  若呼叫端沒有catch 則會在這裡發生錯誤

5.catch區塊內 以next回應

  會跳到整個app 的錯誤處理機制上

  也就是進入使用app.use()的部份處理

  

二. 沒有try catch

1.function內

  會直接發生錯誤

2.route內

  會自動往next丟 給外部的錯誤處理

2020年5月20日 星期三

nodejs上RabbitMQ 使用amqplib 紀錄

在nodejs上實作rabbitMQ的client端
使用amqplib module
依照文件做一些紀錄

Overview
  1.在與RabbitMQ建立連線connection後
    在connection上是可以建立多個channel
  2.RPC端透過AMQP與Server連接 都是透過非同步的方式的溝通
    也就是說 RPC不是直接與RPC溝通 而是透過中介的RabbitMQ Server
    傳送與接收
    因此大多數amqplib提供的操作method 並不會由server取得回應
    或只是接收到boolean的回傳值
Dealing with failure
  大多數AMQP的操作,只要沒達到預期的狀態就會當作錯誤
  因為錯誤可能造成channel關閉,錯誤發生或可能產生的效應
  1.目前發生錯誤的RPC會被reject
  2.使用的channel物件會因為錯誤 造成之後的操作發生問題
  3.任何等待傳送的RPC 都會被reject
  4.造成channel物件emit 'error'
  5.造成channel物件emit 'close'
  當channel發生錯誤有可能是其他的RPC所造成
  而非當下連線的RPC造成
  要去找到問題發生原因可以透過
  try catch捕捉到錯誤e的stackAtStateChange會是有用的錯誤資訊
connection.createChannel().then(function(ch) {
  ch.close();
  try {
    ch.close();
  }
  catch (alreadyClosed) {
    console.log(alreadyClosed.stackAtStateChange);
  }
});

Flow Control
channel的運作會類似於stream.Writable
  1.當呼叫publish或sendToQueue時會回傳
    true:代表 'keep sending'
    false:代表 please wait for a 'drain' event
  2.呼叫以下這些method則不會有任何server的回傳
    包括ack, ackAll, nack, nackAll, and reject
  3.ConfirmChannel則會以callback來接收boolean值
    當server有確認了message時 callback會被呼叫

Argument handling
  許多的method操作都會吃一個option參數
  option本身有一些預設的option參數值
  如果傳入非option定義的參數內容會被忽略
  通常會把option合併成一個單一物件便於使用
var common_options = {durable: true, noAck: true};

var bar_opts = Object.create(common_options);
bar_opts.autoDelete = true;

var foo_consume_opts = Object.create(common_options);
// 使用arguments table方式priority,必須以x-格式寫, 
foo_consume_opts.arguments = {'x-priority': 10};

var bar_consume_opts = Object.create(foo_consume_opts);
// 覆寫之前已經設定的prooprity值
bar_consume_opts.priority = 5;

Field table values
  在publish與sendToQueue的option內
  包括arguments與headers都是 field table值
  都是key-value object型式
  有一些特別的value型態會在table內被encode
  當js內會以!語法來標明其型態
ex:
  {'!': 'int8', value: 64}
  {'!': 'decimal', value: {digits: 4999, places: 2}}

2019年12月31日 星期二

nodejs 錯誤處理

當在開發nodejs 程式 規模越來越大時
功能可能就被切割到多個function內
各階段的錯誤處理 有統一標準的作法
會便於建立標準的工作流程
整理一下關於錯誤的處理的注意要點

1.完全不處理 系統會自動以throw將錯誤丟出
2.若要對error資訊做處理或是加工 錯誤資訊
  請用try catch包起來
3.丟出錯誤 請統一用Error物件丟出
  catch攔截到的一定是Error物件
  發生錯誤自動throw出去的也一定是Error物件
4.當使用catch攔截到error物件處理後
  若寫了catch攔截錯誤
  在catch內執行throw將錯誤往外丟
  否則程式會繼續往下走
5.自訂Error物件
  e= new Error('messagxxxxxe') 可透過e.message 取得資訊
  系統throw出的錯誤訊息都會是在e.message
  若要加入自訂的資料屬性可以用 ex: e.info = sql ..
  Error物件屬性只有message是通用跨browser通用
6.系統已經加上error 處理的middleware
  若錯誤沒有被處理回到route上
  會被error handler接收

參考Error物件

2019年12月24日 星期二

supertest server執行時間過長 timeout問題排除

supertest 做api 的route測試
通常會在before內建立連線
再交由後續it進行測試

建立連線的過程
通常可能會是
const server = app.listen(5000,...)
api = supertest(server)
產生api 物件做後續的測試
如果產生server時間過長 (預設限制是2000ms)
則會因timeout而讓測試無法進行
在執行 mocha時 可以透過設定 加長timeout的時間
mocha --timeout 5000

2019年11月7日 星期四

Gulp4 Did you forget to signal async completion?錯誤

在gulp task內以aysnc執行多項工作
在完成後希望可以用process.exit關閉視窗
process.exit的呼叫必須是在done()之後才執行
否則報錯

sampe code

gulp.task('myjob', async (done) => {
  for(var i=0; i < 10; i++){
    // loop do something
    const response = await doSomething(i);
    console.log(response)
  }
  done()
  process.exit()
})

2019年10月22日 星期二

nvm nodejs版本升級 並安裝原有package

通常使用nvm install 新的版本 就可以升級
如果升級同時把原本已經安裝在global上的package
也一併安裝到新的node上 可以使用

 nvm install 新版本 --reinstall-packages-from=舊版本  

可能需要重新安裝與rebuild的部分

 rm -rf node_modules  
 rm package-lock.json  
 npm rebuild node-sass  
 npm install gulp-cli -g  
參考連結

2019年9月27日 星期五

Linux 開發環境設定紀錄

開始在適應使用Linux mint作為開發系統
使用上除了桌面與觸控板手勢的操作沒有mac好用外
基本上都還算上手
建置web開發環境 與執行原本的專案
發現了專案內有一些require大小寫有誤的地方
在linux下都會跳出錯誤訊息確認修正
環境的設定上 部份的小問題處理
在這作個紀錄

開發的系統移到mint上

1.ruby compass 使用安裝問題
You need to have Ruby and Compass installed and in your system PATH
問題處理
 sudo apt-get install gcc ruby-dev rubygems  
 sudo gem install compass  

2.系統問題
Error: ENOSPC: System limit for number of file watchers reached
設定可watch數量
 vi /etc/sysctl.conf  
 fs.inotify.max_user_watches=524288  

3.shell切換使用
 執行 /bin/bash | zsh  
 設定 vi ~/.bashrc 或 .zshrc  
 應用 source ~/.bashrc  
 設定預設 chsh -s /bin/zsh  

4. Android Studio 問題
使用AVD 發生
/dev/kvm permission denied.錯誤
ubuntu18後需要
 1.sudo apt install qemu-kvm.  
 2.sudo adduser $USER kvm //將自己帳號加入到kvm群組內  
 3.重新啟動電腦 就可以用了  

5.升級node 10 gulp錯誤
錯誤 gulp[5761]: ../src/node_contextify.cc:635:static void node::contextify
執行 npm i natives 修正

6.JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2019年9月10日 星期二

sequelize 建立沒有primaryKey的 table model

當建立的 table model ,table並沒有任何欄位有設定primaryKey
model會預設建立一個id的欄位當作primary key
可能在做查詢時會因為這樣不存在的id而出錯
若建立的model 無pk存在 加入一段檢查
移除id attribute 即可

let havePK = false
fields.forEach(field => {
  if (field.primaryKey) havePK = true
})
const model = sequelize.define('tableName', fields, option)
if (!havePK) model.removeAttribute('id')

2019年9月8日 星期日

Side Project : node-graphql-api 後端資料服務

長期以來自己開發主要都著力都於前端
SPA的架構下,前後端是完全乾淨分離的開發模式
這架構下資料的來源 都仰賴API的服務提供

以前接案 後端的部分都是使用php寫API服務
之後技術發展移到nodejs上
剛好公司也因為沒有完整的API系統
自己也就跳下來使用nodejs建構一個基礎的架構方便使用
原本只是方便自己使用的架構
也衍生變成提供公司內多專案共通使用的API服務

在既有的包袱與人員的限制下
許多自己想要實作的部分 變的很難在現有專案上實作
因此才會以自己的side project
全新打造一個自己理想中的系統

project預期目標
1.提供可以多人共同開發的系統架構
  開發者只需關專於API的邏輯書寫,其他系統都會幫你搞定
2.標準Restful API資料服務
3.Graphql 資料服務
4.單元測試
   所有功能與api都透過單元測試確保穩定性與程式品質
5.封裝可執行檔
  可以執行檔做最簡單的部署到客戶端主機
6.提供通用資料查詢
  系統本身提供通用Restful API與 Graphql
  在安裝設定後,即可對資料庫table做CRUD處理

專案進行 持續維護中
node-api github位置
https://github.com/ozzysun/node-graphql-api






2019年9月5日 星期四

sequelize-auto 建立json model

nodejs上ORM主要是以sequelize為最主要使用
sequelize-auto則是用來將現有的db table 轉成data model的工具
可建立 js module當作ORM操作時使用的model物件

最近因為除了拿來用data model使用外
還會需要利用 這取得table schehema做其他應用
像在graphql就可以拿來產生object type
希望除了輸出js module當作model物件使用外
還希望可以輸出json格式 做其他應用
原sequelize-auto並無這部分功能
這幾天改寫這部分
有需要者 歡迎取用
https://github.com/ozzysun/sequelize-auto
使用說明

建立js module
sequelize-auto -o "./models" -d dbName -h localhost -u username -p 3306 -x yourpassword -e mysql

建立json
sequelize-auto -o "./models" -d dbName -h localhost -u username -p 3306 -x yourpassword -e mysql -j

將產生的json轉成js module
const { getModel } = require('sequelize/lib/utils')
const model = await getModel(sequelize, jsonfilePath)

2019年9月2日 星期一

pkg 動態require module

使用pkg可以封裝nodejs服務建立可執行應用程式
新版的pkg已經支援es6
不再需要如同舊版要先透過babel轉成es5才能封裝

封裝時會依照檔案內有require的module全部封裝進來
但如果是要需要動態require的部分
例如依照程式邏輯判斷需要require的檔案
這部分如果不例外處理 在runtime時無法判斷真正要require的檔案

這部分需要做以下幾點的處理
1.package.json內
加入提示pkg要動態載入的script目錄

"pkg": {
  "scripts": [
    "./src/routes/**/**/*.js",
    "./src/graphql/**/**/*.js"
  ],
  "targets": [
    "node10-macos-x64",
    "node10-win-x64"
  ]
}

2.不能直接引用require
需要把require method另外存放使用

ex:
global.requireExternal = require
就可以在要require動態模組時改用
global.requireExternal

3.注意檔案路徑
為確保在跑nodejs或封裝成應用程式
要require的模組路徑必須以__dirname組成正確完整路徑
ex: filePath = `${__dirname}/src/query`

4.sample code

global.require = require
files.forEach(filename => {
  const requirePath = `${__dirname}/folder/${filename}`
  const MyClass = global.require(requirePath)
  new MyClass()
})