Node.js开发者们都在做什么?

RisingStack,Node基金会成员, Trace(下一代Node.js调试和监控工具) 的作者在2016年夏天主导了一项关于Node.js的开发者们倾向于哪方面的技术的调查。本文即这次的调查统计结果。

调查结果显示 MongoDB, RabbitMQ, AWS, Jenkins, Docker
和亚马逊托管服务成为开发者们的首选。

本次的调查结果页让我们发现开发者们在异步流程控制、代码调试、持续集成和包的搜索方面的关注和选择。同时也告诉我们Node.js开发者面临着一大痛点:调试。

本次调查从七月11日到八月15日总共历时35天,总共有1126名node.js开发者参与了本次的调查。其中55%的开发者具有两年以上的node.js开发经验,26%具有1到两年的经验。20%为公开交易的公司工作,7%在500强的公司工作。

作为一名曾今的pythoner,在以往的web开发工作时,接触过Django、Flask、Tornado等框架;而现在投入nodejs的怀抱,自然而然接触到了Express和Restify框架,下面就根据自己的入门经验,写一个restify+mongoose+redis进行web开发的简单示例。

基于Node.js的技术产品

MongoDB成为首选的数据库

澳门葡萄京官方网站 1

从上图我们可以看到,MongoDB已经成为开发者首选的数据库。大约有三分之二的人向我们声称在他们的应用中使用了MongoDB。同样值得关注的是Redis在有经验的Node.js开发者中的受欢迎程度在快速的增长,PostgreSQL/ElasticSearch也有着同样的增长趋势。

澳门葡萄京官方网站 2

Redis是缓存的一种解决方案,但还是有许多开发者不是这样做的

澳门葡萄京官方网站 3

有半数的开发者向我们反馈他们使用Redis来解决缓存的问题,但惊人的是依然有45%声称他们完全不用Redis。从不同经验的开发者的统计数据中我们可以看到富有经验的开发者比不到一年的开发者们更喜欢使用Redis。

澳门葡萄京官方网站 4

消息系统的依然受到冷落

从我们的调查数据来看,有58%的Node.js开发者不使用任何的消息系统。这意味着要么是开发者们选择使用REST
API来为他们的微服务提供消息服务,要么是他们还没有复杂到需要使用消息系统的服务。

澳门葡萄京官方网站 5

24%的开发者们在使用消息系统,并且他们大多选择了
RabbitMQ.RabbitMQ的受欢迎程度远远的超过了其它的同类型产品。

澳门葡萄京官方网站 6

Node.js 应用大多数托管在 AWS

有43%的开发者们将应用托管在AWS上,但他们中的34%都有自己的数据存储系统,这在企业应用中超过了50%。(当然这并不令人惊讶)

澳门葡萄京官方网站 7

有趣的是,Heroku和DigitalOcean在你追我赶成为第二大托管平台的同时,DigitalOcean更受小公司(50人以下)的喜爱,而Heroku更受到大公司的欢迎。

澳门葡萄京官方网站 8

Docker 在Node社区中占据主导地位

就目前来看,Docker成为首选的容器解决方案,有47%的人声称他们在使用
Docker,
同时在使用容器解决方案的开发者中有73%的选择了Docker.Docker在不同规模的公司中都很受欢迎,同时更受到富有经验的开发者(一年以上的Node开发经验)的喜爱。

澳门葡萄京官方网站 9

有64%的人告诉我们他们在逐渐的使用容器技术,这也意味着自从上一次Node.js统计以来,截止到2016年8月为止,容器技术的使用率已经提高了20%(上一次统计结果为45%)。

澳门葡萄京官方网站 10

亚马逊容器服务成为运行容器的第一选择

澳门葡萄京官方网站 11

虽然亚马逊容器占据着主导的地位,但我们也不能忽视Kubernetes也有着25%的占有量,同时从我们的数据来看,kubernetes更受到企业开发者的欢迎。

澳门葡萄京官方网站 12

零、开发环境

1.使用的node版本为v6.11.3
LTS(特此声明:示例代码使用了ES6的特性);
2.MongoDB和Redis请自行下载(为什么要同时使用这两个呢?因为懒
得写restify+mongoose和restify+redis两篇);
3.依赖的node_modules包括:restify、mongoose、redis,
4.安装好node后自带包管理工具npm(比Python的pip更强大一点点)
— npm install xxx -g 全局安装
澳门葡萄京官方网站,– npm install xxx –save 安装在本项目
一个名为package.json的文件是它的好基友,不信自己慢慢看

Node.js 开发

开发者更喜欢配置文件而不是环境变量

大部分的node.js开发者更喜欢配置文件而不是环境变量(59% VS
38%),只有29(3%)两者都在使用。

澳门葡萄京官方网站 13

使用配置文件存在一定的安全隐患,因为你的认证数据就存储在代码仓库中。如果你的包含认证数据的代码托管在github,那么久有可能遭到不怀好意的开发者的麻烦。

从隐私的角度来说,更推荐使用环境变量来做验证,当然针对普通的情况依然可以使用配置文件。

Promises成为异步流程控制的主要解决方案

在Node.js中,大多数的核心库都使用了许多的回调函数,而从本次的调查结果来看,开发者们现在更多的使用Promise。

澳门葡萄京官方网站 14

大概半年以前,有一个Node.js仓库的Pull-request要求所有异步函数返回一个原生的Promise.官方给出的回复如下:
‘A Promises API doesn’t make sense for core right now because it’s too
early in the evolution of V8-based promises and their relationship to
other ES* features. There is tiny interest within the TC in exploring
this in the core in the short-term.’

也许我们该重新思考这个问题。

开发者们大多通过 console.log 来调试程序

Console.log成为开发者们主要的调试手段,别Node
Inspector还要多。大约有四分之三的开发者都通过console.log的方式来发现程序中的错误即使在面对非常复杂的程序。

澳门葡萄京官方网站 15

从数据中我们也可以看到富有经验的开发者们逐渐的使用Node Inspector 和
Debug Module 来调试程序。

澳门葡萄京官方网站 16

APM(性能坚持工具) 在 Node.js 社区的使用率依然很低

从调查的反馈来看,只有约四分之一的开发者使用了APM工具来发现应用中的问题。从使用率来看可以发现随着公司规模的扩大和开发者经验的增长,APM的使用率会变得越高。

澳门葡萄京官方网站 17

SaaS CI’s 在node.js社区中依然保持着比较低的份额

从我们的调查数据来看,大多数的开发者通过使用shell脚本来推送或是部署代码。但Jenkin成为持续推送和集成里面最为受欢迎的平台。

澳门葡萄京官方网站 18

Node.js 开发者很少更新依赖

使用Node.js的过程中是极力的推荐开发者频繁的更新代码依赖的。从最近的一份统计可以看出大约有15%的npm
包是携带有安全漏铜的,而有着76%的应用在依赖这些npm包。

澳门葡萄京官方网站 19

超过一周才更新一次依赖会使应用一直处于被攻击的状态。而从我们的统计结果来看,有45%的开发者超过一个月才更新一次,27%的开发者会每个月更新一次,28%的开发者会每周更新一次。

上面这些统计数据不受公司规模和开发者经验程度的影响。

很多开发者通过 google来寻找他们需要的npm包

从统计结果来看,很大一部分的开发者通过google来寻找npm包并选择使用哪一个npm包。有56%的开发者们喜欢使用npmjs.org/npms.io
来搜索npm包文件,这在开发经验大于4年的开发者中比例高达70%.

澳门葡萄京官方网站 20

初级的Node.js开发者并不知道语义化的版本号的含义

尽管有71%的开发者使用语义化的版本号来管理他们发布的npm包,但这个数字应该更高才对。每个开发者都应该使用语义化的版本号管理,npm
使用 semver。如果不使用的话在更新包文件的时候是很容易出错的。

澳门葡萄京官方网站 21

如果我们仔细的分析调查的数据就会发现一年以内经验的node.js有一半不知道semver是什么而且也没使用过。而富有经验的开发者对此更熟悉也用得更多。

Node.js团队所使用的工具和技术更新非常快

通过我们的调查数据发现,35%的node.js开发们会在几天内就会引入新的工具,产品,有29%会在几周内引入。

澳门葡萄京官方网站 22

如我我们仔细的分析调查的数据就会发现随着公司体积的增长,引入新工具及技术所需要的时间也会相应的增长。

调试是Node.js开发中最令人诟病的问题

我们同样也问了开发者他们觉得开发中最头疼的问题是什么,下面是我们得到的结果:

  • 调试、分析、性能监控

  • 回调地狱

  • 理解异步程序

  • 依赖管理

  • 缺乏实践

  • 架构

  • 不健全的文档

  • 寻找合适的npm包

一、创建一个使用restify API的新服务器

假设启动文件为app.js,直接上代码

var restify = require('restify');

// 可配置项
var addr = '127.0.0.1';
var port = '8888';

var server = restify.createServer({
    name: 'test',
    version: '0.0.1'
});

// 使用插件
server.use(restify.pre.userAgentConnection());          // work around for curl  
server.use(restify.plugins.acceptParser(server.acceptable));
server.use(restify.plugins.queryParser());
server.use(restify.plugins.bodyParser());

server.listen(port, addr, function() {
    console.log("server %s is listening on port <%s>", server.name, server.url);
});

运行node app.js,本机的8888端口就开启了一个使用restify
API的服务器,因为没有增加任何接口,所以无从访问。

  • use部分使用的是restify内置的功能插件,当前引入的是用来解析参数,更具体更丰富的插件功能看这里
  • createServer的参数当然不只这两个,具体可以参考这里

下面即将进入业务逻辑的开发,先假设业务为两个部分:使用MongoDB管理用户数据、使用redis管理会话中的Cookie。

总结

Node.js开发依然是一件有趣和充满挑战的事。在此对参与本次调查统计的所以工程师们表示感谢,同时也希望本次的调查结果对整个社区有所价值。

完整的统计数据将会在几天后发布到这个博客上。

来源:众成翻译

原文链接:

二、使用mongoose访问MongoDB

mongoose对于一个pythoner来说,使用起来并不是很顺手,因为它跟mongoengine很是不同,后者使用Documentation来定义数据模型,而它用的是Schema和Model,至于具体怎么个弄法,还是看这里。

我们的示例呢,简单地继续,创建文件mongo.js,代码如下:

var mongoose = require('mongoose');
var Schema = mongoose.Schema;

// 使用node的Promise替换mongoose的Promise,否则会报错
mongoose.Promise = global.Promise;

// 可配置项
var host = '127.0.0.1';
var port = '27017';
var dbName = 'test';

var dbUri = `${host}:${port}/${dbName}`;
var dbConnection = mongoose.createConnection(dbUri);
dbConnection.on('error', (err) => {
    console.log('connect mongodb failed: ' + err);
    process.exit();
});

var dbSchemas = {
    // 定义user的Schema
    // 包括身份证号码、姓名、性别、手机等
    userSchema: {
        idno: {type: String, require: true, unique: true},
        name: {type: String, require: true},
        gender: {type: Number, require: true},
        phone: {type: String},
        created: {type: Date, default: Date.now}
    }
};

// 定义UserModel
class UserModel {
    constructor(connection, schema) {
        this.name = 'user';
        this.schema = new Schema(schema);
        this.model = connection.model(`userModel`, this.schema, this.name);
    }

    // 封装查询
    findByIdno(idno) {
        return new Promise((resolve, reject) => {
            this.model.findOne({'idno': {$eq: idno}}, (err, record) => {
                if (err) {
                    reject(err);
                } else {
                    resolve(record);
                }
            });
        });
    }

    // 封装插入or更新
    insertOrUpdateByIdno(data) {
        return new Promise((resolve, reject) => {
            this.model.findOne({'idno': {$eq: data.idno}}, (err, record) => {
                if (err) {
                    reject(err);
                } else {
                    if (record == undefined) {
                        // 插入
                        var instance = new this.model(data);
                        instance.save((err) => {
                            if (err) {
                                reject(err);
                            } else {
                                resovle(data);
                            }
                        });
                    } else {
                        // 更新
                        this.model.findOneAndUpdate({'idno': {$eq: data.idno}}, data, {new: true, upsert: true}, (err, res) => {
                            if (err) {
                                reject(err);
                            } else {
                                resolve(res);
                            }
                        });
                    }
                }
            });
        });
    }
}

var user = new UserModel(dbConnection, dbSchemas.userSchema);

exports.user = user;

上面代码中使用到了ES6的诸多特性,包括Promise机制、Class以及“箭头”函数等,做的工作则有:

  1. 建立与MongoDB的连接dbConnection
  2. 使用Node的Promise来替换mongoose的Promise(被弃用)
  3. 声明user的数据结构userSchema
  4. 构造UserModel的类
  5. 在UserModel中封装了对MongoDB的查询(findOne)、插入(save)、更新(findOneAndUpdate)操作
  6. 实例化UserModel对象,并export以供调用

三、使用redis访问Redis

Redis相比较MongoDB而言,速度更快,因为存储在内存中嘛(可持久化),因而比MongoDB更适合用来管理Session。
Redis的使用也更简单,不论是写代码还是在redis-cli中敲命令,支持7种数据类型的读写(之前写的5种是因为我也是看的二手资料,现改过),每种数据类型的命令都不同,具体的还是看一下原味的redis数据类型介绍,直接看一手讯息以免入坑,然后代码交互的话可以参考一下node-redis.

这边示例继续,创建redisClient.js,代码如下:

var redis = require('redis');

// 可配置项
var host = '127.0.0.1';
var port = 6379;

var client = redis.createClient(port, host, {});

client.on('ready', (res) => {
    console.log('redis ready: ' + res);
});

client.on('error', (err) => {
    console.log('connect redis error: ' + err);
    process.exit(2);
});

// 假设cookie为哈希,token为string
class Session {
    constructor(client) {
        this.client = client;
    }

    // 设置/更新Cookie以及设置/重设有效期,默认10分钟。
    updateCookie(uuid, cookie, t) {
        t = t ? t: 600;    // 默认10分钟
        return new Promise((resolve, reject) => {
            let key = uuid + ':cookie';
            this.client.hmset(key, cookie, (err, res1) => {
                if (err) {
                    console.log('redis hmset error: ' + err);
                    reject(err);
                } else {
                    // 设置有效期
                    this.client.expire(key, t, (err, res2) => {
                        if (err) {
                            console.log('erdis hmset expire error: ' + err);
                            reject(err);
                        } else {
                            resolve(res2 === 1);
                        }
                    });
                }
            });
        });
    }

    // 查询Cookie
    getCookie(uuid) {
        return new Promise((resolve, reject) => {
            let key = uuid + ':cookie';
            this.client.hgetall(key, (err, record) => {
                if (err) {
                    console.log('redis hgetall error: ' + err);
                } else {
                    resolve(record);
                }
            });
        });
    }

    // 设置or更新token,同样设置有效期,默认10分钟
    updateToken(uuid, token, t) {
        t = t ? t : 600;
        return new Promise((resolve, reject) => {
            let key = uuid + ':token';
            this.client.set(key, token, (err, res1) => {
                if (err) {
                    console.log('redis set error: ' + err);
                    reject(err);
                } else {
                    this.client.expire(key, t, (err, res2) => {
                        if (err) {
                            console.log('redis set expire error: ' + err);
                            reject(err);
                        } else {
                            resolve(res2 === 1);
                        }
                    });
                }
            });
        });
    }

    getToken(uuid) {
        return new Promise((resolve, reject) => {
            let key = uuid + ':token';
            this.client.get(key, (err, record) => {
                if (err) {
                    cosole.log('redis get error: ' + err);
                    reject(err);
                } else {
                    resolve(record);
                }
            });
        });
    }

    delUuid(uuid) {
        this.client.del(uuid + ':cookie');
        this.client.del(uuid + ':token');
    }
}

var session = new Session(client);

module.exports =  {
    session: session
};

上面完成的工作包括:

  1. 建立redis的client
  2. 定义Session的model
  3. 封装hash和string两种数据类型(Cookie和Token)的读写以及删除
  4. 实例化Session并export以供调用(这里的export操作采用了另一种形式)

四、设计并实现api接口

现在数据模型的定义已经完成,就可以开始进行业务逻辑的实现。
根据model的定义,我们知道已实现的数据库操作包括user、token、cookie的更新(包含创建)和查询,由于后两者都是redis的操作,我们就实现user和cookie的操作好了。
在app.js中,server.use代码块下方、server.listen上方区域添加如下代码:

var route = require('./route');

// api route
server.post('/user/update', route.updateUser);
server.get('/user/get', route.getUser);

server.post('/cookie/update', route.updateCookie);
server.get('/cookie/get', route.getCookie);

可以看到引用了一个route.js文件,目前还没有该文件,需要新建route.js来实现业务逻辑,代码如下:

var user = require('./mongo').user;
var session = require('./redisClient').session; 

// 创建/更新user
// post的数据通过req.body传递
// 此处约定使用json格式,bodyParser可解析
exports.updateUser = function(req, res) {
    // 此处省略数据合法性的检查
    let data = {
        idno: req.body.idno,
        name: req.body.name,
        gender: req.body.gender,
        phone: req.body.phone
    };

    // 设置response为utf-8编码
    res.charSet('utf-8');   
    // 设置返回数据格式为json
    res.setHeader('Content-Type', 'application/json');
    user.insertOrUpdateByIdno(data)
        .then(function(record) {
            res.send({code: 0, msg: '创建/更新user成功', result: record});
        }, function(err) {
            console.log(err);
            res.send({code: 1, msg: '创建/更新user失败', result: {}});
        });
};

// 查询user
// get的参数直接在url中,queryParser可解析
exports.getUser = function(req, res) {
    let idno = req.query.idno;
    // 设置response为utf-8编码
    res.charSet('utf-8');   
    // 设置返回数据格式为json
    res.setHeader('Content-Type', 'application/json');
    user.findByIdno(idno)
        .then(function(record) {
            res.send({code: 0, msg: 'user查询成功', result: record});
        }, function(err) {
            console.log(err);
            res.send({code: 1, msg: 'user查询失败', result: {}});
        });
};

// 设置/更新Cookie
// post提交的数据,有uuid为更新,没uuid为新建
exports.updateCookie = function(req, res) {
    let uuid = req.body.uuid ? req.body.uuid : genUuid();
    let cookie = req.body;
    delete cookie.uuid;        // 不论有没有都是true
    res.charSet('utf-8');
    res.setHeader('Content-Type', 'application/json');
    session.updateCookie(uuid, cookie)
        .then(function(r) {
            res.send({code: 0, msg: '更新/新建Cookie成功', 
                result: {uuid: uuid, data: cookie}});
        }, function(e) {
            console.log(e);
            res.send({code: 1, msg: '更新/新建Cookie成功', result: {}});
        });
};

// 根据uuid查询Cookie
exports.getCookie = function(req, res) {
    let uuid = req.query.uuid;
    res.charSet('utf-8');
    res.setHeader('Content-Type', 'application/json');
    session.getCookie(uuid)
        .then(function(record) {
            res.send({code: 0, msg: '获取Cookie成功', result: record});
        }, function(err) {
            console.log(err);
            res.send({code: 1, msg: '获取Cookie失败', result: {}});
        });
};

function genUuid() {
    return Math.random().toString() + Math.random().toString();
}

五、接口测试

在MongoDB和Redis数据库都运行起来的情况下,运行node
app.js启动服务器,然后使用Postman来模拟http请求。

  1. 向接口”/user/update”发送post请求

澳门葡萄京官方网站 23

updateUser.png

ps:你可能注意到了,这里存储的是格林威治时间。

  1. 通过接口”/user/get”查询上述记录

澳门葡萄京官方网站 24

getUser.png

  1. 查看此时MongoDB的情况

澳门葡萄京官方网站 25

MongoDB.png

  1. 向接口”/cookie/update”发送post请求

澳门葡萄京官方网站 26

updateCookie.png

  1. 通过接口”cookie/get”查询上述记录

澳门葡萄京官方网站 27

getCookie.png

  1. 此时Redis数据库内

澳门葡萄京官方网站 28

redis.png

六、代码repo

本文中所有代码均在此restify_mongoose_redis_sample