IT瘾web推荐

如何使用claude code开发完整的响应式web应用

Fri, 11 Jul 2025 13:53:48 CST

Claude Code 是由 Anthropic 开发的一款智能编码工具，能够通过自然语言指令辅助开发者快速生成代码、优化工作流程并构建应用。以下是一个基于 Claude Code 开发完整响应式 Web 应用的指南，结合了现代 Web 开发技术（如 React 和 Tailwind CSS），并通过实际案例展示具体步骤。以下内容基于 Claude Code 的功能特性，参考了网络资源和社区实践。

# 使用 Claude Code 开发完整的响应式 Web 应用

本指南将通过构建一个简单的响应式电影展示 Web 应用，展示如何利用 Claude Code 的智能代码生成、调试和优化功能，结合 React 和 Tailwind CSS，快速开发一个现代化的全栈应用。应用将包括前端界面、后端 API 以及响应式设计，确保在不同设备上都能良好运行。

## 准备工作

### 系统要求

- 安装 Node.js（建议版本 18 或以上）

- 安装一个支持 Claude Code 的开发环境（如 VS Code 或终端）

- 确保已安装 Git 用于版本控制

- （可选）Docker，用于快速部署或测试

- 访问 Claude API 或 Claude Code 工具（通过 Anthropic 官网申请或使用支持的 IDE 插件）

### 安装 Claude Code

1. **获取 Claude Code**：

- 访问 Anthropic 官网（https://www.anthropic.com/api）申请 Claude API 密钥，或使用支持 Claude Code 的 IDE 插件（如 VS Code 的 Claude Code 扩展）。

- 如果使用免费 API，可参考 Slack 获取方式（需要注意使用限制）。[](https://explinks.com/blog/unlocking-claudes-free-api-model-from-getting-started-to-practical-application/)

2. **配置开发环境**：

- 在终端或 IDE 中安装 Claude Code，按照官方文档配置环境变量（如 API 密钥）。

- 示例配置（.env 文件）：

```

CLAUDE_API_KEY=your_api_key_here

```

3. **安装项目依赖**：

- 初始化一个 React 项目：

```bash

npx create-react-app movie-app

cd movie-app

```

- 安装 Tailwind CSS：

```bash

npm install -D tailwindcss

npx tailwindcss init

```

- 配置 `tailwind.config.js`：

```javascript

/** @type {import('tailwindcss').Config} */

module.exports = {

content: ["./src/**/*.{js,jsx,ts,tsx}"],

theme: { extend: {} },

plugins: [],

};

```

- 添加 Tailwind 指令到 `src/index.css`：

```css

@tailwind base;

@tailwind components;

@tailwind utilities;

```

## 使用 Claude Code 开发应用

### 1. 设计应用原型

Claude Code 支持通过自然语言生成代码和原型设计。我们将构建一个电影展示应用，包含以下功能：

- 首页：显示电影列表（从公开 API 获取数据）

- 详情页：展示单部电影的详细信息

- 响应式布局：适配桌面端和移动端

**提示 Claude Code 生成原型**：

在 Claude Code 界面或终端输入：

> "为我生成一个基于 React 和 Tailwind CSS 的响应式电影展示应用原型，包含首页电影列表和详情页，使用免费的 TMDB API 获取数据。"

Claude Code 将生成以下结构（可能需要调整提示词以优化输出）：

- 项目结构：

```

movie-app/

├── src/

│ ├── components/

│ │ ├── MovieList.js

│ │ ├── MovieCard.js

│ │ ├── MovieDetails.js

│ ├── App.js

│ ├── index.js

│ ├── index.css

├── public/

├── package.json

├── tailwind.config.js

```

### 2. 生成前端代码

**使用 Claude Code 生成组件**：

- 输入提示：

> "生成一个 React 组件 `MovieCard.js`，使用 Tailwind CSS 设计响应式卡片，显示电影海报、标题和评分，适配移动端和桌面端。"

- Claude Code 输出（示例）：

import React from 'react';

const MovieCard = ({ movie }) => {

return (

<img

className="w-full h-64 object-cover"

src={`https://image.tmdb.org/t/p/w500${movie.poster_path}`}

alt={movie.title}

<div className="font-bold text-xl mb-2">{movie.title}</div>

<p className="text-gray-700 text-base">评分: {movie.vote_average}</p>

</div>

);

};

export default MovieCard;

- 类似地，生成 `MovieList.js` 和 `MovieDetails.js`，用于展示电影列表和详情页。

### 3. 集成后端 API

使用 TMDB API（https://www.themoviedb.org/documentation/api）获取电影数据。

- **提示 Claude Code 生成 API 调用代码**：

> "为 React 应用生成一个使用 fetch 调用 TMDB API 的函数，获取热门电影列表，并处理错误。"

- 示例输出：

```javascript

const API_KEY = 'your_tmdb_api_key_here';

const BASE_URL = 'https://api.themoviedb.org/3';

export const fetchMovies = async () => {

try {

const response = await fetch(`${BASE_URL}/movie/popular?api_key=${API_KEY}`);

if (!response.ok) throw new Error('Failed to fetch movies');

const data = await response.json();

return data.results;

} catch (error) {

console.error('Error fetching movies:', error);

return [];

}

};

```

- 在 `MovieList.js` 中集成：

```javascript

import React, { useState, useEffect } from 'react';

import MovieCard from './MovieCard';

import { fetchMovies } from './api';

const MovieList = () => {

const [movies, setMovies] = useState([]);

useEffect(() => {

const loadMovies = async () => {

const data = await fetchMovies();

setMovies(data);

};

loadMovies();

}, []);

return (

{movies.map((movie) => (

))}

</div>

);

};

export default MovieList;

```

### 4. 实现响应式设计

Tailwind CSS 提供内置的响应式工具类（如 `sm:`, `md:`, `lg:`），确保应用在不同设备上的适配。

- **优化布局**：

- 使用 `grid-cols-*` 实现动态网格布局。

- 示例：`grid grid-cols-1 sm:grid-cols-2 md:grid-cols-3 lg:grid-cols-4` 确保小屏幕单列，大屏幕多列。

- **提示 Claude Code 优化响应式样式**：

> "为 MovieCard 组件优化 Tailwind CSS 样式，确保在移动端和桌面端都有良好的视觉效果。"

- Claude Code 可能会建议添加：

```css

@media (max-width: 640px) {

.max-w-sm { max-width: 100%; }

.h-64 { height: 16rem; }

}

```

### 5. 测试与调试

- **使用 Claude Code 调试**：

- 输入提示：“检查我的 React 代码，找出潜在的性能问题或错误。”

- Claude Code 可识别问题，如未处理的 API 错误、重复渲染等，并建议优化方案。

- **运行测试**：

- 运行项目：`npm start`

- 检查移动端响应式效果：使用浏览器的开发者工具模拟不同设备。

- **自动化测试**：

- 提示 Claude Code 生成测试用例：

> "为 MovieList 组件生成 Jest 测试用例，测试 API 数据加载和渲染。"

- 示例输出：

```javascript

import { render, screen, waitFor } from '@testing-library/react';

import MovieList from './MovieList';

import { fetchMovies } from './api';

jest.mock('./api');

test('renders movie list after fetching data', async () => {

fetchMovies.mockResolvedValue([{ id: 1, title: 'Test Movie', vote_average: 8.0, poster_path: '/test.jpg' }]);

render(<MovieList />);

await waitFor(() => {

expect(screen.getByText('Test Movie')).toBeInTheDocument();

});

```

### 6. 部署应用

- **使用 Claude Code 编写部署脚本**：

- 提示：“生成一个用于将 React 应用部署到 Vercel 的脚本。”

- 示例输出：

```json

{

"version": 2,

"builds": [{ "src": "package.json", "use": "@vercel/node" }],

"routes": [{ "src": "/(.*)", "dest": "/" }]

}

```

- 部署步骤：

1. 安装 Vercel CLI：`npm i -g vercel`

2. 运行 `vercel` 命令，按照提示登录并部署。

## 优化与进阶

- **使用 Claude Code 优化代码**：

- 提示：“优化 MovieList 组件，减少 API 调用次数并添加加载状态。”

- Claude Code 可能建议添加加载状态和 memoization：

```javascript

import React, { useState, useEffect, useMemo } from 'react';

const MovieList = () => {

const [movies, setMovies] = useState([]);

const [loading, setLoading] = useState(true);

useEffect(() => {

const loadMovies = async () => {

setLoading(true);

const data = await fetchMovies();

setMovies(data);

setLoading(false);

};

loadMovies();

}, []);

const memoizedMovies = useMemo(() => movies, [movies]);

return (

<div>

{loading ? (

) : (

{memoizedMovies.map((movie) => (

))}

</div>

)}

</div>

);

};

```

- **集成 MCP（Model Context Protocol）**：

- 如果需要更复杂的 AI 交互，可使用 MCP 协议连接 Claude Code 与数据源。[](https://www.apframework.com/blog/essay/2024-12-15-Claude-MCP)

- 提示：“生成一个 MCP 配置文件，用于连接 Claude Code 和 Supabase 数据库。”

- 示例输出：

```json

{

"protocol": "mcp",

"version": "1.0",

"connections": [

{

"type": "database",

"provider": "supabase",

"url": "your_supabase_url",

"api_key": "your_supabase_api_key"

}

]

}

```

## 注意事项

- **API 限制**：Claude Code 的免费 API 可能有调用次数限制，建议升级到付费计划以获得更高配额。[](https://explinks.com/blog/unlocking-claudes-free-api-model-from-getting-started-to-practical-application/)

- **错误处理**：始终检查 Claude Code 生成的代码，确保错误处理逻辑完整。

- **安全性**：不要在前端代码中暴露 API 密钥，建议使用环境变量。

- **社区资源**：参考 Anthropic 官方手册和社区指南（如 GitHub 的 Claude Code Guide）获取更多高级功能。

## 总结

通过 Claude Code 的智能代码生成、调试和优化功能，结合 React 和 Tailwind CSS，您可以快速构建一个响应式的电影展示 Web 应用。Claude Code 的自然语言处理能力和终端集成使其成为开发者的强大助手，尤其适合快速原型设计和全栈开发。继续探索 Claude Code 的高级功能（如 MCP 集成和自动化测试），将进一步提升开发效率。

</xaiArtifact>

**运行项目**：

1. 确保所有依赖已安装（`npm install`）。

2. 替换 `api.js` 中的 TMDB API 密钥（可从 TMDB 官网获取）。

3. 运行 `npm start` 启动开发服务器。

4. 访问 `http://localhost:3000` 查看应用。

**进一步学习**：

- 查阅 Anthropic 官方文档（https://www.anthropic.com/api）了解更多 Claude Code 功能。

- 参考社区教程，如 GitHub 上的 Claude Code Guide 或知乎上的最佳实践指南。[](https://zhuanlan.zhihu.com/p/1920263182062163086)

如果需要更详细的代码片段或特定功能的实现，请随时提供进一步的需求！

the-book-of-secret-knowledge: A collection of inspiring lists, manuals, cheatsheets, blogs, hacks, one-liners, cli/web tools and more.

Sun, 10 Dec 2023 17:01:16 CST

" Knowledge is powerful, be careful how you use it!"

A collection of inspiring lists, manuals, cheatsheets, blogs, hacks, one-liners, cli/web tools, and more.

_{Created by trimstrayand contributors}

📔 What is it?

This repository is a collection of various materials and tools that I use every day in my work. It contains a lot of useful information gathered in one piece. It is an invaluable source of knowledge for me that I often look back on.

🚻 For whom?

For everyone, really. Here everyone can find their favourite tastes. But to be perfectly honest, it is aimed towards System and Network administrators, DevOps, Pentesters, and Security Researchers.

ℹ️ Contributing

If you find something which doesn't make sense, or something doesn't seem right, please make a pull request and please add valid and well-reasoned explanations about your changes or comments.

A few simple rules for this project:

inviting and clear
not tiring
useful

These below rules may be better:

easy to contribute to (Markdown + HTML ...)
easy to find (simple TOC, maybe it's worth extending them?)

Url marked *is temporary unavailable. Please don't delete it without confirming that it has permanently expired.

Before adding a pull request, please see the contributing guidelines. You should also remember about this:

+This repository is not meant to contain everything but only good quality stuff.

All suggestions/PRare welcome!

Code Contributors

This project exists thanks to all the people who contribute.

Financial Contributors

📰 RSS Feed & Updates

GitHub exposes an RSS/Atomfeed of the commits, which may also be useful if you want to be kept informed about all changes.

☑️ ToDo

Add new stuff...
Add useful shell functions
Add one-liners for collection tools (eg. CLI Tools)
Sort order in lists

New items are also added on a regular basis.

💢 Table of Contents

Only main chapters:

🔱 The Book of Secret Knowledge (Chapters)

CLI Tools ^[TOC]

▪️ Shells

  :small_orange_diamond: GNU Bash- is an sh-compatible shell that incorporates useful features from the Korn shell and C shell.
  :small_orange_diamond: Zsh- is a shell designed for interactive use, although it is also a powerful scripting language.
  :small_orange_diamond: tclsh- is a very powerful cross-platform shell, suitable for a huge range of uses.
  :small_orange_diamond: bash-it- is a framework for using, developing and maintaining shell scripts and custom commands.
  :small_orange_diamond: Oh My ZSH!- is the best framework for managing your Zsh configuration.
  :small_orange_diamond: Oh My Fish- the Fishshell framework.
  :small_orange_diamond: Starship- the cross-shell prompt written in Rust.
  :small_orange_diamond: powerlevel10k- is a fast reimplementation of Powerlevel9k ZSH theme.

▪️ Shell plugins

  :small_orange_diamond: z- tracks the folder you use the most and allow you to jump, without having to type the whole path.
  :small_orange_diamond: fzf- is a general-purpose command-line fuzzy finder.
  :small_orange_diamond: zsh-autosuggestions- Fish-like autosuggestions for Zsh.
  :small_orange_diamond: zsh-syntax-highlighting- Fish shell like syntax highlighting for Zsh.
  :small_orange_diamond: Awesome ZSH Plugins- A list of frameworks, plugins, themes and tutorials for ZSH.

▪️ Managers

  :small_orange_diamond: Midnight Commander- is a visual file manager, licensed under GNU General Public License.
  :small_orange_diamond: ranger- is a VIM-inspired filemanager for the console.
  :small_orange_diamond: nnn- is a tiny, lightning fast, feature-packed file manager.
  :small_orange_diamond: screen- is a full-screen window manager that multiplexes a physical terminal.
  :small_orange_diamond: tmux- is a terminal multiplexer, lets you switch easily between several programs in one terminal.
  :small_orange_diamond: tmux-cssh- is a tool to set comfortable and easy to use functionality, clustering and synchronizing tmux-sessions.

▪️ Text editors

  :small_orange_diamond: vi- is one of the most common text editors on Unix.
  :small_orange_diamond: vim- is a highly configurable text editor.
  :small_orange_diamond: emacs- is an extensible, customizable, free/libre text editor, and more.
  :small_orange_diamond: micro- is a modern and intuitive terminal-based text editor.
  :small_orange_diamond: neovim- is a free open source, powerful, extensible and usable code editor.
  :small_orange_diamond: spacemacs- a community-driven Emacs distribution.
  :small_orange_diamond: spacevim- a community-driven vim distribution.

▪️ Files and directories

:small_orange_diamond: fd- is a simple, fast and user-friendly alternative to find.
:small_orange_diamond: ncdu- is an easy to use, fast disk usage analyzer.

▪️ Network

  :small_orange_diamond: PuTTY- is an SSH and telnet client, developed originally by Simon Tatham.
  :small_orange_diamond: Mosh- is a SSH wrapper designed to keep a SSH session alive over a volatile connection.
  :small_orange_diamond: Eternal Terminal- enables mouse-scrolling and tmux commands inside the SSH session.
  :small_orange_diamond: nmap- is a free and open source (license) utility for network discovery and security auditing.
  :small_orange_diamond: zmap- is a fast single packet network scanner designed for Internet-wide network surveys.
  :small_orange_diamond: Rust Scan- to find all open ports faster than Nmap.
  :small_orange_diamond: masscan- is the fastest Internet port scanner, spews SYN packets asynchronously.
  :small_orange_diamond: pbscan- is a faster and more efficient stateless SYN scanner and banner grabber.
  :small_orange_diamond: hping- is a command-line oriented TCP/IP packet assembler/analyzer.
  :small_orange_diamond: mtr- is a tool that combines the functionality of the 'traceroute' and 'ping' programs in a single tool.
  :small_orange_diamond: mylg- utility which combines the functions of the different network probes in one diagnostic tool.
  :small_orange_diamond: netcat- utility which reads and writes data across network connections, using the TCP/IP protocol.
  :small_orange_diamond: socat- utility which transfers data between two objects.
  :small_orange_diamond: tcpdump- is a powerful command-line packet analyzer.
  :small_orange_diamond: tshark- is a tool that allows us to dump and analyze network traffic (wireshark cli).
  :small_orange_diamond: Termshark- is a simple terminal user-interface for tshark.
  :small_orange_diamond: ngrep- is like GNU grep applied to the network layer.
  :small_orange_diamond: netsniff-ng- is a Swiss army knife for your daily Linux network plumbing if you will.
  :small_orange_diamond: sockdump- dump unix domain socket traffic.
  :small_orange_diamond: stenographer- is a packet capture solution which aims to quickly spool all packets to disk.
  :small_orange_diamond: tcpterm- visualize packets in TUI.
  :small_orange_diamond: bmon- is a monitoring and debugging tool to capture networking related statistics and prepare them visually.
  :small_orange_diamond: iptraf-ng- is a console-based network monitoring program for Linux that displays information about IP traffic.
  :small_orange_diamond: vnstat- is a network traffic monitor for Linux and BSD.
  :small_orange_diamond: iPerf3- is a tool for active measurements of the maximum achievable bandwidth on IP networks.
  :small_orange_diamond: ethr- is a Network Performance Measurement Tool for TCP, UDP & HTTP.
  :small_orange_diamond: Etherate- is a Linux CLI based Ethernet and MPLS traffic testing tool.
  :small_orange_diamond: echoip- is a IP address lookup service.
  :small_orange_diamond: Nemesis- packet manipulation CLI tool; craft and inject packets of several protocols.
  :small_orange_diamond: packetfu- a mid-level packet manipulation library for Ruby.
  :small_orange_diamond: Scapy- packet manipulation library; forge, send, decode, capture packets of a wide number of protocols.
  :small_orange_diamond: impacket- is a collection of Python classes for working with network protocols.
  :small_orange_diamond: ssh-audit- is a tool for SSH server auditing.
  :small_orange_diamond: aria2- is a lightweight multi-protocol & multi-source command-line download utility.
  :small_orange_diamond: iptables-tracer- observe the path of packets through the iptables chains.
  :small_orange_diamond: inception- a highly configurable tool to check for whatever you like against any number of hosts.
  :small_orange_diamond: mRemoteNG- a fork of mRemote, multi-tabbed PuTTy on steroids!

▪️ Network (DNS)

  :small_orange_diamond: dnsdiag- is a DNS diagnostics and performance measurement tools.
  :small_orange_diamond: fierce- is a DNS reconnaissance tool for locating non-contiguous IP space.
  :small_orange_diamond: subfinder- is a subdomain discovery tool that discovers valid subdomains for websites.
  :small_orange_diamond: sublist3r- is a fast subdomains enumeration tool for penetration testers.
  :small_orange_diamond: amass- is tool that obtains subdomain names by scraping data sources, crawling web archives, and more.
  :small_orange_diamond: namebench- provides personalized DNS server recommendations based on your browsing history.
  :small_orange_diamond: massdns- is a high-performance DNS stub resolver for bulk lookups and reconnaissance.
  :small_orange_diamond: knock- is a tool to enumerate subdomains on a target domain through a wordlist.
  :small_orange_diamond: dnsperf- DNS performance testing tools.
  :small_orange_diamond: dnscrypt-proxy 2- a flexible DNS proxy, with support for encrypted DNS protocols.
  :small_orange_diamond: dnsdbq- API client providing access to passive DNS database systems.
  :small_orange_diamond: grimd- fast dns proxy, built to black-hole internet advertisements and malware servers.
  :small_orange_diamond: dnstwist- detect typosquatters, phishing attacks, fraud, and brand impersonation.

▪️ Network (HTTP)

  :small_orange_diamond: curl- is a command line tool and library for transferring data with URLs.
  :small_orange_diamond: kurly- is an alternative to the widely popular curl program, written in Golang.
  :small_orange_diamond: HTTPie- is an user-friendly HTTP client.
  :small_orange_diamond: wuzz- is an interactive cli tool for HTTP inspection.
  :small_orange_diamond: h2spec- is a conformance testing tool for HTTP/2 implementation.
  :small_orange_diamond: h2t- is a simple tool to help sysadmins to hardening their websites.
  :small_orange_diamond: htrace.sh- is a simple Swiss Army knife for http/https troubleshooting and profiling.
  :small_orange_diamond: httpstat- is a tool that visualizes curl statistics in a way of beauty and clarity.
  :small_orange_diamond: httplab- is an interactive web server.
  :small_orange_diamond: Lynx- is a text browser for the World Wide Web.
  :small_orange_diamond: Browsh- is a fully interactive, real-time, and modern text-based browser.
  :small_orange_diamond: HeadlessBrowsers- a list of (almost) all headless web browsers in existence.
  :small_orange_diamond: ab- is a single-threaded command line tool for measuring the performance of HTTP web servers.
  :small_orange_diamond: siege- is an http load testing and benchmarking utility.
  :small_orange_diamond: wrk- is a modern HTTP benchmarking tool capable of generating significant load.
  :small_orange_diamond: wrk2- is a constant throughput, correct latency recording variant of wrk.
  :small_orange_diamond: vegeta- is a constant throughput, correct latency recording variant of wrk.
  :small_orange_diamond: bombardier- is a fast cross-platform HTTP benchmarking tool written in Go.
  :small_orange_diamond: gobench- http/https load testing and benchmarking tool.
  :small_orange_diamond: hey- HTTP load generator, ApacheBench (ab) replacement, formerly known as rakyll/boom.
  :small_orange_diamond: boom- is a script you can use to quickly smoke-test your web app deployment.
  :small_orange_diamond: SlowHTTPTest- is a tool that simulates some Application Layer Denial of Service attacks by prolonging HTTP.
  :small_orange_diamond: gobuster- is a free and open source directory/file & DNS busting tool written in Go.
  :small_orange_diamond: ssllabs-scan- command-line reference-implementation client for SSL Labs APIs.
  :small_orange_diamond: http-observatory- Mozilla HTTP Observatory cli version.
  :small_orange_diamond: Hurl- is a command line tool to run and test HTTP requests with plain text.

▪️ SSL

  :small_orange_diamond: openssl- is a robust, commercial-grade, and full-featured toolkit for the TLS and SSL protocols.
  :small_orange_diamond: gnutls-cli- client program to set up a TLS connection to some other computer.
  :small_orange_diamond: sslyze- fast and powerful SSL/TLS server scanning library.
  :small_orange_diamond: sslscan- tests SSL/TLS enabled services to discover supported cipher suites.
  :small_orange_diamond: testssl.sh- testing TLS/SSL encryption anywhere on any port.
  :small_orange_diamond: cipherscan- a very simple way to find out which SSL ciphersuites are supported by a target.
  :small_orange_diamond: spiped- is a utility for creating symmetrically encrypted and authenticated pipes between socket addresses.
  :small_orange_diamond: Certbot- is EFF's tool to obtain certs from Let's Encrypt and (optionally) auto-enable HTTPS on your server.
  :small_orange_diamond: mkcert- simple zero-config tool to make locally trusted development certificates with any names you'd like.
  :small_orange_diamond: certstrap- tools to bootstrap CAs, certificate requests, and signed certificates.
  :small_orange_diamond: Sublert- is a security and reconnaissance tool to automatically monitor new subdomains.
  :small_orange_diamond: mkchain- open source tool to help you build a valid SSL certificate chain.
  :small_orange_diamond: ssl-cert-check- SSL Certification Expiration Checker.

▪️ Security

  :small_orange_diamond: SELinux- provides a flexible Mandatory Access Control (MAC) system built into the Linux kernel.
  :small_orange_diamond: AppArmor- proactively protects the operating system and applications from external or internal threats.
  :small_orange_diamond: grapheneX- Automated System Hardening Framework.
  :small_orange_diamond: DevSec Hardening Framework- Security + DevOps: Automatic Server Hardening.

▪️ Auditing Tools

  :small_orange_diamond: ossec- actively monitoring all aspects of system activity with file integrity monitoring.
  :small_orange_diamond: auditd- provides a way to track security-relevant information on your system.
  :small_orange_diamond: Tiger- is a security tool that can be use both as a security audit and intrusion detection system.
  :small_orange_diamond: Lynis- battle-tested security tool for systems running Linux, macOS, or Unix-based operating system.
  :small_orange_diamond: LinEnum- scripted Local Linux Enumeration & Privilege Escalation Checks.
  :small_orange_diamond: Rkhunter- scanner tool for Linux systems that scans backdoors, rootkits and local exploits on your systems.
  :small_orange_diamond: PE-sieve- is a light-weight tool that helps to detect malware running on the system.
  :small_orange_diamond: PEASS- privilege escalation tools for Windows and Linux/Unix and MacOS.

▪️ System Diagnostics/Debuggers

  :small_orange_diamond: strace- diagnostic, debugging and instructional userspace utility for Linux.
  :small_orange_diamond: DTrace- is a performance analysis and troubleshooting tool.
  :small_orange_diamond: ltrace- is a library call tracer, used to trace calls made by programs to library functions.
  :small_orange_diamond: ptrace-burrito- is a friendly wrapper around ptrace.
  :small_orange_diamond: perf-tools- performance analysis tools based on Linux perf_events (aka perf) and ftrace.
  :small_orange_diamond: bpftrace- high-level tracing language for Linux eBPF.
  :small_orange_diamond: sysdig- system exploration and troubleshooting tool with first class support for containers.
  :small_orange_diamond: Valgrind- is an instrumentation framework for building dynamic analysis tools.
  :small_orange_diamond: gperftools- high-performance multi-threaded malloc() implementation, plus some performance analysis tools.
  :small_orange_diamond: glances- cross-platform system monitoring tool written in Python.
  :small_orange_diamond: htop- interactive text-mode process viewer for Unix systems. It aims to be a better 'top'.
  :small_orange_diamond: bashtop- Linux resource monitor written in pure Bash.
  :small_orange_diamond: nmon- a single executable for performance monitoring and data analysis.
  :small_orange_diamond: atop- ASCII performance monitor. Includes statistics for CPU, memory, disk, swap, network, and processes.
  :small_orange_diamond: lsof- displays in its output information about files that are opened by processes.
  :small_orange_diamond: FlameGraph- stack trace visualizer.
  :small_orange_diamond: lsofgraph- convert Unix lsof output to a graph showing FIFO and UNIX interprocess communication.
  :small_orange_diamond: rr- is a lightweight tool for recording, replaying and debugging execution of applications.
  :small_orange_diamond: Performance Co-Pilot- a system performance analysis toolkit.
  :small_orange_diamond: hexyl- a command-line hex viewer.
  :small_orange_diamond: Austin- Python frame stack sampler for CPython.

▪️ Log Analyzers

  :small_orange_diamond: angle-grinder- slice and dice log files on the command line.
  :small_orange_diamond: lnav- log file navigator with search and automatic refresh.
  :small_orange_diamond: GoAccess- real-time web log analyzer and interactive viewer that runs in a terminal.
  :small_orange_diamond: ngxtop- real-time metrics for nginx server.

▪️ Databases

  :small_orange_diamond: usql- universal command-line interface for SQL databases.
  :small_orange_diamond: pgcli- postgres CLI with autocompletion and syntax highlighting.
  :small_orange_diamond: mycli- terminal client for MySQL with autocompletion and syntax highlighting.
  :small_orange_diamond: litecli- SQLite CLI with autocompletion and syntax highlighting.
  :small_orange_diamond: mssql-cli- SQL Server CLI with autocompletion and syntax highlighting.
  :small_orange_diamond: OSQuery- is a SQL powered operating system instrumentation, monitoring, and analytics framework.
  :small_orange_diamond: pgsync- sync data from one Postgres database to another.
  :small_orange_diamond: iredis- a terminal client for redis with autocompletion and syntax highlighting.
  :small_orange_diamond: SchemaCrawler- generates an E-R diagram of your database.

▪️ TOR

:small_orange_diamond: Nipe- script to make Tor Network your default gateway.
:small_orange_diamond: multitor- a tool that lets you create multiple TOR instances with a load-balancing.

▪️ Messengers/IRC Clients

:small_orange_diamond: Irssi- is a free open source terminal based IRC client.
:small_orange_diamond: WeeChat- is an extremely extensible and lightweight IRC client.

▪️ Productivity

:small_orange_diamond: taskwarrior- task management system, todo list

▪️ Other

  :small_orange_diamond: sysadmin-util- tools for Linux/Unix sysadmins.
  :small_orange_diamond: incron- is an inode-based filesystem notification technology.
  :small_orange_diamond: lsyncd- synchronizes local directories with remote targets (Live Syncing Daemon).
  :small_orange_diamond: GRV- is a terminal based interface for viewing Git repositories.
  :small_orange_diamond: Tig- text-mode interface for Git.
  :small_orange_diamond: tldr- simplified and community-driven man pages.
  :small_orange_diamond: archiver- easily create and extract .zip, .tar, .tar.gz, .tar.bz2, .tar.xz, .tar.lz4, .tar.sz, and .rar.
  :small_orange_diamond: commander.js- minimal CLI creator in JavaScript.
  :small_orange_diamond: gron- make JSON greppable!
  :small_orange_diamond: bed- binary editor written in Go.

GUI Tools ^[TOC]

▪️ Terminal emulators

  :small_orange_diamond: Guake- is a dropdown terminal made for the GNOME desktop environment.
  :small_orange_diamond: Terminator- is based on GNOME Terminal, useful features for sysadmins and other users.
  :small_orange_diamond: Kitty- is a GPU based terminal emulator that supports smooth scrolling and images.
  :small_orange_diamond: Alacritty- is a fast, cross-platform, OpenGL terminal emulator.

▪️ Network

  :small_orange_diamond: Wireshark- is the world’s foremost and widely-used network protocol analyzer.
  :small_orange_diamond: Ettercap- is a comprehensive network monitor tool.
  :small_orange_diamond: EtherApe- is a graphical network monitoring solution.
  :small_orange_diamond: Packet Sender- is a networking utility for packet generation and built-in UDP/TCP/SSL client and servers.
  :small_orange_diamond: Ostinato- is a packet crafter and traffic generator.
  :small_orange_diamond: JMeter™- open source software to load test functional behavior and measure performance.
  :small_orange_diamond: locust- scalable user load testing tool written in Python.

▪️ Browsers

:small_orange_diamond: TOR Browser- protect your privacy and defend yourself against network surveillance and traffic analysis.

▪️ Password Managers

  :small_orange_diamond: KeePassXC- store your passwords safely and auto-type them into your everyday websites and apps.
  :small_orange_diamond: Bitwarden- open source password manager with built-in sync.
  :small_orange_diamond: Vaultwarden- unofficial Bitwarden compatible server written in Rust.

▪️ Messengers/IRC Clients

:small_orange_diamond: HexChat- is an IRC client based on XChat.
:small_orange_diamond: Pidgin- is an easy to use and free chat client used by millions.

▪️ Messengers (end-to-end encryption)

  :small_orange_diamond: Signal- is an encrypted communications app.
  :small_orange_diamond: Wire- secure messaging, file sharing, voice calls and video conferences. All protected with end-to-end encryption.
  :small_orange_diamond: TorChat- decentralized anonymous instant messenger on top of Tor Hidden Services.
  :small_orange_diamond: Matrix- an open network for secure, decentralized, real-time communication.

▪️ Text editors

  :small_orange_diamond: Sublime Text- is a lightweight, cross-platform code editor known for its speed, ease of use.
  :small_orange_diamond: Visual Studio Code- an open-source and free source code editor developed by Microsoft.
  :small_orange_diamond: Atom- a hackable text editor for the 21st Century.

Web Tools ^[TOC]

▪️ Browsers

  :small_orange_diamond: SSL/TLS Capabilities of Your Browser- test your browser's SSL implementation.
  :small_orange_diamond: Can I use- provides up-to-date browser support tables for support of front-end web technologies.
  :small_orange_diamond: Panopticlick 3.0- is your browser safe against tracking?
  :small_orange_diamond: Privacy Analyzer- see what data is exposed from your browser.
  :small_orange_diamond: Web Browser Security- it's all about Web Browser fingerprinting.
  :small_orange_diamond: How's My SSL?- help a web server developer learn what real world TLS clients were capable of.
  :small_orange_diamond: sslClientInfo- client test (incl TLSv1.3 information).

▪️ SSL/Security

  :small_orange_diamond: SSLLabs Server Test- performs a deep analysis of the configuration of any SSL web server.
  :small_orange_diamond: SSLLabs Server Test (DEV)- performs a deep analysis of the configuration of any SSL web server.
  :small_orange_diamond: ImmuniWeb® SSLScan- test SSL/TLS (PCI DSS, HIPAA and NIST).
  :small_orange_diamond: SSL Check- scan your website for non-secure content.
  :small_orange_diamond: SSL Scanner- analyze website security.
  :small_orange_diamond: CryptCheck- test your TLS server configuration (e.g. ciphers).
  :small_orange_diamond: urlscan.io- service to scan and analyse websites.
  :small_orange_diamond: Report URI- monitoring security policies like CSP and HPKP.
  :small_orange_diamond: CSP Evaluator- allows developers and security experts to check if a Content Security Policy.
  :small_orange_diamond: Useless CSP- public list about CSP in some big players (might make them care a bit more).
  :small_orange_diamond: Why No HTTPS?- top 100 websites by Alexa rank not automatically redirecting insecure requests.
  :small_orange_diamond: TLS Cipher Suite Search- cipher suite search engine.
  :small_orange_diamond: cipherli.st- strong ciphers for Apache, Nginx, Lighttpd, and more. *
  :small_orange_diamond: dhtool- public Diffie-Hellman parameter service/tool.
  :small_orange_diamond: badssl.com- memorable site for testing clients against bad SSL configs.
  :small_orange_diamond: tlsfun.de- registered for various tests regarding the TLS/SSL protocol.
  :small_orange_diamond: CAA Record Helper- generate a CAA policy.
  :small_orange_diamond: Common CA Database- repository of information about CAs, and their root and intermediate certificates.
  :small_orange_diamond: CERTSTREAM- real-time certificate transparency log update stream.
  :small_orange_diamond: crt.sh- discovers certificates by continually monitoring all of the publicly known CT.
  :small_orange_diamond: Hardenize- deploy the security standards.
  :small_orange_diamond: Cipher suite compatibility- test TLS cipher suite compatibility.
  :small_orange_diamond: urlvoid- this service helps you detect potentially malicious websites.
  :small_orange_diamond: security.txt- a proposed standard (generator) which allows websites to define security policies.
  :small_orange_diamond: ssl-config-generator- help you follow the Mozilla Server Side TLS configuration guidelines.
  :small_orange_diamond: TLScan- pure python, SSL/TLS protocol and cipher scanner/enumerator.

▪️ HTTP Headers & Web Linters

  :small_orange_diamond: Security Headers- analyse the HTTP response headers (with rating system to the results).
  :small_orange_diamond: Observatory by Mozilla- set of tools to analyze your website.
  :small_orange_diamond: webhint- is a linting tool that will help you with your site's accessibility, speed, security, and more.

▪️ DNS

  :small_orange_diamond: ViewDNS- one source for free DNS related tools and information.
  :small_orange_diamond: DNSLookup- is an advanced DNS lookup tool.
  :small_orange_diamond: DNSlytics- online DNS investigation tool.
  :small_orange_diamond: DNS Spy- monitor, validate and verify your DNS configurations.
  :small_orange_diamond: Zonemaster- helps you to control how your DNS works.
  :small_orange_diamond: Leaf DNS- comprehensive DNS tester.
  :small_orange_diamond: Find subdomains online- find subdomains for security assessment penetration test.
  :small_orange_diamond: DNSdumpster- dns recon & research, find & lookup dns records.
  :small_orange_diamond: DNS Table online- search for DNS records by domain, IP, CIDR, ISP.
  :small_orange_diamond: intoDNS- DNS and mail server health checker.
  :small_orange_diamond: DNS Bajaj- check the delegation of your domain.
  :small_orange_diamond: BuddyDNS Delegation LAB- check, trace and visualize delegation of your domain.
  :small_orange_diamond: dnssec-debugger- DS or DNSKEY records validator.
  :small_orange_diamond: PTRarchive.com- this site is responsible for the safekeeping of historical reverse DNS records.
  :small_orange_diamond: xip.io- wildcard DNS for everyone.
  :small_orange_diamond: nip.io- dead simple wildcard DNS for any IP Address.
  :small_orange_diamond: dnslookup (ceipam)- one of the best DNS propagation checker (and not only).
  :small_orange_diamond: What's My DNS- DNS propagation checking tool.
  :small_orange_diamond: DNSGrep- quickly searching large DNS datasets.

▪️ Mail

  :small_orange_diamond: smtp-tls-checker- check an email domain for SMTP TLS support.
  :small_orange_diamond: MX Toolbox- all of your MX record, DNS, blacklist and SMTP diagnostics in one integrated tool.
  :small_orange_diamond: Secure Email- complete email test tools for email technicians.
  :small_orange_diamond: blacklistalert- checks to see if your domain is on a Real Time Spam Blacklist.
  :small_orange_diamond: MultiRBL- complete IP check for sending Mailservers.
  :small_orange_diamond: DKIM SPF & Spam Assassin Validator- checks mail authentication and scores messages with Spam Assassin.

▪️ Encoders/Decoders and Regex testing

  :small_orange_diamond: URL Encode/Decode- tool from above to either encode or decode a string of text.
  :small_orange_diamond: Uncoder- the online translator for search queries on log data.
  :small_orange_diamond: Regex101- online regex tester and debugger: PHP, PCRE, Python, Golang and JavaScript.
  :small_orange_diamond: RegExr- online tool to learn, build, & test Regular Expressions (RegEx / RegExp).
  :small_orange_diamond: RegEx Testing- online regex testing tool.
  :small_orange_diamond: RegEx Pal- online regex testing tool + other tools.
  :small_orange_diamond: The Cyber Swiss Army Knife- a web app for encryption, encoding, compression and data analysis.

▪️ Net-tools

  :small_orange_diamond: Netcraft- detailed report about the site, helping you to make informed choices about their integrity. *
  :small_orange_diamond: RIPE NCC Atlas- a global, open, distributed Internet measurement platform.
  :small_orange_diamond: Robtex- uses various sources to gather public information about IP numbers, domain names, host names, etc.
  :small_orange_diamond: Security Trails- APIs for Security Companies, Researchers and Teams.
  :small_orange_diamond: Online Curl- curl test, analyze HTTP Response Headers.
  :small_orange_diamond: Online Tools for Developers- HTTP API tools, testers, encoders, converters, formatters, and other tools.
  :small_orange_diamond: Ping.eu- online Ping, Traceroute, DNS lookup, WHOIS and others.
  :small_orange_diamond: Network-Tools- network tools for webmasters, IT technicians & geeks.
  :small_orange_diamond: BGPview- search for any ASN, IP, Prefix or Resource name.
  :small_orange_diamond: Is BGP safe yet?- check BGP (RPKI) security of ISPs and other major Internet players.
  :small_orange_diamond: Riseup- provides online communication tools for people and groups working on liberatory social change.
  :small_orange_diamond: VirusTotal- analyze suspicious files and URLs to detect types of malware.

▪️ Privacy

:small_orange_diamond: privacyguides.org- provides knowledge and tools to protect your privacy against global mass surveillance.
:small_orange_diamond: DNS Privacy Test Servers- DNS privacy recursive servers list (with a 'no logging' policy).

▪️ Code parsers/playgrounds

  :small_orange_diamond: ShellCheck- finds bugs in your shell scripts.
  :small_orange_diamond: explainshell- get interactive help texts for shell commands.
  :small_orange_diamond: jsbin- live pastebin for HTML, CSS & JavaScript, and more.
  :small_orange_diamond: CodeSandbox- online code editor for web application development.
  :small_orange_diamond: PHP Sandbox- test your PHP code with this code tester.
  :small_orange_diamond: Repl.it- an instant IDE to learn, build, collaborate, and host all in one place.
  :small_orange_diamond: vclFiddle- is an online tool for experimenting with the Varnish Cache VCL.
  :small_orange_diamond: Haskell Dockerfile Linter- a smarter Dockerfile linter that helps you build best practice Docker images.

▪️ Performance

  :small_orange_diamond: GTmetrix- analyze your site’s speed and make it faster.
  :small_orange_diamond: Sucuri loadtimetester- test here the performance of any of your sites from across the globe.
  :small_orange_diamond: Pingdom Tools- analyze your site’s speed around the world.
  :small_orange_diamond: PingMe.io- run website latency tests across multiple geographic regions.
  :small_orange_diamond: PageSpeed Insights- analyze your site’s speed and make it faster.
  :small_orange_diamond: web.dev- helps developers like you learn and apply the web's modern capabilities to your own sites and apps.
  :small_orange_diamond: Lighthouse- automated auditing, performance metrics, and best practices for the web.

▪️ Mass scanners (search engines)

  :small_orange_diamond: Censys- platform that helps information security practitioners discover, monitor, and analyze devices.
  :small_orange_diamond: Shodan- the world's first search engine for Internet-connected devices.
  :small_orange_diamond: Shodan 2000- this tool looks for randomly generated data from Shodan.
  :small_orange_diamond: GreyNoise- mass scanner such as Shodan and Censys.
  :small_orange_diamond: ZoomEye- search engine for cyberspace that lets the user find specific network components.
  :small_orange_diamond: netograph- tools to monitor and understand deep structure of the web.
  :small_orange_diamond: FOFA- is a cyberspace search engine.
  :small_orange_diamond: onyphe- is a search engine for open-source and cyber threat intelligence data collected.
  :small_orange_diamond: IntelligenceX- is a search engine and data archive.
  :small_orange_diamond: binaryedge- it scan the entire internet space and create real-time threat intelligence streams and reports.
  :small_orange_diamond: Spyse- Internet assets registry: networks, threats, web objects, etc.
  :small_orange_diamond: wigle- is a submission-based catalog of wireless networks. All the networks. Found by Everyone.
  :small_orange_diamond: PublicWWW- find any alphanumeric snippet, signature or keyword in the web pages HTML, JS and CSS code.
  :small_orange_diamond: IntelTechniques- this repository contains hundreds of online search utilities.
  :small_orange_diamond: hunter- lets you find email addresses in seconds and connect with the people that matter for your business.
  :small_orange_diamond: GhostProject?- search by full email address or username.
  :small_orange_diamond: databreaches- was my email affected by data breach?
  :small_orange_diamond: We Leak Info- world's fastest and largest data breach search engine.
  :small_orange_diamond: Pulsedive- scans of malicious URLs, IPs, and domains, including port scans and web requests.
  :small_orange_diamond: Buckets by Grayhatwarfar- database with public search for Open Amazon S3 Buckets and their contents.
  :small_orange_diamond: Vigilante.pw- the breached database directory.
  :small_orange_diamond: builtwith- find out what websites are built with.
  :small_orange_diamond: NerdyData- search the web's source code for technologies, across millions of sites.
  :small_orange_diamond: zorexeye- search for sites, images, apps, softwares & more.
  :small_orange_diamond: Mamont's open FTP Index- if a target has an open FTP site with accessible content it will be listed here.
  :small_orange_diamond: OSINT Framework- focused on gathering information from free tools or resources.
  :small_orange_diamond: maltiverse- is a service oriented to cybersecurity analysts for the advanced analysis of indicators of compromise.
  :small_orange_diamond: Leaked Source- is a collaboration of data found online in the form of a lookup.
  :small_orange_diamond: We Leak Info- to help everyday individuals secure their online life, avoiding getting hacked.
  :small_orange_diamond: pipl- is the place to find the person behind the email address, social username or phone number.
  :small_orange_diamond: abuse.ch- is operated by a random swiss guy fighting malware for non-profit.
  :small_orange_diamond: malc0de- malware search engine.
  :small_orange_diamond: Cybercrime Tracker- monitors and tracks various malware families that are used to perpetrate cyber crimes.
  :small_orange_diamond: shhgit- find GitHub secrets in real time.
  :small_orange_diamond: searchcode- helping you find real world examples of functions, API's and libraries.
  :small_orange_diamond: Insecam- the world biggest directory of online surveillance security cameras.
  :small_orange_diamond: index-of- contains great stuff like: security, hacking, reverse engineering, cryptography, programming etc.
  :small_orange_diamond: Rapid7 Labs Open Data- is a great resources of datasets from Project Sonar.
  :small_orange_diamond: Common Response Headers- the largest database of HTTP response headers.
  :small_orange_diamond: InQuest Labs- InQuest Labs is an open, interactive, and API driven data portal for security researchers.

▪️ Generators

  :small_orange_diamond: thispersondoesnotexist- generate fake faces in one click - endless possibilities.
  :small_orange_diamond: AI Generated Photos- 100.000 AI generated faces.
  :small_orange_diamond: fakenamegenerator- your randomly generated identity.
  :small_orange_diamond: Intigriti Redirector- open redirect/SSRF payload generator.

▪️ Passwords

  :small_orange_diamond: have i been pwned?- check if you have an account that has been compromised in a data breach.
  :small_orange_diamond: dehashed- is a hacked database search engine.
  :small_orange_diamond: Leaked Source- is a collaboration of data found online in the form of a lookup.

▪️ CVE/Exploits databases

  :small_orange_diamond: CVE Mitre- list of publicly known cybersecurity vulnerabilities.
  :small_orange_diamond: CVE Details- CVE security vulnerability advanced database.
  :small_orange_diamond: Exploit DB- CVE compliant archive of public exploits and corresponding vulnerable software.
  :small_orange_diamond: 0day.today- exploits market provides you the possibility to buy/sell zero-day exploits.
  :small_orange_diamond: sploitus- the exploit and tools database.
  :small_orange_diamond: cxsecurity- free vulnerability database.
  :small_orange_diamond: Vulncode-DB- is a database for vulnerabilities and their corresponding source code if available.
  :small_orange_diamond: cveapi- free API for CVE data.

▪️ Mobile apps scanners

  :small_orange_diamond: ImmuniWeb® Mobile App Scanner- test security and privacy of mobile apps (iOS & Android).
  :small_orange_diamond: Quixxi- free Mobile App Vulnerability Scanner for Android & iOS.
  :small_orange_diamond: Ostorlab- analyzes mobile application to identify vulnerabilities and potential weaknesses.

▪️ Private Search Engines

  :small_orange_diamond: Startpage- the world's most private search engine.
  :small_orange_diamond: searX- a privacy-respecting, hackable metasearch engine.
  :small_orange_diamond: darksearch- the 1st real Dark Web search engine.
  :small_orange_diamond: Qwant- the search engine that respects your privacy.
  :small_orange_diamond: DuckDuckGo- the search engine that doesn't track you.
  :small_orange_diamond: Swisscows- privacy safe web search
  :small_orange_diamond: Disconnect- the search engine that anonymizes your searches.
  :small_orange_diamond: MetaGer- the search engine that uses anonymous proxy and hidden Tor branches.

▪️ Secure Webmail Providers

  :small_orange_diamond: CounterMail- online email service, designed to provide maximum security and privacy.
  :small_orange_diamond: Mail2Tor- is a Tor Hidden Service that allows anyone to send and receive emails anonymously.
  :small_orange_diamond: Tutanota- is the world's most secure email service and amazingly easy to use.
  :small_orange_diamond: Protonmail- is the world's largest secure email service, developed by CERN and MIT scientists.
  :small_orange_diamond: Startmail- private & encrypted email made easy.

▪️ Crypto

:small_orange_diamond: Keybase- it's open source and powered by public-key cryptography.

▪️ PGP Keyservers

:small_orange_diamond: SKS OpenPGP Key server- services for the SKS keyservers used by OpenPGP.

Systems/Services ^[TOC]

▪️ Operating Systems

  :small_orange_diamond: Slackware- the most "Unix-like" Linux distribution.
  :small_orange_diamond: OpenBSD- multi-platform 4.4BSD-based UNIX-like operating system.
  :small_orange_diamond: HardenedBSD- HardenedBSD aims to implement innovative exploit mitigation and security solutions.
  :small_orange_diamond: Kali Linux- Linux distribution used for Penetration Testing, Ethical Hacking and network security assessments.
  :small_orange_diamond: Parrot Security OS- cyber security GNU/Linux environment.
  :small_orange_diamond: Backbox Linux- penetration test and security assessment oriented Ubuntu-based Linux distribution.
  :small_orange_diamond: BlackArch- is an Arch Linux-based penetration testing distribution for penetration testers.
  :small_orange_diamond: Pentoo- is a security-focused livecd based on Gentoo.
  :small_orange_diamond: Security Onion- Linux distro for intrusion detection, enterprise security monitoring, and log management.
  :small_orange_diamond: Tails- is a live system that aims to preserve your privacy and anonymity.
  :small_orange_diamond: vedetta- OpenBSD router boilerplate.
  :small_orange_diamond: Qubes OS- is a security-oriented OS that uses Xen-based virtualization.

▪️ HTTP(s) Services

  :small_orange_diamond: Varnish Cache- HTTP accelerator designed for content-heavy dynamic web sites.
  :small_orange_diamond: Nginx- open source web and reverse proxy server that is similar to Apache, but very light weight.
  :small_orange_diamond: OpenResty- is a dynamic web platform based on NGINX and LuaJIT.
  :small_orange_diamond: Tengine- a distribution of Nginx with some advanced features.
  :small_orange_diamond: Caddy Server- is an open source, HTTP/2-enabled web server with HTTPS by default.
  :small_orange_diamond: HAProxy- the reliable, high performance TCP/HTTP load balancer.

▪️ DNS Services

  :small_orange_diamond: Unbound- validating, recursive, and caching DNS resolver (with TLS).
  :small_orange_diamond: Knot Resolver- caching full resolver implementation, including both a resolver library and a daemon.
  :small_orange_diamond: PowerDNS- is an open source authoritative DNS server, written in C++ and licensed under the GPL.

▪️ Other Services

:small_orange_diamond: 3proxy- tiny free proxy server.

▪️ Security/hardening

  :small_orange_diamond: Emerald Onion- is a 501(c)(3) nonprofit organization and transit internet service provider (ISP).
  :small_orange_diamond: pi-hole- the Pi-hole® is a DNS sinkhole that protects your devices from unwanted content.
  :small_orange_diamond: maltrail- malicious traffic detection system.
  :small_orange_diamond: security_monkey- monitors AWS, GCP, OpenStack, and GitHub orgs for assets and their changes over time.
  :small_orange_diamond: firecracker- secure and fast microVMs for serverless computing.
  :small_orange_diamond: streisand- sets up a new server running your choice of WireGuard, OpenSSH, OpenVPN, and more.

Networks ^[TOC]

▪️ Tools

:small_orange_diamond: CapAnalysis- web visual tool to analyze large amounts of captured network traffic (PCAP analyzer).
:small_orange_diamond: netbox- IP address management (IPAM) and data center infrastructure management (DCIM) tool.

▪️ Labs

:small_orange_diamond: NRE Labs- learn automation by doing it. Right now, right here, in your browser.

▪️ Other

:small_orange_diamond: LBNL's Network Research Group- home page of the Network Research Group (NRG).

Containers/Orchestration ^[TOC]

▪️ CLI Tools

:small_orange_diamond: gvisor- container runtime sandbox.
:small_orange_diamond: ctop- top-like interface for container metrics.

▪️ Web Tools

  :small_orange_diamond: Moby- a collaborative project for the container ecosystem to assemble container-based system.
  :small_orange_diamond: Traefik- open source reverse proxy/load balancer provides easier integration with Docker and Let's encrypt.
  :small_orange_diamond: kong- The Cloud-Native API Gateway.
  :small_orange_diamond: rancher- complete container management platform.
  :small_orange_diamond: portainer- making Docker management easy.
  :small_orange_diamond: nginx-proxy- automated nginx proxy for Docker containers using docker-gen.
  :small_orange_diamond: bunkerized-nginx- nginx docker image "secure by default".

▪️ Security

  :small_orange_diamond: docker-bench-security- checks for dozens of common best-practices around deploying Docker.
  :small_orange_diamond: trivy- vulnerability scanner for containers, suitable for CI.
  :small_orange_diamond: Harbor- cloud native registry project that stores, signs, and scans content.
  :small_orange_diamond: Houdini- hundreds of offensive and useful docker images for network intrusion.

▪️ Manuals/Tutorials/Best Practices

  :small_orange_diamond: docker-cheat-sheet- a quick reference cheat sheet on Docker.
  :small_orange_diamond: awesome-docker- a curated list of Docker resources and projects.
  :small_orange_diamond: docker_practice- learn and understand Docker technologies, with real DevOps practice!
  :small_orange_diamond: labs- is a collection of tutorials for learning how to use Docker with various tools.
  :small_orange_diamond: dockerfiles- various Dockerfiles I use on the desktop and on servers.
  :small_orange_diamond: kubernetes-the-hard-way- bootstrap Kubernetes the hard way on Google Cloud Platform. No scripts.
  :small_orange_diamond: kubernetes-the-easy-way- bootstrap Kubernetes the easy way on Google Cloud Platform. No scripts.
  :small_orange_diamond: cheatsheet-kubernetes-A4- Kubernetes CheatSheets in A4.
  :small_orange_diamond: k8s-security- kubernetes security notes and best practices.
  :small_orange_diamond: kubernetes-production-best-practices- checklists with best-practices for production-ready Kubernetes.
  :small_orange_diamond: kubernetes-production-best-practices- kubernetes security - best practice guide.
  :small_orange_diamond: kubernetes-failure-stories- is a compilation of public failure/horror stories related to Kubernetes.

Manuals/Howtos/Tutorials ^[TOC]

▪️ Shell/Command line

  :small_orange_diamond: pure-bash-bible- is a collection of pure bash alternatives to external processes.
  :small_orange_diamond: pure-sh-bible- is a collection of pure POSIX sh alternatives to external processes.
  :small_orange_diamond: bash-guide- is a guide to learn bash.
  :small_orange_diamond: bash-handbook- for those who wanna learn Bash.
  :small_orange_diamond: The Bash Hackers Wiki- hold documentation of any kind about GNU Bash.
  :small_orange_diamond: Shell & Utilities- describes the commands offered to application programs by POSIX-conformant systems.
  :small_orange_diamond: the-art-of-command-line- master the command line, in one page.
  :small_orange_diamond: Shell Style Guide- a shell style guide for Google-originated open-source projects.

▪️ Text Editors

:small_orange_diamond: Vim Cheat Sheet- great multi language vim guide.

▪️ Python

  :small_orange_diamond: Awesome Python- a curated list of awesome Python frameworks, libraries, software and resources.
  :small_orange_diamond: python-cheatsheet- comprehensive Python cheatsheet.
  :small_orange_diamond: pythoncheatsheet.org- basic reference for beginner and advanced developers.

▪️ Sed & Awk & Other

:small_orange_diamond: F’Awk Yeah!- advanced sed and awk usage (Parsing for Pentesters 3).

▪️ *nix & Network

  :small_orange_diamond: nixCraft- linux and unix tutorials for new and seasoned sysadmin.
  :small_orange_diamond: TecMint- the ideal Linux blog for Sysadmins & Geeks.
  :small_orange_diamond: Omnisecu- free Networking, System Administration and Security tutorials.
  :small_orange_diamond: linux-cheat- Linux tutorials and cheatsheets. Minimal examples. Mostly user-land CLI utilities.
  :small_orange_diamond: linuxupskillchallenge- learn the skills required to sysadmin.
  :small_orange_diamond: Unix Toolbox- Unix/Linux/BSD commands and tasks which are useful for IT work or for advanced users.
  :small_orange_diamond: Linux Kernel Teaching- is a collection of lectures and labs Linux kernel topics.
  :small_orange_diamond: htop explained- explanation of everything you can see in htop/top on Linux.
  :small_orange_diamond: Linux Guide and Hints- tutorials on system administration in Fedora and CentOS.
  :small_orange_diamond: strace-little-book- a little book which introduces strace.
  :small_orange_diamond: linux-tracing-workshop- examples and hands-on labs for Linux tracing tools workshops.
  :small_orange_diamond: http2-explained- a detailed document explaining and documenting HTTP/2.
  :small_orange_diamond: http3-explained- a document describing the HTTP/3 and QUIC protocols.
  :small_orange_diamond: HTTP/2 in Action- an excellent introduction to the new HTTP/2 standard.
  :small_orange_diamond: Let's code a TCP/IP stack- great stuff to learn network and system programming at a deeper level.
  :small_orange_diamond: Nginx Admin's Handbook- how to improve NGINX performance, security and other important things.
  :small_orange_diamond: nginxconfig.io- NGINX config generator on steroids.
  :small_orange_diamond: openssh guideline- is to help operational teams with the configuration of OpenSSH server and client.
  :small_orange_diamond: SSH Handshake Explained- is a relatively brief description of the SSH handshake.
  :small_orange_diamond: ISC's Knowledgebase- you'll find some general information about BIND 9, ISC DHCP, and Kea DHCP.
  :small_orange_diamond: PacketLife.net- a place to record notes while studying for Cisco's CCNP certification.

▪️ Microsoft

:small_orange_diamond: AD-Attack-Defense- attack and defend active directory using modern post exploitation activity.

▪️ Large-scale systems

  :small_orange_diamond: The System Design Primer- learn how to design large-scale systems.
  :small_orange_diamond: Awesome Scalability- best practices in building High Scalability, High Availability, High Stability, and more.
  :small_orange_diamond: Web Architecture 101- the basic architecture concepts.

▪️ System hardening

  :small_orange_diamond: CIS Benchmarks- secure configuration settings for over 100 technologies, available as a free PDF.
  :small_orange_diamond: Security Harden CentOS 7- this walks you through the steps required to security harden CentOS.
  :small_orange_diamond: CentOS 7 Server Hardening Guide- great guide for hardening CentOS; familiar with OpenSCAP.
  :small_orange_diamond: awesome-security-hardening- is a collection of security hardening guides, tools and other resources.
  :small_orange_diamond: The Practical Linux Hardening Guide- provides a high-level overview of hardening GNU/Linux systems.
  :small_orange_diamond: Linux Hardening Guide- how to harden Linux as much as possible for security and privacy.

▪️ Security & Privacy

  :small_orange_diamond: Hacking Articles- LRaj Chandel's Security & Hacking Blog.
  :small_orange_diamond: AWS security tools- make your AWS cloud environment more secure.
  :small_orange_diamond: Rawsec's CyberSecurity Inventory- an inventory of tools and resources about CyberSecurity.
  :small_orange_diamond: The Illustrated TLS Connection- every byte of a TLS connection explained and reproduced.
  :small_orange_diamond: SSL Research- SSL and TLS Deployment Best Practices by SSL Labs.
  :small_orange_diamond: SELinux Game- learn SELinux by doing. Solve Puzzles, show skillz.
  :small_orange_diamond: Certificates and PKI- everything you should know about certificates and PKI but are too afraid to ask.
  :small_orange_diamond: The Art of Subdomain Enumeration- a reference for subdomain enumeration techniques.
  :small_orange_diamond: Quitting Google- the comprehensive guide to quitting Google.

▪️ Web Apps

  :small_orange_diamond: OWASP- worldwide not-for-profit charitable organization focused on improving the security of software.
  :small_orange_diamond: OWASP ASVS 3.0.1- OWASP Application Security Verification Standard Project.
  :small_orange_diamond: OWASP ASVS 3.0.1 Web App- simple web app that helps developers understand the ASVS requirements.
  :small_orange_diamond: OWASP ASVS 4.0- is a list of application security requirements or tests.
  :small_orange_diamond: OWASP Testing Guide v4- includes a "best practice" penetration testing framework.
  :small_orange_diamond: OWASP Dev Guide- this is the development version of the OWASP Developer Guide.
  :small_orange_diamond: OWASP WSTG- is a comprehensive open source guide to testing the security of web apps.
  :small_orange_diamond: OWASP API Security Project- focuses specifically on the top ten vulnerabilities in API security.
  :small_orange_diamond: Mozilla Web Security- help operational teams with creating secure web applications.
  :small_orange_diamond: security-bulletins- security bulletins that relate to Netflix Open Source.
  :small_orange_diamond: API-Security-Checklist- security countermeasures when designing, testing, and releasing your API.
  :small_orange_diamond: Enable CORS- enable cross-origin resource sharing.
  :small_orange_diamond: Application Security Wiki- is an initiative to provide all application security related resources at one place.
  :small_orange_diamond: Weird Proxies- reverse proxy related attacks; it is a result of analysis of various proxies.
  :small_orange_diamond: Webshells- great series about malicious payloads.
  :small_orange_diamond: Practical Web Cache Poisoning- show you how to compromise websites by using esoteric web features.
  :small_orange_diamond: Hidden directories and files- as a source of sensitive information about web application.
  :small_orange_diamond: Explosive blog- great blog about cybersec and pentests.
  :small_orange_diamond: Security Cookies- this paper will take a close look at cookie security.
  :small_orange_diamond: APISecurityBestPractices- help you keep secrets (API keys, db credentials, certificates) out of source code.

▪️ All-in-one

  :small_orange_diamond: LZone Cheat Sheets- all cheat sheets.
  :small_orange_diamond: Dan’s Cheat Sheets’s- massive cheat sheets documentation.
  :small_orange_diamond: Rico's cheatsheets- this is a modest collection of cheatsheets.
  :small_orange_diamond: DevDocs API- combines multiple API documentations in a fast, organized, and searchable interface.
  :small_orange_diamond: cheat.sh- the only cheat sheet you need.
  :small_orange_diamond: gnulinux.guru- collection of cheat sheets about bash, vim and networking.
  :small_orange_diamond: Web Skills- visual overview of useful skills to learn as a web developer.

▪️ Ebooks

:small_orange_diamond: free-programming-books- list of free learning resources in many languages.

▪️ Other

  :small_orange_diamond: CTF Series : Vulnerable Machines- the steps below could be followed to find vulnerabilities and exploits.
  :small_orange_diamond: 50M_CTF_Writeup- $50 million CTF from Hackerone - writeup.
  :small_orange_diamond: ctf-tasks- an archive of low-level CTF challenges developed over the years.
  :small_orange_diamond: How to start RE/malware analysis?- collection of some hints and useful links for the beginners.
  :small_orange_diamond: The C10K problem- it's time for web servers to handle ten thousand clients simultaneously, don't you think?
  :small_orange_diamond: How 1500 bytes became the MTU of the internet- great story about the Maximum Transmission Unit.
  :small_orange_diamond: poor man's profiler- like dtrace's don't really provide methods to see what programs are blocking on.
  :small_orange_diamond: HTTPS on Stack Overflow- this is the story of a long journey regarding the implementation of SSL.
  :small_orange_diamond: Julia's Drawings- some drawings about programming and unix world, zines about systems & debugging tools.
  :small_orange_diamond: Hash collisions- this great repository is focused on hash collisions exploitation.
  :small_orange_diamond: sha256-animation- animation of the SHA-256 hash function in your terminal.
  :small_orange_diamond: sha256algorithm- sha256 algorithm explained online step by step visually.
  :small_orange_diamond: BGP Meets Cat- after 3072 hours of manipulating BGP, Job Snijders has succeeded in drawing a Nyancat.
  :small_orange_diamond: bgp-battleships- playing battleships over BGP.
  :small_orange_diamond: What happens when...- you type google.com into your browser and press enter?
  :small_orange_diamond: how-web-works- based on the 'What happens when...' repository.
  :small_orange_diamond: HTTPS in the real world- great tutorial explain how HTTPS works in the real world.
  :small_orange_diamond: Gitlab and NFS bug- how we spent two weeks hunting an NFS bug in the Linux kernel.
  :small_orange_diamond: Gitlab melts down- postmortem on the database outage of January 31 2017 with the lessons we learned.
  :small_orange_diamond: How To Become A Hacker- if you want to be a hacker, keep reading.
  :small_orange_diamond: Operation Costs in CPU- should help to estimate costs of certain operations in CPU clocks.
  :small_orange_diamond: Let's Build a Simple Database- writing a sqlite clone from scratch in C.
  :small_orange_diamond: simple-computer- great resource to understand how computers work under the hood.
  :small_orange_diamond: The story of "Have I been pwned?"- working with 154 million records on Azure Table Storage.
  :small_orange_diamond: TOP500 Supercomputers- shows the 500 most powerful commercially available computer systems known to us.
  :small_orange_diamond: How to build a 8 GPU password cracker- any "black magic" or hours of frustration like desktop components do.
  :small_orange_diamond: CERN Data Centre- 3D visualizations of the CERN computing environments (and more).
  :small_orange_diamond: How fucked is my database- evaluate how fucked your database is with this handy website.
  :small_orange_diamond: Linux Troubleshooting 101 , 2016 Edition- everything is a DNS Problem...
  :small_orange_diamond: Five Whys- you know what the problem is, but you cannot solve it?
  :small_orange_diamond: Maersk, me & notPetya- how did ransomware successfully hijack hundreds of domain controllers?
  :small_orange_diamond: howhttps.works- how HTTPS works ...in a comic!
  :small_orange_diamond: howdns.works- a fun and colorful explanation of how DNS works.
  :small_orange_diamond: POSTGRESQLCO.NF- your postgresql.conf documentation and recommendations.

Inspiring Lists ^[TOC]

▪️ SysOps/DevOps

  :small_orange_diamond: Awesome Sysadmin- amazingly awesome open source sysadmin resources.
  :small_orange_diamond: Awesome Shell- awesome command-line frameworks, toolkits, guides and gizmos.
  :small_orange_diamond: Command-line-text-processing- finding text to search and replace, sorting to beautifying, and more.
  :small_orange_diamond: Awesome Pcaptools- collection of tools developed by other researchers to process network traces.
  :small_orange_diamond: awesome-ebpf- a curated list of awesome projects related to eBPF.
  :small_orange_diamond: Linux Network Performance- where some of the network sysctl variables fit into the Linux/Kernel network flow.
  :small_orange_diamond: Awesome Postgres- list of awesome PostgreSQL software, libraries, tools and resources.
  :small_orange_diamond: quick-SQL-cheatsheet- a quick reminder of all SQL queries and examples on how to use them.
  :small_orange_diamond: Awesome-Selfhosted- list of Free Software network services and web applications which can be hosted locally.
  :small_orange_diamond: List of applications- huge list of apps sorted by category, as a reference for those looking for packages.
  :small_orange_diamond: CS-Interview-Knowledge-Map- build the best interview map.
  :small_orange_diamond: DevOps-Guide- DevOps Guide from basic to advanced with Interview Questions and Notes.
  :small_orange_diamond: FreeBSD Journal- it is a great list of periodical magazines about FreeBSD and other important things.
  :small_orange_diamond: devops-interview-questions- contains interview questions on various DevOps and SRE related topics.

▪️ Developers

  :small_orange_diamond: Web Developer Roadmap- roadmaps, articles and resources to help you choose your path, learn and improve.
  :small_orange_diamond: Front-End-Checklist- the perfect Front-End Checklist for modern websites and meticulous developers.
  :small_orange_diamond: Front-End-Performance-Checklist- Front-End Performance Checklist that runs faster than the others.
  :small_orange_diamond: Python's Magic Methods- what are magic methods? They're everything in object-oriented Python.
  :small_orange_diamond: wtfpython- a collection of surprising Python snippets and lesser-known features.
  :small_orange_diamond: js-dev-reads- a list of books and articles for the discerning web developer to read.
  :small_orange_diamond: Commit messages guide- a guide to understand the importance of commit messages.

▪️ Security/Pentesting

  :small_orange_diamond: Awesome Web Security- a curated list of Web Security materials and resources.
  :small_orange_diamond: awesome-cyber-skills- a curated list of hacking environments where you can train your cyber skills.
  :small_orange_diamond: awesome-devsecops- an authoritative list of awesome devsecops tools.
  :small_orange_diamond: awesome-osint- is a curated list of amazingly awesome OSINT.
  :small_orange_diamond: HolyTips- tips and tutorials on Bug Bounty Hunting and Web App Security.
  :small_orange_diamond: awesome-threat-intelligence- a curated list of Awesome Threat Intelligence resources.
  :small_orange_diamond: Red-Teaming-Toolkit- a collection of open source and commercial tools that aid in red team operations.
  :small_orange_diamond: awesome-burp-extensions- a curated list of amazingly awesome Burp Extensions.
  :small_orange_diamond: Free Security eBooks- list of a Free Security and Hacking eBooks.
  :small_orange_diamond: Hacking-Security-Ebooks- top 100 Hacking & Security E-Books.
  :small_orange_diamond: privacy-respecting- curated list of privacy respecting services and software.
  :small_orange_diamond: reverse-engineering- list of awesome reverse engineering resources.
  :small_orange_diamond: linux-re-101- a collection of resources for linux reverse engineering.
  :small_orange_diamond: reverseengineering-reading-list- a list of Reverse Engineering articles, books, and papers.
  :small_orange_diamond: Awesome-WAF- a curated list of awesome web-app firewall (WAF) stuff.
  :small_orange_diamond: awesome-shodan-queries- interesting, funny, and depressing search queries to plug into shodan.io.
  :small_orange_diamond: RobotsDisallowed- a curated list of the most common and most interesting robots.txt disallowed directories.
  :small_orange_diamond: HackingNeuralNetworks- is a small course on exploiting and defending neural networks.
  :small_orange_diamond: wildcard-certificates- why you probably shouldn't use a wildcard certificate.
  :small_orange_diamond: Don't use VPN services- which is what every third-party "VPN provider" does.
  :small_orange_diamond: awesome-yara- a curated list of awesome YARA rules, tools, and people.
  :small_orange_diamond: macOS-Security-and-Privacy-Guide- guide to securing and improving privacy on macOS.
  :small_orange_diamond: macos_security- macOS Security Compliance Project.
  :small_orange_diamond: awesome-sec-talks- is a collected list of awesome security talks.
  :small_orange_diamond: Movies for Hackers- list of movies every hacker & cyberpunk must watch.
  :small_orange_diamond: Cryptography_1- materials used whilst taking Prof. Dan Boneh Stanford Crypto course.
  :small_orange_diamond: Crypton- library to learn and practice Offensive and Defensive Cryptography.

▪️ Other

  :small_orange_diamond: Cheatography- over 3,000 free cheat sheets, revision aids and quick references.
  :small_orange_diamond: awesome-static-analysis- static analysis tools for all programming languages.
  :small_orange_diamond: computer-science- path to a free self-taught education in Computer Science.
  :small_orange_diamond: post-mortems- is a collection of postmortems (config errors, hardware failures, and more).
  :small_orange_diamond: build-your-own-x- build your own (insert technology here).
  :small_orange_diamond: Project-Based-Tutorials-in-C- is a curated list of project-based tutorials in C.
  :small_orange_diamond: The-Documentation-Compendium- various README templates & tips on writing high-quality documentation.
  :small_orange_diamond: awesome-python-applications- free software that works great, and also happens to be open-source Python.
  :small_orange_diamond: awesome-public-datasets- a topic-centric list of HQ open datasets.
  :small_orange_diamond: machine-learning-algorithms- a curated list of all machine learning algorithms and concepts.

Blogs/Podcasts/Videos ^[TOC]

▪️ SysOps/DevOps

:small_orange_diamond: Varnish for PHP developers- very interesting presentation of Varnish by Mattias Geniar.
:small_orange_diamond: A Netflix Guide to Microservices- talks about the chaotic and vibrant world of microservices at Netflix.

▪️ Developers

:small_orange_diamond: Comparing C to machine lang- compare a simple C app with the compiled machine code of that program.

▪️ Geeky Persons

  :small_orange_diamond: Brendan Gregg's Blog- is an industry expert in computing performance and cloud computing.
  :small_orange_diamond: Gynvael "GynDream" Coldwind- is a IT security engineer at Google.
  :small_orange_diamond: Michał "lcamtuf" Zalewski- white hat hacker, computer security expert.
  :small_orange_diamond: Mattias Geniar- developer, sysadmin, blogger, podcaster and public speaker.
  :small_orange_diamond: Nick Craver- software developer and systems administrator for Stack Exchange.
  :small_orange_diamond: Scott Helme- security researcher, speaker and founder of securityheaders.com and report-uri.com.
  :small_orange_diamond: Brian Krebs- The Washington Post and now an Independent investigative journalist.
  :small_orange_diamond: Bruce Schneier- is an internationally renowned security technologist, called a "security guru".
  :small_orange_diamond: Chrissy Morgan- advocate of practical learning, Chrissy also takes part in bug bounty programs.
  :small_orange_diamond: Andy Gill- is a hacker at heart who works as a senior penetration tester.
  :small_orange_diamond: Daniel Miessler- cybersecurity expert and writer.
  :small_orange_diamond: Samy Kamkar- is an American privacy and security researcher, computer hacker.
  :small_orange_diamond: Javvad Malik- is a security advocate at AlienVault, a blogger event speaker and industry commentator.
  :small_orange_diamond: Graham Cluley- public speaker and independent computer security analyst.
  :small_orange_diamond: Kacper Szurek- detection engineer at ESET.
  :small_orange_diamond: Troy Hunt- web security expert known for public education and outreach on security topics.
  :small_orange_diamond: raymii.org- sysadmin specializing in building high availability cloud environments.
  :small_orange_diamond: Robert Penz- IT security expert.

▪️ Geeky Blogs

  :small_orange_diamond: Linux Audit- the Linux security blog about auditing, hardening and compliance by Michael Boelen.
  :small_orange_diamond: Linux Security Expert- trainings, howtos, checklists, security tools, and more.
  :small_orange_diamond: The Grymoire- collection of useful incantations for wizards, be you computer wizards, magicians, or whatever.
  :small_orange_diamond: Secjuice- is the only non-profit, independent and volunteer led publication in the information security space.
  :small_orange_diamond: Decipher- security news that informs and inspires.

▪️ Geeky Vendor Blogs

  :small_orange_diamond: Tenable Podcast- conversations and interviews related to Cyber Exposure, and more.
  :small_orange_diamond: Sophos- threat news room, giving you news, opinion, advice and research on computer security issues.
  :small_orange_diamond: Tripwire State of Security- blog featuring the latest news, trends and insights on current security issues.
  :small_orange_diamond: Malwarebytes Labs Blog- security blog aims to provide insider news about cybersecurity.
  :small_orange_diamond: TrustedSec- latest news, and trends about cybersecurity.
  :small_orange_diamond: PortSwigger Web Security Blog- about web app security vulns and top tips from our team of web security.
  :small_orange_diamond: AT&T Cybersecurity blog- news on emerging threats and practical advice to simplify threat detection.
  :small_orange_diamond: Thycotic- where CISOs and IT Admins come to learn about industry trends, IT security, and more.

▪️ Geeky Cybersecurity Podcasts

  :small_orange_diamond: Risky Business- is a weekly information security podcast featuring news and in-depth interviews.
  :small_orange_diamond: Cyber, by Motherboard- stories, and focus on the ideas about cybersecurity.
  :small_orange_diamond: Tenable Podcast- conversations and interviews related to Cyber Exposure, and more.
  :small_orange_diamond: Cybercrime Investigations- podcast by Geoff White about cybercrimes.
  :small_orange_diamond: The many hats club- featuring stories from a wide range of Infosec people (Whitehat, Greyhat and Blackhat).
  :small_orange_diamond: Darknet Diaries- true stories from the dark side of the Internet.
  :small_orange_diamond: OSINTCurious Webcasts- is the investigative curiosity that helps people be successful in OSINT.
  :small_orange_diamond: Security Weekly- the latest information security and hacking news.

▪️ Geeky Cybersecurity Video Blogs

  :small_orange_diamond: rev3rse security- offensive, binary exploitation, web app security, hardening, red team, blue team.
  :small_orange_diamond: LiveOverflow- a lot more advanced topics than what is typically offered in paid online courses - but for free.
  :small_orange_diamond: J4vv4D- the important information regarding our internet security.
  :small_orange_diamond: CyberTalks- talks, interviews, and article about cybersecurity.

▪️ Best Personal Twitter Accounts

  :small_orange_diamond: @blackroomsec- a white-hat hacker/pentester. Intergalactic Minesweeper Champion 1990.
  :small_orange_diamond: @MarcoCiappelli- Co-Founder @ITSPmagazine, at the intersection of IT security and society.
  :small_orange_diamond: @binitamshah- Linux Evangelist. Malwares. Kernel Dev. Security Enthusiast.
  :small_orange_diamond: @joe_carson- an InfoSec Professional and Tech Geek.
  :small_orange_diamond: @mikko- CRO at F-Secure, Reverse Engineer, TED Speaker, Supervillain.
  :small_orange_diamond: @esrtweet- often referred to as ESR, is an American software developer, and open-source software advocate.
  :small_orange_diamond: @gynvael- security researcher/programmer, @DragonSectorCTF founder/player, technical streamer.
  :small_orange_diamond: @x0rz- Security Researcher & Cyber Observer.
  :small_orange_diamond: @hasherezade- programmer, malware analyst. Author of PEbear, PEsieve, libPeConv.
  :small_orange_diamond: @TinkerSec- tinkerer, cypherpunk, hacker.
  :small_orange_diamond: @alisaesage- independent hacker and researcher.
  :small_orange_diamond: @SwiftOnSecurity- systems security, industrial safety, sysadmin, author of decentsecurity.com.
  :small_orange_diamond: @dakami- is one of just seven people with the authority to restore the DNS root keys.
  :small_orange_diamond: @samykamkar- is a famous "grey hat" hacker, security researcher, creator of the MySpace "Samy" worm.
  :small_orange_diamond: @securityweekly- founder & CTO of Security Weekly podcast network.
  :small_orange_diamond: @jack_daniel- @SecurityBSides co-founder.
  :small_orange_diamond: @thegrugq- Security Researcher.
  :small_orange_diamond: @matthew_d_green- a cryptographer and professor at Johns Hopkins University.

▪️ Best Commercial Twitter Accounts

  :small_orange_diamond: @haveibeenpwned- check if you have an account that has been compromised in a data breach.
  :small_orange_diamond: @bugcrowd- trusted by more of the Fortune 500 than any other crowdsourced security platform.
  :small_orange_diamond: @Malwarebytes- most trusted security company. Unmatched threat visibility.
  :small_orange_diamond: @sansforensics- the world's leading Digital Forensics and Incident Response provider.
  :small_orange_diamond: @attcyber- AT&T Cybersecurity’s Edge-to-Edge technologies provide threat intelligence, and more.
  :small_orange_diamond: @TheManyHatsClub- an information security focused podcast and group of individuals from all walks of life.
  :small_orange_diamond: @hedgehogsec- Hedgehog Cyber. Gibraltar and Manchester's top boutique information security firm.
  :small_orange_diamond: @NCSC- the National Cyber Security Centre. Helping to make the UK the safest place to live and work online.
  :small_orange_diamond: @Synacktiv- IT security experts.

▪️ A piece of history

:small_orange_diamond: How to Do Things at ARL- how to configure modems, scan images, record CD-ROMs, and other. *

▪️ Other

:small_orange_diamond: Diffie-Hellman Key Exchange (short version)- how Diffie-Hellman Key Exchange worked.

Hacking/Penetration Testing ^[TOC]

▪️ Pentesters arsenal tools

  :small_orange_diamond: Sandcat Browser- a penetration-oriented browser with plenty of advanced functionality already built in.
  :small_orange_diamond: Metasploit- tool and framework for pentesting system, web and many more, contains a lot a ready to use exploit.
  :small_orange_diamond: Burp Suite- tool for testing web app security, intercepting proxy to replay, inject, scan and fuzz.
  :small_orange_diamond: OWASP Zed Attack Proxy- intercepting proxy to replay, inject, scan and fuzz HTTP requests.
  :small_orange_diamond: w3af- is a Web Application Attack and Audit Framework.
  :small_orange_diamond: mitmproxy- an interactive TLS-capable intercepting HTTP proxy for penetration testers.
  :small_orange_diamond: Nikto2- web server scanner which performs comprehensive tests against web servers for multiple items.
  :small_orange_diamond: sqlmap- tool that automates the process of detecting and exploiting SQL injection flaws.
  :small_orange_diamond: Recon-ng- is a full-featured Web Reconnaissance framework written in Python.
  :small_orange_diamond: AutoRecon- is a network reconnaissance tool which performs automated enumeration of services.
  :small_orange_diamond: Faraday- an Integrated Multiuser Pentest Environment.
  :small_orange_diamond: Photon- incredibly fast crawler designed for OSINT.
  :small_orange_diamond: XSStrike- most advanced XSS detection suite.
  :small_orange_diamond: Sn1per- automated pentest framework for offensive security experts.
  :small_orange_diamond: vuls- is an agent-less vulnerability scanner for Linux, FreeBSD, and other.
  :small_orange_diamond: tsunami- is a general purpose network security scanner with an extensible plugin system.
  :small_orange_diamond: aquatone- a tool for domain flyovers.
  :small_orange_diamond: BillCipher- information gathering tool for a website or IP address.
  :small_orange_diamond: WhatWaf- detect and bypass web application firewalls and protection systems.
  :small_orange_diamond: Corsy- CORS misconfiguration scanner.
  :small_orange_diamond: Raccoon- is a high performance offensive security tool for reconnaissance and vulnerability scanning.
  :small_orange_diamond: dirhunt- find web directories without bruteforce.
  :small_orange_diamond: John The Ripper- is a fast password cracker, currently available for many flavors of Unix, Windows, and other.
  :small_orange_diamond: hashcat- world's fastest and most advanced password recovery utility.
  :small_orange_diamond: p0f- is a tool to identify the players behind any incidental TCP/IP communications.
  :small_orange_diamond: ssh_scan- a prototype SSH configuration and policy scanner.
  :small_orange_diamond: LeakLooker- find open databases - powered by Binaryedge.io
  :small_orange_diamond: exploitdb- searchable archive from The Exploit Database.
  :small_orange_diamond: getsploit- is a command line utility for searching and downloading exploits.
  :small_orange_diamond: ctf-tools- some setup scripts for security research tools.
  :small_orange_diamond: pwntools- CTF framework and exploit development library.
  :small_orange_diamond: security-tools- collection of small security tools created mostly in Python. CTFs, pentests and so on.
  :small_orange_diamond: pentestpackage- is a package of Pentest scripts.
  :small_orange_diamond: python-pentest-tools- python tools for penetration testers.
  :small_orange_diamond: fuzzdb- dictionary of attack patterns and primitives for black-box application fault injection.
  :small_orange_diamond: AFL- is a free software fuzzer maintained by Google.
  :small_orange_diamond: AFL++- is AFL with community patches.
  :small_orange_diamond: syzkaller- is an unsupervised, coverage-guided kernel fuzzer.
  :small_orange_diamond: pwndbg- exploit development and reverse engineering with GDB made easy.
  :small_orange_diamond: GDB PEDA- Python Exploit Development Assistance for GDB.
  :small_orange_diamond: IDA- multi-processor disassembler and debugger useful for reverse engineering malware.
  :small_orange_diamond: radare2- framework for reverse-engineering and analyzing binaries.
  :small_orange_diamond: routersploit- exploitation framework for embedded devices.
  :small_orange_diamond: Ghidra- is a software reverse engineering (SRE) framework.
  :small_orange_diamond: Cutter- is an SRE platform integrating Ghidra's decompiler.
  :small_orange_diamond: Vulnreport- open-source pentesting management and automation platform by Salesforce Product Security.
  :small_orange_diamond: Mentalist- is a graphical tool for custom wordlist generation.
  :small_orange_diamond: archerysec- vulnerability assessment and management helps to perform scans and manage vulnerabilities.
  :small_orange_diamond: Osmedeus- fully automated offensive security tool for reconnaissance and vulnerability scanning.
  :small_orange_diamond: beef- the browser exploitation framework project.
  :small_orange_diamond: AutoSploit- automated mass exploiter.
  :small_orange_diamond: SUDO_KILLER- is a tool to identify and exploit sudo rules' misconfigurations and vulnerabilities.
  :small_orange_diamond: yara- the pattern matching swiss knife.
  :small_orange_diamond: mimikatz- a little tool to play with Windows security.
  :small_orange_diamond: sherlock- hunt down social media accounts by username across social networks.
  :small_orange_diamond: OWASP Threat Dragon- is a tool used to create threat model diagrams and to record possible threats.

▪️ Pentests bookmarks collection

  :small_orange_diamond: PTES- the penetration testing execution standard.
  :small_orange_diamond: Pentests MindMap- amazing mind map with vulnerable apps and systems.
  :small_orange_diamond: WebApps Security Tests MindMap- incredible mind map for WebApps security tests.
  :small_orange_diamond: Brute XSS- master the art of Cross Site Scripting.
  :small_orange_diamond: XSS cheat sheet- contains many vectors that can help you bypass WAFs and filters.
  :small_orange_diamond: Offensive Security Bookmarks- security bookmarks collection, all things that author need to pass OSCP.
  :small_orange_diamond: Awesome Pentest Cheat Sheets- collection of the cheat sheets useful for pentesting.
  :small_orange_diamond: Awesome Hacking by HackWithGithub- awesome lists for hackers, pentesters and security researchers.
  :small_orange_diamond: Awesome Hacking by carpedm20- a curated list of awesome hacking tutorials, tools and resources.
  :small_orange_diamond: Awesome Hacking Resources- collection of hacking/penetration testing resources to make you better.
  :small_orange_diamond: Awesome Pentest- collection of awesome penetration testing resources, tools and other shiny things.
  :small_orange_diamond: Awesome-Hacking-Tools- is a curated list of awesome Hacking Tools.
  :small_orange_diamond: Hacking Cheat Sheet- author hacking and pentesting notes.
  :small_orange_diamond: blackhat-arsenal-tools- official Black Hat arsenal security tools repository.
  :small_orange_diamond: Penetration Testing and WebApp Cheat Sheets- the complete list of Infosec related cheat sheets.
  :small_orange_diamond: Cyber Security Resources- includes thousands of cybersecurity-related references and resources.
  :small_orange_diamond: Pentest Bookmarks- there are a LOT of pentesting blogs.
  :small_orange_diamond: Cheatsheet-God- Penetration Testing Reference Bank - OSCP/PTP & PTX Cheatsheet.
  :small_orange_diamond: ThreatHunter-Playbook- to aid the development of techniques and hypothesis for hunting campaigns.
  :small_orange_diamond: Beginner-Network-Pentesting- notes for beginner network pentesting course.
  :small_orange_diamond: OSCPRepo- is a list of resources that author have been gathering in preparation for the OSCP.
  :small_orange_diamond: PayloadsAllTheThings- a list of useful payloads and bypass for Web Application Security and Pentest/CTF.
  :small_orange_diamond: payloads- git all the Payloads! A collection of web attack payloads.
  :small_orange_diamond: command-injection-payload-list- command injection payload list.
  :small_orange_diamond: Awesome Shodan Search Queries- great search queries to plug into Shodan.
  :small_orange_diamond: AwesomeXSS- is a collection of Awesome XSS resources.
  :small_orange_diamond: php-webshells- common php webshells.
  :small_orange_diamond: Pentesting Tools Cheat Sheet- a quick reference high level overview for typical penetration testing.
  :small_orange_diamond: OWASP Cheat Sheet Series- is a collection of high value information on specific application security topics.
  :small_orange_diamond: OWASP dependency-check- is an open source solution the OWASP Top 10 2013 entry.
  :small_orange_diamond: OWASP ProActive Controls- OWASP Top 10 Proactive Controls 2018.
  :small_orange_diamond: PENTESTING-BIBLE- hacking & penetration testing & red team & cyber security resources.
  :small_orange_diamond: pentest-wiki- is a free online security knowledge library for pentesters/researchers.
  :small_orange_diamond: DEF CON Media Server- great stuff from DEFCON.
  :small_orange_diamond: Awesome Malware Analysis- a curated list of awesome malware analysis tools and resources.
  :small_orange_diamond: SQL Injection Cheat Sheet- detailed technical stuff about the many different variants of the SQL Injection.
  :small_orange_diamond: Entersoft Knowledge Base- great and detailed reference about vulnerabilities.
  :small_orange_diamond: HTML5 Security Cheatsheet- a collection of HTML5 related XSS attack vectors.
  :small_orange_diamond: XSS String Encoder- for generating XSS code to check your input validation filters against XSS.
  :small_orange_diamond: GTFOBins- list of Unix binaries that can be exploited by an attacker to bypass local security restrictions.
  :small_orange_diamond: Guifre Ruiz Notes- collection of security, system, network and pentest cheatsheets.
  :small_orange_diamond: SSRF Tips- a collection of SSRF Tips.
  :small_orange_diamond: shell-storm repo CTF- great archive of CTFs.
  :small_orange_diamond: ctf- CTF (Capture The Flag) writeups, code snippets, notes, scripts.
  :small_orange_diamond: My-CTF-Web-Challenges- collection of CTF Web challenges.
  :small_orange_diamond: MSTG- The Mobile Security Testing Guide (MSTG) is a comprehensive manual for mobile app security testing.
  :small_orange_diamond: Internal-Pentest-Playbook- notes on the most common things for an Internal Network Penetration Test.
  :small_orange_diamond: KeyHacks- shows quick ways in which API keys leaked by a bug bounty program can be checked.
  :small_orange_diamond: securitum/research- various Proof of Concepts of security research performed by Securitum.
  :small_orange_diamond: public-pentesting-reports- is a list of public pentest reports released by several consulting security groups.
  :small_orange_diamond: awesome-bug-bounty- is a comprehensive curated list of available Bug Bounty.
  :small_orange_diamond: bug-bounty-reference- is a list of bug bounty write-ups.
  :small_orange_diamond: Awesome-Bugbounty-Writeups- is a curated list of bugbounty writeups.
  :small_orange_diamond: Bug bounty writeups- list of bug bounty writeups (2012-2020).
  :small_orange_diamond: hackso.me- a great journey into security.

▪️ Backdoors/exploits

:small_orange_diamond: PHP-backdoors- a collection of PHP backdoors. For educational or testing purposes only.

▪️ Wordlists and Weak passwords

  :small_orange_diamond: Weakpass- for any kind of bruteforce find wordlists or unleash the power of them all at once!
  :small_orange_diamond: Hashes.org- is a free online hash resolving service incorporating many unparalleled techniques.
  :small_orange_diamond: SecLists- collection of multiple types of lists used during security assessments, collected in one place.
  :small_orange_diamond: Probable-Wordlists- sorted by probability originally created for password generation and testing.
  :small_orange_diamond: skullsecurity passwords- password dictionaries and leaked passwords repository.
  :small_orange_diamond: Polish PREMIUM Dictionary- official dictionary created by the team on the forum bezpieka.org. * ¹
  :small_orange_diamond: statistically-likely-usernames- wordlists for creating statistically likely username lists.

▪️ Bounty platforms

  :small_orange_diamond: YesWeHack- bug bounty platform with infosec jobs.
  :small_orange_diamond: Openbugbounty- allows any security researcher reporting a vulnerability on any website.
  :small_orange_diamond: hackerone- global hacker community to surface the most relevant security issues.
  :small_orange_diamond: bugcrowd- crowdsourced cybersecurity for the enterprise.
  :small_orange_diamond: Crowdshield- crowdsourced security & bug bounty management.
  :small_orange_diamond: Synack- crowdsourced security & bug bounty programs, crowd security intelligence platform, and more.
  :small_orange_diamond: Hacktrophy- bug bounty platform.

▪️ Web Training Apps (local installation)

  :small_orange_diamond: OWASP-VWAD- comprehensive and well maintained registry of all known vulnerable web applications.
  :small_orange_diamond: DVWA- PHP/MySQL web application that is damn vulnerable.
  :small_orange_diamond: metasploitable2- vulnerable web application amongst security researchers.
  :small_orange_diamond: metasploitable3- is a VM that is built from the ground up with a large amount of security vulnerabilities.
  :small_orange_diamond: DSVW- is a deliberately vulnerable web application written in under 100 lines of code.
  :small_orange_diamond: OWASP Mutillidae II- free, open source, deliberately vulnerable web-application.
  :small_orange_diamond: OWASP Juice Shop Project- the most bug-free vulnerable application in existence.
  :small_orange_diamond: OWASP Node js Goat Project- OWASP Top 10 security risks apply to web apps developed using Node.js.
  :small_orange_diamond: juicy-ctf- run Capture the Flags and Security Trainings with OWASP Juice Shop.
  :small_orange_diamond: SecurityShepherd- web and mobile application security training platform.
  :small_orange_diamond: Security Ninjas- open source application security training program.
  :small_orange_diamond: hackazon- a modern vulnerable web app.
  :small_orange_diamond: dvna- damn vulnerable NodeJS application.
  :small_orange_diamond: django-DefectDojo- is an open-source application vulnerability correlation and security orchestration tool.
  :small_orange_diamond: Google Gruyere- web application exploits and defenses.
  :small_orange_diamond: Bodhi- is a playground focused on learning the exploitation of client-side web vulnerabilities.
  :small_orange_diamond: Websploit- single vm lab with the purpose of combining several vulnerable appliations in one environment.
  :small_orange_diamond: vulhub- pre-built Vulnerable Environments based on docker-compose.
  :small_orange_diamond: CloudGoat 2- the new & improved "Vulnerable by Design" AWS deployment tool.
  :small_orange_diamond: secDevLabs- is a laboratory for learning secure web development in a practical manner.
  :small_orange_diamond: CORS-vulnerable-Lab- sample vulnerable code and its exploit code.
  :small_orange_diamond: RootTheBox- a Game of Hackers (CTF Scoreboard & Game Manager).
  :small_orange_diamond: KONTRA- application security training (OWASP Top Web & Api).

▪️ Labs (ethical hacking platforms/trainings/CTFs)

  :small_orange_diamond: Offensive Security- true performance-based penetration testing training for over a decade.
  :small_orange_diamond: Hack The Box- online platform allowing you to test your penetration testing skills.
  :small_orange_diamond: Hacking-Lab- online ethical hacking, computer network and security challenge platform.
  :small_orange_diamond: pwnable.kr- non-commercial wargame site which provides various pwn challenges.
  :small_orange_diamond: Pwnable.tw- is a wargame site for hackers to test and expand their binary exploiting skills.
  :small_orange_diamond: picoCTF- is a free computer security game targeted at middle and high school students.
  :small_orange_diamond: CTFlearn- is an online platform built to help ethical hackers learn and practice their cybersecurity knowledge.
  :small_orange_diamond: ctftime- CTF archive and a place, where you can get some another CTF-related info.
  :small_orange_diamond: Silesia Security Lab- high quality security testing services.
  :small_orange_diamond: Practical Pentest Labs- pentest lab, take your Hacking skills to the next level.
  :small_orange_diamond: Root Me- the fast, easy, and affordable way to train your hacking skills.
  :small_orange_diamond: rozwal.to- a great platform to train your pentesting skills.
  :small_orange_diamond: TryHackMe- learning Cyber Security made easy.
  :small_orange_diamond: hackxor- is a realistic web application hacking game, designed to help players of all abilities develop their skills.
  :small_orange_diamond: Hack Yourself First- it's full of nasty app sec holes.
  :small_orange_diamond: OverTheWire- can help you to learn and practice security concepts in the form of fun-filled games.
  :small_orange_diamond: Wizard Labs- is an online Penetration Testing Lab.
  :small_orange_diamond: PentesterLab- provides vulnerable systems that can be used to test and understand vulnerabilities.
  :small_orange_diamond: RingZer0- tons of challenges designed to test and improve your hacking skills.
  :small_orange_diamond: try2hack- several security-oriented challenges for your entertainment.
  :small_orange_diamond: Ubeeri- preconfigured lab environments.
  :small_orange_diamond: Pentestit- emulate IT infrastructures of real companies for legal pen testing and improving pentest skills.
  :small_orange_diamond: Microcorruption- reversal challenges done in the web interface.
  :small_orange_diamond: Crackmes- download crackmes to help improve your reverse engineering skills.
  :small_orange_diamond: DomGoat- DOM XSS security learning and practicing platform.
  :small_orange_diamond: Stereotyped Challenges- upgrade your web hacking techniques today!
  :small_orange_diamond: Vulnhub- allows anyone to gain practical 'hands-on' experience in digital security.
  :small_orange_diamond: W3Challs- is a penetration testing training platform, which offers various computer challenges.
  :small_orange_diamond: RingZer0 CTF- offers you tons of challenges designed to test and improve your hacking skills.
  :small_orange_diamond: Hack.me- a platform where you can build, host and share vulnerable web apps for educational purposes.
  :small_orange_diamond: HackThis!- discover how hacks, dumps and defacements are performed and secure your website.
  :small_orange_diamond: Enigma Group WebApp Training- these challenges cover the exploits listed in the OWASP Top 10 Project.
  :small_orange_diamond: Reverse Engineering Challenges- challenges, exercises, problems and tasks - by level, by type, and more.
  :small_orange_diamond: 0x00sec- the home of the Hacker - Malware, Reverse Engineering, and Computer Science.
  :small_orange_diamond: We Chall- there are exist a lots of different challenge types.
  :small_orange_diamond: Hacker Gateway- is the go-to place for hackers who want to test their skills.
  :small_orange_diamond: Hacker101- is a free class for web security.
  :small_orange_diamond: contained.af- a stupid game for learning about containers, capabilities, and syscalls.
  :small_orange_diamond: flAWS challenge!- a series of levels you'll learn about common mistakes and gotchas when using AWS.
  :small_orange_diamond: CyberSec WTF- provides web hacking challenges derived from bounty write-ups.
  :small_orange_diamond: CTF Challenge- CTF Web App challenges.
  :small_orange_diamond: gCTF- most of the challenges used in the Google CTF 2017.
  :small_orange_diamond: Hack This Site- is a free, safe and legal training ground for hackers.
  :small_orange_diamond: Attack & Defense- is a browser-based cloud labs.
  :small_orange_diamond: Cryptohack- a fun platform for learning modern cryptography.
  :small_orange_diamond: Cryptopals- the cryptopals crypto challenges.

▪️ CTF platforms

:small_orange_diamond: fbctf- platform to host Capture the Flag competitions.
:small_orange_diamond: ctfscoreboard- scoreboard for Capture The Flag competitions.

▪️ Other resources

  :small_orange_diamond: Bugcrowd University- open source education content for the researcher community.
  :small_orange_diamond: OSCPRepo- a list of resources and scripts that I have been gathering in preparation for the OSCP.
  :small_orange_diamond: OWASP Top 10: Real-World Examples- test your web apps with real-world examples (two-part series).
  :small_orange_diamond: phrack.org- an awesome collection of articles from several respected hackers and other thinkers.
  :small_orange_diamond: Practical-Ethical-Hacking-Resources- compilation of resources from TCM's Udemy Course.

Your daily knowledge and news ^[TOC]

▪️ RSS Readers

:small_orange_diamond: Feedly- organize, read and share what matters to you.
:small_orange_diamond: Inoreader- similar to feedly with a support for filtering what you fetch from rss.

▪️ IRC Channels

:small_orange_diamond: #hackerspaces- hackerspace IRC channels.

▪️ Security

  :small_orange_diamond: The Hacker News- leading news source dedicated to promoting awareness for security experts and hackers.
  :small_orange_diamond: Latest Hacking News- provides the latest hacking news, exploits and vulnerabilities for ethical hackers.
  :small_orange_diamond: Security Newsletter- security news as a weekly digest (email notifications).
  :small_orange_diamond: Google Online Security Blog- the latest news and insights from Google on security and safety on the Internet.
  :small_orange_diamond: Qualys Blog- expert network security guidance and news.
  :small_orange_diamond: DARKReading- connecting the Information Security Community.
  :small_orange_diamond: Darknet- latest hacking tools, hacker news, cybersecurity best practices, ethical hacking & pen-testing.
  :small_orange_diamond: publiclyDisclosed- public disclosure watcher who keeps you up to date about the recently disclosed bugs.
  :small_orange_diamond: Reddit - Hacking- a subreddit dedicated to hacking and hackers.
  :small_orange_diamond: Packet Storm- information security services, news, files, tools, exploits, advisories and whitepapers.
  :small_orange_diamond: Sekurak- about security, penetration tests, vulnerabilities and many others (PL/EN).
  :small_orange_diamond: nf.sec- basic aspects and mechanisms of Linux operating system security (PL).

▪️ Other/All-in-one

:small_orange_diamond: Changelog- is a community of hackers; news & podcasts for developers and hackers.

Other Cheat Sheets ^[TOC]

Build your own DNS Servers

  :small_orange_diamond: Unbound DNS Tutorial- a validating, recursive, and caching DNS server.
  :small_orange_diamond: Knot Resolver on Fedora- how to get faster and more secure DNS resolution with Knot Resolver on Fedora.
  :small_orange_diamond: DNS-over-HTTPS- tutorial to setup your own DNS-over-HTTPS (DoH) server.
  :small_orange_diamond: dns-over-https- a cartoon intro to DNS over HTTPS.
  :small_orange_diamond: DNS-over-TLS- following to your DoH server, setup your DNS-over-TLS (DoT) server.
  :small_orange_diamond: DNS Servers- how (and why) i run my own DNS Servers.

Build your own Certificate Authority

:small_orange_diamond: OpenSSL Certificate Authority- build your own certificate authority (CA) using the OpenSSL tools.
:small_orange_diamond: step-ca Certificate Authority- build your own certificate authority (CA) using open source step-ca.

Build your own System/Virtual Machine

  :small_orange_diamond: os-tutorial- how to create an OS from scratch.
  :small_orange_diamond: Write your Own Virtual Machine- how to write your own virtual machine (VM).
  :small_orange_diamond: x86 Bare Metal Examples- dozens of minimal operating systems to learn x86 system programming.
  :small_orange_diamond: simple-computer- the scott CPU from "But How Do It Know?" by J. Clark Scott.
  :small_orange_diamond: littleosbook- the little book about OS development.

DNS Servers list (privacy)

IP	URL
`84.200.69.80`	dns.watch
`94.247.43.254`	opennic.org
`64.6.64.6`	verisign.com
`89.233.43.71`	censurfridns.dk
`1.1.1.1`	cloudflare.com
`94.130.110.185`	dnsprivacy.at

TOP Browser extensions

Extension name	Description
`IPvFoo`	Display the server IP address and HTTPS information across all page elements.
`FoxyProxy`	Simplifies configuring browsers to access proxy-servers.
`HTTPS Everywhere`	Automatically use HTTPS security on many sites.
`uMatrix`	Point & click to forbid/allow any class of requests made by your browser.
`uBlock Origin`	An efficient blocker: easy on memory and CPU footprint.
`Session Buddy`	Manage browser tabs and bookmarks with ease.
`SuperSorter`	Sort bookmarks recursively, delete duplicates, merge folders, and more.
`Clear Cache`	Clear your cache and browsing data.
`d3coder`	Encoding/Decoding plugin for various types of encoding.
`Web Developer`	Adds a toolbar button with various web developer tools.
`ThreatPinch Lookup`	Add threat intelligence hover tool tips.

TOP Burp extensions

Extension name	Description
`Active Scan++`	Extends Burp's active and passive scanning capabilities.
`Autorize`	Automatically detects authorization enforcement.
`AuthMatrix`	A simple matrix grid to define the desired levels of access privilege.
`Logger++`	Logs requests and responses for all Burp tools in a sortable table.
`Bypass WAF`	Adds headers useful for bypassing some WAF devices.
`JSON Beautifier`	Beautifies JSON content in the HTTP message viewer.
`JSON Web Tokens`	Enables Burp to decode and manipulate JSON web tokens.
`CSP Auditor`	Displays CSP headers for responses, and passively reports CSP weaknesses.
`CSP-Bypass`	Passively scans for CSP headers that contain known bypasses.
`Hackvertor`	Converts data using a tag-based configuration to apply various encoding.
`HTML5 Auditor`	Scans for usage of risky HTML5 features.
`Software Vulnerability Scanner`	Vulnerability scanner based on vulners.com audit API.
`Turbo Intruder`	Is a powerful bruteforcing tool.
`Upload Scanner`	Upload a number of different file types, laced with different forms of payload.

Hack Mozilla Firefox address bar

In Firefox's address bar, you can limit results by typing special characters before or after your term:

^- for matches in your browsing history
*- for matches in your bookmarks.
%- for matches in your currently open tabs.
#- for matches in page titles.
@- for matches in web addresses.

Chrome hidden commands

chrome://chrome-urls- list of all commands
chrome://flags- enable experiments and development features
chrome://interstitials- errors and warnings
chrome://net-internals- network internals (events, dns, cache)
chrome://network-errors- network errors
chrome://net-export- start logging future network activity to a file
chrome://safe-browsing- safe browsing options
chrome://user-actions- record all user actions
chrome://restart- restart chrome
chrome://dino- ERR_INTERNET_DISCONNECTED...
cache:<website-address>- view the cached version of the web page

Bypass WAFs by Shortening IP Address (by 0xInfection)

IP addresses can be shortened by dropping the zeroes:

      http://1.0.0.1 → http://1.1
http://127.0.0.1 → http://127.1
http://192.168.0.1 → http://192.168.1

http://0xC0A80001 or http://3232235521 → 192.168.0.1
http://192.168.257 → 192.168.1.1
http://192.168.516 → 192.168.2.4

This bypasses WAF filters for SSRF, open-redirect, etc where any IP as input gets blacklisted.

For more information please see How to Obscure Any URLand Magic IP Address Shortcuts.

Hashing, encryption and encoding (by Michal Špaček)

Hashing

plaintext ➡️ hash
hash ⛔ plaintext

Symmetric encryption

plaintext ➡️ 🔑 ➡️ ciphertext
plaintext ⬅️ 🔑 ⬅️ ciphertext
(:key: shared key)

Asymmetric encryption

plaintext ➡️ 🔑 ➡️ ciphertext
plaintext ⬅️ 〽️ ⬅️ ciphertext
(:key: public key, :part_alternation_mark: private key)

Encoding

text ➡️ encoded
text ⬅️ encoded

Shell One-liners ^[TOC]

Tool: terminal

Reload shell without exit

exec$SHELL-l

Close shell keeping all subprocess running

disown-a&&exit

Exit without saving shell history

kill-9$$unsetHISTFILE&&exit

Perform a branching conditional

true&&echosuccessfalse||echofailed

Pipe stdout and stderr to separate commands

some_command>>(/bin/cmd_for_stdout)2>>(/bin/cmd_for_stderr)

Redirect stdout and stderr each to separate files and print both to the screen

(some_command2>&11>&3|tee errorlog )3>&11>&2|tee stdoutlog

List of commands you use most often

history|\
awk'{CMD[$2]++;count++;}END { for (a in CMD)print CMD[a] " " CMD[a]/count*100 "% " a;}'|\
grep -v"./"|\
column -c3 -s""-t|\
sort -nr|nl|head -n 20

Sterilize bash history

functionsterile(){history|awk'$2 != "history" { $1=""; print $0 }'|egrep -vi"\curl\b+.*(-E|--cert)\b+.*\b*|\curl\b+.*--pass\b+.*\b*|\curl\b+.*(-U|--proxy-user).*:.*\b*|\curl\b+.*(-u|--user).*:.*\b*.*(-H|--header).*(token|auth.*)\b+.*|\wget\b+.*--.*password\b+.*\b*|\http.?://.+:.+@.*\">$HOME/histbuff;history-r$HOME/histbuff;}exportPROMPT_COMMAND="sterile"

Look also: A naive utility to censor credentials in command history.

Quickly backup a file

cp filename{,.orig}

Empty a file (truncate to 0 size)

>filename

Delete all files in a folder that don't match a certain file extension

rm!(*.foo|*.bar|*.baz)

Pass multi-line string to a file

#cat  >filename ... - overwrite the file#cat >>filename ... - append to a filecat>filename<<__EOF__data data data__EOF__

Edit a file on a remote host using vim

vim scp://user@host//etc/fstab

Create a directory and change into it at the same time

mkd() { mkdir -p"$@"&&cd"$@";}

Convert uppercase files to lowercase files

rename'y/A-Z/a-z/'*

Print a row of characters across the terminal

printf"%`tput cols`s"|tr'''#'

Show shell history without line numbers

history|cut -c 8-fc-l -n 1|sed's/^\s*//'

Run command(s) after exit session

cat>/etc/profile<<__EOF___after_logout() {username=$(whoami)for _pid in$(ps afx|grep sshd|grep"$username"|awk'{print $1}'); dokill -9$_piddone}trap _after_logout EXIT__EOF__

Generate a sequence of numbers

for((i=1; i<=10; i+=2));doecho$i;done#alternative: seq 1 2 10for((i=5; i<=10;++i));doprintf'%02d\n'$i;done#alternative: seq -w 5 10foriin{1..10};doecho$i;done

Simple Bash filewatching

unsetMAIL;exportMAILCHECK=1;exportMAILPATH='$FILE_TO_WATCH?$MESSAGE'

Tool: busybox

Static HTTP web server

busybox httpd -p$PORT-h$HOME[-c httpd.conf]

Tool: mount

Mount a temporary ram partition

mount -t tmpfs tmpfs /mnt -o size=64M

-t- filesystem type
-o- mount options

Remount a filesystem as read/write

mount -o remount,rw /

Tool: fuser

Show which processes use the files/directories

fuser /var/log/daemon.log
fuser -v /home/supervisor

Kills a process that is locking a file

fuser -ki filename

-i- interactive option

Kills a process that is locking a file with specific signal

fuser -k -HUP filename

--list-signals- list available signal names

Show what PID is listening on specific port

fuser -v 53/udp

Show all processes using the named filesystems or block device

fuser -mv /var/www

Tool: lsof

Show process that use internet connection at the moment

lsof -P -i -n

Show process that use specific port number

lsof -i tcp:443

Lists all listening ports together with the PID of the associated process

lsof -Pan -i tcp -i udp

List all open ports and their owning executables

lsof -i -P|grep -i"listen"

Show all open ports

lsof -Pnl -i

Show open ports (LISTEN)

lsof -Pni4|grep LISTEN|column -t

List all files opened by a particular command

lsof -c"process"

View user activity per directory

lsof -u username -a +D /etc

Show 10 largest open files

lsof /|\
awk'{ if($7 > 1048576) print $7/1048576 "MB" " " $9 " " $1 }'|\
sort -n -u|tail|column -t

Show current working directory of a process

lsof -p<PID>|grep cwd

Tool: ps

Show a 4-way scrollable process tree with full details

ps awwfux|less -S

Processes per user counter

ps hax -o user|sort|uniq -c|sort -r

Show all processes by name with main header

ps -lfC nginx

Tool: find

Find files that have been modified on your system in the past 60 minutes

find / -mmin 60 -type f

Find all files larger than 20M

find / -type f -size +20M

Find duplicate files (based on MD5 hash)

find -type f -exec md5sum'{}'';'|sort|uniq --all-repeated=separate -w 33

Change permission only for files

cd/var/www/site&&find.-type f -exec chmod 766 {}\;cd/var/www/site&&find.-type f -exec chmod 664 {} +

Change permission only for directories

cd/var/www/site&&find.-type d -exec chmod g+x {}\;cd/var/www/site&&find.-type d -exec chmod g+rwx {} +

Find files and directories for specific user/group

#User:find.-user<username>-print
find /etc -type f -user<username>-name"*.conf"#Group:find /opt -group<group>find /etc -type f -group<group>-iname"*.conf"

Find files and directories for all without specific user/group

#User:find.\!-user<username>-print#Group:find.\!-group<group>

Looking for files/directories that only have certain permission

#Userfind.-user<username>-perm -u+rw#-rw-r--r--find /home -user$(whoami)-perm 777#-rwxrwxrwx#Group:find /home -type d -group<group>-perm 755#-rwxr-xr-x

Delete older files than 60 days

find.-type f -mtime +60 -delete

Recursively remove all empty sub-directories from a directory

find.-depth  -type d  -empty -exec rmdir {}\;

How to find all hard links to a file

find</path/to/dir>-xdev -samefile filename

Recursively find the latest modified files

find.-type f -exec stat --format'%Y :%y %n'"{}"\;|sort -nr|cut -d: -f2-|head

Recursively find/replace of a string with sed

find.-not -path'*/\.git*'-type f -print0|xargs -0 sed -i's/foo/bar/g'

Recursively find/replace of a string in directories and file names

find.-depth -name'*test*'-execdir bash -c'mv -v "$1" "${1//foo/bar}"'_ {}\;

Recursively find suid executables

find /\(-perm -4000 -o -perm -2000\)-type f -exec ls -la {}\;

Tool: top

Use top to monitor only all processes with the specific string

top -p$(pgrep -d ,<str>)

<str>- process containing string (eg. nginx, worker)

Tool: vmstat

Show current system utilization (fields in kilobytes)

vmstat 2 20 -t -w

2- number of times with a defined time interval (delay)
20- each execution of the command (count)
-t- show timestamp
-w- wide output
-S M- output of the fields in megabytes instead of kilobytes

Show current system utilization will get refreshed every 5 seconds

vmstat 5 -w

Display report a summary of disk operations

vmstat -D

Display report of event counters and memory stats

vmstat -s

Display report about kernel objects stored in slab layer cache

vmstat -m

Tool: iostat

Show information about the CPU usage, and I/O statistics about all the partitions

iostat 2 10 -t -m

2- number of times with a defined time interval (delay)
10- each execution of the command (count)
-t- show timestamp
-m- fields in megabytes ( -k- in kilobytes, default)

Show information only about the CPU utilization

iostat 2 10 -t -m -c

Show information only about the disk utilization

iostat 2 10 -t -m -d

Show information only about the LVM utilization

iostat -N

Tool: strace

Track with child processes

#1)strace -f -p$(pidof glusterfsd)#2)strace -f$(pidof php-fpm|sed's/\([0-9]*\)/\-p \1/g')

Track process with 30 seconds limit

timeout 30 strace$(</var/run/zabbix/zabbix_agentd.pid)

Track processes and redirect output to a file

ps auxw|grep'[a]pache'|awk'{print " -p " $2}'|\
xargs strace -o /tmp/strace-apache-proc.out

Track with print time spent in each syscall and limit length of print strings

ps auxw|grep'[i]init_policy'|awk'{print " -p " $2}'|\
xargs strace -f -e trace=network -T -s 10000

Track the open request of a network port

strace -f -e trace=bind nc -l 80

Track the open request of a network port (show TCP/UDP)

strace -f -e trace=network nc -lu 80

Tool: kill

Kill a process running on port

kill-9$(lsof -i :<port>|awk'{l=$2} END {print l}')

Tool: diff

Compare two directory trees

diff<(cd directory1&&find|sort)<(cd directory2&&find|sort)

Compare output of two commands

diff<(cat /etc/passwd)<(cut -f2 /etc/passwd)

Tool: vimdiff

Highlight the exact differences, based on characters and words

vimdiff file1 file2

Compare two JSON files

vimdiff<(jq -S.A.json)<(jq -S.B.json)

Compare Hex dump

d(){ vimdiff<(f$1)<(f$2);};f(){ hexdump -C$1|cut -d''-f3-|tr -s'';};d~/bin1~/bin2

diffchar

Save diffchar@ ~/.vim/plugins

Click F7to switch between diff modes

Usefull vimdiffcommands:

qato exit all windows
:vertical resize 70to resize window
set window width Ctrl+W [N columns]+(Shift+)<\>

Tool: tail

Annotate tail -f with timestamps

tail -f file|whileread;doecho"$(date +%T.%N)$REPLY";done

Analyse an Apache access log for the most common IP addresses

tail -10000 access_log|awk'{print $1}'|sort|uniq -c|sort -n|tail

Analyse web server log and show only 5xx http codes

tail -n 100 -f /path/to/logfile|grep"HTTP/[1-2].[0-1]\"[5]"

Tool: tar

System backup with exclude specific directories

cd/
tar -czvpf /mnt/system$(date +%d%m%Y%s).tgz --directory=/ \
--exclude=proc/*--exclude=sys/*--exclude=dev/*--exclude=mnt/*.

System backup with exclude specific directories (pigz)

cd/
tar cvpf /backup/snapshot-$(date +%d%m%Y%s).tgz --directory=/ \
--exclude=proc/*--exclude=sys/*--exclude=dev/*\
--exclude=mnt/*--exclude=tmp/*--use-compress-program=pigz.

Tool: dump

System backup to file

dump -y -u -f /backup/system$(date +%d%m%Y%s).lzo /

Restore system from lzo file

cd/
restore -rf /backup/system$(date +%d%m%Y%s).lzo

Tool: cpulimit

Limit the cpu usage of a process

cpulimit -p pid -l 50

Tool: pwdx

Show current working directory of a process

pwdx<pid>

Tool: taskset

Start a command on only one CPU core

taskset -c 0<command>

Tool: tr

Show directories in the PATH, one per line

tr:'\n'<<<$PATH

Tool: chmod

Remove executable bit from all files in the current directory

chmod -R -x+X*

Restore permission for /bin/chmod

#1:cp /bin/ls chmod.01
cp /bin/chmod chmod.01
./chmod.01 700 file#2:/bin/busybox chmod 0700 /bin/chmod#3:setfacl --set u::rwx,g::---,o::--- /bin/chmod

Tool: who

Find last reboot time

who -b

Detect a user sudo-su'd into the current shell

[[$(who -m|awk'{ print $1 }')==$(whoami)]]||echo"You are su-ed to$(whoami)"

Tool: last

Was the last reboot a panic?

(last -x -f$(ls -1t /var/log/wtmp*|head -2|tail -1);last -x -f /var/log/wtmp)|\
grep -A1 reboot|head -2|grep -q shutdown&&echo"Expected reboot"||echo"Panic reboot"

Tool: screen

Start screen in detached mode

screen -d -m<command>

Attach to an existing screen session

screen -r -d<pid>

Tool: script

Record and replay terminal session

### Record session#1)script -t2>~/session.time -a~/session.log#2)script --timing=session.time session.log### Replay sessionscriptreplay --timing=session.time session.log

Tool: du

Show 20 biggest directories with 'K M G'

du|\
sort -r -n|\
awk'{split("K M G",v); s=1; while($1>1024){$1/=1024; s++} print int($1)" "v[s]"\t"$2}'|\
head -n 20

Tool: inotifywait

Init tool everytime a file in a directory is modified

whiletrue;doinotifywait -r -e MODIFY dir/&&ls dir/;done;

Tool: openssl

Testing connection to the remote host

echo|openssl s_client -connect google.com:443 -showcerts

Testing connection to the remote host (debug mode)

echo|openssl s_client -connect google.com:443 -showcerts -tlsextdebug -status

Testing connection to the remote host (with SNI support)

echo|openssl s_client -showcerts -servername google.com -connect google.com:443

Testing connection to the remote host with specific ssl version

openssl s_client -tls1_2 -connect google.com:443

Testing connection to the remote host with specific ssl cipher

openssl s_client -cipher'AES128-SHA'-connect google.com:443

Verify 0-RTT

_host="example.com"cat>req.in<<__EOF__HEAD / HTTP/1.1Host:$_hostConnection: close__EOF__openssl s_client -connect${_host}:443 -tls1_3 -sess_out session.pem -ign_eof<req.in
openssl s_client -connect${_host}:443 -tls1_3 -sess_in session.pem -early_data req.in

Generate private key without passphrase

#_len: 2048, 4096( _fd="private.key";_len="2048";\
openssl genrsa -out${_fd}${_len})

Generate private key with passphrase

#_ciph: aes128, aes256#_len: 2048, 4096( _ciph="aes128";_fd="private.key";_len="2048";\
openssl genrsa -${_ciph}-out${_fd}${_len})

Remove passphrase from private key

( _fd="private.key";_fd_unp="private_unp.key";\
openssl rsa -in${_fd}-out${_fd_unp})

Encrypt existing private key with a passphrase

#_ciph: aes128, aes256( _ciph="aes128";_fd="private.key";_fd_pass="private_pass.key";\
openssl rsa -${_ciph}-in${_fd}-out${_fd_pass}

Check private key

( _fd="private.key";\
openssl rsa -check -in${_fd})

Get public key from private key

( _fd="private.key";_fd_pub="public.key";\
openssl rsa -pubout -in${_fd}-out${_fd_pub})

Generate private key and CSR

( _fd="private.key";_fd_csr="request.csr";_len="2048";\
openssl req -out${_fd_csr}-new -newkey rsa:${_len}-nodes -keyout${_fd})

Generate CSR

( _fd="private.key";_fd_csr="request.csr";\
openssl req -out${_fd_csr}-new -key${_fd})

Generate CSR (metadata from existing certificate)

Where private.keyis the existing private key. As you can see you do not generate this CSR from your certificate (public key). Also you do not generate the "same" CSR, just a new one to request a new certificate.

( _fd="private.key";_fd_csr="request.csr";_fd_crt="cert.crt";\
openssl x509 -x509toreq -in${_fd_crt}-out${_fd_csr}-signkey${_fd})

Generate CSR with -config param

( _fd="private.key";_fd_csr="request.csr";\
openssl req -new -sha256 -key${_fd}-out${_fd_csr}\
-config<(cat<<__EOF__[req]default_bits        = 2048default_md          = sha256prompt              = nodistinguished_name  = dnreq_extensions      = req_ext[ dn ]C   = "<two-letter ISO abbreviation for your country>"ST  = "<state or province where your organisation is legally located>"L   = "<city where your organisation is legally located>"O   = "<legal name of your organisation>"OU  = "<section of the organisation>"CN  = "<fully qualified domain name>"[ req_ext ]subjectAltName = @alt_names[ alt_names ]DNS.1 = <fully qualified domain name>DNS.2 = <next domain>DNS.3 = <next domain>__EOF__))

Other values in [ dn ]:

      countryName            = "DE"                     # C=
stateOrProvinceName    = "Hessen"                 # ST=
localityName           = "Keller"                 # L=
postalCode             = "424242"                 # L/postalcode=
postalAddress          = "Keller"                 # L/postaladdress=
streetAddress          = "Crater 1621"            # L/street=
organizationName       = "apfelboymschule"        # O=
organizationalUnitName = "IT Department"          # OU=
commonName             = "example.com"            # CN=
emailAddress           = "webmaster@example.com"  # CN/emailAddress=

Example of oids(you'll probably also have to make OpenSSL know about the new fields required for EV by adding the following under [new_oids]):

      [req]
...
oid_section         = new_oids

[ new_oids ]
postalCode = 2.5.4.17
streetAddress = 2.5.4.9

Full example:

( _fd="private.key";_fd_csr="request.csr";\
openssl req -new -sha256 -key${_fd}-out${_fd_csr}\
-config<(cat<<__EOF__[req]default_bits        = 2048default_md          = sha256prompt              = nodistinguished_name  = dnreq_extensions      = req_extoid_section         = new_oids[ new_oids ]serialNumber = 2.5.4.5streetAddress = 2.5.4.9postalCode = 2.5.4.17businessCategory = 2.5.4.15[ dn ]serialNumber=00001111businessCategory=Private OrganizationjurisdictionC=DEC=DEST=HessenL=KellerpostalCode=424242streetAddress=Crater 1621O=AV CompanyOU=ITCN=example.com[ req_ext ]subjectAltName = @alt_names[ alt_names ]DNS.1 = example.com__EOF__))

For more information please look at these great explanations:

List available EC curves

openssl ecparam -list_curves

Print ECDSA private and public keys

( _fd="private.key";\
openssl ec -in${_fd}-noout -text )#For x25519 only extracting public key( _fd="private.key";_fd_pub="public.key";\
openssl pkey -in${_fd}-pubout -out${_fd_pub})

Generate ECDSA private key

#_curve: prime256v1, secp521r1, secp384r1( _fd="private.key";_curve="prime256v1";\
openssl ecparam -out${_fd}-name${_curve}-genkey )#_curve: X25519( _fd="private.key";_curve="x25519";\
openssl genpkey -algorithm${_curve}-out${_fd})

Generate private key and CSR (ECC)

#_curve: prime256v1, secp521r1, secp384r1( _fd="domain.com.key";_fd_csr="domain.com.csr";_curve="prime256v1";\
openssl ecparam -out${_fd}-name${_curve}-genkey;\
openssl req -new -key${_fd}-out${_fd_csr}-sha256 )

Generate self-signed certificate

#_len: 2048, 4096( _fd="domain.key";_fd_out="domain.crt";_len="2048";_days="365";\
openssl req -newkey rsa:${_len}-nodes \
-keyout${_fd}-x509 -days${_days}-out${_fd_out})

Generate self-signed certificate from existing private key

#_len: 2048, 4096( _fd="domain.key";_fd_out="domain.crt";_days="365";\
openssl req -key${_fd}-nodes \
-x509 -days${_days}-out${_fd_out})

Generate self-signed certificate from existing private key and csr

#_len: 2048, 4096( _fd="domain.key";_fd_csr="domain.csr";_fd_out="domain.crt";_days="365";\
openssl x509 -signkey${_fd}-nodes \
-in${_fd_csr}-req -days${_days}-out${_fd_out})

Generate DH public parameters

( _dh_size="2048";\
openssl dhparam -out /etc/nginx/ssl/dhparam_${_dh_size}.pem"$_dh_size")

Display DH public parameters

openssl pkeyparam -in dhparam.pem -text

Extract private key from pfx

( _fd_pfx="cert.pfx";_fd_key="key.pem";\
openssl pkcs12 -in${_fd_pfx}-nocerts -nodes -out${_fd_key})

Extract private key and certs from pfx

( _fd_pfx="cert.pfx";_fd_pem="key_certs.pem";\
openssl pkcs12 -in${_fd_pfx}-nodes -out${_fd_pem})

Extract certs from p7b

#PKCS#7 file doesn't include private keys.( _fd_p7b="cert.p7b";_fd_pem="cert.pem";\
openssl pkcs7 -inform DER -outform PEM -in${_fd_p7b}-print_certs>${_fd_pem})#or:openssl pkcs7 -print_certs -in -in${_fd_p7b}-out${_fd_pem})

Convert DER to PEM

( _fd_der="cert.crt";_fd_pem="cert.pem";\
openssl x509 -in${_fd_der}-inform der -outform pem -out${_fd_pem})

Convert PEM to DER

( _fd_der="cert.crt";_fd_pem="cert.pem";\
openssl x509 -in${_fd_pem}-outform der -out${_fd_der})

Verification of the private key

( _fd="private.key";\
openssl rsa -noout -text -in${_fd})

Verification of the public key

#1)( _fd="public.key";\
openssl pkey -noout -text -pubin -in${_fd})#2)( _fd="private.key";\
openssl rsa -inform PEM -noout -in${_fd}&>/dev/null;\if[$?=0 ];thenecho-en"OK\n";fi)

Verification of the certificate

( _fd="certificate.crt";#format: pem, cer, crt \openssl x509 -noout -text -in${_fd})

Verification of the CSR

( _fd_csr="request.csr";\
openssl req -text -noout -in${_fd_csr})

Check the private key and the certificate are match

(openssl rsa -noout -modulus -in private.key|openssl md5;\
openssl x509 -noout -modulus -in certificate.crt|openssl md5)|uniq

Check the private key and the CSR are match

(openssl rsa -noout -modulus -in private.key|openssl md5;\
openssl req -noout -modulus -in request.csr|openssl md5)|uniq

Tool: secure-delete

Secure delete with shred

shred -vfuz -n 10 file
shred --verbose --random-source=/dev/urandom -n 1 /dev/sda

Secure delete with scrub

scrub -p dod /dev/sda
scrub -p dod -r file

Secure delete with badblocks

badblocks -s -w -t random -v /dev/sda
badblocks -c 10240 -s -w -t random -v /dev/sda

Secure delete with secure-delete

srm -vz /tmp/file
sfill -vz /local
sdmem -v
swapoff /dev/sda5&&sswap -vz /dev/sda5

Tool: dd

Show dd status every so often

dd<dd_params>status=progress
watch --interval 5 killall -USR1 dd

Redirect output to a file with dd

echo"string"|dd of=filename

Tool: gpg

Export public key

gpg --export --armor"<username>">username.pkey

--export- export all keys from all keyrings or specific key
-a|--armor- create ASCII armored output

Encrypt file

gpg -e -r"<username>"dump.sql

-e|--encrypt- encrypt data
-r|--recipient- encrypt for specific

Decrypt file

gpg -o dump.sql -d dump.sql.gpg

-o|--output- use as output file
-d|--decrypt- decrypt data (default)

Search recipient

gpg --keyserver hkp://keyserver.ubuntu.com --search-keys"<username>"

--keyserver- set specific key server
--search-keys- search for keys on a key server

List all of the packets in an encrypted file

gpg --batch --list-packets archive.gpg
gpg2 --batch --list-packets archive.gpg

Tool: system-other

Reboot system from init

exec/sbin/init 6

Init system from single user mode

exec/sbin/init

Show current working directory of a process

readlink -f /proc/<PID>/cwd

Show actual pathname of the executed command

readlink -f /proc/<PID>/exe

Tool: curl

curl -Iks https://www.google.com

-I- show response headers only
-k- insecure connection when using ssl
-s- silent mode (not display body)

curl -Iks --location -X GET -A"x-agent"https://www.google.com

--location- follow redirects
-X- set method
-A- set user-agent

curl -Iks --location -X GET -A"x-agent"--proxy http://127.0.0.1:16379 https://www.google.com

--proxy [socks5://|http://]- set proxy server

curl -o file.pdf -C - https://example.com/Aiju2goo0Ja2.pdf

-o- write output to file
-C- resume the transfer

Find your external IP address (external services)

curl ipinfo.io
curl ipinfo.io/ip
curl icanhazip.com
curl ifconfig.me/ip;echo

Repeat URL request

#URL sequence substitution with a dummy query string:curl -ks https://example.com/?[1-20]#With shell 'for' loop:foriin{1..20};docurl -ks https://example.com/;done

Check DNS and HTTP trace with headers for specific domains

### Set domains and external dns servers._domain_list=(google.com);_dns_list=("8.8.8.8""1.1.1.1")for_domainin"${_domain_list[@]}";doprintf'=%.0s'{1..48}echoprintf"[\\e[1;32m+\\e[m] resolve: %s\\n""$_domain"for_dnsin"${_dns_list[@]}";do#Resolve domain.host"${_domain}""${_dns}"echodonefor_protoinhttp https;doprintf"[\\e[1;32m+\\e[m] trace + headers: %s://%s\\n""$_proto""$_domain"#Get trace and http headers.curl -Iks -A"x-agent"--location"${_proto}://${_domain}"echodonedoneunset_domain_list _dns_list

Tool: httpie

http -p Hh https://www.google.com

-p- print request and response headers
- H- request headers
- B- request body
- h- response headers
- b- response body

http -p Hh https://www.google.com --follow --verify no

-F, --follow- follow redirects
--verify no- skip SSL verification

http -p Hh https://www.google.com --follow --verify no \
--proxy http:http://127.0.0.1:16379

--proxy [http:]- set proxy server

Tool: ssh

Escape Sequence

      # Supported escape sequences:
~.  - terminate connection (and any multiplexed sessions)
~B  - send a BREAK to the remote system
~C  - open a command line
~R  - Request rekey (SSH protocol 2 only)
~^Z - suspend ssh
~#  - list forwarded connections
~&  - background ssh (when waiting for connections to terminate)
~?  - this message
~~  - send the escape character by typing it twice

Compare a remote file with a local file

ssh user@host cat /path/to/remotefile|diff /path/to/localfile -

SSH connection through host in the middle

ssh -t reachable_host ssh unreachable_host

Run command over SSH on remote host

cat>cmd.txt<<__EOF__cat /etc/hosts__EOF__ssh host -l user$(<cmd.txt)

Get public key from private key

ssh-keygen -y -f~/.ssh/id_rsa

Get all fingerprints

ssh-keygen -l -f .ssh/known_hosts

SSH authentication with user password

ssh -o PreferredAuthentications=password -o PubkeyAuthentication=no user@remote_host

SSH authentication with publickey

ssh -o PreferredAuthentications=publickey -o PubkeyAuthentication=yes -i id_rsa user@remote_host

Simple recording SSH session

function_ssh_sesslog(){

  _sesdir="<path/to/session/logs>"mkdir -p"${_sesdir}"&&\
  ssh$@2>&1|tee -a"${_sesdir}/$(date +%Y%m%d).log"}#Alias:aliasssh='_ssh_sesslog'

Using Keychain for SSH logins

### Delete all of ssh-agent's keys.function_scl(){

  /usr/bin/keychain --clear

}### Add key to keychain.function_scg(){

  /usr/bin/keychain /path/to/private-keysource"$HOME/.keychain/$HOSTNAME-sh"}

SSH login without processing any login scripts

ssh -tt user@host bash

SSH local port forwarding

Example 1:

#Forwarding our local 2250 port to nmap.org:443 from localhost through localhosthost1>ssh -L 2250:nmap.org:443 localhost#Connect to the service:host1>curl -Iks --location -X GET https://localhost:2250

Example 2:

#Forwarding our local 9051 port to db.d.x:5432 from localhost through node.d.yhost1>ssh -nNT -L 9051:db.d.x:5432 node.d.y#Connect to the service:host1>psql -U db_user -d db_dev -p 9051 -h localhost

-n- redirects stdin from /dev/null
-N- do not execute a remote command
-T- disable pseudo-terminal allocation

SSH remote port forwarding

#Forwarding our local 9051 port to db.d.x:5432 from host2 through node.d.yhost1>ssh -nNT -R 9051:db.d.x:5432 node.d.y#Connect to the service:host2>psql -U postgres -d postgres -p 8000 -h localhost

Tool: linux-dev

Testing remote connection to port

timeout 1 bash -c"</dev/<proto>/<host>/<port>">/dev/null2>&1;echo$?

<proto- set protocol (tcp/udp)
<host>- set remote host
<port>- set destination port

Read and write to TCP or UDP sockets with common bash tools

exec5<>/dev/tcp/<host>/<port>;cat<&5&cat>&5;exec5>&-

Tool: tcpdump

Filter incoming (on interface) traffic (specific ip:port)

tcpdump -ne -i eth0 -Qinhost 192.168.252.1 and port 443

-n- don't convert addresses ( -nnwill not resolve hostnames or ports)
-e- print the link-level headers
-i [iface|any]- set interface
-Q|-D [in|out|inout]- choose send/receive direction ( -D- for old tcpdump versions)
host [ip|hostname]- set host, also [host not]
[and|or]- set logic
port [1-65535]- set port number, also [port not]

Filter incoming (on interface) traffic (specific ip:port) and write to a file

tcpdump -ne -i eth0 -Qinhost 192.168.252.1 and port 443 -c 5 -w tcpdump.pcap

-c [num]- capture only num number of packets
-w [filename]- write packets to file, -r [filename]- reading from file

Capture all ICMP packets

tcpdump -nei eth0 icmp

Check protocol used (TCP or UDP) for service

tcpdump -nei eth0 tcp port 22 -vv -X|egrep"TCP|UDP"

Display ASCII text (to parse the output using grep or other)

tcpdump -i eth0 -A -s0 port 443

Grab everything between two keywords

tcpdump -i eth0 port 80 -X|sed -n -e'/username/,/=ldap/ p'

Grab user and pass ever plain http

tcpdump -i eth0  port http -l -A|egrep -i \'pass=|pwd=|log=|login=|user=|username=|pw=|passw=|passwd=|password=|pass:|user:|username:|password:|login:|pass |user'\
--color=auto --line-buffered -B20

Extract HTTP User Agent from HTTP request header

tcpdump -ei eth0 -nn -A -s1500 -l|grep"User-Agent:"

Capture only HTTP GET and POST packets

tcpdump -ei eth0 -s 0 -A -vv \'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'or'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x504f5354'

or simply:

tcpdump -ei eth0 -s 0 -v -n -l|egrep -i"POST /|GET /|Host:"

Rotate capture files

tcpdump -ei eth0 -w /tmp/capture-%H.pcap -G 3600 -C 200

-G <num>- pcap will be created every <num>seconds
-C <size>- close the current pcap and open a new one if is larger than <size>

Top hosts by packets

tcpdump -ei enp0s25 -nnn -t -c 200|cut -f 1,2,3,4 -d'.'|sort|uniq -c|sort -nr|head -n 20

Excludes any RFC 1918 private address

tcpdump -nei eth0'not (src net (10 or 172.16/12 or 192.168/16) and dst net (10 or 172.16/12 or 192.168/16))'

Tool: tcpick

Analyse packets in real-time

whiletrue;dotcpick -a -C -r dump.pcap;sleep 2;clear;done

Tool: ngrep

ngrep -d eth0"www.domain.com"port 443

-d [iface|any]- set interface
[domain]- set hostname
port [1-65535]- set port number

ngrep -d eth0"www.domain.com"src host 10.240.20.2 and port 443

(host [ip|hostname])- filter by ip or hostname
(port [1-65535])- filter by port number

ngrep -d eth0 -qt -O ngrep.pcap"www.domain.com"port 443

-q- quiet mode (only payloads)
-t- added timestamps
-O [filename]- save output to file, -I [filename]- reading from file

ngrep -d eth0 -qt'HTTP''tcp'

HTTP- show http headers
tcp|udp- set protocol
[src|dst] host [ip|hostname]- set direction for specific node

ngrep -l -q -d eth0 -i"User-Agent: curl*"

-l- stdout line buffered
-i- case-insensitive search

Tool: hping3

hping3 -V -p 80 -s 5050<scan_type>www.google.com

-V|--verbose- verbose mode
-p|--destport- set destination port
-s|--baseport- set source port
<scan_type>- set scan type
- -F|--fin- set FIN flag, port open if no reply
- -S|--syn- set SYN flag
- -P|--push- set PUSH flag
- -A|--ack- set ACK flag (use when ping is blocked, RST response back if the port is open)
- -U|--urg- set URG flag
- -Y|--ymas- set Y unused flag (0x80 - nullscan), port open if no reply
- -M 0 -UPF- set TCP sequence number and scan type (URG+PUSH+FIN), port open if no reply

hping3 -V -c 1 -1 -C 8 www.google.com

-c [num]- packet count
-1- set ICMP mode
-C|--icmptype [icmp-num]- set icmp type (default icmp-echo = 8)

hping3 -V -c 1000000 -d 120 -S -w 64 -p 80 --flood --rand-source<remote_host>

--flood- sent packets as fast as possible (don't show replies)
--rand-source- random source address mode
-d --data- data size
-w|--win- winsize (default 64)

Tool: nmap

Ping scans the network

nmap -sP 192.168.0.0/24

Show only open ports

nmap -F --open 192.168.0.0/24

Full TCP port scan using with service version detection

nmap -p 1-65535 -sV -sS -T4 192.168.0.0/24

Nmap scan and pass output to Nikto

nmap -p80,443 192.168.0.0/24 -oG -|nikto.pl -h -

Recon specific ip:service with Nmap NSE scripts stack

#Set variables:_hosts="192.168.250.10"_ports="80,443"#Set Nmap NSE scripts stack:_nmap_nse_scripts="+dns-brute,\+http-auth-finder,\+http-chrono,\+http-cookie-flags,\+http-cors,\+http-cross-domain-policy,\+http-csrf,\+http-dombased-xss,\+http-enum,\+http-errors,\+http-git,\+http-grep,\+http-internal-ip-disclosure,\+http-jsonp-detection,\+http-malware-host,\+http-methods,\+http-passwd,\+http-phpself-xss,\+http-php-version,\+http-robots.txt,\+http-sitemap-generator,\+http-shellshock,\+http-stored-xss,\+http-title,\+http-unsafe-output-escaping,\+http-useragent-tester,\+http-vhosts,\+http-waf-detect,\+http-waf-fingerprint,\+http-xssed,\+traceroute-geolocation.nse,\+ssl-enum-ciphers,\+whois-domain,\+whois-ip"#Set Nmap NSE script params:_nmap_nse_scripts_args="dns-brute.domain=${_hosts},http-cross-domain-policy.domain-lookup=true,"_nmap_nse_scripts_args+="http-waf-detect.aggro,http-waf-detect.detectBodyChanges,"_nmap_nse_scripts_args+="http-waf-fingerprint.intensive=1"#Perform scan:nmap --script="$_nmap_nse_scripts"--script-args="$_nmap_nse_scripts_args"-p"$_ports""$_hosts"

Tool: netcat

nc -kl 5000

-l- listen for an incoming connection
-k- listening after client has disconnected
>filename.out- save receive data to file (optional)

nc 192.168.0.1 5051<filename.in

< filename.in- send data to remote host

nc -vz 10.240.30.3 5000

-v- verbose output
-z- scan for listening daemons

nc -vzu 10.240.30.3 1-65535

-u- scan only udp ports

Transfer data file (archive)

server>nc -l 5000|tar xzvfp -
client>tar czvfp - /path/to/dir|nc 10.240.30.3 5000

Launch remote shell

#1)server>nc -l 5000 -e /bin/bash
client>nc 10.240.30.3 5000#2)server>rm -f /tmp/f;mkfifo /tmp/f
server>cat /tmp/f|/bin/bash -i2>&1|nc -l 127.0.0.1 5000>/tmp/f
client>nc 10.240.30.3 5000

Simple file server

whiletrue;donc -l 5000|tar -xvf -;done

Simple minimal HTTP Server

whiletrue;donc -l -p 1500 -c'echo -e "HTTP/1.1 200 OK\n\n $(date)"';done

Simple HTTP Server

Restarts web server after each request - remove whilecondition for only single connection.

cat>index.html<<__EOF__<!doctype html><head><meta charset="utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><title></title><meta name="description" content=""><meta name="viewport" content="width=device-width, initial-scale=1"></head><body><p>Hello! It's a site.</p></body></html>__EOF__

server>while:;do\
(echo -ne"HTTP/1.1 200 OK\r\nContent-Length:$(wc -c<index.html)\r\n\r\n";cat index.html;)|\
nc -l -p 5000 \;done

-p- port number

Simple HTTP Proxy (single connection)

#!/usr/bin/env bashif[[$#!=2 ]];thenprintf"%s\\n"\"usage: ./nc-proxy listen-port bk_host:bk_port"fi_listen_port="$1"_bk_host=$(echo"$2"|cut -d":"-f1)_bk_port=$(echo"$2"|cut -d":"-f2)printf"lport: %s\\nbk_host: %s\\nbk_port: %s\\n\\n"\"$_listen_port""$_bk_host""$_bk_port"_tmp=$(mktemp -d)_back="$_tmp/pipe.back"_sent="$_tmp/pipe.sent"_recv="$_tmp/pipe.recv"trap'rm -rf "$_tmp"'EXIT

mkfifo -m 0600"$_back""$_sent""$_recv"sed"s/^/=> /"<"$_sent"&sed"s/^/<=  /"<"$_recv"&nc -l -p"$_listen_port"<"$_back"|\
tee"$_sent"|\
nc"$_bk_host""$_bk_port"|\
tee"$_recv">"$_back"

server>chmod +x nc-proxy&&./nc-proxy 8080 192.168.252.10:8000
  lport: 8080
bk_host: 192.168.252.10
bk_port: 8000

client>http -p h 10.240.30.3:8080
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: max-age=31536000
Content-Length: 2748
Content-Type: text/html;charset=utf-8
Date: Sun, 01 Jul 2018 20:12:08 GMT
Last-Modified: Sun, 01 Apr 2018 21:53:37 GMT

Create a single-use TCP or UDP proxy

### TCP -> TCPnc -l -p 2000 -c"nc [ip|hostname] 3000"### TCP -> UDPnc -l -p 2000 -c"nc -u [ip|hostname] 3000"### UDP -> UDPnc -l -u -p 2000 -c"nc -u [ip|hostname] 3000"### UDP -> TCPnc -l -u -p 2000 -c"nc [ip|hostname] 3000"

Tool: gnutls-cli

Testing connection to remote host (with SNI support)

gnutls-cli -p 443 google.com

Testing connection to remote host (without SNI support)

gnutls-cli --disable-sni -p 443 google.com

Tool: socat

Testing remote connection to port

socat - TCP4:10.240.30.3:22

-- standard input (STDIO)
TCP4:<params>- set tcp4 connection with specific params
- [hostname|ip]- set hostname/ip
- [1-65535]- set port number

Redirecting TCP-traffic to a UNIX domain socket under Linux

socat TCP-LISTEN:1234,bind=127.0.0.1,reuseaddr,fork,su=nobody,range=127.0.0.0/8 UNIX-CLIENT:/tmp/foo

TCP-LISTEN:<params>- set tcp listen with specific params
- [1-65535]- set port number
- bind=[hostname|ip]- set bind hostname/ip
- reuseaddr- allows other sockets to bind to an address
- fork- keeps the parent process attempting to produce more connections
- su=nobody- set user
- range=[ip-range]- ip range
UNIX-CLIENT:<params>- communicates with the specified peer socket
- filename- define socket

Tool: p0f

Set iface in promiscuous mode and dump traffic to the log file

p0f -i enp0s25 -p -d -o /dump/enp0s25.log

-i- listen on the specified interface
-p- set interface in promiscuous mode
-d- fork into background
-o- output file

Tool: netstat

Graph # of connections for each hosts

netstat -an|awk'/ESTABLISHED/ { split($5,ip,":"); if (ip[1] !~ /^$/) print ip[1] }'|\
sort|uniq -c|awk'{ printf("%s\t%s\t",$2,$1) ; for (i = 0; i < $1; i++) {printf("*")}; print "" }'

Monitor open connections for specific port including listen, count and sort it per IP

watch"netstat -plan | grep :443 | awk {'print\$5'} | cut -d: -f 1 | sort | uniq -c | sort -nk 1"

Grab banners from local IPv4 listening ports

netstat -nlt|grep'tcp'|grep -Eo"[1-9][0-9]*"|xargs -I {} sh -c"echo""| nc -v -n -w1 127.0.0.1 {}"

Tool: rsync

Rsync remote data as root using sudo

rsync --rsync-path'sudo rsync'username@hostname:/path/to/dir/ /local/

Tool: host

Resolves the domain name (using external dns server)

host google.com 9.9.9.9

Checks the domain administrator (SOA record)

host -t soa google.com 9.9.9.9

Tool: dig

Resolves the domain name (short output)

dig google.com +short

Lookup NS record for specific domain

dig @9.9.9.9 google.com NS

Query only answer section

dig google.com +nocomments +noquestion +noauthority +noadditional +nostats

Query ALL DNS Records

dig google.com ANY +noall +answer

DNS Reverse Look-up

dig -x 172.217.16.14 +short

Tool: certbot

Generate multidomain certificate

certbot certonly -d example.com -d www.example.com

Generate wildcard certificate

certbot certonly --manual --preferred-challenges=dns -d example.com -d*.example.com

Generate certificate with 4096 bit private key

certbot certonly -d example.com -d www.example.com --rsa-key-size 4096

Tool: network-other

Get all subnets for specific AS (Autonomous system)

AS="AS32934"whois -h whois.radb.net --"-i origin${AS}"|\
grep"^route:"|\
cut -d":"-f2|\
sed -e's/^[ \t]//'|\
sort -n -t.-k 1,1 -k 2,2 -k 3,3 -k 4,4|\
cut -d":"-f2|\
sed -e's/^[ \t]/allow /'|\
sed's/$/;/'|\
sed's/allow  */subnet -> /g'

Resolves domain name from dns.google.com with curl and jq

_dname="google.com";curl -s"https://dns.google.com/resolve?name=${_dname}&type=A"|jq.

Tool: git

Log alias for a decent view of your repo

#1)git log --oneline --decorate --graph --all#2)git log --graph \
--pretty=format:'%Cred%h%Creset -%C(yellow)%d%Creset %s %Cgreen(%cr) %C(bold blue)<%an>%Creset'\
--abbrev-commit

Tool: python

Static HTTP web server

#Python 3.xpython3 -m http.server 8000 --bind 127.0.0.1#Python 2.xpython -m SimpleHTTPServer 8000

Static HTTP web server with SSL support

#Python 3.xfrom http.server import HTTPServer, BaseHTTPRequestHandler
import ssl

httpd = HTTPServer(('localhost',4443),BaseHTTPRequestHandler)httpd.socket = ssl.wrap_socket (httpd.socket,keyfile="path/to/key.pem",certfile='path/to/cert.pem', server_side=True)httpd.serve_forever()# Python2.ximport BaseHTTPServer, SimpleHTTPServerimport sslhttpd = BaseHTTPServer.HTTPServer(('localhost',4443),SimpleHTTPServer.SimpleHTTPRequestHandler)httpd.socket = ssl.wrap_socket (httpd.socket,keyfile="path/tp/key.pem",certfile='path/to/cert.pem', server_side=True)httpd.serve_forever()

Encode base64

python -m base64 -e<<<"sample string"

Decode base64

python -m base64 -d<<<"dGhpcyBpcyBlbmNvZGVkCg=="

Tool: awk

Search for matching lines

#egrep fooawk'/foo/'filename

Search non matching lines

#egrep -v fooawk'!/foo/'filename

Print matching lines with numbers

#egrep -n fooawk'/foo/{print FNR,$0}'filename

Print the last column

awk'{print $NF}'filename

Find all the lines longer than 80 characters

awk'length($0)>80{print FNR,$0}'filename

Print only lines of less than 80 characters

awk'length < 80'filename

Print double new lines a file

awk'1; { print "" }'filename

Print line numbers

awk'{ print FNR "\t" $0 }'filename
awk'{ printf("%5d : %s\n", NR, $0) }'filename#in a fancy manner

Print line numbers for only non-blank lines

awk'NF { $0=++a " :" $0 }; { print }'filename

Print the line and the next two (i=5) lines after the line matching regexp

awk'/foo/{i=5+1;}{if(i){i--; print;}}'filename

Print the lines starting at the line matching 'server {' until the line matching '}'

awk'/server {/,/}/'filename

Print multiple columns with separators

awk -F'''{print "ip:\t" $2 "\n port:\t" $3'filename

Remove empty lines

awk'NF > 0'filename#alternative:awk NF filename

Delete trailing white space (spaces, tabs)

awk'{sub(/[ \t]*$/, "");print}'filename

Delete leading white space

awk'{sub(/^[ \t]+/, ""); print}'filename

Remove duplicate consecutive lines

#uniqawk'a !~ $0{print}; {a=$0}'filename

Remove duplicate entries in a file without sorting

awk'!x[$0]++'filename

Exclude multiple columns

awk'{$1=$3=""}1'filename

Substitute foo for bar on lines matching regexp

awk'/regexp/{gsub(/foo/, "bar")};{print}'filename

Add some characters at the beginning of matching lines

awk'/regexp/{sub(/^/, "++++"); print;next;}{print}'filename

Get the last hour of Apache logs

awk'/'$(date -d"1 hours ago""+%d\\/%b\\/%Y:%H:%M")'/,/'$(date"+%d\\/%b\\/%Y:%H:%M")'/ { print $0 }'\
/var/log/httpd/access_log

Tool: sed

Print a specific line from a file

sed -n 10p /path/to/file

Remove a specific line from a file

sed -i 10d /path/to/file#alternative (BSD): sed -i'' 10d /path/to/file

Remove a range of lines from a file

sed -i<file>-re'<start>,<end>d'

Replace newline(s) with a space

sed':a;N;$!ba;s/\n/ /g'/path/to/file#cross-platform compatible syntax:sed -e':a'-e'N'-e'$!ba'-e's/\n/ /g'/path/to/file

:acreate a label a
Nappend the next line to the pattern space
$!if not the last line, ba branch (go to) label a
ssubstitute, /\n/regex for new line, / /by a space, /gglobal match (as many times as it can)

Alternatives:

#perl version (sed-like speed):perl -p -e's/\n/ /'/path/to/file#bash version (slow):whilereadline;doprintf"%s""$line";done<file

Delete string +N next lines

sed'/start/,+4d'/path/to/file

Tool: grep

Search for a "pattern" inside all files in the current directory

grep -rn"pattern"grep -RnisI"pattern"*fgrep"pattern"*-R

Show only for multiple patterns

grep'INFO*'\''WARN'filename
grep'INFO\|WARN'filename
grep -e INFO -e WARN filename
grep -E'(INFO|WARN)'filename
egrep"INFO|WARN"filename

Except multiple patterns

grep -vE'(error|critical|warning)'filename

Show data from file without comments

grep -v ^[[:space:]]*#filename

Show data from file without comments and new lines

egrep -v'#|^$'filename

Show strings with a dash/hyphen

grep -e -- filename
grep -- -- filename
grep"\-\-"filename

Remove blank lines from a file and save output to new file

grep.filename>newfilename

Tool: perl

Search and replace (in place)

perl -i -pe's/SEARCH/REPLACE/'filename

Edit of `*.conf`files changing all foo to bar (and backup original)

perl -p -i.orig -e's/\bfoo\b/bar/g'*.conf

Prints the first 20 lines from `*.conf`files

perl -pe'exit if $. > 20'*.conf

Search lines 10 to 20

perl -ne'print if 10 .. 20'filename

Delete first 10 lines (and backup original)

perl -i.orig -ne'print unless 1 .. 10'filename

Delete all but lines between foo and bar (and backup original)

perl -i.orig -ne'print unless /^foo$/ .. /^bar$/'filename

Reduce multiple blank lines to a single line

perl -p -i -00pe0 filename

Convert tabs to spaces (1t = 2sp)

perl -p -i -e's/\t/  /g'filename

Read input from a file and report number of lines and characters

perl -lne'$i++; $in += length($_); END { print "$i lines, $in characters"; }'filename

Shell Tricks ^[TOC]

When you get a shell, it is generally not very clean, but after following these steps, you will have a fairly clean and comfortable shell to work with.

script /dev/null -c bash
Ctrl-Z (to send it to background)
stty raw -echo; fg(returns the shell to foreground)
reset(to reset terminal)
xterm(when asked for terminal type)
export TERM=xterm; export SHELL=bash

Shell functions ^[TOC]

Domain resolve

#Dependencies:#- curl#- jqfunctionDomainResolve(){local_host="$1"local_curl_base="curl --request GET"local_timeout="15"_host_ip=$($_curl_base-ks -m"$_timeout""https://dns.google.com/resolve?name=${_host}&type=A"|\jq'.Answer[0].data'|tr -d"\""2>/dev/null)if[[-z"$_host_ip"]]||[["$_host_ip"=="null"]];thenecho-en"Unsuccessful domain name resolution.\\n"elseecho-en"$_host>$_host_ip\\n"fi}

Example:

shell>DomainResolve nmap.org
nmap.org>45.33.49.119

shell>DomainResolve nmap.org
Unsuccessful domain name resolution.

Get ASN

#Dependencies:#- curlfunctionGetASN(){local_ip="$1"local_curl_base="curl --request GET"local_timeout="15"_asn=$($_curl_base-ks -m"$_timeout""http://ip-api.com/line/${_ip}?fields=as")_state=$(echo$?)if[[-z"$_ip"]]||[["$_ip"=="null"]]||[["$_state"-ne0 ]];thenecho-en"Unsuccessful ASN gathering.\\n"elseecho-en"$_ip>$_asn\\n"fi}

Example:

shell>GetASN 1.1.1.1
1.1.1.1>AS13335 Cloudflare, Inc.

shell>GetASN 0.0.0.0
Unsuccessful ASN gathering.

jsBridge 以及 Web 和 APP 交互通信方式

Mon, 09 Oct 2023 16:21:55 CST

jsBridge 到底是什么？

jsBridge 是一种技术，主要用于解决 Web 前端和原生应用间的通信问题。这一技术在混合开发（Hybrid App Development）和一些原生应用内嵌 H5 页面的场景中被广泛应用。通过 jsBridge，开发者可以直接在 JavaScript 中调用原生代码，如获取设备信息、调用系统功能等，极大的提高了开发效率。

首先需要了解 WebView

WebView 是一个浏览器控件或者组件，它能够帮助开发者将网页或者 HTML 内容嵌入到原生应用中。

WebView 控件除了能加载指定的 URL 外，还可以对 URL 请求、JavaScript 的对话框、加载进度、页面交互进行强大的处理，之后会提到拦截请求、执行 js 脚本都依赖于此。

Android 中的 WebView：

Android 中的 WebView 是一个继承自 View 的控件，它可以加载并显示网页，同时也提供了一些方法供你与 JavaScript 交互。你可以使用 loadUrl(String url) 方法加载一个网页，使用 evaluateJavascript(String script, ValueCallback<String> resultCallback) 方法执行 JavaScript 代码。你还可以通过 addJavascriptInterface(Object object, String name) 方法向 JavaScript 环境中添加一个 Java 对象，使得 JavaScript 可以调用该对象的方法。

iOS 中的 WebView：

iOS 中提供了 UIWebView 和 WKWebView 两个用于展示网页的控件。 UIWebView 在 iOS 2.0 就被引入，但自 iOS 8.0 起，Apple 推荐使用 WKWebView 替代 UIWebView。 WKWebView 提供了 load(URLRequest) 和 loadHTMLString(String baseURL: URL?) 方法用于加载网页，通过 evaluateJavaScript(String completionHandler: ((Any?, Error?) -> Void)?) 方法执行 JavaScript 代码。同时，iOS 中的 WKWebView 通过 WKScriptMessageHandler 协议和 WKUserContentController 类来实现 Native 与 JavaScript 的交互。

了解 WebView 很重要，它才是连接原生和 Web 的桥梁。因为 Web 前端大多对原生开发不了解，如果一开始就去了解所谓的 jsBridge，反而会迷惑。

Web 和 Native 的交互

Web 和 Native 的交互分为 Native 调用 js 和 js 调用 Native。

Native -> js

原生调 js 的方式比较简单。JavaScript 作为解释性语言，最大的一个特性就是可以随时随地地通过解释器执行一段 js 代码，所以可以将拼接的 JavaScript 代码字符串，传入 js 解析器执行就可以，js 解析器在这里就是 WebView 组件。

所以 WebView 执行拼接的 JavaScript 字符串，从外部调用 JavaScript 方法，JavaScript 的方法必须在全局的 window 上。

Android

Android 4.4 之前只能用 loadUrl 来实现，效率低，无法获得返回结果，且调用的时候会刷新 WebView：

  webView.loadUrl("javascript:" + javaScriptString);

Android 4.4 之后提供了 evaluateJavascript 来执行 js 代码，效率高，获取返回值方便，调用时候不刷新 WebView：

  webView.evaluateJavascript(javaScriptString, new ValueCallback<String>() {
    @Override
    public void onReceiveValue(String value){
        xxx
    }
});

iOS

UIWebView 使用 stringByEvaluatingJavaScriptFromString：

  NSString *jsStr = @"执行的JS代码";
[webView stringByEvaluatingJavaScriptFromString:jsStr];

WKWebView 使用 evaluateJavaScript：

  [webView evaluateJavaScript:@"执行的JS代码" completionHandler:^(id _Nullable response, NSError * _Nullable error) {
  
}];

  func evaluateJavaScript(_ javaScriptString: String, completionHandler: ((Any?, Error?) -> Void)? = nil)
// javaScriptString 需要调用的 JS 代码
// completionHandler 执行后的回调

js -> Native

简单的说，主要是两类方法：拦截 URL，注入 API。

拦截 URL Schema

URL Schema 是类 URL 的一种请求格式，格式如下：

<protocol>://<host>/<path>?<qeury>#fragment

我们可以自定义 jsBridge 通信的 URL Schema，比如： jsbridge://showToast?text=hello

Native 加载 WebView 之后，Web 发送的所有请求都会经过 WebView 组件，所以 Native 可以重写 WebView里的方法，从来拦截 Web 发起的请求，我们对请求的格式进行判断：

如果符合我们自定义的 URL Schema，对 URL 进行解析，拿到相关操作，进而调用原生 Native 的方法
如果不符合我们自定义的 URL Schema，我们直接转发，请求真正的服务

Web 发送 URL 请求的方法有这么几种：

a 标签
location.href
使用 iframe.src
发送 ajax 请求

这些方法， a 标签需要用户操作， location.href 可能会引起页面的跳转丢失调用，发送 ajax 请求Android 没有相应的拦截方法，所以使用 iframe.src 是经常会使用的方案：

安卓提供了 shouldOverrideUrlLoading 方法拦截
UIWebView 使用 shouldStartLoadWithRequest，WKWebView 则使用 decidePolicyForNavigationAction

Android：

  public class CustomWebViewClient extends WebViewClient {
  @Override
  public boolean shouldOverrideUrlLoading(WebView view, String url) {
    ......
    // 场景一： 拦截请求、接收 scheme
    if (url.equals("xxx")) {

      // handle
      ...
      // callback
      view.loadUrl("javascript:setAllContent(" + json + ");")
      return true;
    }
    return super.shouldOverrideUrlLoading(url);
  }
}

iOS 的 WKWebview：

  - (void)webView:(WKWebView *)webView decidePolicyForNavigationAction:(WKNavigationAction *)navigationAction decisionHandler:(void (^)(WKNavigationActionPolicy))decisionHandler{
    if ([navigationAction.request.URL.absoluteString hasPrefix:@"xxx"]) {
        [[UIApplication sharedApplication] openURL:navigationAction.request.URL];
    }
    decisionHandler(WKNavigationActionPolicyAllow);
}

这种方式有一定的缺陷：

使用 iframe.src 发送 URL SCHEME 会有 URL 长度的隐患。
创建请求，需要一定的耗时，比注入 API 的方式调用同样的功能，耗时会较长。

注入 API

注入 API 方式的主要原理是，通过 WebView 提供的接口，向 JavaScript 的 Context（window）中注入对象或者方法，让 JavaScript 调用时，直接执行相应的 Native 代码逻辑，达到 JavaScript 调用 Native 的目的。

iOS 的 UIWebView 提供了 JavaSciptCore：

  JSContext *context = [uiWebView valueForKeyPath:@"documentView.webView.mainFrame.javaScriptContext"];

context[@"postBridgeMessage"] = ^(NSArray<NSArray *> *calls) {
    // Native 逻辑
};

前端调用方式：

  window.postBridgeMessage(message);

iOS的 WKWebView 提供了 WKScriptMessageHandler：

  @interface WKWebVIewVC ()<WKScriptMessageHandler>

@implementation WKWebVIewVC

- (void)viewDidLoad {
    [super viewDidLoad];

    WKWebViewConfiguration* configuration = [[WKWebViewConfiguration alloc] init];
    configuration.userContentController = [[WKUserContentController alloc] init];
    WKUserContentController *userCC = configuration.userContentController;
    // 注入对象，前端调用其方法时，Native 可以捕获到
    [userCC addScriptMessageHandler:self name:@"nativeBridge"];

    WKWebView wkWebView = [[WKWebView alloc] initWithFrame:self.view.frame configuration:configuration];

    // TODO 显示 WebView
}

- (void)userContentController:(WKUserContentController *)userContentController didReceiveScriptMessage:(WKScriptMessage *)message {
    if ([message.name isEqualToString:@"nativeBridge"]) {
        NSLog(@"前端传递的数据 %@: ",message.body);
        // Native 逻辑
    }
}

前端调用方式：

  window.webkit.messageHandlers.nativeBridge.postMessage(message);

Android 提供了 addJavascriptInterface：

  public class JavaScriptInterface DemoActivity extends Activity {
private WebView Wv;

    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        Wv = (WebView)findViewById(R.id.webView);     
        final JavaScriptInterface myJavaScriptInterface = new JavaScriptInterface(this);     

        Wv.getSettings().setJavaScriptEnabled(true);
        Wv.addJavascriptInterface(myJavaScriptInterface, "nativeBridge");

        // TODO 显示 WebView

    }

    public class JavaScriptInterface {
         Context mContext;

         JavaScriptInterface(Context c) {
             mContext = c;
         }

         public void postMessage(String webMessage){    
             // Native 逻辑
         }
     }
}

前端调用方式：

  window.nativeBridge.postMessage(message);

在 4.2 之前，Android 注入 JavaScript 对象的接口是 addJavascriptInterface，但是这个接口有漏洞，可以被不法分子利用，危害用户的安全，因此在 4.2 中引入新的接口 @JavascriptInterface（上面代码中使用的）来替代这个接口，解决安全问题。所以 Android 注入对对象的方式是 有兼容性问题的。（4.2 之前很多方案都采用拦截 prompt 的方式来实现，因为篇幅有限，这里就不展开了。）

jsBridge 的实现（带回调的交互）

Native、Web 间可以交互，但站在一端而言还是一个单向通信的过程，比如站在 Web 的角度：Web 调用 Native 的方法，Native 直接进行相关操作但无法将结果返回给 Web，但实际使用中会经常需要将操作的结果返回，也就是 js 回调。

jsBridge 的接口主要功能有两个： 调用 Native（给 Native 发消息） 和 被 Native 调用（接收 Native 消息） 。因此，jsBridge 可以设计如下：

  window.JSBridge = {
    // 调用 Native
    invoke: function(msg) {
        // 判断环境，获取不同的 nativeBridge
        nativeBridge.postMessage(msg);
    },
    receiveMessage: function(msg) {
        // 处理 msg
    }
};

那么有回调的交互如何实现呢？

其实基于之前的单向通信就可以实现，我们在一端调用的时候在参数中加一个 callbackId 标记对应的回调，对端接收到调用请求后，进行实际操作，如果带有 callbackId，对端再进行一次调用，将结果、 callbackId 回传回来，这端根据 callbackId 匹配相应的回调，将结果传入执行就可以了。

可以看到实际上还是通过两次单项通信实现的。

  (function () {
    var id = 0,
        callbacks = {};

    window.JSBridge = {
        // 调用 Native
        invoke: function(bridgeName, callback, data) {
            // 判断环境，获取不同的 nativeBridge
            var thisId = id ++; // 获取唯一 id
            callbacks[thisId] = callback; // 存储 Callback
            window.nativeBridge.postMessage({
                bridgeName: bridgeName,
                data: data || {},
                callbackId: thisId // 传到 Native 端
            });
        },
        receiveMessage: function(msg) {
            var bridgeName = msg.bridgeName,
                data = msg.data || {},
                callbackId = msg.callbackId; // Native 将 callbackId 原封不动传回
            // 具体逻辑
            // bridgeName 和 callbackId 不会同时存在
            if (callbackId) {
                if (callbacks[callbackId]) { // 找到相应句柄
                    callbacks[callbackId](msg.data); // 执行调用
                }
            } elseif (bridgeName) {

            }
        }
    };
})();

最后用同样的方式加上 Native 调用的回调逻辑，同时对代码进行一些优化，就大概实现了一个功能比较完整的 jsBridge。其代码如下：

  (function () {
    var id = 0,
        callbacks = {},
        registerFuncs = {};

    window.JSBridge = {
        // 调用 Native
        invoke: function(bridgeName, callback, data) {
            // 判断环境，获取不同的 nativeBridge
            var thisId = id ++; // 获取唯一 id
            callbacks[thisId] = callback; // 存储 Callback
            nativeBridge.postMessage({
                bridgeName: bridgeName,
                data: data || {},
                callbackId: thisId // 传到 Native 端
            });
        },
        receiveMessage: function(msg) {
            var bridgeName = msg.bridgeName,
                data = msg.data || {},
                callbackId = msg.callbackId, // Native 将 callbackId 原封不动传回
                responstId = msg.responstId;
            // 具体逻辑
            // bridgeName 和 callbackId 不会同时存在
            if (callbackId) {
                if (callbacks[callbackId]) { // 找到相应句柄
                    callbacks[callbackId](msg.data); // 执行调用
                }
            } elseif (bridgeName) {
                if (registerFuncs[bridgeName]) { // 通过 bridgeName 找到句柄
                    var ret = {},
                        flag = false;
                    registerFuncs[bridgeName].forEach(function(callback) => {
                        callback(data, function(r) {
                            flag = true;
                            ret = Object.assign(ret, r);
                        });
                    });
                    if (flag) {
                        nativeBridge.postMessage({ // 回调 Native
                            responstId: responstId,
                            ret: ret
                        });
                    }
                }
            }
        },
        register: function(bridgeName, callback) {
            if (!registerFuncs[bridgeName])  {
                registerFuncs[bridgeName] = [];
            }
            registerFuncs[bridgeName].push(callback); // 存储回调
        }
    };
})();

参考

https://juejin.cn/post/6936814903021797389
https://juejin.cn/post/6844903585268891662
https://juejin.cn/post/6844904070881214471

欧盟开放 Web 搜索项目启动

Wed, 21 Sep 2022 17:00:10 CST

搜索是数字经济的支柱，但它控制在少数巨头手中。为了实现信息的自由、不带偏见和透明的访问，欧盟 7 个国家 14 个研究和计算中心发起了开放 Web 搜索项目，为欧盟的 Web 搜索构建开放的基础设施。未来三年，研究人员将开发核心的索引 Open Web Index (OWI)。索引将与搜索引擎分开，创建索引的昂贵过程可以在大型集群上完成，而搜索引擎则可以在本地执行。通过 Open-Web-Search Engine Hub，任何人都可以分享其搜索引擎规格和预计算定期更新的索引。最终目标是创造一个以人为中心无隐私问题的搜索。

微服务自动化测试的测试策略 - Web 3.0 Cloud-Streams 产品级敏捷

Sun, 05 Dec 2021 21:19:35 CST

前言:

微服务遵循著单一责任 (Single Responsibility) 的设计原则, 使得微服务较传统的单体 (Monolithic) 能更容易的独立发布、部署。另一方面, 微服务能拥有更大的空间去选择适合自身的编程语言、技术。最重要的一点是, 微服务的架构更容易的能做到 “水平扩展”。

然而, 微服务也有它的技术挑战需要克服。

如图一所示, 微服务的架构是分布式的, 在这样的分布式的架构下, 所谓的 “自动化测试” 将是微服务能否成功的一个首要且关键的要素。

我们将以一系列的文章来探讨微服务自动化测试的策略、方法、工具。首先, 我们从微服务的测试策略谈起。

图一：微服务; 分布式的架构

本文:　

　在谈微服务的自动化测试策略前, 我们需先一起共同的来探讨: 微服务内的架构、微服务与微服务间的协作。然后, 我们就可以探讨微服务需要那些类型的自动化测试。

图二: 微服务内部的主要元素

如图二所示, 微服务的内部主要是由以下的元素所组成：

Resources: 主要的责任是经由所选择的协议; 如: REST; 将微服务所提供的服务暴露给微服务的 Client。Resource 会完整性的校验由微服务的 Client所传过来的请求 (Request), 并且将微服务执行完某个服务后的结果, 按照由协议所界定的响应 (Response) 格式; 如: JSON; 提供给微服务的 Client。
Service layer:主要的责任是派工给多个的 Domain, 以共同的完成微服务Client 的请求。Resource 完整的校验由微服务的 Client 所传过来的请求(Request) 后, 假如, 此请求会需要自身微服务内部或外部的微服务多个的Domain 才能完成时, Resource 便会将此请求, 交由 Service layer 来处理。Service layer 便会派工给多个的 Domain。当此请求需要调用到外部的微服务时, Service layer 便会藉由 Gateways去传递个请求 (Request) 到外部的微服务。
Domain: 主要的责任是专注在微服务业务逻辑的处理。Domain 会将处理完业务逻辑后的结果, 传回给 Resources。
Gateways: 主要的责任是使有关连; 会发生调用; 的微服务可以连接起来。Gateways 引导著来自自身微服务的 Service layer 的请求 (Request), 到另一个或多个的外部的微服务, 并且将外部的微服务的响应 (Response) , 传回给自身微服务的 Domain。Gateways 则是藉由 HTTP client 处理微服务间的 HTTP 协议上的请求-响应 (Request-Response)。
Data mappers/ORM: 主要的责任是将微服务内的对象持久化。

微服务与微服务间的协作

微服务是能独立发布、独立部署的; 但, 绝不是 “孤立而行”。也就是说, 我们往往是需要多个的微服务来共同提供一具备商业价值的特性; 如图三所示。

图三: 多个微服务共同提供一具备商业价值的特性

对于由多个微服务共同提供一具备商业价值的特性的自动化测试, 我们需考量:

多个微服务是由一个以上的团队在负责开发时,如何确保某个团队开发的节奏、自动化的测试, 不会影响到其他团队的微服务的发布、布署? 我们将在 “能独立发布、独立部署微服务的团队阵型” 一文中再作探讨。

微服务自动化测试的类型

单元测试(UNIT TESTING)

微服务自动化测试中的单元测试, 也是以单个或多个相关的类 (Class) 为测试的单元。

微服务自动化测试中的单元测试, 也是分成为两类:

社交型的单元测试 (Sociable unit testing): 主要是专注测试模块接口的行为是否正确? 而将以类 (Class) 为单元的测试, 当成是黑盒。在微服务自动化测试中, Domain往往是采用社交型的单元测试。因为, 往往我们需要多个Domain 来完成某个微服务 Client 的请求。
单独型的单元测试 (Solitary unit testing): 主要是专注测试单个类/ 对象和它的依赖间的行为是否正确? 我们往往会将单个类/ 对象的依赖以 Mock 或Stub 的方式来替代。在微服务自动化测试中, 我们往往会将相对独立就能完成自身任务的 Resources, Service layer, Data mappers/ORM, Gateways, HTTP client 采用单独型的单元测试。

社交型的单元测试, 单独型的单元测试对于保障 “单一个” 微服务内部的质量, 扮演著重要且关键的角色。

对于保障 “多个” 微服务间的所谓 “系统层级” 的行为正确, 我们将要藉助:

集成测试 (Integration Testing), 组件测试 (Component Testing), 契约测试 (Contract Testing), 端到端测试 (End-To-End Testing)。

集成测试 (Integration Testing)

在微服务自动化测试中, 所谓的集成测试 (Integration Testing) 主要是测试微服务内的模块能否与外部的微服务或外部的数据库正常的 “通信” ? 而不是在测试外部的微服务或外部的数据库。

所以, 在微服务自动化测试中的集成测试, 只需测试关键路径上成功/ 异常的场景即可。

如图四所示, 在微服务内的 Gateways/ HTTP client, Data mappers/ORM 需执行微服务自动化测试中的集成测试。

Gateways/ HTTP client 的集成测试: 主要是测试微服务内的模块能否与外部的微服务连接, 并且检测通信协议上的问题; 如: 丢失 HTTP 的表头, 不正确的 SSL 处理, request/response 不匹配。关键的一点是: 所有错误处理的场景一定要都能被覆盖测试到。在后面的文章中, 我们也将会探讨运用 Service virtualization 测试关于 timeout 或者外部微服务延迟响应等的场景。
Data mappers/ORM 的集成测试: 主要是测试微服务外部的数据库内的数据表结构是与微服务所期望的数据表结构是一致的。Data mappers/ORM 的集成测试, 对于 NoSQL 的数据库是相当重要、且必要的测试。

图四: 集成测试 (Integration Testing)

组件测试 (Component Testing)

微服务自动化测试中的组件测试 (Component Testing), 指的是: 微服务自身的测试; 以微服务作为测试的单元。

在组件测试 (Component Testing) 中, 测试的粒度是微服务对外的API; 从微服务Client 的视角, 测试微服务对外的API 的行为是否符合预期?

在组件测试 (Component Testing) 中, 将会以 test doubles (mock/ stub) 的方式, 隔离微服务对外的依赖。

如图五所示, 在组件测试 (Component Testing) 中, 为了隔离微服务对外的依赖, Gateways 被配置成去调用 HTTP Client Stub; HTTP Client Stub 将会取代外部的微服务, 而对请求 (Request) 做出响应 (Response)。
如图五所示, 在组件测试 (Component Testing) 中, 我们会以 In-Memory 数据库; 如: H2; 取代外部数据库。这样的作法, 毫无疑问的, 将大幅的提升组件测试 (Component Testing) 执行的速度。

在后面的文章中, 我们将会探讨如何以 Arquillian 实现组件测试 (Component Testing) 。

图五: 组件测试 (Component Testing)

契约测试 (Contract Testing)

微服务是能独立发布、独立部署的; 但, 绝不是 “孤立而行”。也就是说, 我们往往是需要多个的微服务来共同提供一具备商业价值的特性。

当微服务是扮演提供服务的角色时, 我们便称此微服务是 “Producer”。

当微服务是扮演使用服务的角色时, 我们便称此微服务是 “Consumer”。

微服务自动化测试中的契约测试 (Contract Testing), 会在 Producer 微服务与Consumer 微服务之间, 定义一契约 (Contract)。

契约测试 (Contract Testing) 便会根据 Producer 微服务与 Consumer 微服务之间的契约, 测试 Producer 微服务与 Consumer 微服务之间的交互行为是否正确? Producer 微服务上代码的修改, 是否会影响到 Consumer 微服务, 而使 Consumer 微服务无法再运行?

如图六所示:

Producer 微服务提供了 Resource: {id, name, age}。
根据 Contract A, Consumer 微服务 A, 使用了 Producer 微服务, 取得了 Resource: {id, name}。
根据 Contract B, Consumer 微服务 B, 使用了 Producer 微服务, 取得了 Resource: {id, age}。
根据 Contract C, Consumer 微服务 C, 使用了 Producer 微服务, 取得了 Resource: {id, name, age}。

在某一天, 一个新的 Consumer 微服务 Y, 要求 Producer 微服务提供: last name, first name 。

Producer 微服务的开发人员, 便将 Producer 微服务中的 name 栏位(属性) 改成 name 类(对象); 封装著 last name, first name。
经由契约测试 (Contract Testing), Producer 微服务的开发人员将能立马的发现, 他(她) 在 Producer 微服务上的修改, 将会影响到 Consumer A 微服务与 Consumer C 微服务, 而使 Consumer A 微服务与 Consumer C 微服务无法再运行。

在后面的文章中, 我们将会探讨如何以 Pact 实现契约测试 (Contract Testing)。

契约测试 (Contract Testing)

端到端测试 (End-To-End Testing)

微服务自动化测试中的端到端测试 (End-To-End Testing), 主要是要覆盖产品中从前端 GUI 到微服务的测试。

微服务自动化测试中的端到端测试 (End-To-End Testing) 开发与维护的成本是相当的高的。

在后面的文章中, 我们将会探讨如何以 Arquillian 实现端到端测试 (End-To-End Testing)。

图七: 端到端测试 (End-To-End Testing); 从前端 GUI 到微服务的测试

测试金字塔 (Test Pyramid)

在了解了各种类型的微服务自动化测试后, 我们就可以将各种类型的微服务自动化测试, 放入测试金字塔 (Test Pyramid) 中。

如图八所示, 测试金字塔 (Test Pyramid) 可以帮助我们知道如何的去平衡 “测试成本” 与 “测试粗粒度”。

在测试金字塔 (Test Pyramid)中, 越往上升, 所代表的是: 测试的粗粒度越大, 但测试的成本 (测试执行时间) 就越高 (越长)。

　所以, 在 微服务自动化测试的测试策略应该是:

在测试金字塔 (Test Pyramid) 中, 越往上升的测试类型, 其测试的粗粒度就越大, 而其测试的数量应递减。
反之, 在测试金字塔 (Test Pyramid) 中, 越往下行的测试类型, 其测试的粗粒度就越小, 而其测试的数量应递增。
在微服务自动化测试中, 测试数量最多的测试应该是: 单元测试 (UNIT TESTING) 。
在微服务自动化测试中, 测试数量最少的测试应该是: 端到端测试 (End-To-End Testing) 。

图八: 测试金字塔(Test Pyramid)

结论：

在分布式架构下的微服务, 要进行自动化测试是件相当复杂的工程。

软件工程界的巨擘; Martin Fowler; 提供了微服务测试的指引。

我们可根据 Martin Fowler 所提供的微服务测试的指引, 制订我们微服务自动化测试的测试策略。我们后续的文章, 也将会根据 Martin Fowler 所提供的微服务测试的指引, 探讨如何运用相关的测试框架、工具, 以实现微服务自动化测试。

參考資料

Testing Strategies in a Microservice Architecture; Martin Fowler
Microservices Patterns; Chris Richardson
Testing Java Microservices; Alex Soto Bueno, Andy Gumbrecht, Jason Porter

Flutter 2 来了：专为 Web、移动与台式机环境构建

Thu, 04 Mar 2021 17:25:15 CST

下一代 Flutter 专为 Web、移动与台式机环境构建而成。

今天，我们宣布 Flutter 2 正式亮相！作为 Flutter 的一次重大版本升级，Flutter 2 将帮助开发人员立足任意平台创建起美观、快速且能够轻松移植的应用程序。在 Flutter2 的支持下，您可以使用相同的代码库将原生应用程序发布至 iOS、Android、Windows、macOS 以及 Linux 五大系统阵营之上。此外，Flutter 2 还能够完美契合 Chrome、Firefox、Safari 以及 Edge 等网络浏览器，甚至可以被嵌入至汽车、电视与智能家居当中，借此带来最普遍、最具便携性的计算体验。

我们的目标，是从根本上改变开发人员的应用程序构建思路。不同于以往对于特定平台的依赖，如今开发人员们可以将希望创造的体验本身作为出发点。Flutter 帮助您将品牌与设计诉求充分纳入应用体验当中。Flutter 的运行速度极快，能够将源代码编译为机器码；我们还支持有状态热重载，确保您在解释环境中获得良好生产力，并在应用程序运行时做出变更并立即查看结果。Flutter 是一套开放式核心框架，而且已经有成千上万贡献者通过软件包生态系统做出扩展贡献。

在今天发布的 Flutter 2 当中，我们将 Flutter 由移动框架扩展为一套可移植框架，努力确保您的应用程序能够在几乎无需任何调整的前提下轻松运行在不同平台之上。目前，单在 Play Store 软件商店中就存在超过 15 万个 Flutter 应用，且每款应用都可以获得 Flutter 2 提供的免费升级，由此在无需重写的情况下直接运行在目标台式机及 Web 环境当中。

目前，世界各地的客户都在积极使用 Flutter，包括微信、Grab、Yandex Go、Nubank、Sonos、Fastic、Betterment 以及 realtor.com 等高人气应用。在谷歌，同样有 1000 多名工程师正在使用 Dart 与 Flutter 构建应用产品，其中的代表包括 Stadia、Google One 以及 Google Nest Hub。

就在几个月前，Google Pay 刚刚转投 Flutter 的怀抱，借此在生产力与质量方面取得了重大进步。通过统一代码库，项目团队消除了不同平台之间的功能差异，并削减了超过 100 万行代码。Google Pay 还报告称，如今团队工程师们的效率大为提升、技术债务显著减少，发布流程也变得更为统一（例如 iOS 与 Android 上的安全审查与试验）。

Flutter 为 Web 应用添助力

Flutter 2 当中最具份量的升级，当数对 Web 的生产质量支持能力。

Web 在早期发展阶段主要以文档为中心。时至今日，Web 平台已经相当丰富并提供大量平台 API，可提供硬件加速下的 2D 与 3D 图形处理能力、灵活的布局与绘图 API，共同构建起高度复杂的应用程序。Flutter 的 Web 支持充分吸纳了上述创新优势，提供一套以应用程序为中心的框架体系，能够发挥现代 Web 提供的一切功能。

新版本主要关注以下三大应用场景：

渐进式 Web 应用（PWA），将 Web 的广泛覆盖范围与桌面应用程序的功能优势结合起来。单页应用程序（SPA），一次加载并与互联网服务之间持续传输数据。将现有 Flutter 移动应用引入 Web 环境，实现两种体验间的代码共享。

过去几个月以来，我们一直努力实现稳定的 Web 支持能力，并在性能优化方面取得了大量进展。除了添加一套由 WebAssembly 构建的全新 CanvasKit 驱动型渲染引擎之外，我们还公布了 Flutter Plasma——由社区成员 FelixBlaschke 构建的演示方案，用以展示如何通过 Dart 与 Flutter 困难构建起复杂的 Web 图形体验。现在，这些体验已经能够在台式机与移动设备上原生运行。

我们一直在扩展 Flutter 以构建起行业最佳的 Web 平台。最近几个月，我们引入了文本自动填充功能，对地址栏 URL 及路由的控制机制以及 PWA 清单功能。为了将台式机浏览器与手机浏览器统一起来，我们又添加了交互式滚动条与键盘快捷键、增加了台式机模式下的默认内容显示密度，同时增强了屏幕阅读器对于 Windows、MacOS 以及 Chrome OS 辅助功能的支持能力。

我们已经发布 Flutter 构建的部分 Web 应用程序示例。在教育类用户中，iRobot 公司以其高人气 Root 教育机器人而闻名。Flutter 对于 Web 的生产级支持帮助 iRobot 将现有教育编程环境轻松迁移至 Web，相关功能也借此顺利登陆 Chromebook 及其他网络浏览器。关于相关进展以及选择 Flutter 的原因，请参阅 iRobot 发布的说明博文"。

另以 Rive 为例，这是一款专门面向设计师群体的强大工具，能够在任意平台上创建出自定义动画。其更新 Web 应用程序现已提供 Beta 测试版，完全由 Flutter 构建而成，充分展示了 Flutter 新版本提供的全面服务。

Flutter 2 登陆台式机、折叠式设备与嵌入式设备

除了传统移动设备与 Web 平台之外，Flutter 也开始为其他设备类型提供支持。在本文中，我们将以三位合作伙伴为例，聊聊 Flutter 的强大可移植性表现。

首先是 Canonical，我们双方合作将 Flutter 引入桌面环境，借此 Canonical 工程师们贡献的代码支持 Flutter 在 Linux 上的开发与部署。Ubuntu 团队展示了由 Flutter 重写的全新安装程序的早期演示效果。对 Canonical 而言，最重要的就是如何在各类硬件配置之上提供稳定且令人愉悦的使用体验。展望未来，Flutter 将成为 Canonical 构建后续桌面与移动应用程序时的默认选项。

接下来是微软，软件巨头同样在不断扩大对 Flutter 的支持。除了在 Flutter 当中建立更完善的 Windows 支持能力之外，微软此次同样宣布将对 Flutter 引擎提供全面支持，借此支持更多新型折叠式 Android 设备。这类设备将引入新的设计模式，相关应用能够扩展显示内容或利用双屏特性提供并行体验。结合 Surface 工程团队的博文，他们展示了自己的工作成果并邀请更多参与成员，希望借 Flutter 之力提升 Surface Duo 及其他同类设备的体验质量。

最后，全球汽车巨头丰田公司也宣布了相关计划，着手构建由 Flutter 提供支持的车载信息娱乐系统，希望借此将最佳数字体验引入汽车产品。使用 Flutter 代表着车载软件的开发方式将出现重大变化。之所以选择 Flutter，是因为丰田看中了其出色的性能与一致性使用体验、快速迭代、易于掌握的人机工程学设计以及与智能手机相匹配的良好触控机制。通过使用 Flutter 的嵌入器 API，丰田得以针对车载系统的独特需求对 Flutter 做出量身定制。

我们很高兴能够与丰田及其他厂商积极合作，将 Flutter 应用于汽车、电视及其他嵌入式设备。未来几个月内，我们也将继续分享更多实际用例。

不断发展的 Flutter 生态系统

目前，Flutter 与 Dart 已经拥有超过 15000 种软件包，分别来自 Amazon、微软、Adobe、阿里巴巴、eBay 以及 Square 等。除 Lottie、Sentry 以及 SVG 等关键软件包之外，sign_in_with_apple、google_fonts、geolocator 以及 sqflite 等 Flutter Favorite 首选软件包同样值得关注。

现在，我们宣布正式推出 Google Mobile Ads for Flutter 的 Beta 版本。这是一种能够与 AdMob 与 AdManager 配合使用的全新 SDK，可提供包括横幅广告、插页广告、原生广告与奖励视频广告在内的多种广告格式。此前，我们一直在与多位主要客户共同试用此 SDK，例如南美洲最大的独立艺术家音乐平台 SuaMúsica 等。如今，我们决定开放 Google Mobile Ads for Flutter SDK 以供行业广泛使用。

我们还将对 Flutter 插件做出更新，包括多项核心 Firebase 服务：Authentication, CloudFirestore, Cloud Functions, Cloud Messaging, Cloud Storage 以及 Crashlytics，外加 sound null safety 支持以及对 Cloud Messaging 软件包的全面更新。

Dart: Flutter 背后的独门绝技

如前文所述，Flutter 2 拥有灵活的多平台与多设备可移植能力。而这种轻松过渡至 Web、桌面与嵌入式设备的优势，在很大程度上要归功于 Dart——针对多平台开发并进行优化的谷歌编程语言。

在构建应用方面，Dart 提供一套独特的功能组合：

稳健的可移植表现，其编译器能够面向移动与台式机设备生成高性能的英特尔与 ARM 机器码，并为 Web 环境提供经过严格优化的 JavaScript 输出。所有目标皆可使用相同的 Flutter 框架源代码。支持有状态热重载的迭代开发，充分支持桌面与移动设备，同时提供现代 UI 编程中的异步、并发模式设计提供相应的语言构造。谷歌级性能水平，可跨越一切平台实现良好性能表现，提供 sound null safety 以保证运行时与开发过程中的 null 约束能力。

从目前来看，还没有哪种语言能够像 Dart 这样将所有功能优势融合起来。也正因为如此，Dart 成为 GitHub 上发展速度最快的语言之一。

Dart 2.12 现已正式发布，也是自 2.0 版本之后我们推出的最大规模发行版，可充分支持 sound null safety。Sound null safety 有望消除 null 引用引发的异常，为开发及运行时提供良好保障，允许开发人员明确指定哪些类型中可以包含 null 值。最重要的是，这项功能并非空降落地：您可以按自己熟悉的方式将其逐步添加至代码内，而后配合迁移工具实现 null 值保护。

此次更新还包含 FFI 稳定实现，允许您编写出能够与基于 C 语言的 API 进行互操作的高性能代码；由 Flutter 编写的全新集成化开发者与分析器工具；外加众多性能与体量方面的改进，能够在无需重新编译的前提下进一步实现代码升级。关于更多详细信息，请参阅 Dart 2.12发布的公告博文"：

Flutter 2：现已发布

关于 Flutter 2 还有很多新鲜内容可讲，但受到本文篇幅所限，我们无法一一尽述。实际上，全部 pull 请求记录与说明构成的文档长达 200 页！感兴趣的朋友请访问 Flutter 2独立技术博客，在这里了解关于新功能与性能改进的更多信息"。

我们还与加拿大屡获殊荣的设计团队 gskinner 合作开发出新的展示成果——Flutter Folio。Folio 是一款剪贴板应用程序，适用于一切设备平台。其小屏幕体验专为内容捕捉所设计；大屏幕支持允许您立足台式机与平板电脑以大家熟悉的方式完成编辑操作；Web 体验则专门针对共享操作开发而成。这一切量身定制体验都将共享同一套开源代码库，您可以随时查看并参与贡献。

如果您还没有体验过 Flutter，请千万不要错过它将给您应用程序开发体验带来的重大提升。在 Flutter 中，我们还提供一套开源工具包，可通过单一代码库构建起面向移动、桌面、Web 以及嵌入式设备的出色应用程序，将谷歌级别的质量水准引入您的实际需求场景当中。

Flutter 为自由开源项目，我们期待有更多朋友使用 Flutter 2 构建起精美绝伦的开发成果！

原文链接：

https://developers.googleblog.com/2021/03/announcing-flutter-2.html"

优化无止境，爱奇艺中后台 Web 应用性能优化实践

Mon, 11 Jan 2021 00:00:00 CST

爱奇艺视频生产智能云平台系统在今年进行了一次 重大升级，前端团队也趁此机会将 底层技术架构从三年前的 Arm.js（内部MVC框架）+ Java BFF + Velocity 模板完全切换到了 Vue.js + Node.js BFF 的技术栈。

新的前端应是一个拥有超过 十个业务模块的单页面应用，每个模块已经通过路由懒加载进行了拆分，同时公共的第三方依赖也拆分到了单独的 Vendor 文件。不过在上线试用初期，用户还是普遍反馈页面打开速度较老版本有比较明显的下降，存在几秒钟不等的白屏等待时间。

为了提升用户体验和使用效率，团队内部对新版前端应用进行了多次优化，最终效果 提升非常显著。本文的主要内容就是针对中后台 Web 应用性能的 分析思路及 解决方案的总结分享。

问题梳理

我们先通过提问题的方式，从 资源文件加载、页面渲染性能、接口响应速度等三个方面分别列出了一些可能存在性能瓶颈的环节。

资源加载问题

在一个复杂的 Web 应用中，通常会依赖很多 JS/CSS/Images 等资源文件。如何在最短时间内获取页面所需的最小资源，我们需要考虑以下几个问题：

源码中有无 冗余的模块？是否进行了 压缩、合并等操作？

服务器响应及网络传输速度是否正常？有没有最大化利用浏览器的并发请求？

资源文件的缓存策略是否合理？是否每次发布上线都需要重新请求所有文件？

首次页面渲染是否下载了不必要的资源文件？每次渲染所需的资源文件能不能提前加载？

页面渲染问题

由于 JS 是在单线程中执行，而 Vue.js 框架的大部分渲染任务都在浏览器端完成。为了解决白屏、卡顿等问题，我们需要考虑以下几个问题：

是否可以通过骨架屏等方式提前渲染核心布局？

主线程是否存在非常耗时的长任务？是否可以进行任务分片、延迟渲染？

是否存在时间复杂度过高的算法？是否存在大量重复计算？

是否重复初始化相同的对象？是否存在内存泄露？

接口速度问题

在列表查询等依赖后台数据展示的页面，接口的响应速度也至关重要。由于我们通过 Node.js 搭建的 BFF 来整合多个服务提供方的接口，因此可能存在以下几个问题：

后端服务提供的接口速度是否响应慢？网关、数据库、索引等服务是否正常？

针对实时性要求较低的数据，是否可以利用缓存服务？

同时调用多方接口时，是否最大化进行并发请求？非必要接口是否可以单独发起请求？

与浏览器脚本一样，是否存在复杂算法、内存泄露等问题代码？

解决方案

带着以上的这些问题，我们开始着手对现有的应用进行一次详细的检查，逐步定位影响性能的关键问题并一一进行解决。

资源加载优化

Webpack 构建问题分析

由于我们的项目通过 Webpack 4.x 构建，因此为了分析资源文件的个数及大小，采用了 Webpack 插件webpack-bundle-analyzer对产出的静态资源文件进行了统计，如下图所示（截取了几个体积较大的文件）。

根据统计我们发现了以下几个主要问题：

缓存问题。每次改动任意代码，所有生成的 JS/CSS 等文件的 Hash 值都发生了变化，这意味着每次发布上线，浏览器都需要重新请求全部资源。

文件大小。通过 node_modules 生成的 chunk-vendor 原始大小超过 1.5 M。其中，体积最大的是 ElementUI，超过 650K，其次是 moment.js，体积超过 250K。剩余部分则由 Vue.js、Lodash 等基础类库组成。

重复打包。部分业务模块对应的 chunk 文件原始大小在 500K 左右。其原因是使用到了 d3，echarts 等依赖的模块，直接将它们打包到了对应模块中。而这些第三方库，占整个文件大小的 70% 左右。

资源个数。由 Webpack 自动生成了多个模块间的公共 chunk，大小在几 K 到一百多 K 不等。例如有三个模块 a，b，c，则自动生成的 chunk 包含多种不同的组合 a~b.js，a~c.js，a~b~c.js，请求 a 模块的时候也会同步加载这几个文件。随着模块数量增加，组合也更复杂，无形中也增加了请求的数量。

浏览器加载速度分析

通过浏览器 Network 工具，我们发现服务器缓存、网络传输等对加载速度影响很小，导致慢的几个主要问题如下：

并发数量。通过构建得到的静态资源文件都部署到一个静态域名下面，导致需要排队下载文件。

顺序问题。一些非首次渲染所需要的 JS 文件（如播放器 SDK 、流程图 SDK 等）在页面打开的时候就进行了阻塞加载。

资源构建及部署优化方案

针对以上问题，我们对 Webpack 配置方式做了以下几点改进。

单独部署基础库至 CDN。生产环境将 Vue.js + VueRouter + Vuex + VueCompositionAPI + ElementUI + Lodash 等基础类库通过 webpack.DllPlugin 提前构建为 library.dll.js 并单独部署，同时整个站点中通过 prefetch 提前加载。

单独部署样式主题至 CDN。项目中用到的 ElementUI 组件样式及团队内部开发的 MaterialTheme 主题样式放弃从 NPM 引入 Sass 源码。而是提前构建好 9 种不同颜色的主题，提前部署至 CDN，并通过 prefetch 提前加载。项目中的自定义样式则通过 Sass Mixin 生成不同主题的规则。

<link    
href="//static.iqiyi.com/lego/theme/element-ui/1.0.0/css/cyan.css"    
rel="prefetch"    
/>    
<link    
href="//static.iqiyi.com/lego/theme/element-material/2.0.0/css/cyan.css"    
rel="prefetch"    
/>

将业务代码部署至与基础库不同的域名。提升浏览器并发请求的数量。

将播放器 SDK、流程图 SDK 等非首次渲染必须的 JS 文件通过 defer 等方式进行异步加载，或改为组件初始化时动态请求。

删除 moment.js 等非必须的第三方类库。通过查看项目源码，发现仅几个地方用到了 moment.js 的格式化功能，因此我们选择通过自己实现一个仅几十行的工具函数来替换。此外根据项目实际情况，也可以考虑在项目中引入体积更小的类库，例如 Day.js 等。

优化 Webpack 的 splitChunks 策略。将 d3，echarts 等依赖抽取为单独的 chunk。此外，考虑到不同模块之间自动生成的公共 chunk（类似 a~b~c.js）文件不大，反而增加了请求数量，因此禁用了该项配置。同时，显示地将各模块间公共的部分（项目中统一放在 src/common 目录下）打包至 chunk-common 文件中。

// webpack config    
{    
optimization: {    
splitChunks: {    
cacheGroups: {    
// 禁用默认拆分的 chunk    
default: false,    
// 显示抽取项目公共 chunk    
common: {    
name:'chunk-common',    
test: /src[\\/]common/,    
chunks:'all'    
},    
// 抽取 d3/echarts 等第三方类库    
d3: {    
name:'chunk-d3',    
test: /[\\/]node_modules[\\/](d3|dagre|graphlib)/,    
priority:100,    
chunks:'all'    
},    
echarts: {    
name:'chunk-echarts',    
test: /[\\/]node_modules[\\/](echarts|zrender)/,    
priority:110,    
chunks:'all'    
}    
}    
}    
},    
}

优化构建后文件名中的Hash。在生产环境改用 contenthash 来命名文件，仅当包含的文件内容发生改变时才会重新生成新的文件名，最大化利用缓存。

// webpack config

output: {

filename: 'js/[name].[contenthash].js',

chunkFilename: 'js/[name].[contenthash].js'

经过以上优化，最终构建的 chunk-vendor 大小在 500K 左右，体积大约减小 2/3；新抽取的项目公共文件 chunk-common 大小 300K 左右；各个模块打包的文件大小则在 200K 左右，体积大约减小 3/5。同时，结合 CDN 部署基础类库，prefetch 预加载及 contenthash 缓存控制等，资源加载的速度大幅度提升。

页面渲染优化

考虑到业务场景及开发成本，新版本的前端应用并没有实现服务器端渲染，存在着较长的白屏时间。而老版本则通过 Java + Velocity 在服务器端完成渲染，两相对比，用户体验相差甚多。

浏览器渲染性能分析

为了解决这个问题，我们通过 Chrome Performance 对页面的渲染性能进行了完整的分析。

由于生产环境代码已经压缩，这里建议在开发环境录制 Profile，可以直接定位到相关源码。录制后的时间线展示参见下面截图。

其中我们需要重点关注的几个维度如下：

Frames：渲染的 FPS 以及不同时间点的渲染结果。

Main：渲染主线程，包括 HTML 解析，JavaScript 执行等任务。

Timings：包括 FP、DCL、FCP、LCP 等指标，以及通过 Performance API 记录的运行时间。Vue.js 2.x 中可以通过 Vue.config.performance = true; 开启组件性能记录。下图的截图展示了 Vue.js 组件的渲染耗时情况。

经过分析，我们发现以下几个主要问题：

路由激活后的首次渲染任务耗时特别长，已经超过了 2 秒。其中，站点导航、侧边栏等就占用了一半以上的时间。

导航组件中，用于判断链接权限的 AuthService.hasURIAuth 方法占用了 80% 的时间。

在通过配置渲染的动态表单页中，核心组件 FormBuilder 渲染时间也在 2 秒左右。

页面渲染整体优化方案

针对以上问题，我们进行了以下几点改进：

通过服务器端渲染骨架屏，包括导航等页面基础布局。从视觉效果上减少用户的心理等待。

减少首屏渲染的组件数量。将初始为隐藏状态的导航二级菜单、站点侧边栏、列表高级搜索弹窗等组件通过 webpack 提取至异步 chunk 中，在用户交互时再异步渲染。

// AppLayout.vue    
{    
components: {    
AppDrawer:()=>    
import(    
/* webpackChunkName: 'chunk-async-common' */    
'./AppDrawer'    
),    
AppHeader    
},    
}

优化耗时的 JavaScript 函数。这一步需要结合实际代码实现进行优化，以上面提到的权限判断方法 AuthService.hasURIAuth 为例，其中最突出的问题就是循环内函数重复执行以及正则表达式重复创建。我们通过 Memoization 的方式为耗时函数添加记忆化功能，当参数相同时直接返回记忆值；通过 Cache 将正则表达式实例缓存起来以便重复使用。

将根据配置进行渲染的动态表单 FormBuilder 手动拆分为多个渲染任务。由于业务场景的复杂性，通常一个表单拥有 80 余个字段。而在 Vue.js 里面，一次数据变化触发的渲染任务是无法直接拆分的。这里我们采取了另一种方式，将表单配置拆分为多段，首次渲染时仅传递第一段配置，然后在后续的渲染周期依次将配置拼接上去。

<template>    
<form-builder:config="formConfig"></form-builder>    
</template>

{    
created() {    
this.getFormConfig().then(()=>{    
this.startWork();    
});    
},    
methods: {    
startWork() {    
constwork =()=>{    
// 任务调度器    
returnscheduler.next(()=>{    
// 逐步拼接表单配置    
this.formConfig =this.concatNextFormConfig();    
    
if(!scheduler.done()) {    
// 循环执行任务    
work();    
}    
});    
};    
    
// 启动首次任务    
work();    
}    
}    
}

接口速度优化

BFF 性能分析

由于业务流程复杂，前端会调用多个服务接口，并对数据进行二次处理，因此一直由前端来负责Java Web层(BFF)的开发。本次升级为了开发更简便，引入了基于TypeScript的NestJS框架替换原来Spring MVC，由NestJS封装面向前端的接口给 VueJS应用。为了定位其中潜在的性能问题，我们做了一些通用的扩展：

为所有封装的接口添加自定义中间件 TimeMiddleware，用于统计接口的整体响应速度。

为 axios 统一添加 interceptor，用于统计 BFF 调用第三方接口的响应速度。

最后，通过日志、Apache JMeter 等工具对核心接口进行分析，我们主要发现以下几个问题：

在对千万量级的索引数据进行分页查询的接口 A 中，当前 ES 的查询速度不理想，平均耗时在 2.6 秒左右。

在同时调用多方服务的接口 B 中，存在不必要的串行。此外，其中一个标签查询服务平均耗时在 700ms 左右，成为影响速度的关键因素。

在获取用户信息的接口 C 中，有 20% 左右的请求耗时在 600ms 左右，而其他的请求仅耗时 50ms。经过定位发现是服务集群中某台服务器跨地区导致。

大部分接口都依赖了一个获取频道列表的基础服务，实时性要求很低，然而每次都是通过接口实时获取，耗时大约 50 ms。

整个应用的日志服务继承了 NestJS 的 logger.service ，它默认是通过 process.stdout 同步输出的。因此日志内容较多时在部分机器上开销也很大，平均耗时 100ms 左右。

BFF 整体优化方案

针对以上问题，我们进行了以下几点改进：

后端同学优化 ES 查询服务，新增多台物理机进行扩容。优化后平均耗时小于 1 秒，速度提升超过 60%。

后端同学为标签查询服务添加缓存机制，优化后平均耗时 200ms 左右，整体提升超过 70%。

移除集群中的跨地区服务器，保证各服务之间尽量在同一个地区、机房。

大化地并行请求，减少请求耗时的关键路径。以其中一个接口为例，优化前平均耗时 1.3 秒，优化后平均耗时仅 700ms，提升 45% 左右。

实时性要求较低的服务通过 Redis 缓存查询结果，例如频道查询服务，平均耗时从 50ms 减少至 15ms，提升 70% 左右。

生产环境的日志取消输出到 process.stdout，通过 winston 等日志框架将其异步写入至指定文件中。

优化后整体效果展示

资源加载速度展示

通过减少文件大小及个数、缓存、并发、预加载、懒加载等各种优化，获取核心资源整体耗时控制在 200ms 左右。

首次加载主题样式与切换主题示例（Prefetch）

异步加载路由及组件示例（Prefetch）

页面渲染速度展示

通过异步渲染隐藏组件、优化耗时函数、任务分片、骨架屏等方式，让用户尽早看到内容的同时，将首次路由渲染的时间控制在 1 秒以内，结合浏览器自身的优化，在电脑网速及性能正常的情况下，已经感知不到白屏的存在。

接口相应速度展示

通过扩容、缓存、并发、优化耗时函数等方式，我们将核心的几个查询接口的速度也控制在了 1 秒左右。

优化前后核心数据对比

优化环节	优化前	优化后
首次下载脚本资源	实际下载 JS 文件 7 个，整体大小 3.5M	实际下载 JS 文件 4 个，整体大小 1.8M
路由首次渲染时间	平均 2.66 秒	平均 790ms
索引分页查询响应时间	平均 2.60 秒	平均 1.03 秒

后记

前端的性能优化涉及到方方面面，每一个环节其实都有优化的空间。这次实践，我们针对项目的实际场景，主要从资源加载、渲染性能和接口速度三个方面来分析并解决问题，一步一步提升页面的打开速度，也为用户带来了更好的使用体验。当然，优化无止境，希望本文能起到抛砖引玉的作用，感兴趣的同学可以留言讨论。

基于Kong和Kubernetes的Web API多版本解决方案

Thu, 09 Apr 2020 07:25:34 CST

今天分享一个我们正在使用的一个基于Kubernetes以及Kong网关的Web API多版本管理的解决方案，这种方案已经在我们的生产环境运行了将近两年，也迭代了很多个版本，我们觉得这个方案非常的适合用在微服务当中。

什么是Web API多版本

版本的概念大家应该都知道，那么什么是Web API的版本呢？

开发App后端的兄弟应该都非常清楚了，在给App提供Web API接口的时候，由于安装在用户手机上的App存在多个客户端版本的问题，这些版本大部分时候需要进行共存，由于现在Android和iOS基本上都不允许App内置升级功能，当然有些时候是用户不愿意或者拒绝升级，很多时候业务需求在不停的变化，就避免不了对接口进行调整和增加新功能，所以我们需要保证后端接口的向前兼容性，那些没有升级的客户端App仍然要让它们能够正常工作，这就需要使用到多个不同版本的API接口来进行控制，很多时候我们是保留旧接口，增加新接口，为了区分不同的客户端，然后给接口进行版本编号，这就是Web API的多版本控制管理。

应用场景

了解了Web API多版本的概念之后，应用场景就自然也就明白了。

除了App的服务端会用到之后，同样也适用于那些客户端非浏览器的项目的服务端，例如给一些桌面程序提供接口等等。

有些时候针对一些特性的App客户端提供不同的功能也是其应用场景之一。

解决方案

解决方案就是App在请求的时候携带一个版本信息到服务端，然后服务端就能够提供不同的功能了。

API请求服务端携带版本信息可以通过两种方式：

通过在URL中追加版本号或作为查询字符串参数。
通过Http自定义标头。

ASP.NET Core中解决方案

在ASP.NET Core中的方案，我不打算进行详细介绍了，感兴趣的可以看下下面这个大兄弟的这篇文章：

菠萝吹雪-Code： ASP.Net Core Web API几种版本控制

基于Kubernetes和Kong的解决方案

由于我们使用的是基于Kubernetes的多版本解决方案，所以此处就详细说明一下。

我们采用的是在URL中追加版本号来实现的版本控制，这样做有两个好处：

方便Kong进行路由解析，可以直接通过配置方式实现，如果通过header来路由的话，需要自己进行扩展才行。
从日志记录的时候可以很直观到看到当前的API版本，在发生问题时候可以快速定位的具体版本的服务。

下面是我画的一个我们的基于Kubernetes的大致的架构图，像CDN这些我就给省掉了。

主要流程分为以下几个步骤：

App端不同的版本会请求不同的API接口，这些API接口以版本区分，不同的版本可以提供不同的结果。
Kong网关针对URL中携带的版本号信息进行路由转发，在配置路由转发的时候需要把携带路径参数开启，例如/api/v1/ordering/list这个请求地址，我们可以新建一个路由，然后配置/api/v1/ordering这个前缀的URL转发的到ordering这个服务，同时把路径带过去，假如说我们ordering微服务的地址为/api/ordering，那么就可以配置服务的路径为/api/ordering，由于路由配置了携带路径，所以此时我们的微服务接收到的请求地址就变成了/api/ordering/list。
Kong网关以NodePort方式部署到Kubernetes集群中，路由服务指向Kubernetes内部服务的DNS集群地址。Kong的多个实例他们之间共享配置信息，可以把配置存储到PostgreSQL或者Cassandra中。
后端微服务集群内部提供集群地址配置到Kong的Service中。

业务需求的配合

这整个方案中有一个重要的点就是开发人员和产品或者业务人员的一个配合问题，也就是整个开发进度的规划需要符合敏捷开发的流程，这样不会导致每个小版本都会有变化非常大的接口这种需求的出现，可以做到平滑升级。

以我司来举例，当有对接口进行大改的需求时，我们会将其规划到大的迭代主版本中，这样在大版本发布的时候，会新起一套大版本的服务集群环境来进行支撑，此时老的版本仍然不会删除，这样就会新旧版本同时共存，当新的版本再迭代几个小版本时候大部分用户其实已经自动升上来了，这个时候就可以把旧的大版本进行强制升级提示了，这样终端App用户就会全部升级到新的版本上了，从而把影响降低到最小。

所以，此处遵循一个原则：小版本做兼容升级，大版本做重大特性的提供以及Break Changes和代码重构等工作。

DevOps 的配合

在进行大版本升级的时候，微服务的DevOps基础设施就显得非常重要了，此时我们需要动态的创建路由到Kong，这就需要利用DevOps的配合，你可以将创建调用Kong提供的rest接口来创建路由，也许一开始会花费比较多的时间，但是从长远来看的话还是非常重要的，可以节约后续的很多时间。

以我司来举例，当进行大版本升级时，DevOps 脚本中会检测到版本号为大版本，此时就会运行创建新环境的脚本，这个脚本负责初始化新的大版本的Kubernetes集群环境以及Kong的服务和路由配置，然后自动发布新版本的各个服务，最终会提供出来一个新的服务地址出来，类似/api/v2/xxxx。

数据中间件服务的配合

在进行新的大版本开发和迭代的过程中，还会涉及到一些关于新版本数据和旧版本不兼容的情况，比如Redis的缓存数据结构变化，消息队列的数据结构的变化，以及Elasticsearch等索引数据结构的变化。

那么如何处理以上数据服务的版本兼容问题呢？最简单的方案是起一套新的环境，新版本完全使用一套新的中间件服务环境来进行运行，但是这样有一个缺点就是会使用更多的服务器资源，照成服务器资源浪费的情况，当然如果是土豪公司可以无视了。

那如果想不同的版本使用相同的数据中间件服务怎么办呢？其实办法也是有的，大部分数据中间件都是支持版本划分的，比如Elasticsearch，CAP等都支持使用版本来区分数据，对于不支持的可以在程序中进行控制了，比如像Redis这种就可以使用不同的逻辑DB来区分。

总结

本篇文章主要讲述了如何利用Kong网关和Kubernetes服务来处理Web API多版本的问题。

同时还讲述了在开发的过程中一些不同版本的数据应该如何处理以及需求的规划等，希望以上的东西能够帮助到有需要的人。

原文链接： https://www.cnblogs.com/savorb ... .html

如何处理 Web 图片优化？

Thu, 19 Dec 2019 16:04:20 CST

未优化的图片是影响网站性能的主要因素之一，尤其会影响初次加载。取决于图像的分辨率和画质，图片可能占据整个网站流量的 70%.

生产环境出现未优化的图片并显著影响初次加载速度的现象还是挺常见的。缺乏经验的开发者通常没有意识到这一潜在问题，也不了解各种优化图片的工具和方法。

本文的目标是介绍优化 web 图片的主要工具和方法。

计算 JPG 文件尺寸

未压缩图片的尺寸很容易计算，只需将图片的长宽相乘（px 值），再乘以 3 字节（因为 RGB 色彩系统使用 24 个位元）。所得结果除以 1,048,576（1024 * 1024）即得到兆字节。

  image_size = (image_width * image_height * 3) / 1048576

比如，计算分辨率为 1366px x 768px 的未压缩图片的大小：

  1366 * 768 * 3 / 1048576 = 3Mb

现在网站的尺寸平均在 2Mb 和 3Mb 之间，想象一下，一张未压缩的图片就占掉了 80% 的流量。在网速较慢的移动网络上，3Mb 大小的图片要花很久才能加载完毕。如果等待网站加载的用户大部分时间花在等待单张图片加载，那网站会损失不少流量。想想就可怕，是吗？

所以，在保证图片分辨率和画质可接受的前提下，我们可以做什么来优化下图片呢？

在线图片优化

如果你的项目是一个简单的静态网站，只有少量不经常变动（甚至从来不会变动）的图片，那么你可以直接使用在线工具。这些工具使用各种算法压缩图像，效果很不错，对简单项目而言完全够用。

就我个人所知，比较著名的在线工具有：

Compressor.io，支持 JPG、PNG、SVG、GIF，每次上传 1 个文件
Squoosh，支持 JPG、PNG、SVG、GIF，每次上传 1 个文件
Optimizilla，支持 JPG、PNG，最多每次上传 20 个文件
TinyPNG，支持 JPG、PNG，最多每次上传 20 个文件
SVGMinify，支持 SVG，每次上传 1 个文件
svgomg，支持 SVG，每次上传 1 个文件

自动化解决方案

然而，如果你做的是多人协作的复杂项目，使用大量图片，在加入每张图片时都手动操作一下很乏味。同时，还存在由于人为错误或其他因素导致一些图片没有优化的风险。

复杂项目常常使用同样复杂的构建系统，比如 Gulp、 Webpack、 Parcel。配置一下这类构建系统，加入图片优化插件很方便。这样就可以完全自动化图片优化过程，在项目中加入图片后就可以优化它们。

就我所知，最有名的插件是 imagemin，可以作为命令行工具使用，也可以作为构建工具的插件使用：

图片加载优化

我们前面介绍了如何通过压缩图片降低文件尺寸，但不过多改变图片分辨率和影响画质。尽管优化图片后文件尺寸能降低不少，但一次性加载大量优化过的图片（比如电商网站的商品列表页面）还是会影响性能。

懒加载

懒加载也叫按需加载，意思是仅加载当前视图（用户屏幕显示范围）内的图片，不加载其他图片（直到它们出现在当前视图内时才加载）。

只有较新版本的浏览器才支持原生的懒加载特性，不过有许多基于 JavaScript 的方案。

原生懒加载

  <img src="image.jpg" loading="lazy" alt="Sample image" />

基于 JavaScript 的方案

就我所知，最知名的方案有：

verlok/lazyload
yall.js
Blazy （现在没有维护）

渐进式图片

尽管懒加载在性能方面表现出色，但是用户滚动屏幕后需要盯着空白区域等待图片加载，这样的用户体验不太好。网速慢的情况下，下载图片会非常慢。所以我们还需要渐进式图片。

渐进式图片的意思是在高画质图像加载完之前会先显示低画质版本。低画质版本由于画质低、压缩率高，尺寸很小，加载很快。在两者之间我们也可以根据需要显示不同画质的版本。

类似于先加载页面的骨架，渐进式图片这一技术让用户产生图片加载变快的印象。用户不再盯着一片空白区域等待事情发生，而能看到图像变得越来越清晰。
渐进式图片有基于 JavaScript 实现的方案：
progressive-image。

响应式图片

我们还需要留意使用尺寸合适的图片。

例如，假设图片在桌面浏览器上显示的最大宽度为 1920px，平板上的最大宽度为 1024px，手机上的最大宽度为 568px，那么最简单的方案是使用 1920px 的图片，这样可以满足所有场景。不过，这种情况下，网速慢、网络不稳定的智能手机用户需要等很久图片才能加载完毕，这就又碰到了我们文章开头提到的问题。

好在我们可以通过 picture 元素告诉浏览器基于媒体查询下载相应的图片。尽管现在 93% 的用户使用的浏览器都支持这一特性，但是这个元素内部还是包含了一个 img 元素，以兼容不支持这一特性的浏览器。

  <picture>  <source media="(min-width: 1025px)" srcset="image_desktop.jpg">  <source media="(min-width: 769px)" srcset="image_tablet.jpg">  <img src="image_mobile.jpg" alt="Sample image"></picture>

使用 CDN

Cloudinary、Cloudflare 之类的 CDN 服务可以在服务器上优化图片，将优化后的图片传送给用户。如果你的站点使用 CDN，可以看下静态资源优化选项。这样我们就不用操心图片优化，由 CDN 在服务端完成优化。我们只需要操心懒加载、渐进式图片等前端的加载方案。

WebP 图像格式

WebP 是由 Google 开发的专为 web 优化的图像格式。根据 canIUse 的数据，大部分用户使用的浏览器支持 WebP 格式。另外使用 picture 元素也可以很方便地兼容不支持 WebP 的浏览器。

  <picture>  <source type="image/webp" srcset="image.webp" />  <source srcset="image.jpg" />  <img src="image.jpg" alt="Sample image" /></picture>

有很多在线文件格式转换工具可以把图片转为 WebP 格式，不过 CDN 服务可以在服务端完成这一格式转化。

为高分屏优化

考虑高分屏很有必要，不过这个更多的是用户体验优化。

例如，假定我们在 768px 的屏幕上显示一张 768px x 320px 的图片。但是屏幕有 2x 的密度，也就是说屏幕宽度实际是 2 x 768 = 1536 px。这就意味着我们将 768 px 的图片拉升到 1536 px，这就导致高分屏上的图片看起来很模糊。

为了解决这一问题，我们需要提供为高分屏优化的图片。我们需要单独创建相当于普通屏幕 2 倍或 3 倍分辨率的图片，然后在 srcset 属性上使用 2x 标签表明这是为高分屏准备的图片。

  <img src="image-1x.jpg" srcset="image-2x.jpg 2x" alt="Sample image" />

例子

支持高分屏的响应式 WebP/PNG 图片：

  <picture>    <source srcset="./images/webp/hero-image-420-min.webp 1x, ./images/webp/hero-image-760-min.webp 2x" type="image/webp" media="(max-width: 440px)">    <source srcset="./images/minified/hero-image-420-min.png 1x, ./images/minified/hero-image-760-min.png 2x" media="(max-width: 440px)">    <source srcset="./images/webp/hero-image-550-min.webp 1x, ./images/webp/hero-image-960-min.webp 2x" type="image/webp" media="(max-width: 767px)">    <source srcset="./images/minified/hero-image-550-min.png 1x, ./images/minified/hero-image-960-min.png 2x" media="(max-width: 767px)">    <source srcset="./images/webp/hero-image-420-min.webp 1x, ./images/webp/hero-image-760-min.webp 2x" type="image/webp" media="(max-width: 1023px)">    <source srcset="./images/minified/hero-image-420-min.png 1x, ./images/minified/hero-image-760-min.png 2x" media="(max-width: 1023px)">    <source srcset="./images/webp/hero-image-760-min.webp 1x, ./images/webp/hero-image-960-min.webp 2x" type="image/webp" media="(max-width: 1919px)">    <source srcset="./images/minified/hero-image-760-min.png 1x, ./images/minified/hero-image-960-min.png 2x" media="(max-width: 1919px)">    <source srcset="./images/webp/hero-image-960-min.webp" type="image/webp">    <source srcset="./images/minified/hero-image-960-min.png">    <img  src="./images/minified/hero-image-960-min.png" alt="Example"></picture>

结语 —— 优化优先级

使用优化后的图片（使用自动构建工具、在线服务、CDN 优化）
使用懒加载（在浏览器有更好的原生支持前考虑使用 JS 方案）
为高分屏优化图片
使用 WebP 格式
使用渐进式图片

可选：如果条件允许，记得使用 CDN 加速图片（和其他静态资源）。

内容经授权转载自 New Frontend 网站。

ASP.NET Core Web API 最佳实践指南 - hippieZhou - 博客园

Thu, 19 Dec 2019 21:38:18 CST

原文地址： ASP.NET-Core-Web-API-Best-Practices-Guide

介绍

当我们编写一个项目的时候，我们的主要目标是使它能如期运行，并尽可能地满足所有用户需求。

但是，你难道不认为创建一个能正常工作的项目还不够吗？同时这个项目不应该也是可维护和可读的吗？

事实证明，我们需要把更多的关注点放到我们项目的可读性和可维护性上。这背后的主要原因是我们或许不是这个项目的唯一编写者。一旦我们完成后，其他人也极有可能会加入到这里面来。

因此，我们应该把关注点放到哪里呢？

在这一份指南中，关于开发 .NET Core Web API 项目，我们将叙述一些我们认为会是最佳实践的方式。进而让我们的项目变得更好和更加具有可维护性。

现在，让我们开始想一些可以应用到 ASP.NET Web API 项目中的一些最佳实践。

Startup 类和服务配置

STARTUP CLASS AND THE SERVICE CONFIGURATION

在 Startup类中，有两个方法： ConfigureServices是用于服务注册， Configure方法是向应用程序的请求管道中添加中间件。

因此，最好的方式是保持 ConfigureServices方法简洁，并且尽可能地具有可读性。当然，我们需要在该方法内部编写代码来注册服务，但是我们可以通过使用 扩展方法来让我们的代码更加地可读和可维护。

例如，让我们看一个注册 CORS 服务的不好方式：

      public void ConfigureServices(IServiceCollection services)
{
    services.AddCors(options => 
    {
        options.AddPolicy("CorsPolicy", builder => builder.AllowAnyOrigin()
            .AllowAnyMethod()
            .AllowAnyHeader()
            .AllowCredentials());
    });
}

尽管这种方式看起来挺好，也能正常地将 CORS 服务注册成功。但是想象一下，在注册了十几个服务之后这个方法体的长度。

这样一点也不具有可读性。

一种好的方式是通过在扩展类中创建静态方法：

      public static class ServiceExtensions
{
    public static void ConfigureCors(this IServiceCollection services)
    {
        services.AddCors(options =>
        {
            options.AddPolicy("CorsPolicy", builder => builder.AllowAnyOrigin()
                .AllowAnyMethod()
                .AllowAnyHeader()
                .AllowCredentials());
        });
    }
}

然后，只需要调用这个扩展方法即可：

      public void ConfigureServices(IServiceCollection services)
{
    services.ConfigureCors();
}

了解更多关于 .NET Core 的项目配置，请查看： .NET Core Project Configuration

项目组织

PROJECT ORGANIZATION

我们应该尝试将我们的应用程序拆分为多个小项目。通过这种方式，我们可以获得最佳的项目组织方式，并能将关注点分离（SoC）。我们的实体、契约、访问数据库操作、记录信息或者发送邮件的业务逻辑应该始终放在单独的 .NET Core 类库项目中。

应用程序中的每个小项目都应该包含多个文件夹用来组织业务逻辑。

这里有个简单的示例用来展示一个复杂的项目应该如何组织：

基于环境的设置

ENVIRONMENT BASED SETTINGS

当我们开发应用程序时，它处于开发环境。但是一旦我们发布之后，它将处于生产环境。因此，将每个环境进行隔离配置往往是一种好的实践方式。

在 .NET Core 中，这一点很容易实现。

一旦我们创建好了项目，就已经有一个 appsettings.json文件，当我们展开它时会看到 appsettings.Development.json文件：

此文件中的所有设置将用于开发环境。

我们应该添加另一个文件 appsettings.Production.json，将其用于生产环境：

生产文件将位于开发文件下面。

设置修改后，我们就可以通过不同的 appsettings 文件来加载不同的配置，取决于我们应用程序当前所处环境，.NET Core 将会给我们提供正确的设置。更多关于这一主题，请查阅： Multiple Environments in ASP.NET Core.

数据访问层

DATA ACCESS LAYER

在一些不同的示例教程中，我们可能看到 DAL 的实现在主项目中，并且每个控制器中都有实例。我们不建议这么做。

当我们编写 DAL 时，我们应该将其作为一个独立的服务来创建。在 .NET Core 项目中，这一点很重要，因为当我们将 DAL 作为一个独立的服务时，我们就可以将其直接注入到 IOC（控制反转）容器中。IOC 是 .NET Core 内置功能。通过这种方式，我们可以在任何控制器中通过构造函数注入的方式来使用。

      public class OwnerController: Controller
{
    private readonly IRepository _repository;
    public OwnerController(IRepository repository)
    {
        _repository = repository;
    }
}

控制器

CONTROLLERS

控制器应该始终尽量保持整洁。我们不应该将任何业务逻辑放置于内。

因此，我们的控制器应该通过构造函数注入的方式接收服务实例，并组织 HTTP 的操作方法（GET，POST，PUT，DELETE，PATCH...）:

      public class OwnerController : Controller
{
    private readonly ILoggerManager _logger;
    private readonly IRepository _repository;
    public OwnerController(ILoggerManager logger, IRepository repository)
    {
        _logger = logger;
        _repository = repository;
    }

    [HttpGet]
    public IActionResult GetAllOwners()
    {
    }
    [HttpGet("{id}", Name = "OwnerById")]
    public IActionResult GetOwnerById(Guid id)
    {
    }
    [HttpGet("{id}/account")]
    public IActionResult GetOwnerWithDetails(Guid id)
    {
    }
    [HttpPost]
    public IActionResult CreateOwner([FromBody]Owner owner)
    {
    }
    [HttpPut("{id}")]
    public IActionResult UpdateOwner(Guid id, [FromBody]Owner owner)
    {
    }
    [HttpDelete("{id}")]
    public IActionResult DeleteOwner(Guid id)
    {
    }
}

我们的 Action 应该尽量保持简洁，它们的职责应该包括处理 HTTP 请求，验证模型，捕捉异常和返回响应。

      [HttpPost]
public IActionResult CreateOwner([FromBody]Owner owner)
{
    try
    {
        if (owner.IsObjectNull())
        {
            return BadRequest("Owner object is null");
        }
        if (!ModelState.IsValid)
        {
            return BadRequest("Invalid model object");
        }
        _repository.Owner.CreateOwner(owner);
        return CreatedAtRoute("OwnerById", new { id = owner.Id }, owner);
    }
    catch (Exception ex)
    {
        _logger.LogError($"Something went wrong inside the CreateOwner action: { ex} ");
        return StatusCode(500, "Internal server error");
    }
}

在大多数情况下，我们的 action 应该将 IActonResult作为返回类型（有时我们希望返回一个特定类型或者是 JsonResult...）。通过使用这种方式，我们可以很好地使用 .NET Core 中内置方法的返回值和状态码。

使用最多的方法是：

OK => returns the 200 status code
NotFound => returns the 404 status code
BadRequest => returns the 400 status code
NoContent => returns the 204 status code
Created, CreatedAtRoute, CreatedAtAction => returns the 201 status code
Unauthorized => returns the 401 status code
Forbid => returns the 403 status code
StatusCode => returns the status code we provide as input

处理全局异常

HANDLING ERRORS GLOBALLY

在上面的示例中，我们的 action 内部有一个 try-catch代码块。这一点很重要，我们需要在我们的 action 方法体中处理所有的异常（包括未处理的）。一些开发者在 action 中使用 try-catch代码块，这种方式明显没有任何问题。但我们希望 action 尽量保持简洁。因此，从我们的 action 中删除 try-catch,并将其放在一个集中的地方会是一种更好的方式。.NET Core 给我们提供了一种处理全局异常的方式，只需要稍加修改，就可以使用内置且完善的的中间件。我们需要做的修改就是在 Startup类中修改 Configure方法：

      public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    app.UseExceptionHandler(config => 
    {
        config.Run(async context => 
        {
            context.Response.StatusCode = 500;
            context.Response.ContentType = "application/json";

            var error = context.Features.Get<IExceptionHandlerFeature>();
            if (error != null)
            {
                var ex = error.Error;
                await context.Response.WriteAsync(new ErrorModel
                {
                    StatusCode = 500,
                    ErrorMessage = ex.Message
                }.ToString());
            }
        });
    });

    app.UseRouting();

    app.UseEndpoints(endpoints =>
    {
        endpoints.MapControllers();
    });
}

我们也可以通过创建自定义的中间件来实现我们的自定义异常处理：

      // You may need to install the Microsoft.AspNetCore.Http.Abstractions package into your project
public class CustomExceptionMiddleware
{
    private readonly RequestDelegate _next;
    private readonly ILogger<CustomExceptionMiddleware> _logger;
    public CustomExceptionMiddleware(RequestDelegate next, ILogger<CustomExceptionMiddleware> logger)
    {
        _next = next;
        _logger = logger;
    }

    public async Task Invoke(HttpContext httpContext)
    {
        try
        {
            await _next(httpContext);
        }
        catch (Exception ex)
        {
            _logger.LogError("Unhandled exception....", ex);
            await HandleExceptionAsync(httpContext, ex);
        }
    }

    private Task HandleExceptionAsync(HttpContext httpContext, Exception ex)
    {
        //todo
        return Task.CompletedTask;
    }
}

// Extension method used to add the middleware to the HTTP request pipeline.
public static class CustomExceptionMiddlewareExtensions
{
    public static IApplicationBuilder UseCustomExceptionMiddleware(this IApplicationBuilder builder)
    {
        return builder.UseMiddleware<CustomExceptionMiddleware>();
    }
}

之后，我们只需要将其注入到应用程序的请求管道中即可：

      public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    app.UseCustomExceptionMiddleware();
}

使用过滤器移除重复代码

USING ACTIONFILTERS TO REMOVE DUPLICATED CODE

ASP.NET Core 的过滤器可以让我们在请求管道的特定状态之前或之后运行一些代码。因此如果我们的 action 中有重复验证的话，可以使用它来简化验证操作。

当我们在 action 方法中处理 PUT 或者 POST 请求时，我们需要验证我们的模型对象是否符合我们的预期。作为结果，这将导致我们的验证代码重复，我们希望避免出现这种情况，（基本上，我们应该尽我们所能避免出现任何代码重复。）我们可以在代码中通过使用 ActionFilter 来代替我们的验证代码：

      if (!ModelState.IsValid)
{
    //bad request and logging logic
}

我们可以创建一个过滤器：

      public class ModelValidationAttribute : ActionFilterAttribute
{
    public override void OnActionExecuting(ActionExecutingContext context)
    {
        if (!context.ModelState.IsValid)
        {
            context.Result = new BadRequestObjectResult(context.ModelState);
        }
    }
}

然后在 Startup类的 ConfigureServices函数中将其注入：

      services.AddScoped<ModelValidationAttribute>();

现在，我们可以将上述注入的过滤器应用到我们的 action 中。

Microsoft.AspNetCore.All 元包

MICROSOFT.ASPNETCORE.ALL META-PACKAGE

注：如果你使用的是 2.1 和更高版本的 ASP.NET Core。建议使用 Microsoft.AspNetCore.App 包，而不是 Microsoft.AspNetCore.All。这一切都是出于安全原因。此外，如果使用 2.1 版本创建新的 WebAPI 项目，我们将自动获取 AspNetCore.App 包，而不是 AspNetCore.All。

这个元包包含了所有 AspNetCore 的相关包，EntityFrameworkCore 包，SignalR 包（version 2.1）和依赖框架运行的支持包。采用这种方式创建一个新项目很方便，因为我们不需要手动安装一些我们可能使用到的包。

当然，为了能使用 Microsoft.AspNetCore.all 元包，需要确保你的机器安装了 .NET Core Runtime。

路由

ROUTING

在 .NET Core Web API 项目中，我们应该使用属性路由代替传统路由，这是因为属性路由可以帮助我们匹配路由参数名称与 Action 内的实际参数方法。另一个原因是路由参数的描述，对我们而言，一个名为 "ownerId" 的参数要比 "id" 更加具有可读性。

我们可以使用 [Route]属性来在控制器的顶部进行标注：

      [Route("api/[controller]")]
public class OwnerController : Controller
{
    [Route("{id}")]
    [HttpGet]
    public IActionResult GetOwnerById(Guid id)
    {
    }
}

还有另一种方式为控制器和操作创建路由规则：

      [Route("api/owner")]
public class OwnerController : Controller
{
    [Route("{id}")]
    [HttpGet]
    public IActionResult GetOwnerById(Guid id)
    {
    }
}

对于这两种方式哪种会好一些存在分歧，但是我们经常建议采用第二种方式。这是我们一直在项目中采用的方式。

当我们谈论路由时，我们需要提到路由的命名规则。我们可以为我们的操作使用描述性名称，但对于路由/节点，我们应该使用 NOUNS 而不是 VERBS。

一个较差的示例：

      [Route("api/owner")]
public class OwnerController : Controller
{
    [HttpGet("getAllOwners")]
    public IActionResult GetAllOwners()
    {
    }
    [HttpGet("getOwnerById/{id}"]
    public IActionResult GetOwnerById(Guid id)
    {
    }
}

一个较好的示例：

      [Route("api/owner")]
public class OwnerController : Controller
{
    [HttpGet]
    public IActionResult GetAllOwners()
    {
    }
    [HttpGet("{id}"]
    public IActionResult GetOwnerById(Guid id)
    {
    }
}

更多关于 Restful 实践的细节解释，请查阅： Top REST API Best Practices

日志

LOGGING

如果我们打算将我们的应用程序发布到生产环境，我们应该在合适的位置添加一个日志记录机制。在生产环境中记录日志对于我们梳理应用程序的运行很有帮助。

.NET Core 通过继承 ILogger接口实现了它自己的日志记录。通过借助依赖注入机制，它可以很容易地使用。

      public class TestController: Controller
{
    private readonly ILogger _logger;
    public TestController(ILogger<TestController> logger)
    {
        _logger = logger;
    }
}

然后，在我们的 action 中，我们可以通过使用 _logger 对象借助不同的日志级别来记录日志。

.NET Core 支持使用于各种日志记录的 Provider。因此，我们可能会在项目中使用不同的 Provider 来实现我们的日志逻辑。

NLog 是一个很不错的可以用于我们自定义的日志逻辑类库，它极具扩展性。支持结构化日志，且易于配置。我们可以将信息记录到控制台，文件甚至是数据库中。

想了解更多关于该类库在 .NET Core 中的应用，请查阅： .NET Core series – Logging With NLog.

Serilog 也是一个很不错的类库，它适用于 .NET Core 内置的日志系统。

加密

CRYPTOHELPER

我们不会建议将密码以明文形式存储到数据库中。处于安全原因，我们需要对其进行哈希处理。这超出了本指南的内容范围。互联网上有大量哈希算法，其中不乏一些不错的方法来将密码进行哈希处理。

但是如果需要为 .NET Core 的应用程序提供易于使用的加密类库，CryptoHelper 是一个不错的选择。

CryptoHelper 是适用于 .NET Core 的独立密码哈希库，它是基于 PBKDF2 来实现的。通过创建 Data Protection栈来将密码进行哈希化。这个类库在 NuGet 上是可用的，并且使用也很简单：

      using CryptoHelper;

// Hash a password
public string HashPassword(string password)
{
    return Crypto.HashPassword(password);
}

// Verify the password hash against the given password
public bool VerifyPassword(string hash, string password)
{
    return Crypto.VerifyHashedPassword(hash, password);
}

内容协商

CONTENT NEGOTIATION

默认情况下，.NET Core Web API 会返回 JSON 格式的结果。大多数情况下，这是我们所希望的。

但是如果客户希望我们的 Web API 返回其它的响应格式，例如 XML 格式呢？

为了解决这个问题，我们需要进行服务端配置，用于按需格式化我们的响应结果：

      public void ConfigureServices(IServiceCollection services)
{
    services.AddControllers().AddXmlSerializerFormatters();
}

但有时客户端会请求一个我们 Web API 不支持的格式，因此最好的实践方式是对于未经处理的请求格式统一返回 406 状态码。这种方式也同样能在 ConfigureServices 方法中进行简单配置：

      public void ConfigureServices(IServiceCollection services)
{
    services.AddControllers(options => options.ReturnHttpNotAcceptable = true).AddXmlSerializerFormatters();
}

我们也可以创建我们自己的格式化规则。

这一部分内容是一个很大的主题，如果你希望了解更多，请查阅： Content Negotiation in .NET Core

使用 JWT

USING JWT

现如今的 Web 开发中，JSON Web Tokens (JWT) 变得越来越流行。得益于 .NET Core 内置了对 JWT 的支持，因此实现起来非常容易。JWT 是一个开发标准，它允许我们以 JSON 格式在服务端和客户端进行安全的数据传输。

我们可以在 ConfigureServices 中配置 JWT 认证：

      public void ConfigureServices(IServiceCollection services)
{
    services.AddAuthentication(JwtBearerDefaults.AuthenticationScheme)
        .AddJwtBearer(options => 
        {
            options.TokenValidationParameters = new TokenValidationParameters
            {
                ValidateIssuer = true,
                ValidIssuer = _authToken.Issuer,

                ValidateAudience = true,
                ValidAudience = _authToken.Audience,

                ValidateIssuerSigningKey = true,
                IssuerSigningKey = new SymmetricSecurityKey(Encoding.UTF8.GetBytes(_authToken.Key)),

                RequireExpirationTime = true,
                ValidateLifetime = true,

                //others
            };
        });
}

为了能在应用程序中使用它，我们还需要在 Configure 中调用下面一段代码：

      public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    app.UseAuthentication();
}

此外，创建 Token 可以使用如下方式：

      var securityToken = new JwtSecurityToken(
                claims: new Claim[]
                {
                    new Claim(ClaimTypes.NameIdentifier,user.Id),
                    new Claim(ClaimTypes.Email,user.Email)
                },
                issuer: _authToken.Issuer,
                audience: _authToken.Audience,
                notBefore: DateTime.Now,
                expires: DateTime.Now.AddDays(_authToken.Expires),
                signingCredentials: new SigningCredentials(
                    new SymmetricSecurityKey(Encoding.UTF8.GetBytes(_authToken.Key)),
                    SecurityAlgorithms.HmacSha256Signature));

Token = new JwtSecurityTokenHandler().WriteToken(securityToken)

基于 Token 的用户验证可以在控制器中使用如下方式：

      var auth = await HttpContext.AuthenticateAsync();
var id = auth.Principal.Claims.FirstOrDefault(x => x.Type.Equals(ClaimTypes.NameIdentifier))?.Value;

我们也可以将 JWT 用于授权部分，只需添加角色声明到 JWT 配置中即可。

更多关于 .NET Core 中 JWT 认证和授权部分，请查阅： authentication-aspnetcore-jwt-1和 authentication-aspnetcore-jwt-2

总结

读到这里，可能会有朋友对上述一些最佳实践不是很认同，因为全篇都没有谈及更切合项目的实践指南，比如 TDD、 DDD等。但我个人认为上述所有的最佳实践是基础，只有把这些基础掌握了，才能更好地理解一些更高层次的实践指南。万丈高楼平地起，所以你可以把这看作是一篇面向新手的最佳实践指南。

在这份指南中，我们的主要目的是让你熟悉关于使用 .NET Core 开发 web API 项目时的一些最佳实践。这里面的部分内容在其它框架中也同样适用。因此，熟练掌握它们很有用。

非常感谢你能阅读这份指南，希望它能对你有所帮助。

花椒 web 端实时互动流媒体播放器

Thu, 12 Dec 2019 00:00:00 CST

项目背景

春天的时候花椒做了一个创新项目，这是一个直播综艺节目的项目，前端的工作主要是做出一个PC主站点，在这个站点中的首页需要一个播放器，
既能播放FLV直播视频流，还要在用户点击视频回顾按钮的时候，弹出窗口播放HLS视频流；我们开始开发这个播放器的时候也没有多想，直接使用了大家都能想到的
最简单的套路，flv.js和hls.js一起用！在播放视频时，调用中间件video.js来输出的Player来实现播放，这个Player根据视频地址的结尾字符来初始化播放器：new HLS 或者 flvjs.createPlayer，
对外提供一致的接口，对HLS.js和FLV.js创建的播放器进行调用。完美的实现了产品的需求，不过写代码的时候总感觉有点蠢，HLS.js（208KB）和FLV.js（169KB）体积加起来有点太让人热泪盈眶了。
这时我们就有了一个想法，这两能不能合起来成为一个lib，既能播放flv视频，又能播放hls视频。理想很丰满，现实很骨感，这2个lib虽然都是JavaScript写的，但是它们的范畴都是视频类，以前只是调用，
完全没有深入了解过，不过我们还是在领导的大(wei)力(bi)支(li)持(you)下，开始了尝试。

FLV.JS分析

FLV.js的工作原理是下载flv文件转码成IOS BMFF（MP4碎片）片段，然后通过 Media Source Extensions将MP4片段传输给HTML5的Video标签进行播放;
它的结构如下图所示:

src/flv.js 是对外输出FLV.js的一些组件, 事件和错误, 方便用户根据抛出的事件进行各种操作和获取相应的播放信息; 最主要是flv.js下返回的2个player: NativePlayer 和 FLVPlayer;
NativePlayer 是对浏览器本身播放器的一个再包装, 使之能和 FLVPlayer一样, 相应共同的事件和操作; 大家最主要使用的还是 FLVPlayer这个播放器;
而 FLVPlayer中最重要东西可分为两块: 1. MSEController; 2. Transmuxer;

MSEController

这个MSEController负责给HTML Video Element 和 SourceBuffer之间建立连接, 接受 InitSegment(ISO BMFF 片段中的 FTYP + MOOV)和 MediaSegment (ISO BMFF 片段中的 MOOF + MDATA); 将这2个片段按照顺序添加到SourceBuffer中, 和对SouceBuffer的一些控制和状态反馈;

Transmuxer

Transmuxer 主要负责的就是下载, 解码, 转码, 发送Segment的工作; 它的下面主要包含了 2个模块, TransmuxingWorker 和 TransmuxingController;
TransmuxingWorker是启用多线程执行 TransmuxingController, 并对 TransmuxingController抛出的事件就行转发;
TransmuxingController 才是真正执行下载, 解码, 转码, 发送Segment的苦力部门, 苦活累活都是这个部门干的, Transmuxer(真上级) 和 TransmuxingController(伪上级)都是在调用它的功能和传递它的输出;

下面有请这个劳苦功高的部门登场

TransmuxingController

TransmuxingController也是一个大部门, 他的手下有三个小组: IOController, demuxer和 remuxer;

IOController

IOController主要有三个功能, 一是负责遴选他手下的小小弟(loaders), 选出最适合当前浏览器环境的loader, 去从服务器搬运媒体流; 二是存储小小弟(loader)发上来的数据; 三是把数据发送给demuxer(解码)并存储demuxer未处理完的数据;

demuxer

demuxer 是负责解码工作的员工, 他需要把IOController发送过来的FLV data, 解析整理成 videoTrack 和 audioTrack; 并把解析后的数据发送给 remuxer 转码器; 解码完成后, 他会把已经处理的数据的长度返回给 IOController, IOController会把未处理的数据(总数据 - 已经处理的数据)存储, 等待下次发送数据的时候发从头部追加未处理的数据, 一起发送给 demuxer.

remuxer

remuxer 是负责将 videoTrack 和 audioTrack 转成 InitSegment 和 MediaSegment并向上发送, 并在转化的过程中进行音视频同步的操作.

总的流程就是 FLVPlayer喊了一声启动之后, loader 加载数据 => IOController 存储和转发数据 => demuxer 解码数据 => remuxer 转码数据 => TransmuxingWorker 和 Transmuxer 转发数据 =>

MSEController 接受数据 => SourceBuffer; 一系列操作之后视频就可以播放了;

HLS.JS分析

HLS.js的工作原理是先下载index.m3u8文件, 然后解析该文档, 取出Level, 再根据Levels中的片段(Fragments)信息去下载相应的TS文件, 转码成IOS BMFF（MP4碎片）片段，然后通过 Media Source Extensions将MP4片段传输给HTML5的Video标签进行播放;

HLS.js的结构如下

相对于 flv.js的多层分级, hls.js到是有一点扁平化的味道, hls这个公司老总在继承 Observer 的trigger功能之后, 深入各个部门(即各种controller和loader)发号施令(进行 hls.trigger(HlsEvents.xxx, data)的操作); 而各个部门继承EventHandler之后, 实例化时就分配好自己所负责的工作; 以 buffer-controller.js 为例:

       
constructor (hls: any) {    
super(hls,    
Events.MEDIA_ATTACHING,    
Events.MEDIA_DETACHING,    
Events.MANIFEST_PARSED,    
Events.BUFFER_RESET,    
Events.BUFFER_APPENDING,    
Events.BUFFER_CODECS,    
Events.BUFFER_EOS,    
Events.BUFFER_FLUSHING,    
Events.LEVEL_PTS_UPDATED,    
Events.LEVEL_UPDATED);    
this.config = hls.config;    
}

buffer-controller.js 这个部门主要负责以下功能:

响应BUFFER_RESET事件, 重置媒体缓冲区
响应BUFFER_CODECS事件, 接收时使用适当的编解码器信息初始化SourceBuffer
响应BUFFER_APPENDING事件, 给SourceBuffer中添加MP4 片段
成功添加缓冲区后触发BUFFER_APPENDED事件
响应BUFFER_FLUSHING事件, 刷新指定的缓冲区范围
成功刷新缓冲区后触发BUFFER_FLUSHED事件

buffer-controller.js 初始化时就定义了自己只响应 Events.MEDIA_ATTACHING, Events.MEDIA_DETACHING 等等这些工作, 它会自己实现 onMediaAttaching, onMediaDetaching等方法来响应和完成这些工作, 其他的一概不管, 它完成自己的任务后会通过hls向其他部门告知已经完成了自己的工作, 并将工作结果移交给其他部门, 例如 buffer-controller.js 中的 581行 this.hls.trigger(Events.BUFFER_FLUSHED), 这行代码就是向其他部门(其他controllers)告知已经完成 BUFFER_FLUSHED的工作;

   注: 大家在读取hls.js的源码的时候, 看到 `this.hls.trigger(Events.xxxx)`时, 查找下一步骤时, 只要在全部代码中搜索onXXX(去掉事件中的下划线)方法即可找到下一步操作

明白了HLS.JS代码的读取套路之后我们可以更清晰的了解hls.js实现播放HLS流的大致过程了;

hls.js只播放HLS流, 没有NativePlayer, 所以顶级src/hls.js 对应着 flv.js中的 FLVPlayer, 直接提供API, 响应外界的各种操作和发送信息; 在开始准备播放的时候它会发令 HlsEvents.MANIFEST_LOADING,
playlist-loader 收到 HlsEvents.MANIFEST_LOADING 后, 它会使用XHRLoader去加载 M3U8文档, 文档经过解析之后会得到该文档含有的level(对于直播行业来说一般就是一个level, level[0] 就是我们想要的数据); playlist-loader 会发出 LEVEL_LOADED 的事件并携带level信息;
level-controller会记录level信息, 并计算更新m3u8的时间间隔, 不断加载m3u8文件更新level; 而 stream-controller 则会经过一系列的操作之后去加载 fragment(即m3u8文档中的ts文件); 发出 FRAG_LOADING事件, 并初始化解码器和转码器 (Demuxer对象, Remuxer会在Demuxer实例化中初始化)
FragmentLoader 收到 FRAG_LOADING 之后会去加载相应的TS文件, 并在加载TS文件完毕之后发出 FRAG_LOADED 事件, 并把TS的Uint8数据和fragment的其他信息一并发送出;
在 stream-controller 接收 FRAG_LOADED事件后, 他会调用它的 onFragLoaded 方法, 在这个方法中 demuxer 会解析 TS 的文件, 经过demuxer和remuxer的通力协作, 生成InitSegment(FRAGPARSINGINITSEGMENT事件所携带的数据) 和 MediaSegment(FRAGPARSING_DATA事件所携带的数据), 经由 steam-controller 传输给 buffer-controller, 最后添加进SourceBuffer;

怎么结合

通过对FLV.js和HLS.js 进行分析, 它们共同的流程都是下载, 解码, 转码, 传输给SourceBuffer; 一样的loader(FragmentLoader和FetchStreamLoader), 一样的解码和转码(demuxer和remuxer), 一样的 SourceBuffer Controller (MSEController 和 Buffer-controller ); 不同的就是他们的控制流程不一样, 还有hls流多了一步解析文档的步骤;

下面我们就思考怎么去结合两个lib:

根据项目目的: 项目是一个主直播, 次点播的站点; FLV直播功能是最重要的功能, HLS流的回放只在用户点击视频回顾和查看过去节目视频才会使用;
根据其他项目的需求: 花椒PC端主站（https://www.huajiao.com/）现在也是HTTP-FLV的形式去进行直播展示, 而HLS流计划用于播放主播小视频(点播);
根据业界情况: 现在业界直播基本还是用的HTTP-FLV这种形式(基础设施成熟, 技术简单, 延迟小), 而HLS流一般还是用在移动端直播;

所以我们决定采用在 FLV.js 的基础上, 加上HLS.js中的 loader, demuxer 和 remuxer 这三部分去组成一个新的播放器library, 既能播放FLV视频, 也能播放HLS流(根据项目的需要只包含单码率流的直播和点播, 不包含多码率流, 自动切换码率, 解密等功能);

具体实施过程

首先我们先规划了一下内嵌的功能怎么接入:

Loader的接入

HLS.js中加载HLS流需要 FragmentLoader, XHRLoader, M3U8Parser, LevelController, StreamController 这些, 其中 FragmentLoader 是控制XHR加载TS文件和反馈Fragment加载状态的组件,
XHRLoader是执行加载 TS 文件和 playlist 文件的组件, LevelController 是选择符合当前码率的level 和 playlist加载间隔的, streamController是负责判断加载当前Level中哪个TS文件的组件;
在接入FLV.js时, 需要 FragmentLoader 自己去承担 LevelController 和 StreamController 中相应的工作, 当 IOController 调用 startLoad 方法时, 它自己要去获取并解析playlist, 存储 Level的详细信息, 选择Level, 通过判断 Fragment 的 sequenceNum 来获取下一个TS文件地址, 让XHRLoader 去加载; (FragmentLoader 这娃来到了新公司, 身上担子变重了).

demuxer和remuxer的接入,

因为FLV和TS文件的解析方式不同, 但是在TransmuxingController中, 两个都要接入IOController这个统一数据源, 所以把FLV的解码和转码放入到一个FLVCodec的对象中对外输出功能, TS的解码和转码则集中放入TSCodec中对外输出功能; 根据传进来媒体类型实例化解码器和转码器.

IOController和 _mediaCodec 的接入

在 TransmuxingController 中则用一个 _mediaCodec 对象来管理FLVCodec和TSCodec, 接入数据源IOController时调用两者都拥有的bindDataSource方法; 这里有一点需要注意的是
FLVCodec功能会返回一个 number 类型 consumed; 此参数表示FLVCodec功能已解码和转码的输出长度, 需要返回给 IOController, 让 IOController 刨除已解码的数据, 存储未解码的数据, 等下次一起再传给 FLVCodec 功能, 而TSCodec因为TS的文件结构特点(每个TS包都是188字节的整数倍), 所以每次都是全部处理, 只需要返回 consumed = 0 即可;

hls流的点播seek功能的接入

在FLV.js中, 每当SEEK操作时都会MediaInfo中的KeyFrame信息, 去查找相应的Range点, 然后从Range点去加载; 对于hls点播流, 需要对FragmentLoader中的Level信息进行查询, 对每个Fragment进行循环判断 seek的时间点是否处于当前 Fragment 的播放时间, 如果是, 就立即加载即可;

对各种意外情况的处理

在嵌入的组件中加入logger打印日志, 并将错误返回接入到FLV.JS框架中, 使之能返回响应的错误信息和日志信息;

具体结构如下图:

除此之外, 我们还做了以下几点:

我们在进行改造的时候还接入了Typescript , 实现对功能参数的类型检查;
在FLV-MP4Remuxer中集成了 jamken (感谢❤ jamken)

（https://github.com/jamken）

对 FLV.js 推送的 354PR

（https://github.com/bilibili/flv.js/pull/354）, 修正FLV.JS中音视频不同步的问题;
还加入了视频补充增强信息(Supplemental Enhancement Information)的解析, 通过监听 HJPlayer.Events.GET_SEI_INFO事件可以得到自定义SEI信息, 格式为Uint8Array;

对视频直播实时互动的尝试

在项目中, 主持人会在节目播放过程中提供事件发展方向的选项, 然后前端会弹出面板, 让用户选择方向, 节目根据答案的方向进行直播表演; 按照以往的方案, 一般这种情况都是选择由 Socket 服务器下发消息, 前端接到消息后展示选项, 然后用户选择, 点击提交答案这么一个流程; 去年阿里云推出了一项新颖的直播答题解决方案;
选项不再由Socket服务器下发, 而是由视频云服务器随视频下发; 播放SDK解析视频中的视频补充增强信息, 展示选项; 我们对此方案进行了实践, 大概流程如下:

当主持人提出问题后, 后台人员会在后台填写问题, 经视频云SDK传输给360视频云, 视频云对视频进行处理, 加入视频补充增强信息, 当播放SDK收到带有SEI信息的视频后, 经过解码去重, 将其中包含的信息传递给综艺直播间的互动组件, 互动组件展示, 用户点击选择答案后提交给后台进行汇总, 节目根据汇总后的答案进行节目内容的变更;

与传统方案相比, 采用视频SEI信息传递互动的方案有以下几项优点:

可以实现与主持人的音视频同步出现, 避免因服务器群发消息不及时导致主持人已经宣布开始, 但是面板迟迟不出现的问题.
成本低, 问题是由视频下发而不是由服务器下发, 但延迟会高一点(可提前在视频中插入, 主持人后提出问题, 减少延迟);

视频补充增强信息的内容一般由云服务器来指定内容, 除前16位UUID之外, 内容不尽相同, 所以本播放器直接将SEI信息(Uint8Array格式数据)经 GET_SEI_INFO事件抛出, 用户需自行按照己方视频云给定的格式去解析信息; 另外注意SEI信息是一段时间内重复发送的, 所以用户需要自行去重.

最后

我们完成了此项目后, 将它应用到花椒PC端主站（https://www.huajiao.com/）播放FLV直播, 除此之外我们还将项目开源HJPlayer（https://github.com/huajiaofrontend/HJPlayer）, 希望能帮助那些碰见同样项目需求的程序员; 如果使用中有问题, 可以在ISSUES中提出, 让我们共同讨论解决.

题外

有人可能会问为什么你们的视频回顾不采用FLV文件, 这样就只使用FLV.JS不就可以播放了吗?

答: 点击视频回顾的时候, 需要播放过去5分钟播过的内容, 如果采用 FLV 文件的话, 那么每次就要从存储的视频中截取一段视频生成 FLV 文件, 然后前端拉取文件播放, 这样会增加一大堆的视频碎片文件, 随之会带来一系列的存储问题; 如果采用HLS流的话, 可以根据前端传回的时间戳, 在存储的HLS回顾文件中查找相应的TS文件, 并生成一份m3u8文档就可以了;

视频补充增强信息(Supplemental Enhancement Information) 是什么?

视频补充增强信息是H.264视频压缩标准的特性之一, 提供了向视频码流中加入信息的办法; 它并不是解码过程中的必须存在的, 有可能对解码有帮助, 但是没有也没有关系;
在视频内容的生成端、传输过程中，都可以插入SEI 信息。插入的信息，和其他视频内容一起经过网络传输到播放SDK;
在H264/AVC编码格式中NAL uint 中的头部, 有type字段指明 NAL uint的类型, 当 type = 6 时该NAL uint 携带的信息即为补充增强信息（SEI）;

关于 SEI信息的解析:

NAL uint type 后下一位即为 SEI 的type, 一般自定义的SEI信息的type 为 5, 即 userdataunregistered; SEI type 的下一位直到0xFF为止即为所携带的数据的长度, 然后就是16位的UUID,
在16位的UUID之后一直到0x00的结束符之间, 即为自定义信息内容, 所以信息内容长度 = SEI信息所携带的数据的长度 - 16位UUID; 自定义信息内容的解析方式就要根据己方视频云给定的数据格式定义了;

GitHub - cnlh/nps: 一款轻量级、功能强大的内网穿透代理服务器。支持tcp、udp流量转发，支持内网http代理、内网socks5代理，同时支持snappy压缩、站点保护、加密传输、多路复用、header修改等。支持web图形化管理，集成多用户模式。

Mon, 12 Aug 2019 09:52:34 CST

nps

nps是一款轻量级、高性能、功能强大的 内网穿透代理服务器。目前支持 tcp、udp流量转发，可支持任何 tcp、udp上层协议（访问内网网站、本地支付接口调试、ssh访问、远程桌面，内网dns解析等等……），此外还 支持内网http代理、内网socks5代理、 p2p等，并带有功能强大的web管理端。

背景

做微信公众号开发、小程序开发等----> 域名代理模式
想在外网通过ssh连接内网的机器，做云服务器到内网服务器端口的映射，----> tcp代理模式
在非内网环境下使用内网dns，或者需要通过udp访问内网机器等----> udp代理模式
在外网使用HTTP代理访问内网站点----> http代理模式
搭建一个内网穿透ss，在外网如同使用内网vpn一样访问内网资源或者设备----> socks5代理模式

安装

releases安装

releases

下载对应的系统版本即可，服务端和客户端是单独的

源码安装

安装源码

go get -u github.com/cnlh/nps...

编译

go build cmd/nps/nps.go

go build cmd/npc/npc.go

使用示例

统一准备工作（必做）

开启服务端，假设公网服务器ip为1.1.1.1，配置文件中 bridge_port为8284，配置文件中 web_port为8080
访问1.1.1.1:8080
在客户端管理中创建一个客户端，记录下验证密钥
内网客户端运行（windows使用cmd运行加.exe）

./npc -server=1.1.1.1:8284 -vkey=客户端的密钥

域名解析

适用范围：小程序开发、微信公众号开发、产品演示

假设场景：

有一个域名proxy.com，有一台公网机器ip为1.1.1.1
两个内网开发站点127.0.0.1:81，127.0.0.1:82
想通过（http|https://）a.proxy.com访问127.0.0.1:81，通过（http|https://）b.proxy.com访问127.0.0.1:82

使用步骤

将*.proxy.com解析到公网服务器1.1.1.1
点击刚才创建的客户端的域名管理，添加两条规则规则：1、域名： a.proxy.com，内网目标： 127.0.0.1:81，2、域名： b.proxy.com，内网目标： 127.0.0.1:82

现在访问（http|https://） a.proxy.com， b.proxy.com即可成功

https:如需使用https请进行相关配置，详见使用https

tcp隧道

适用范围：ssh、远程桌面等tcp连接场景

假设场景：想通过访问公网服务器1.1.1.1的8001端口，连接内网机器10.1.50.101的22端口，实现ssh连接

使用步骤

在刚才创建的客户端隧道管理中添加一条tcp隧道，填写监听的端口（8001）、内网目标ip和目标端口（10.1.50.101:22），保存。
访问公网服务器ip（1.1.1.1）,填写的监听端口(8001)，相当于访问内网ip(10.1.50.101):目标端口(22)，例如： ssh -p 8001 root@1.1.1.1

udp隧道

适用范围：内网dns解析等udp连接场景

假设场景：内网有一台dns（10.1.50.102:53），在非内网环境下想使用该dns，公网服务器为1.1.1.1

使用步骤

在刚才创建的客户端的隧道管理中添加一条udp隧道，填写监听的端口（53）、内网目标ip和目标端口（10.1.50.102:53），保存。
修改需要使用的内网dns为127.0.0.1，则相当于使用10.1.50.202作为dns服务器

socks5代理

适用范围：在外网环境下如同使用vpn一样访问内网设备或者资源

假设场景：想将公网服务器1.1.1.1的8003端口作为socks5代理，达到访问内网任意设备或者资源的效果

使用步骤

在刚才创建的客户端隧道管理中添加一条socks5代理，填写监听的端口（8003），保存。
在外网环境的本机配置socks5代理(例如使用proxifier进行全局代理)，ip为公网服务器ip（1.1.1.1），端口为填写的监听端口(8003)，即可畅享内网了

http正向代理

适用范围：在外网环境下使用http正向代理访问内网站点

假设场景：想将公网服务器1.1.1.1的8004端口作为http代理，访问内网网站

使用步骤

在刚才创建的客户端隧道管理中添加一条http代理，填写监听的端口（8004），保存。
在外网环境的本机配置http代理，ip为公网服务器ip（1.1.1.1），端口为填写的监听端口(8004)，即可访问了

私密代理

适用范围：无需占用多余的端口、安全性要求较高可以防止其他人连接的tcp服务，例如ssh。

假设场景：无需新增多的端口实现访问内网服务器10.1.50.2的22端口

使用步骤

在刚才创建的客户端中添加一条私密代理，并设置唯一密钥secrettest和内网目标10.1.50.2:22
在需要连接ssh的机器上以执行命令

    ./npc -server=1.1.1.1:8284 -vkey=vkey -type=tcp -password=secrettest -local_type=secret

如需指定本地端口可加参数 -local_port=xx，默认为2000

注意：password为web管理上添加的唯一密钥，具体命令可查看web管理上的命令提示

假设10.1.50.2用户名为root，现在执行 ssh -p 2000 root@1.1.1.1即可访问ssh

p2p服务

适用范围：大流量传输场景，流量不经过公网服务器，但是由于p2p穿透和nat类型关系较大，不保证100%成功，支持大部分nat类型。 nat类型检测

假设场景：内网1机器ip为10.1.50.2 内网2机器2 ip为10.2.50.2

想通过访问内网1机器1的2000端口---->访问到内网2机器3 10.2.50.3的22端口

使用步骤

在 nps.conf中设置 p2p_ip（nps服务器ip）和 p2p_port（nps服务器udp端口）
在刚才刚才创建的客户端中添加一条p2p代理，并设置唯一密钥p2pssh
在机器1执行命令

    ./npc -server=1.1.1.1:8284 -vkey=123 -password=p2pssh -target=10.2.50.3:22

如需指定本地端口可加参数 -local_port=xx，默认为2000

注意：password为web管理上添加的唯一密钥，具体命令可查看web管理上的命令提示

假设机器3用户名为root，现在在机器1上执行 ssh -p 2000 root@127.0.0.1即可访问机器2的ssh

web管理

介绍

可在网页上配置和管理各个tcp、udp隧道、内网站点代理，http、https解析等，功能强大，操作方便。

提示：使用web模式时，服务端执行文件必须在项目根目录，否则无法正确加载配置文件

启动

服务端测试

./npstest

如有错误请及时修改配置文件，无错误可继续进行下去

服务端启动

./nps start

如果无需daemon运行或者打开后无法正常访问web管理，去掉start查看日志运行即可

web管理

进入web界面，公网ip:web界面端口（默认8080），密码默认为123

进入web管理界面，有详细的说明

服务端配置文件重载

如果是daemon启动

./nps reload

说明：仅支持部分配置重载，例如 allow_user_login auth_crypt_key auth_key web_username web_password等，未来将支持更多

服务端停止或重启

如果是daemon启动

./nps stop|restart

服务端配置文件

/conf/nps.conf

名称	含义
web_port	web管理端口
web_password	web界面管理密码
web_username	web界面管理账号
bridge_port	服务端客户端通信端口
https_proxy_port	域名代理https代理监听端口
http_proxy_port	域名代理http代理监听端口
auth_key	web api密钥
bridge_type	客户端与服务端连接方式kcp或tcp
public_vkey	客户端以配置文件模式启动时的密钥，设置为空表示关闭客户端配置文件连接模式
ip_limit	是否限制ip访问，true或false或忽略
flow_store_interval	服务端流量数据持久化间隔，单位分钟，忽略表示不持久化
log_level	日志输出级别
auth_crypt_key	获取服务端authKey时的aes加密密钥，16位
p2p_ip	服务端Ip，使用p2p模式必填
p2p_port	p2p模式开启的udp端口

使用https

方式一：类似于nginx实现https的处理

在配置文件中将https_proxy_port设置为443或者其他你想配置的端口，和在web中对应域名编辑中设置对应的证书路径，将 https_just_proxy设置为false，然后就和http代理一样了

此外：可以在 nps.conf中设置一个默认的https配置，当遇到未在web中设置https证书的域名解析时，将自动使用默认证书，另还有一种情况就是对于某些请求的clienthello不携带sni扩展信息，nps也将自动使用默认证书

方式二：在内网对应服务器上设置https

在 nps.conf中将 https_just_proxy设置为true，并且打开 https_proxy_port端口，然后nps将直接转发https请求到内网服务器上，由内网服务器进行https处理

与nginx配合

有时候我们还需要在云服务器上运行nginx来保证静态文件缓存等，本代理可和nginx配合使用，在配置文件中将httpProxyPort设置为非80端口，并在nginx中配置代理，例如httpProxyPort为8024时

    server {
    listen 80;
    server_name *.proxy.com;
    location / {
        proxy_set_header Host  $http_host;
        proxy_pass http://127.0.0.1:8024;
    }
}

如需使用https也可在nginx监听443端口并配置ssl，并将本代理的httpsProxyPort设置为空关闭https即可，例如httpProxyPort为8024时

    server {
    listen 443;
    server_name *.proxy.com;
    ssl on;
    ssl_certificate  certificate.crt;
    ssl_certificate_key private.key;
    ssl_session_timeout 5m;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    location / {
        proxy_set_header Host  $http_host;
        proxy_pass http://127.0.0.1:8024;
    }
}

关闭代理

如需关闭http代理可在配置文件中将http_proxy_port设置为空，如需关闭https代理可在配置文件中将https_proxy_port设置为空。

将nps安装到系统

如果需要长期并且方便的运行nps服务端，可将nps安装到操作系统中，可执行命令

    (./nps|nps.exe) install

安装成功后，对于linux，darwin，将会把配置文件和静态文件放置于/etc/nps/，并将可执行文件nps复制到/usr/bin/nps或者/usr/local/bin/nps，安装成功后可在任何位置执行

    nps test|start|stop|restart|status

对于windows系统，将会把配置文件和静态文件放置于C:\Program Files\nps，安装成功后可将可执行文件nps.exe复制到任何位置执行

    nps.exe test|start|stop|restart|status

流量数据持久化

服务端支持将流量数据持久化，默认情况下是关闭的，如果有需求可以设置 nps.conf中的 flow_store_interval参数，单位为分钟

注意：nps不会持久化通过公钥连接的客户端

系统信息显示

nps服务端支持在web上显示和统计服务器的相关信息，但默认一些统计图表是关闭的，如需开启请在 nps.conf中设置 system_info_display=true

自定义客户端连接密钥

web上可以自定义客户端连接的密钥，但是必须具有唯一性

关闭公钥访问

可以将 nps.conf中的 public_vkey设置为空或者删除

关闭web管理

可以将 nps.conf中的 web_port设置为空或者删除

服务端多用户登陆

如果将 nps.conf中的 allow_user_login设置为true,服务端web将支持多用户登陆，登陆用户名为user，默认密码为每个客户端的验证密钥，登陆后可以进入客户端编辑修改web登陆的用户名和密码，默认该功能是关闭的。

用户注册功能

nps服务端支持用户注册功能，可将 nps.conf中的 allow_user_register设置为true，开启后登陆页将会有有注册功能，

监听指定ip

nps支持每个隧道监听不同的服务端端口,在 nps.conf中设置 allow_multi_ip=true后，可在web中控制，或者npc配置文件中(可忽略，默认为0.0.0.0)

server_ip=xxx

代理到服务端本地

在使用nps监听80或者443端口时，默认是将所有的请求都会转发到内网上，但有时候我们的nps服务器的上一些服务也需要使用这两个端口，nps提供类似于 nginx proxy_pass的功能，支持将代理到服务器本地，该功能支持域名解析，tcp、udp隧道，默认关闭。

即：假设在nps的vps服务器上有一个服务使用5000端口，这时候nps占用了80端口和443，我们想能使用一个域名通过http(s)访问到5000的服务。

使用方式：在 nps.conf中设置 allow_local_proxy=true，然后在web上设置想转发的隧道或者域名然后选择转发到本地选项即可成功。

客户端

客户端启动

无配置文件模式

此模式的各种配置在服务端web管理中完成,客户端除运行一条命令外无需任何其他设置

    ./npc -server=ip:port -vkey=web界面中显示的密钥

配置文件模式

此模式使用nps的公钥或者客户端私钥验证，各种配置在客户端完成，同时服务端web也可以进行管理

    ./npc -config=npc配置文件路径

配置文件说明

示例配置文件

全局配置

[common]server_addr=1.1.1.1:8284conn_type=tcpvkey=123username=111password=222compress=truecrypt=truerate_limit=10000flow_limit=100remark=testmax_conn=10

项	含义
server_addr	服务端ip:port
conn_type	与服务端通信模式(tcp或kcp)
vkey	服务端配置文件中的密钥(非web)
username	socks5或http(s)密码保护用户名(可忽略)
password	socks5或http(s)密码保护密码(可忽略)
compress	是否压缩传输(true或false或忽略)
crypt	是否加密传输(true或false或忽略)
rate_limit	速度限制，可忽略
flow_limit	流量限制，可忽略
remark	客户端备注，可忽略
max_conn	最大连接数，可忽略

域名代理

[common]server_addr=1.1.1.1:8284vkey=123[web1]host=a.proxy.comtarget_addr=127.0.0.1:8080,127.0.0.1:8082host_change=www.proxy.comheader_set_proxy=nps

项	含义
web1	备注
host	域名(http
target_addr	内网目标，负载均衡时多个目标，逗号隔开
host_change	请求host修改
header_xxx	请求header修改或添加，header_proxy表示添加header proxy:nps

tcp隧道模式

[common]server_addr=1.1.1.1:8284vkey=123[tcp]mode=tcptarget_addr=127.0.0.1:8080server_port=9001

项	含义
mode	tcp
server_port	在服务端的代理端口
tartget_addr	内网目标

udp隧道模式

[common]server_addr=1.1.1.1:8284vkey=123[udp]mode=udptarget_addr=127.0.0.1:8080server_port=9002

项	含义
mode	udp
server_port	在服务端的代理端口
target_addr	内网目标

http代理模式

[common]server_addr=1.1.1.1:8284vkey=123[http]mode=httpProxyserver_port=9003

项	含义
mode	httpProxy
server_port	在服务端的代理端口

socks5代理模式

[common]server_addr=1.1.1.1:8284vkey=123[socks5]mode=socks5server_port=9004

项	含义
mode	socks5
server_port	在服务端的代理端口

私密代理模式

[common]server_addr=1.1.1.1:8284vkey=123[secret_ssh]mode=secretpassword=ssh2target_addr=10.1.50.2:22

项	含义
mode	secret
password	唯一密钥
target_addr	内网目标

p2p代理模式

[common]server_addr=1.1.1.1:8284vkey=123[p2p_ssh]mode=p2ppassword=ssh2target_addr=10.1.50.2:22

项	含义
mode	p2p
password	唯一密钥
target_addr	内网目标

文件访问模式

利用nps提供一个公网可访问的本地文件服务，此模式仅客户端使用配置文件模式方可启动

[common]server_addr=1.1.1.1:8284vkey=123[file]mode=fileserver_port=9100local_path=/tmp/strip_pre=/web/

项	含义
mode	file
server_port	服务端开启的端口
local_path	本地文件目录
strip_pre	前缀

对于 strip_pre，访问公网 ip:9100/web/相当于访问 /tmp/目录

断线重连

[common]auto_reconnection=true

nat类型检测

    ./npc nat

如果p2p双方都是Symmetric Nat，肯定不能成功，其他组合都有较大成功率。

状态检查

    ./npc status -config=npc配置文件路径

重载配置文件

    ./npc restart -config=npc配置文件路径

通过代理连接nps

有时候运行npc的内网机器无法直接访问外网，此时可以可以通过socks5代理连接nps

对于配置文件方式启动,设置

[common]proxy_url=socks5://111:222@127.0.0.1:8024

对于无配置文件模式,加上参数

    -proxy=socks5://111:222@127.0.0.1:8024

支持socks5和http两种模式

即socks5://username:password@ip:port

或 http://username:password@ip:port

群晖支持

可在releases中下载spk群晖套件，例如 npc_x64-6.1_0.19.0-1.spk

项	含义
health_check_timeout	健康检查超时时间
health_check_max_failed	健康检查允许失败次数
health_check_interval	健康检查间隔
health_check_type	健康检查类型
health_check_target	健康检查目标，多个以逗号（,）分隔
health_check_type	健康检查类型
health_http_url	健康检查url，仅http模式适用

webAPI

webAPI验证说明

采用auth_key的验证方式
在提交的每个请求后面附带两个参数， auth_key和 timestamp

    auth_key的生成方式为：md5(配置文件中的auth_key+当前时间戳)

    timestamp为当前时间戳

    curl --request POST \
  --url http://127.0.0.1:8080/client/list \
  --data 'auth_key=2a0000d9229e7dbcf79dd0f5e04bb084&timestamp=1553045344&start=0&limit=10'

注意：为保证安全，时间戳的有效范围为20秒内，所以每次提交请求必须重新生成。

获取服务端时间

由于服务端与api请求的客户端时间差异不能太大，所以提供了一个可以获取服务端时间的接口

    POST /auth/gettime

获取服务端authKey

如果想获取authKey，服务端提供获取authKey的接口

    POST /auth/getauthkey

将返回加密后的authKey，采用aes cbc加密，请使用与服务端配置文件中cryptKey相同的密钥进行解密

注意：nps配置文件中 auth_crypt_key需为16位

解密密钥长度128
偏移量与密钥相同
补码方式pkcs5padding
解密串编码方式十六进制

详细文档

此文档近期可能更新较慢，建议自行抓包

为方便第三方扩展，在web模式下可利用webAPI进行相关操作，详情见 webAPI文档

贡献

欢迎参与到制作docker、图标、文档翻译等工作

如果遇到bug可以直接提交至dev分支
使用遇到问题可以通过issues反馈
项目处于开发阶段，还有很多待完善的地方，如果可以贡献代码，请提交 PR 至 dev 分支
如果有新的功能特性反馈，可以通过issues或者qq群反馈

捐助

如果您觉得nps对你有帮助，欢迎给予我们一定捐助，也是帮助nps更好的发展。

Web Components 入门实例教程

Tue, 06 Aug 2019 17:39:44 CST

组件是前端的发展方向，现在流行的 React 和 Vue 都是组件框架。

谷歌公司由于掌握了 Chrome 浏览器，一直在推动浏览器的原生组件，即 Web Components API。相比第三方框架，原生组件简单直接，符合直觉，不用加载任何外部模块，代码量小。目前，它还在不断发展，但已经可用于生产环境。

Web Components API 内容很多，本文不是全面的教程，只是一个简单演示，让大家看一下怎么用它开发组件。

一、自定义元素

下图是一个用户卡片。

本文演示如何把这个卡片，写成 Web Components 组件，这里是最后的完整代码。

网页只要插入下面的代码，就会显示用户卡片。

   
<user-card></user-card>

这种自定义的 HTML 标签，称为自定义元素（custom element）。根据规范，自定义元素的名称必须包含连词线，用与区别原生的 HTML 元素。所以， <user-card>不能写成 <usercard>。

二、 `customElements.define()`

自定义元素需要使用 JavaScript 定义一个类，所有 <user-card>都会是这个类的实例。

   
class UserCard extends HTMLElement {
  constructor() {
    super();
  }
}

上面代码中， UserCard就是自定义元素的类。注意，这个类的父类是 HTMLElement，因此继承了 HTML 元素的特性。

接着，使用浏览器原生的 customElements.define()方法，告诉浏览器 <user-card>元素与这个类关联。

   
window.customElements.define('user-card', UserCard);

三、自定义元素的内容

自定义元素 <user-card>目前还是空的，下面在类里面给出这个元素的内容。

   
class UserCard extends HTMLElement {
  constructor() {
    super();

    var image = document.createElement('img');
    image.src = 'https://semantic-ui.com/images/avatar2/large/kristy.png';
    image.classList.add('image');

    var container = document.createElement('div');
    container.classList.add('container');

    var name = document.createElement('p');
    name.classList.add('name');
    name.innerText = 'User Name';

    var email = document.createElement('p');
    email.classList.add('email');
    email.innerText = 'yourmail@some-email.com';

    var button = document.createElement('button');
    button.classList.add('button');
    button.innerText = 'Follow';

    container.append(name, email, button);
    this.append(image, container);
  }
}

上面代码最后一行， this.append()的 this表示自定义元素实例。

完成这一步以后，自定义元素内部的 DOM 结构就已经生成了。

四、 `<template>`标签

使用 JavaScript 写上一节的 DOM 结构很麻烦，Web Components API 提供了 <template>标签，可以在它里面使用 HTML 定义 DOM。

   
<template id="userCardTemplate">
  <img src="https://semantic-ui.com/images/avatar2/large/kristy.png" class="image">
  <div class="container">
    <p class="name">User Name</p>
    <p class="email">yourmail@some-email.com</p>
    <button class="button">Follow</button>
  </div>
</template>

然后，改写一下自定义元素的类，为自定义元素加载 <template>。

   
class UserCard extends HTMLElement {
  constructor() {
    super();

    var templateElem = document.getElementById('userCardTemplate');
    var content = templateElem.content.cloneNode(true);
    this.appendChild(content);
  }
}

上面代码中，获取 <template>节点以后，克隆了它的所有子元素，这是因为可能有多个自定义元素的实例，这个模板还要留给其他实例使用，所以不能直接移动它的子元素。

到这一步为止，完整的代码如下。

   
<body>
  <user-card></user-card>
  <template>...</template>

  <script>
    class UserCard extends HTMLElement {
      constructor() {
        super();

        var templateElem = document.getElementById('userCardTemplate');
        var content = templateElem.content.cloneNode(true);
        this.appendChild(content);
      }
    }
    window.customElements.define('user-card', UserCard);    
  </script>
</body>

五、添加样式

自定义元素还没有样式，可以给它指定全局样式，比如下面这样。

   
user-card {
  /* ... */
}

但是，组件的样式应该与代码封装在一起，只对自定义元素生效，不影响外部的全局样式。所以，可以把样式写在 <template>里面。

   
<template id="userCardTemplate">
  <style>
   :host {
     display: flex;
     align-items: center;
     width: 450px;
     height: 180px;
     background-color: #d4d4d4;
     border: 1px solid #d5d5d5;
     box-shadow: 1px 1px 5px rgba(0, 0, 0, 0.1);
     border-radius: 3px;
     overflow: hidden;
     padding: 10px;
     box-sizing: border-box;
     font-family: 'Poppins', sans-serif;
   }
   .image {
     flex: 0 0 auto;
     width: 160px;
     height: 160px;
     vertical-align: middle;
     border-radius: 5px;
   }
   .container {
     box-sizing: border-box;
     padding: 20px;
     height: 160px;
   }
   .container > .name {
     font-size: 20px;
     font-weight: 600;
     line-height: 1;
     margin: 0;
     margin-bottom: 5px;
   }
   .container > .email {
     font-size: 12px;
     opacity: 0.75;
     line-height: 1;
     margin: 0;
     margin-bottom: 15px;
   }
   .container > .button {
     padding: 10px 25px;
     font-size: 12px;
     border-radius: 5px;
     text-transform: uppercase;
   }
  </style>

  <img src="https://semantic-ui.com/images/avatar2/large/kristy.png" class="image">
  <div class="container">
    <p class="name">User Name</p>
    <p class="email">yourmail@some-email.com</p>
    <button class="button">Follow</button>
  </div>
</template>

上面代码中， <template>样式里面的 :host伪类，指代自定义元素本身。

六、自定义元素的参数

<user-card>内容现在是在 <template>里面设定的，为了方便使用，把它改成参数。

   
<user-card
  image="https://semantic-ui.com/images/avatar2/large/kristy.png"
  name="User Name"
  email="yourmail@some-email.com"
></user-card>

<template>代码也相应改造。

   
<template id="userCardTemplate">
  <style>...</style>

  <img class="image">
  <div class="container">
    <p class="name"></p>
    <p class="email"></p>
    <button class="button">Follow John</button>
  </div>
</template>

最后，改一下类的代码，把参数加到自定义元素里面。

   
class UserCard extends HTMLElement {
  constructor() {
    super();

    var templateElem = document.getElementById('userCardTemplate');
    var content = templateElem.content.cloneNode(true);
    content.querySelector('img').setAttribute('src', this.getAttribute('image'));
    content.querySelector('.container>.name').innerText = this.getAttribute('name');
    content.querySelector('.container>.email').innerText = this.getAttribute('email');
    this.appendChild(content);
  }
}
window.customElements.define('user-card', UserCard);

七、Shadow DOM

我们不希望用户能够看到 <user-card>的内部代码，Web Component 允许内部代码隐藏起来，这叫做 Shadow DOM，即这部分 DOM 默认是隐藏的，开发者工具里面看不到。

自定义元素的 this.attachShadow()方法开启 Shadow DOM，详见下面的代码。

   
class UserCard extends HTMLElement {
  constructor() {
    super();
    var shadow = this.attachShadow( { mode: 'closed' } );

    var templateElem = document.getElementById('userCardTemplate');
    var content = templateElem.content.cloneNode(true);
    content.querySelector('img').setAttribute('src', this.getAttribute('image'));
    content.querySelector('.container>.name').innerText = this.getAttribute('name');
    content.querySelector('.container>.email').innerText = this.getAttribute('email');

    shadow.appendChild(content);
  }
}
window.customElements.define('user-card', UserCard);

上面代码中， this.attachShadow()方法的参数 { mode: 'closed' }，表示 Shadow DOM 是封闭的，不允许外部访问。

至此，这个 Web Component 组件就完成了，完整代码可以访问这里。可以看到，整个过程还是很简单的，不像第三方框架那样有复杂的 API。

八、组件的扩展

在前面的基础上，可以对组件进行扩展。

（1）与用户互动

用户卡片是一个静态组件，如果要与用户互动，也很简单，就是在类里面监听各种事件。

   
this.$button = shadow.querySelector('button');
this.$button.addEventListener('click', () => {
  // do something
});

（2）组件的封装

上面的例子中， <template>与网页代码放在一起，其实可以用脚本把 <template>注入网页。这样的话，JavaScript 脚本跟 <template>就能封装成一个 JS 文件，成为独立的组件文件。网页只要加载这个脚本，就能使用 <user-card>组件。

这里就不展开了，更多 Web Components 的高级用法，可以接着学习下面两篇文章。

Web Components Tutorial for Beginners

Custom Elements v1: Reusable Web Components

九、参考链接

The anatomy of Web Components, Uday Hiwarale

（完）

文档信息

版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）
发表日期： 2019年8月 6日

JWT Tool：针对 JSON Web Tokens 的测试工具

Sun, 07 Jul 2019 15:00:42 CST

众望所归，大家期待已久的JWT渗透测试工具终于出炉啦！没错，今天给大家介绍的这款名叫JWT Tool的工具，就可以针对JSON Web Tokens进行渗透测试。

什么是JWT？

JWT是JSON Web Token的缩写，它是一串带有声明信息的字符串，由服务端使用加密算法对信息签名，以保证其完整性和不可伪造性。Token里可以包含所有必要的信息，这样服务端就无需保存任何关于用户或会话的信息了。JWT可用于身份认证，会话状态维持以及信息交换等任务。

JWT由三部分构成，分别称为header，payload和signature，各部分用“.”相连构成一个完整的Token，形如xxxxx.yyyyy.zzzzz。

Header

使用一个JSON格式字符串声明令牌的类型和签名用的算法等，形如{“alg”:”HS256″, “typ”: “JWT”}。该字符串经过Base64Url编码后形成JWT的第一部分xxxxx。

Base64Url编码可以用这段代码直观理解：

     from base64 import *
   def base64URLen(s):
       t0=b64encode(s)
      t1=t0.strip('=').replace('+','-').replace('/','_')
       return t1
   
   def base64URLde(s):
       t0=s.replace('-','+').replace('_','/')
       t1=t0+'='*(4-len(t0)%4)%4
       return b64decode(t1)

Payload

使用一个JSON格式字符串描述所要声明的信息，分为registered，public，状语从句：private三类，形如{“name”: “John Doe”, “admin”: true}，具体信息可参考RFC7519的JWT要求部分。

同样的，该字符串经过Base64Url编码形成JWT的第二部分yyyyy。

Signature

将xxxxx.yyyyy使用alg指定的算法加密，然后再Base64Url编码得到JWT的第三部分zzzzz。所支持的算法类型取决于实现，但HS256和none是强制要求实现的。

JWT Tool

简而言之，Jwt_tool.py这个工具及可以用来验证、伪造和破解JWT令牌。

其功能包括：

1、检测令牌的有效性；

2、测试RS/HS256公钥错误匹配漏洞；

3、测试alg=None签名绕过漏洞；

4、测试密钥/密钥文件的有效性；

5、通过高速字典攻击识别弱密钥；

6、伪造新的令牌Header和Payload值，并使用密钥创建新的签名；

适用范围

该工具专为渗透测试人员设计，可用于检测令牌的安全等级，并检测可能的攻击向量。当然了，广大研究人员也可以用它来对自己使用了JWT的项目进行安全测评以及稳定性测评。

工具要求

本工具采用原生Python 2.x开发，使用的都是常用Python库。大家可以在字典攻击选项中配置自定义字典文件。

工具安装

大家可以直接下载代码库中的jwt_tool.py文件，或使用下列命令将代码库克隆至本地：

  git clone https://github.com/ticarpi/jwt_tool.git

工具使用

  $python jwt_tool.py <JWT> (filename)

第一个参数就是JWT本身，后面需要跟一个文件名或文件路径。

样例：

  $python jwt_tool.pyeyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJsb2dpbiI6InRpY2FycGkifQ.aqNCvShlNT9jBFTPBpHDbt2gBB1MyHiisSDdp8SQvgw/usr/share/wordlists/rockyou.txt

本工具将会验证令牌的有效性，并输出Header和Payload的值。接下来，它会给用户提供可用的菜单选项。输入值可以为标准JWT格式或url-safe模式的JWT格式。

使用提示

大家还可以在Burp Search中使用正则表达式来寻找JWT（请确保开启了“大小写敏感“和“正则表达式”选项）：

     [=]ey[A-Za-z0-9_-]*\.[A-Za-z0-9._-]* - url-safe JWT version
   [=]ey[A-Za-z0-9_\/+-]*\.[A-Za-z0-9._\/+-]* - all JWT versions

项目地址

JWT Tool：【 GitHub传送门】

参考资料

1、 https://jwt.io/introduction/

2、 https://auth0.com/blog/critical-vulnerabilities-in-json-web-token-libraries/

3、 https://www.ticarpi.com/introducing-jwt-tool/

4、 https://pentesterlab.com/exercises/jwt

5、 https://pentesterlab.com/exercises/jwt_ii

6、 https://pentesterlab.com/exercises/jwt_iii

* 参考来源： ticarpi，FB小编Alpha_h4ck编译，转载请注明来自FreeBuf.COM

Web 日志安全分析技巧

Tue, 25 Jun 2019 00:00:00 CST

ox01 Web日志

Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。

我们来看一条Apache的访问日志：

   127.0.0.1- - [11/Jun/2018:12:47:22+0800]"GET /login.html HTTP/1.1"200786"-""Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"

通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面，是否访问成功。

本文通过介绍Web日志安全分析时的思路和常用的一些技巧。

0x02 日志分析技巧

在对WEB日志进行安全分析时，一般可以按照两种思路展开，逐步深入，还原整个攻击过程。

第一种：确定入侵的时间范围，以此为线索，查找这个时间范围内可疑的日志，进一步排查，最终确定攻击者，还原攻击过程。

第二种：攻击者在入侵网站后，通常会留下后门维持权限，以方便再次访问，我们可以找到该文件，并以此为线索来展开分析。

常用分析工具：

Window下，推荐用 EmEditor 进行日志分析，支持大文本，搜索效率还不错。

Linux下，使用Shell命令组合查询分析。

Shell+Linux命令实现日志分析，一般结合grep、awk等命令等实现了几个常用的日志分析统计技巧。

Apache日志分析技巧：

   1、列出当天访问次数最多的IP命令：   cut -d- -f1log_file|uniq -c |sort-rn | head -20       
   2、查看当天有多少个IP访问：   awk'{print $1}'log_file|sort|uniq|wc -l       
   3、查看某一个页面被访问的次数：   grep "/index.php" log_file |wc -l       
   4、查看每一个IP访问了多少个页面：   awk'{++S[$1]} END {for (a in S) print a,S[a]}'log_file       
   5、将每个IP访问的页面数进行从小到大排序：   awk'{++S[$1]} END {for (a in S) print S[a],a}'log_file |sort-n       
   6、查看某一个IP访问了哪些页面：   grep^111.111.111.111log_file| awk'{print $1,$7}'       
   7、去掉搜索引擎统计当天的页面：   awk'{print $12,$1}'log_file |grep^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l       
   8、查看2018年6月21日14时这一个小时内有多少IP访问:   awk '{print $4,$1}' log_file | grep 21/Jun/2018:14 | awk '{print $2}'| sort | uniq | wc -l

0x03 日志分析案例

Web日志分析实例：通过nginx代理转发到内网某服务器，内网服务器某站点目录下被上传了多个图片木马，虽然II7下不能解析，但还是想找出谁通过什么路径上传的。

在这里，我们遇到了一个问题：由于设置了代理转发，只记录了代理服务器的ip，并没有记录访问者IP？这时候，如何去识别不同的访问者和攻击源呢？

这是管理员日志配置不当的问题，但好在我们可以通过浏览器指纹来定位不同的访问来源，还原攻击路径。

1、定位攻击源

首先访问图片木马的记录，只找到了一条，由于所有访问日志只记录了代理IP，并不能通过IP来还原攻击路径，这时候，可以利用浏览器指纹来定位。

浏览器指纹：

   Mozilla/4.0+(compatible;+MSIE+7.0;+Windows+NT+6.1;+WOW64;+Trident/7.0;+SLCC2;+.NET+CLR+2.0.50727;+.NET+CLR+3.5.30729;+.NET+CLR+3.0.30729;+.NET4.0C;+.NET4.0E)

2、搜索相关日志记录

通过筛选与该浏览器指纹有关的日志记录，可以清晰地看到攻击者的攻击路径。

3、对找到的访问日志进行解读，攻击者大致的访问路径如下：

   A、攻击者访问首页和登录页   B、攻击者访问MsgSjlb.aspx和MsgSebd.aspx   C、攻击者访问Xzuser.aspx   D、攻击者多次POST（怀疑通过这个页面上传模块缺陷）   E、攻击者访问了图片木马

打开网站，访问Xzuser.aspx，确认攻击者通过该页面的进行文件上传了图片木马，同时，发现网站了存在越权访问漏洞，攻击者访问特定URL，无需登录即可进入后台界面。通过日志分析找到网站的漏洞位置并进行修复。

0x04 日志统计分析技巧

统计爬虫：

   grep-E'Googlebot|Baiduspider'/www/logs/access.2019-02-23.log | awk'{ print$1}'| sort | uniq

统计浏览器：

   cat /www/logs/access.2019-02-23.log| grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' |sort| uniq -c |sort -r -n| head -n 100

IP 统计：

   grep'23/May/2019'/www/logs/access.2019-02-23.log | awk'{print$1}'| awk -F'.''{print$1"."$2"."$3"."$4}'| sort | uniq -c | sort -r -n | head -n10   2206219.136.134.13   1497182.34.15.248   1431211.140.143.100   1431119.145.149.106   142761.183.15.179   1427218.6.8.189   1422124.232.150.171   1421106.187.47.224   142061.160.220.252   1418114.80.201.18

统计网段：

   cat/www/logs/access.2019-02-23.log | awk'{print$1}'| awk -F'.''{print$1"."$2"."$3".0"}'| sort | uniq -c | sort -r -n | head -n200

统计域名：

   cat  /www/logs/access.2019-02-23.log |awk '{print$2}'|sort|uniq -c|sort-rn|more

HTTP 状态：

   cat/www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more   5056585304   1125579200   7602400   5301

URL 统计：

   cat  /www/logs/access.2019-02-23.log |awk '{print$7}'|sort|uniq -c|sort-rn|more

文件流量统计：

   cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more   grep' 200 '/www/logs/access.2019-02-23.log |awk'{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more

URL访问量统计：

   cat/www/logs/access.2019-02-23.log | awk'{print$7}'| egrep'\?|&'| sort | uniq -c | sort -rn | more

脚本运行速度：

查出运行速度最慢的脚本

   grep-v0$ /www/logs/access.2019-02-23.log | awk -F'\" ''{print$4" "$1}'web.log | awk'{print$1" "$8}'| sort -n -k1-r | uniq > /tmp/slow_url.txt

IP, URL 抽取：

   tail-f /www/logs/access.2019-02-23.log | grep'/test.html'| awk'{print$1" "$7}'

我创建了一个免费的小密圈， 诚邀你一起加入分享知识。

让前端开发者失业的技术，Flutter Web初体验

Wed, 22 May 2019 17:26:18 CST

Flutter是一种新型的“客户端”技术。它的最终目标是替代包含几乎所有平台的开发：iOS，Android，Web，桌面；做到了一次编写，多处运行。掌握Flutter web可能是Web前端开发者翻盘的唯一机会。

在前些日子举办的Google IO 2019 年度开发者大会上，Flutter web作为一个很亮眼的技术受到了开发者的追捧。这是继Flutter支持Android、IOS等设备之后，又一个里程碑式的版本，后续还会支持windows、linux、Macos、chroms等其他嵌入式设备。Flutter本身是一个类似于RN、WEEX、hHybrid等多端统一跨平台解决方案，真正做到了一次编写，多处运行，它的发展超出了很多人的想象，值得前端开发者去关注，今天我们来体验一下Flutter Web。

概览

先了解一下Flutter，它是一个由谷歌开发的开源移动应用软件开发工具包，用于为Android和iOS开发应用，同时也将是Google Fuchsia下开发应用的主要工具。自从FLutter 1.5.4版本之后，支持了Web端的开发。它采用Dart语言来进行开发，与JavaScript相比，Dart在 JIT（即时编译）模式下，速度与 JavaScript基本持平。但是当Dart以 AOT模式运行时，Dart性能要高于JavaScript。

Flutter内置了UI界面，与Hybrid App、React Native这些跨平台技术不同，Flutter既没有使用WebView，也没有使用各个平台的原生控件，而是本身实现一个统一接口的渲染引擎来绘制UI，Dart直接编译成了二进制文件，这样做可以保证不同平台UI的一致性。它也可以复用Java、Kotlin、Swift或OC代码，访问Android和iOS上的原生系统功能，比如蓝牙、相机、WiFi等等。我们公司的Now直播、企鹅辅导等项目、阿里的闲鱼等商业化项目已经大量在使用。

架构

Flutter的顶层是用drat编写的框架，包含Material（Android风格UI）和Cupertino（iOS风格）的UI界面，下面是通用的Widgets（组件），之后是一些动画、绘制、渲染、手势库等。
框架下面是引擎，主要用C / C ++编写，引擎包含三个核心库，Skia是Flutter的2D渲染引擎，它是Google的一个2D图形处理函数库，包含字型、坐标转换，以及点阵图，都有高效能且简洁的表现。Skia是跨平台的，并提供了非常友好的API。第二是Dart 运行时环境以及第三文本渲染布局引擎。
最底层的嵌入层，它所关心的是如何将图片组合到屏幕上，渲染变成像素。这一层的功能是用来解决跨平台的。

了解了FLutter 之后，我来说一下今天的重头戏，Flutter for Web。要想知道Flutter为什么能在web上运行，得先来看看它的架构。

通过对比，可以发现，web框架层和mobile的几乎一模一样。因此只需要重新实现一下引擎和嵌入层，不用变动Flutter API就可以完全可以将UI代码从Android / IOS Flutter App移植到Web。Dart能够使用Dart2Js编译器把Dart代码编译成Js代码。大多数原生App元素能够通过DOM实现，DOM实现不了的元素可以通过Canvas来实现。

安装

Flutter Web开发环境搭建，以我的windows环境为例进行讲解，其他环境类似，安装环境比较繁琐，需要耐心，有Android开发经验最好。

1、在 Windows平台开发的话，官方的环境要求是Windows 7 SP1或更高版本（64位）。

2、 Java环境，安装Java 1.8 + 版本之上，并配置环境变量，因为android开发依赖Java环境。

对于Java程序开发而言，主要会使用JDK的两个命令：javac.exe、java.exe。路径：C:Javajdk1.8.0_181bin。但是这些命令由于不属于windows自己的命令，所以要想使用，就需要进行路径配置。单击“计算机-属性-高级系统设置”，单击“环境变量”。在“系统变量”栏下单击“新建”，创建新的系统环境变量（或用户变量，等效）。

(1)新建->变量名"JAVA_HOME"，变量值"C:Javajdk1.8.0_181"（即JDK的安装路径）
(2)编辑->变量名"Path"，在原变量值的最后面加上“;%JAVA_HOME%bin;%JAVA_HOME%jrebin”
(3)新建->变量名“CLASSPATH”,变量值“.;%JAVA_HOME%lib;%JAVA_HOME%libdt.jar;%JAVA_HOME%libtools.jar”

3、 Android Studio编辑器，安装Android Studio, 3.0或更高版本。我们需要用它来导入Android license和管理Android SDK以及Android虚拟机。（默认安装即可）

安装完成之后设置代理，左上角的File-》setting-》搜索proxy，设置公司代理，用来加速下载Android SDK。

之后点击右上角方盒按钮（SDK Manager），用来选择安装SDK版本，最好选Android 9版本，API28，会有一个很长时间的下载过程。SDK是开发必须的代码库。默认情况下，Flutter使用的Android SDK版本是基于你的 adb （Android Debug Bridge，管理连接手机，已打包在SDK）工具版本。如果您想让Flutter使用不同版本的Android SDK，则必须将该 ANDROID_HOME 环境变量设置为SDK安装目录。

右上角有个小手机类型的按钮（AVD Manager），用来设置Android模拟器，创建一个虚拟机。如果你有一台安卓手机，也可以连接USB接口，替代虚拟机。这个过程是调试必须的。安装完成之后，在 AVD (Android Virtual Device Manager) 中，点击工具栏的 Run。模拟器启动并显示所选操作系统版本或设备的启动画面。代表了正确安装。

4、安装Flutter SDK

下载Flutter SDK有多种方法，看看哪种更适合自己：
Flutter官网下载最新Beta版本的进行安装： https://flutter.dev/docs/deve...
也可Flutter github项目中去下载，地址为： https://github.com/flutter/fl...
版本越新越好，不要低于1.5.4。

将安装包zip解压到你想安装Flutter SDK的路径（如：C:srcflutter；注意，不要将flutter安装到需要一些高权限的路径如C:Program Files）。记住，之后往环境变量的path中添加；C:srcflutterbin，以便于你能在命令行中使用flutter。

使用镜像
由于在国内安装Flutter相关的依赖可能会受到限制，Flutter官方为中国开发者搭建了临时镜像，大家可以将如下环境变量加入到用户环境变量中：
PUB_HOSTED_URL：https://pub.flutter-io.cn
FLUTTER_STORAGE_BASE_URL： https://storage.flutter-io.cn

5、安装Dart与Pub。安装webdev、stagehand

Pub是Dart的包管理工具，类似npm，捆绑安装。
Dart安装版地址： http://www.gekorm.com/dart-wi...
默认安装即可，安装之后记住Dart的路径，并且配置到环境变量path中，以便于可以在命令行中使用dart与pub，默认的路径是：C:Program FilesDartdart-sdkbin
先安装stagehand，stagehand是创建项目必须的工具。查看一下 C:\Users\chunpengliu\AppData\Roaming\Pub\Cache\bin目录下是否包含stagehand和webdev，如果有，添加到环境变量的path里面，如果没有，按下面方法安装：

  pub global activate stagehand

webdev是一个类似于Koa的web服务器，执行以下命令安装

  pub global activate webdev
# or
flutter packages pub global activate webdev

6、配置编辑器安装Flutter和Dart插件

Flutter插件是用来支持Flutter开发工作流 (运行、调试、热重载等)。
Dart插件提供代码分析 (输入代码时进行验证、代码补全等)。Android Studio的设置在File-》setting-》plugins-》搜索Flutter和Dart，安装之后重启。

VS code的设置在extension-》搜索Flutter和Dart，安装之后重启。

7、运行 flutter doctor

打开一个新的命令提示符或PowerShell窗口并运行以下命令以查看是否需要安装任何依赖项来完成安装：

  flutter doctor

这是一个漫长的过程，flutter会检测你的环境，并安装所有的依赖，直至：No issues found！，如果有缺失，会就会再那一项前面打x。你需要一一解决。

一切就绪！

创建应用

1、启动 VS Code

调用 View>Command Palette…（快捷键ctrl+shift+p）
输入 ‘flutter’, 然后选择 ‘Flutter: New web Project’

输入 Project 名称 (如flutterweb), 然后按回车键
指定放置项目的位置，然后按蓝色的确定按钮
等待项目创建继续，并显示main.dart文件。到此，一个Demo创建完成。

我们看到了熟悉的HTML文件以及项目入口文件main.dart。
web目录下的index.html是项目的入口文件。main.dart初始化文件，图片相关资源放在此目录。
lib目录下的main.dart，是主程序代码所在的地方。
每个pub包或者Flutter项目都包含一个pubspec.yaml。它包含与此项目相关的依赖项和元数据。
analysis_options.yaml是配置项目的lint规则。
/dart_tool 是项目打包运行编译生成的文件，页面主程序main.dart.js就在其中。

2、调试Demo，打开命令行，进入到项目根目录，执行：

  webdev flutterweb

编译、打包完成之后，自动启动（或者按F5）默认浏览器，看一下转换后的HTML页面结构：

lib/main.dart是主程序，源码非常简单，整个页面用widgets堆叠而成，区别于传统的html和css。

  import 'package:flutter_web/material.dart';

void main() => runApp(MyApp());

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'Flutter Demo',
      theme: ThemeData(
        primarySwatch: Colors.blue,
      ),
      home: MyHomePage(title: 'Flutter Demo Home Page'),
    );
  }
}

class MyHomePage extends StatelessWidget {
  MyHomePage({Key key, this.title}) : super(key: key);

  final String title;

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text(title),
      ),
      body: Center(
        child: Column(
          mainAxisAlignment: MainAxisAlignment.center,
          children: <Widget>[
            Text(
              'Hello, World!',
            ),
          ],
        ),
      ), 
    );
  }
}

区别与flutter App应用，我们导入的是flutter_web/material.dart库而非flutter/material.dart，这是因为目前App的接口并非和Web的完全通用，不过随着谷歌开发的继续，它们最终会被合并到一块。
打开pubspec.yaml（类似于package.json）,可以看到只有两个依赖包flutter_web和flutter_web_ui，这两个都已在github上开源。dev的依赖页非常少，两个编译相关的包，和一个静态文件分析包。

  name: flutterweb
description: An app built using Flutter for web
environment:
  # You must be using Flutter >=1.5.0 or Dart >=2.3.0
  sdk: '>=2.3.0-dev.0.1 <3.0.0'
dependencies:
  flutter_web: any
  flutter_web_ui: any
dev_dependencies:
  build_runner: ^1.4.0
  build_web_compilers: ^2.0.0
  pedantic: ^1.0.0
dependency_overrides:
  flutter_web:
    git:
      url: https://github.com/flutter/flutter_web
      path: packages/flutter_web
  flutter_web_ui:
    git:
      url: https://github.com/flutter/flutter_web
      path: packages/flutter_web_ui

实战

接下来，我们创建一个具有图文功能的下载，根据实例来学习flutter，我们将实现下图的页面。它是一个上下两栏的布局，下栏又分为左右两栏。

第一步：更改主应用内容，打开lib/main.dart文件，替换class MyApp，首先是根组件MyApp，它是一个类组件继承自无状态组件，是项目的主题配置，在home属性中调用了Home组件：

  class MyApp extends StatelessWidget {
  // 应用的根组件
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      title: '腾讯新闻客户端下载页', //meta 里的titile
      debugShowCheckedModeBanner: false, // 关闭调试bar
      theme: ThemeData(
        primarySwatch: Colors.blue, // 页面主题 Material风格
      ),
      home: Home(), // 启动首页
    );
  }
}

第二步，在Home类中，是我们要渲染的页面顶导，运用了AppBar组件，它包括了一个居中的页面标题和居右的搜索按钮。文本可以像css一样设置外观样式。

  class Home extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return Scaffold(
      backgroundColor: Colors.white,
      appBar: AppBar(
        backgroundColor: Colors.white,
        elevation: 0.0,
        centerTitle: true,
        title: Text( // 中心文本
          "下载页",
          style:
              TextStyle(color: Colors.black, fontSize: 16.0, fontWeight: FontWeight.w500),
        ),
// 搜索图标及特性
        actions: <Widget>[ 
          Padding(
            padding: const EdgeInsets.symmetric(horizontal: 20.0),
            child: Icon(
              Icons.search,
              color: Colors.black,
            ),
          )
        ],
      ),
//调用body渲染类，此处可以添加多个方法调用
      body: Stack(
        children: [
            Body() 
        ],
      ),
    );
  }
}

第三步，创建页面主体内容，一张图加多个文本，使用了文本组件和图片组件，页面结构采用了flex布局，由于两个Expanded的Flex值均为1，因此将在两个组件之间平均分配空间。SizedBox组件相当于一个空盒子，用来设置margin的距离

  class Body extends StatelessWidget {
  const Body({Key key}) : super(key: key);

  @override
  Widget build(BuildContext context) {
    return Row(
      crossAxisAlignment: CrossAxisAlignment.stretch,
      mainAxisAlignment: MainAxisAlignment.spaceBetween,
      children: <Widget>[
        Expanded( // 左侧
          flex: 1,
          child: Image.asset(// 图片组件
            "background-image.jpg", // 这是一张在web/asserts/下的背景图
            fit: BoxFit.contain,
          ),
        ),
        const SizedBox(width: 90.0),
        Expanded( // 右侧
          flex:1,
          child: Column(
            mainAxisAlignment: MainAxisAlignment.center,
            crossAxisAlignment: CrossAxisAlignment.start,
            children: <Widget>[
              Text( // 文本组件
                "腾讯新闻",
                style: TextStyle(
                    color: Colors.black, fontWeight: FontWeight.w600, fontSize: 50.0, fontFamily: 'Merriweather'),
              ),
              const SizedBox(height: 14.0),// SizedBox用来增加间距
              Text(
                "腾讯新闻是腾讯公司为用户打造的一款全天候、全方位、及时报道的新闻产品，为用户提供高效优质的资讯、视频和直播服务。资讯超新超全，内容独家优质，话题评论互动。",
                style: TextStyle(
                    color: Colors.black, fontWeight: FontWeight.w400, fontSize: 24.0, fontFamily: "Microsoft Yahei"),
                textAlign: TextAlign.justify,
              ),
              const SizedBox(height: 20.0), 
              FlatButton(
                onPressed: () {}, // 下载按钮的响应事件
                color: Color(0xFFCFE8E4),
                shape: RoundedRectangleBorder(
                  borderRadius: BorderRadius.circular(16.0),
                ),
                child: Padding(
                  padding: const EdgeInsets.all(12.0),
                  child: Text("点击下载", style: TextStyle(fontFamily: "Open Sans")),
                ),
              ),
            ],
          ),
        ),
        const SizedBox(width: 100.0),
      ],
    );
  }
}

到此，页面创建结束，保存，运行webdev serve，就可以看到效果了。

总结

FLutter web是Flutter 的一个分支，在开发完App之后，UI层面的FLutter代码在不修改的情况下可以直接编译为Web版，基本可以做到代码100%复用，体验还不错。目前Flutter web作为预览版无论从性能上、易用上还是布局上都超出了预期，触摸体验挺好，虽然体验比APP差一些，但是比传统的web要好很多。试想一下 Flutter 开发iOS 和Android的App 还免费赠送一份Web版，并且比传统的web开发出来的体验还好。Write once ，Run anywhere。何乐而不为？

我觉得随着谷歌的持续优化，等到正式版发布之后，开发体验越来越好，Flutter开发者会吃掉H5很大一部分份额。Flutter 可能会给目前客户端的开发模式带来一些变革以及分工的变化， Flutter目前的开发体验不是很好，但是潜力很大，值得前端人员去学习。

但是目前还是有一部分问题，Flutter web是为客户端开发（尤其是安卓）人员开发准备的，对于前端理解来说学习成本有点高。目前FLutter web和 flutter 还是两个项目，编译环境也是分开的，需要在代码里面修改Flutter相关库的引用为Flutter_web，组件还不能达到完全通用，这个谷歌承诺正在解决中，谷歌的最终目标是Web、移动App、桌面端win mac linux、以及嵌入式版的Flutter代码库之间保持100%的代码可移植性。

个人感觉，开发体验还不太好，还有很多坑要去踩，版本变更很快。还有社区资源稀少的问题，需要一定长期的积累。兼容性问题，代码转换后大量使用了web components，除了chrome之外，兼容性还是有些问题。

安利时间

我们在web开发过程中，都见过或者使用过一些奇技淫巧，这种技术我们统称为黑魔法，这些黑魔法散落在各个角落，为了方便大家查阅和学习，我们做了收集、整理和归类，并在github上做了一个项目—— awesome-blackmargic，希望各位爱钻研的开发者能够喜欢，也希望大家可以把自己的独门绝技分享出来，如果有兴趣可以给我们发pr。

如果你对Flutter感兴趣，想进一步了解Flutter，加入我们的QQ群（784383520）吧！

活动 Web 页面人机识别验证的探索与实践

Tue, 09 Apr 2019 00:38:55 CST

标签： 人机识别

在电商行业，线上的营销活动特别多。在移动互联网时代，一般为了活动的快速上线和内容的即时更新，大部分的业务场景仍然通过 Web 页面来承载。但由于 Web 页面天生“环境透明”，相较于移动客户端页面在安全性上存在更大的挑战。本文主要以移动端 Web 页面为基础来讲述如何提升页面安全性。

活动 Web 页面的安全挑战

对于营销活动类的 Web 页面，领券、领红包、抽奖等活动方式很常见。此类活动对于普通用户来说大多数时候就是“拼手气”，而对于非正常用户来说，可以通过直接刷活动 API 接口的“作弊”方式来提升“手气”。这样的话，对普通用户来说，就变得很不公平。

对于活动运营的主办方来说，如果风控措施做的不好，这类刷接口的“拼手气”方式可能会对企业造成较大的损失。如本来计划按 7 天发放的红包，在上线 1 天就被刷光了，活动的营销成本就会被意外提升。主办方想发放给用户的满减券、红包，却大部分被黄牛使用自动脚本刷走，而真正想参与活动的用，却无法享受活动优惠。

终端用户到底是人还是机器，网络请求是否为真实用户发起，是否存在安全漏洞并且已被“羊毛党”恶意利用等等，这些都是运营主办方要担心的问题。

安全防范的基本流程

为了提升活动 Web 页面的安全性，通常会引入专业的风控服务。引入风控服务后，安全防护的流程大致如图所示。

Web 前端：用户通过 Web 页面来参与活动，同时 Web 前端也会收集用于人机识别验证的用户交互行为数据。由于不同终端（移动端 H5 页面和 PC 端页面）交互形式不同，收集用户交互行为数据的侧重点也会有所不同。
风控服务：一般大公司都会有专业的风控团队来提供风控服务，在美团内部有智能反爬系统来基于地理位置、IP地址等大数据来提供频次限制、黑白名单限制等常规的基础风控拦截服务。甚至还有依托于海量的全业务场景的用户大数据，使用贝叶斯模型、神经网络等来构建专业度较深的服务。风控服务可以为 Web 前端提供通用的独立验证 SDK：验证码、滑块验证等区分人机的“图灵验证”，也可以为服务端提供 Web API 接口的验证等。
后端业务服务：负责处理活动业务逻辑，如给用户发券、发红包，处理用户抽奖等。请求需要经过风控服务的验证，确保其安全性，然后再来处理实际业务逻辑，通常，在处理完实际业务逻辑时，还会有针对业务本身的风控防范。

对于活动 Web 页面来说，加入的风控服务主要为了做人机识别验证。在人机识别验证的专业领域上，我们可以先看看业界巨头 Google 是怎么做的。

Google 如何处理人机验证

Google 使用的人机验证服务是著名的 reCAPTCHA（Completely Automated Public Turing Test To Tell Computers and Humans Apart，区分人机的全自动图灵测试系统），也是应用最广的验证码系统。早年的 reCAPTCHA 验证码是这样的：

如今的 reCAPTCHA 已经不再需要人工输入难以识别的字符，它会检测用户的终端环境，追踪用户的鼠标轨迹，只需用户点击“我不是机器人”就能进行人机验证（reCAPTCHA骗用户进行数据标注而进行AI训练的验证另说）。

reCAPTCHA 的验证方式从早先的输入字符到现在的轻点按钮，在用户体验上，有了较大的提升。

而在活动场景中引入人机识别验证，如果只是简单粗暴地增加验证码，或者只是像 reCAPTCHA 那样增加点击“我不是机器人”的验证，都会牺牲用户体验，降低用户参加活动的积极性。

Google 的普通 Web 页面的浏览和有强交互的活动 Web 页面虽是不同的业务场景，但对于活动 Web 页面来说，强交互恰好为人机识别验证提供了用户交互行为数据收集的契机。

人机识别验证的技术挑战

理想的方案是在用户无感知的情况下做人机识别验证，这样既确保了安全又对用户体验无损伤。

从实际的业务场景出发再结合 Web 本身的环境，如果想实现理想的方案，可能会面临如下的技术挑战：

（1）需要根据用户的使用场景来定制人机识别验证的算法：Web 前端负责收集、上报用户交互行为数据，风控服务端校验上报的数据是否符合正常的用户行为逻辑。
（2）确保 Web 前端和风控服务端之间通信和数据传输的安全性。
（3）确保上述两大挑战中提到的逻辑和算法不会被代码反编译来破解。

在上述的三个挑战中，（1）已经实现了人机识别验证的功能，而（2）和（3）都是为了确保人机识别验证不被破解而做的安全防范。接下来，本文会分别针对这三个技术挑战来说明如何设计技术方案。

挑战一：根据用户使用场景来定制人机识别验证算法

先来分析一下用户的使用场景，正常用户参与活动的步骤是用户进入活动页面后，会有短暂的停留，然后点击按钮参与活动。这里所说的“参与活动”，最终都会在活动页面发起一个接口的请求。如果是非正常用户，可以直接跳过以上的实际动作而去直接请求参与活动的接口。

那么区别于正常用户和非正常用户就是那些被跳过的动作，对实际动作进一步归纳如下：

进入页面。
短暂的停留。
滚动页面。
点击按钮。

以上的动作又可以分为必需的操作和可选的操作。对这一连串动作产生的日志数据进行收集，在请求参与活动的接口时，将这些数据提交至后端，验证其合法性。这就是一个简单的人机识别验证。

在验证动作的合法性时，需要考虑到这些动作数据是不是能被轻易模拟。另外，动作的发生应该有一条时间线，可以给每个动作都增加一个时间戳，比如点击按钮肯定是在进入页面之后发生的。

一些特定的动作的日志数据也会有合理的区间，进入页面的动作如果以 JS 资源加载的时间为基准，那么加载时间可能大于 100 毫秒，小于 5 秒。而对于移动端的按钮点击，点击时记录的坐标值也会有对应的合理区间，这些合理的区间会根据实际的环境和情况来进行设置。

除此之外，设备环境的数据也可以进行收集，包括用户参与活动时使用的终端类型、浏览器的类型、浏览器是否为客户端的容器等，如果使用了客户端，客户端是否会携带特殊的标识等。

最后，还可以收集一些“无效”的数据，这些数据用于障人耳目，验证算法会将其忽略。尽管收集数据的动作是透明的，但是验证数据合法性不是透明的，攻击者无法知道，验证的算法中怎么区分哪些是有效、哪些是无效。这已经有点“蜜罐数据”的意思了。

挑战二：确保通信的安全性

收集的敏感数据要发送给风控服务端，进而确保通信过程的安全。

Web API 接口不能被中途拦截和篡改，通信协议使用 HTTPS 是最基本的要求；同时还要让服务端生成唯一的 Token，在通信过程中都要携带该 Token。
接口携带的敏感数据不能是明文的，敏感数据要进行加密，这样攻击者无法通过网络抓包来详细了解敏感数据的内容。

Token 的设计

Token 是一个简短的字符串，主要为了确保通信的安全。用户进入活动 Web 页面后，请求参与活动的接口之前，会从服务端获取 Token。该 Token 的生成算法要确保 Token 的唯一性，通过接口或 Cookie 传递给前端，然后，前端在真正请求参与活动的接口时需要带上该 Token，风控服务端需要验证 Token 的合法性。也就是说，Token 由服务端生成，传给前端，前端再原封不动的回传给服务端。一旦加入了 Token 的步骤，攻击者就不能直接去请求参与活动的接口了。

Token 由风控服务端基于用户的身份，根据一定的算法来生成，无法伪造，为了提升安全等级，Token 需要具有时效性，比如 10 分钟。可以使用 Redis 这类缓存服务来存储 Token，使用用户身份标识和 Token 建立 KV 映射表，并设置过期时间为 10 分钟。

虽然前端在 Cookie 中可以获取到 Token，但是前端不能对 Token 做持久化的缓存。一旦在 Cookie 中获取到了 Token，那么前端可以立即从 Cookie 中删除该 Token，这样能尽量确保 Token 的安全性和时效性。Token 存储在 Redis 中，也不会因为用户在参与活动时频繁的切换页面请求，而对服务造成太大的压力。

另外，Token 还可以有更多的用处：

标识参与活动用户的有效性。
敏感数据对称加密时生成动态密钥。
API 接口的数字签名。

敏感数据加密

通信时，传递的敏感数据可以使用常见的对称加密算法进行加密。

为了提升加密的安全等级，加密时的密钥可以动态生成，前端和风控服务端约定好动态密钥的生成规则即可。加密的算法和密钥也要确保不被暴露。

通过对敏感数据加密，攻击者在不了解敏感数据内容的前提下就更别提模拟构造请求内容了。

挑战三：化解纸老虎的尴尬

有经验的 Web 开发者看到这里，可能已经开始质疑了：在透明的前端环境中折腾安全不是白折腾吗？这就好比费了很大的劲却只是造了一个“纸老虎”，质疑是有道理的，但是且慢，通过一些安全机制的加强是可以让“纸老虎”尽可能的逼真。

本文一再提及的 Web 环境的透明性，是因为在实际的生产环境中的问题：前端的代码在压缩后，通过使用浏览器自带的格式化工具和断点工具，仍然具备一定的可读性，花点时间仍然可以理解代码的逻辑，这就给攻击者提供了大好的代码反编译机会。

如果要化解“纸老虎”的尴尬，就要对前端的代码进行混淆。

前端代码混淆

前端的 JS 代码压缩工具基本都是对变量、函数名称等进行缩短，压缩对于混淆的作用是比较弱。除了对代码进行压缩，还需要进行专门的混淆。

对代码进行混淆可以降低可读性，混淆工具有条件的话最好自研，开源的工具要慎用。或者基于 Uglify.js 来自定义混淆的规则，混淆程度越高可读性就越低。

代码混淆也需要把握一个度，太复杂的混淆可能会让代码无法运行，也有可能会影响本身的执行效率。同时还需要兼顾混淆后的代码体积，混淆前后的体积不能有太大的差距，合理的混淆程度很重要。

断点工具的防范会更麻烦些。在使用断点工具时通常都会导致代码延迟执行，而正常的业务逻辑都会立即执行，这是一个可以利用的点，可以考虑在代码执行间隔上来防范断点工具。

通过代码混淆和对代码进行特殊的处理，可以让格式化工具和断点工具变得没有用武之地。唯一有些小遗憾，就是处理后的代码也不能正常使用 Source Map 的功能了。

有了代码混淆，反编译的成本会非常高，这样“纸老虎”已经变得很逼真了。

技术方案设计

在讲解完如何解决关键的技术挑战后，就可以把相应的方案串起来，然后设计成一套可以实施的技术方案了。相对理想的技术方案架构图如下：

下面会按步骤来讲解技术方案的处理流程：

Step 0 基础风控拦截

基础风控拦截是上面提到的频次、名单等的拦截限制，在 Nginx 层就能直接实施拦截。如果发现是恶意请求，直接将请求过滤返回 403，这是初步的拦截，用户在请求 Web 页面的时候就开始起作用了。

Step 1 风控服务端生成 Token 后传给前端

Step 0 可能还没进入到活动 Web 页面，进入活动 Web 页面后才真正开始人机识别验证的流程，前端会先开始获取 Token。

Step 2 前端生成敏感数据

敏感数据应包含用户交互行为数据、设备环境数据、活动业务逻辑数据以及无效数据。

Step 3 使用 HTTPS 的签名接口发送数据

Token 可以作为 Authorization 的值添加到 Header 中，数据接口的签名可以有效防止 CSRF 的攻击。

Step 4 数据接口的校验

风控服务端收到请求后，会先验证数据接口签名中的 Token 是否有效。验证完 Token，才会对敏感数据进行解密。数据解密成功，再进一步对人机识别的数据合法性进行校验。

Step 5 业务逻辑的处理

前面的步骤为了做人机识别验证，这些验证不涉及到业务逻辑。在所有这些验证都通过后，后端业务服务才会开始处理实际的活动业务逻辑。处理完活动业务逻辑，最终才会返回用户参与活动的结果。

总结

为了提升活动 Web 页面的安全性，使用了各种各样的技术方案，我们将这些技术方案组合起来才能发挥安全防范的作用，如果其中某个环节处理不当，都可能会被当作漏洞来利用，从而导致整个验证方案被攻破。

为了验证技术方案的有效性，可以持续观察活动 API 接口的请求成功率。从请求成功率的数据中进一步分析“误伤”和“拦截”的数据，以进一步确定是否要对方案进行调优。

通过上述的人机识别验证的组合方案，可以大幅提升活动 Web 页面的安全性。在活动 Web 页面应作为一个标准化的安全防范流程，除了美团，像淘宝和天猫也有类似的流程。由于活动运营的环节和方法多且复杂，仅仅提升了 Web 页面也不敢保证就是铁板一块，安全需要关注的环节还很多，安全攻防是一项长期的“拉锯升级战”，安全防范措施也需要持续地优化升级。

参考资料

本文最初发表于美团技术博客： https://tech.meituan.com/2019/03/07/humans-and-bots-apart-for-activity-web-security.html

您可能还对下面的文章感兴趣：

很抱歉，暂时没有......

基于Web页面验证码机制漏洞的检测

Sat, 16 Mar 2019 09:00:01 CST

*声明：本篇文章仅供渗透测试参考，严禁用于非法用途。

在当今互联网上，每个用户或多或少都在部分网站上注册过一些帐号，当这些帐号涉及到金钱或者利益的时候，帐号的安全就是一个非常值得重视的问题，因此帐号的安全是各个厂商所非常关注的一个点。但是依然会存在一些厂商在身份验证这一块上存在着漏洞，并不是厂商不注重这个问题，只是在代码层的验证过程中的逻辑出现了一些差异，往往这些逻辑漏洞利用起来比较容易。

一、不可靠的前端校验

在现实环境中，会有许多的网站他们没有严格进行身份校验，他们往往是通过依靠帐号密码发送后回传的状态码来判断用户身份是否正确，这就暴露出了很大的漏洞，这种漏洞利用起来就相当的容易，往往只需要一个安全界的神器BURP就可以完成身份验证的绕过，在登录的时候输入正确的账户以及随意的密码，将报文拦截下来，然后选择burp里面的拦截返回包的功能，捕捉返回的状态码。

将返回包中的状态码修改为正常登录的状态码，当然这里的状态码不一定都是0和1这种，各种状态码都有可能存在，那么我们怎么样判断正确的状态码是什么呢？

这里我们就需要自己手动注册一个用户，然后进行正常登录，并且抓取返回的状态码，当你发现发回的报文中，仅仅只存在状态码，并没有其他set-cookie或者tocken等信息的时候，那么这个登录界面就有极大的可能性存在这种漏洞。这是比较致命的一种漏洞，那么你可能就会有其他的问题了，即使他存在了这种漏洞，但是我们不太可能拥有其他大量的帐号，这个漏洞的危害不就没什么用了码？这就是我接下来要说的问题。

二、遍历手机号

现在大多数的网站都存在着手机号注册的这一个功能，一般来说同一个手机号只能注册一个帐号，所以手机号也是能作为帐号，这就是能利用的一个点，当手机号能成为帐号的时候，那么之前所存在的疑问就解决了一半，既然知道手机是可以用来登录的帐号，那么如何来获得这些手机号呢？这个问题其实是一个非常好的问题，对于手机号来说，一共有11位数，要想胡乱的猜测一个手机号是否在这个平台上注册过，一次性猜中的概率是微乎其微，但是有的网站的忘记密码这一功能就存在利用的方法（不过这种漏洞厂商大多数是忽略的），但是我认为他的危害性还是有的。在我们忘记密码的时候输入手机号码，发送手机验证码的时候，部分网站都会先查询这个手机号是否在这个网站上注册过，要是没有则会提示号码不存在，存在则发送短信。那么可以使用这一个逻辑来进行用户手机号遍历。顺带提一下手机号码可以使用手机号码字典生成器来生成，然后用来遍历。

如图所示，用户不存在则是另外的信息。我们只需根据length长度来辨别，也可以自己写py脚本来遍历保存注册用户。这一个点可以获取到大量的用户手机号。

三、可爆破的手机验证码

前面介绍了前端校验绕过的方法以及用户手机号获取的方式，接下来来讲解一下手机验证码的问题。我放一张思维导图来供大家参考

手机验证码存在的位置可能有三个点：登录、注册、密码找回这三个点。其中注册这个点的危害相对较小，除非找到一个可以批量注册帐号的点。

那么危害较大的就剩下登录和密码找回了，实际这两个点的原理是一样的，只不过利用的环境有所不同。

目前登录时候使用手机验证码登录的网站数量不是占很大的百分比，本文就以找回密码这块来说明。

我们在测试之前首先要进行判断的时候他的手机短信验证码的长度、时效以及页面是否存在有比较难的图片验证码，也就是难以用python的库直接识别的图片验证码（识别率低于50%）。这是我们首先要注意的，其次提交一次表单，抓包来看看，是否存在有前端加密，或者sign等。我以手机验证码长度为4位和6位来分类。

第一类：4位手机验证码

当我们发现手机验证码长度为4位的时候，时效为5分钟左右，并且没有什么复杂前端加密或者sign和复杂的图片验证码的时候，那么恭喜你，你可能找到了一个可以爆破出验证码的点，这种漏洞虽然是爆破，但是他利用所花费的时间确实非常低的，通常可以在很短的时间内重置或者登录一个手机号。这对厂商来说就是一个高危漏洞，相信他会给你不错的报酬。

上面的这种属于较为简单的漏洞，笔者在前段时间测试的时候发现了带有sign标记的4位验证码，这种的爆破的难度就有所提升了，他的sign是根据当前的时间戳以及手机号验证码等信息进行加密后生成的，要想去破解这个加密算法，是不太现实的。于是笔者就使用了一种骚思路，可能各位安全界的大佬们也用过，那就是python的selenium库来模拟浏览器自动化点击测试，但是这个就需要自己去根据网站的实际情况以及窗口位置来编写脚本。关于selenium的提供一个学习链接。

第二类：6位手机验证码

通常来说6位的验证码，30分钟的时效是一个挺安全的设计，因为在30分钟内想跑完100W条数据的难度还是挺大，并且网站通常会根据发包速率来进行限制，一旦你的发包速率突破设定，你将会被403，也就是你的IP会被封禁一段时间，有这些设置的验证码是安全的，但是如果说时效在1小时甚至更长，并且不限制IP的发包速率了话，那么利用也是可以利用的，只不过利用的成本过高，所以基本不考虑。因此在导图中写到基本不不去考虑。

四、现实环境下的漏洞案例思路以及分析

接下来给大家带来一个真实的漏洞案例，也是我本人所挖掘到的一个高危漏洞

在登陆界面，由于图片验证码长期有效，所以猜测可以爆破。

通过两次提交发现图片验证码在一定时间内是不会发生变化的，尽管已经经过了一次校验。因为查看js发现验证码是由手机验证码经过sha256后从第六位开始取4位收到的验证码，测试时候输入的验证码为1602

证明了这个加密算法，于是利用脚本生成了0000-9999的加密后的字典用来爆破。在爆破过程中发现，验证码的时效1分钟左右，并不足以完成爆破。于是就换了另外一种思路，既然通过爆破是没有办法完成验证码的限制，则想到了程序员在编写代码的时候他会不会犯一种错误，猜想他是否会将过期后的验证码重置为一串特定的字符。既然有了这种猜想，那么就肯定需要来进行一波验证，首先根据他的加密算法发现他的是sha256，也就是每一位验证码数据只会在0-f之间生成，于是生成了一个0000-ffff的字典，来进行了一波爆破，就如猜想的一样，爆破出一个意外的数值，当然并不是在第一次爆破过程中发现的，第一次可能是一个意外，于是我便借用了别人的手机进行了几次尝试后，发现这个数值是固定的，那么这个漏洞就证明成立的了。

这样就挖掘出了一个任意登录帐号的漏洞，刚好这个网站又存在如之前所说的手机号遍历的问题，于是结合这两个点所产生的结果就是可以登录任意用户。

当然关于挖掘到这方面的漏洞不止一个，但是碍于厂商修复尚未完成不宜公开其他漏洞

分析：对于这个漏洞点的发现其实是因为当时测试时候的突发奇想，本身这个漏洞前端sha256加密截取4位这个算法不认真找都不容易发现，单单是这一个点就能拦住许多想爆破的人，验证码本身是为0000-9999的纯数字，很难联想到是从sha256中截取的字符串，但是当你绕过这个问题的时候，验证码的时效性就又成为了你的下一个问题，笔者在挖掘出这个特殊字符串的时候也是有点吃惊的，毕竟这个想法是我在挖掘的时候的突发奇想，也就是脑子一热冒出来的想法。所以当你在挖掘的时候被一个点困住的时候，不要死磕，可以发散一下思维说不定就能想到设计者在设计的时候所可能犯下的错误，4299这个数字在爆破出来后我对原先加密算法的字典里进行了一波搜索，发现并不存在4299这个数值的，可能设计者当初在设计的时候认为4299并2不属于任何0000-9999加密后的数值，以为这么设计不会产生问题。其实漏洞挖掘本身就是一个三分实力七分运气的事，本着常心肯定会挖掘出的。所以提升自己的能力、改善自己的心态将会成为你挖掘漏洞的时候的一大利器。

为什么 web 开发人员需要迁移到. NET Core, 并使用 ASP.NET Core MVC 构建 web 和 webservice/API - 张善友 - 博客园

Fri, 08 Mar 2019 15:46:36 CST

2018 .NET开发者调查报告: .NET Core 是怎么样的状态，这里我们看到了还有非常多的.net开发人员还在观望，本文给大家一个建议。这仅代表我的个人意见, 我有充分的理由推荐.net 程序员使用 . net core而不是 . net Framework。有些人可能不同意我的观点, 但是分享想法和讨论它是好的。.net 程序员或他们所在的团队总有各种理由说他们的系统还在使用旧系统, 这显然是企业开发人员的事情。所以, 我将列出一些关于谁应该迁移到使用. net core而不是. net 框架。以下是我的想法:

如果您是旧式Windows 服务、web 应用程序或 web 服务的维护者, 则您需要继续使用. NET 框架。
如果您的应用程序将部署在旧的 Windows 服务器上，比如windows 2003/xp, 您需要继续使用. NET 框架。
如果您确信您的系统近期不会部署到云中, 那么您现在就可以继续使用. NET 框架。
如果您对使用. net 框架没有任何选择，比如来自公司的要求, 您需要继续使用. net 框架，这种情况对你的发展是不利的，我劝你学习.net core, 换家更有追求的公司。

初学者, 只学习. NET Core!

如果你是一个初学者开始学习 ASP.NET 或 ASP.NET MVC, 你可能并不知道什么是. net Framework和. net ore。不用担心!我建议您看下官方文档 https://docs.microsoft.com/zh-cn/aspnet/index, 您可以轻松地看到比较和差异。下面是我可以分享的一些. net framework和. net core的部分, 您可以点击每个链接以获取开发的工具。

	.NET Framework	.NET Core
Technology	First Release 2002 (Mature)	First Release 2016 (Mature)
Latest Version	4.7.2 ( Reference Source)	2.0.6 ( Open Source Software) SDK Version 2.1.3
SDK	WindowsOnly (Version 7, 8, 10)	Windows(Version 7, 8, 10), Linux(redhat, Ubuntu >14.04, Fedora, Debian, CentOS 7, openSUSE 24, Oracle Linux 7, SLES 12), Mac
ASP.NET Performance	57,843 Request/Seconds (Plain Text)	1,822,366 Request/Seconds (Plain Text) Here is some real world news as reference: ASP.NET Core – 2300% More Requests Served Per Second.
Best IDE/Editor	Visual Studio 2017 Community(latest, FREE)	Visual Studio 2017 Community(latest, FREE), Visual Studio Codefor Windows, Linux and Mac (FREE), Visual Studio for Mac Community(FREE)
Web Framework	Web Form, ASP, MVC ( Weband Web API)	MVC Core ( Web, Razor Page, Web API)
Entity Framework (ORM)	Entity Framework 6.2 (latest) (Microsoft SQL Server, Oracle, MySQL (Official), PostgreSL, SQLite, IBM Data Server (DB2))	Entity Framework Core 2.0.1 (latest) (InMemory (for Testing), Microsoft SQL Server, SQLite, PostgreSQL (Npgsql), IBM Data Server (DB2), MySQL (Official), MySQL (Pomelo), Microsoft SQL Server Compact Edition, Devart (MySQL, Oracle, PostgreSQL, SQLite, DB2, and more), Oracle (not yet available), MyCat, Firebird-Community)
Frontend	Plain MVC, Angular (mostly using MVC)	Plain MVC, Angular, React, and Redux

只需要5分钟入门使用. NET Core

如果您在移动笔记本上看这篇文章, 请下载并安装当前操作系统 (Windows、Linux、Mac) 的 . NET Core SDK。您不需要安装 Visual Studio 2017 就可以使用命令行开发. NET Core应用。你完成安装 SDK 后, 打开 Shell或 PowerShell(在 Windows 中)、终端(在 Linux 或 Mac 中), 输入以下命令:

dotnet new console -o myApp cd myApp dotnet run

恭喜您, 你已经使用. NET Core 创建了第一个控制台应用程序。现在, 您可以通过将此应用程序发布到所需的任何平台来部署。在 Mac 机上,

dotnet publish --runtime osx-x64

或者安卓,

dotnet publish --runtime Android

下面是 runtime identifier catalog的完整列表。那么, 这个命令实际上做了什么:

dotnet new console -o myApp

当我们运行这个命令时, 它实际上是在文件夹中创建一个 控制台应用程序项目 myApp。如果您查看文件夹 myApp, 则应该看到以下文件

myApp.csproj Program.cs

文件本身只是一个简单的Hello world。 Program.cs

using System;

namespace myApp
{
     class Program
     {
         static void Main(string[] args)
         {
             Console.WriteLine("Hello World!");
         }
     }
}

如果执行此命令,

dotnet new --list

它将从框中列出可用模板。这是你可能会看到的,

如果用mvc替换console时, 它将创建一个使用 ASP.NET core MVC的 web 应用程序项目。

迁移到 ASP.NET Core 意味着迁移到现代 Web 应用程序

我可以转移到 ASP.NET Core吗？简单的回答当然是否, 您不能仅仅是使用 Visual Studio 2017 打开旧的 ASP.NET Web Form或 mvc 5就可以完成转换到 ASP.NET Core mvc。你可以参考以下老代码迁移策略：

如果你的的 web 应用程序使用 web form, 则不能直接将其转换或迁移到 ASP.NET Core。因为 Web form和 MVC 有着完全不同的体系结构模型。MVC 使用模型、视图和控制器的分离。也没有 webform 控件组件 (如 web 窗体)。ASP.NETCore MVC 使用纯 HTML5 元素。当然您可以使用 TagHelpers来创建自定义 HTML 属性, 这些特性将转换为普通 HTML5。
如果你的 web 应用程序使用的是 ASP.NET MVC 5, 则你可以首先创建一个新的 ASP.NET Core MVC 项目， 复制粘贴某些代码到 ASP.NET Core。这将需要一些调整, 特别是在RazorPage。
如果你的 web 应用程序只是一个 web api , 则你可以首先创建一个新的 ASP.NET Core Web API项目，不是简单复制一些代码。这里需要做些调整, 因为 ASP.NET Core web api 使用的是 web api 2。
使用 HTML5! HTML5 仅用于现代 web 应用程序标准。使用来自 W3C(万维网 联合体) 标准的 HTML5。而不仅仅是来自 Microsoft Edge、 Chrome、 Firefox等的标准。因为每个浏览器都有自己的功能, 称为平台标准, 而某些浏览器平台功能不成为 W3C 标准。如果只使用 chrome 功能标准, 则 web 可能只会被 chrome 绑定, 并且无法在其他浏览器上打开。并非所有浏览器都支持其他浏览器功能。
响应式布局，响应式布局，响应式布局! 重要的事情要说三遍。我们时常听到开发者说, " 不, 我们不需要响应式布局, 这只是桌面浏览器, 我们只是让它静态布局"。如果你的网站to c的, 你必须做响应式布局, 因为现在移动时代，更多的用户将使用他们的ios/android上面的移动浏览器查看。
不要在开发项目中直接使用 CSS。使用 SASS或者 LESS.。您可以使用 ASP.NET Core轻松完成此项任务。您甚至可以添加Gulp、Grunt或者webpack来编译 CSS。

如果您的代码遵循 S.O.L.I.D Principle原则进行正确的开发, 我相信, 迁移工作应该是很容易的, 而不是太多的调整。但是, 如果您的代码是意大利面条，则需要进行重构，.NET Core默认就使用依赖关系注入。这是ASP.NET常见最佳实践，当然是现在做更好, 而不是不做。好处也很多, 你可以学到一些新的东西, 您的新 web 应用程序将具有更好的性能, 更加现代化和可维护性。

对老板说:迁移到. NET Core

我知道你的老板会回答什么, 是的, 那恐怖语句 " 兼容吗？"

我的建议是说: " 是的, 它是兼容的! 他们都是. NET。但我们需要一些调整, 一些需要小的编码更改，以符合编程的最佳实践"

我们需要迁移到.NET Core的精神是, 如果不是现在, 那么何时？现在马上就有发布.NET Core 2.1, 一切都改变了。技术发生了变化 ( 现代 Web 应用程序、移动、增强现实等)、基础结构已更改 ( 云、AI)、开发体系结构也已更改 ( 容器、无服务器) 等。

咱们这行业不尊重传统，只尊重创新. --- 微软CEO Satya Nadella

没那么容易

答案是肯定的。但是, 并不意味着不可能。它需要勇气和知识。 愿. NET 力量与您同在!

常见六大Web 安全攻防解析

Thu, 31 Jan 2019 09:06:34 CST

前言

在互联网时代，数据安全与个人隐私受到了前所未有的挑战，各种新奇的攻击技术层出不穷。如何才能更好地保护我们的数据？本文主要侧重于分析几种常见的攻击的类型以及防御的方法。

想阅读更多优质原创文章请猛戳 GitHub博客

一、XSS

XSS (Cross-Site Scripting)，跨站脚本攻击，因为缩写和 CSS重叠，所以只能叫 XSS。跨站脚本攻击是指通过存在安全漏洞的Web网站注册用户的浏览器内运行非法的HTML标签或JavaScript进行的一种攻击。

跨站脚本攻击有可能造成以下影响:

利用虚假输入表单骗取用户个人信息。
利用脚本窃取用户的Cookie值，被害者在不知情的情况下，帮助攻击者发送恶意请求。
显示伪造的文章或图片。

XSS 的原理是恶意攻击者往 Web 页面里插入恶意可执行网页脚本代码，当用户浏览该页之时，嵌入其中 Web 里面的脚本代码会被执行，从而可以达到攻击者盗取用户信息或其他侵犯用户安全隐私的目的。

XSS 的攻击方式千变万化，但还是可以大致细分为几种类型。

1.非持久型 XSS（反射型 XSS ）

非持久型 XSS 漏洞，一般是通过给别人发送 带有恶意脚本代码参数的 URL，当 URL 地址被打开时，特有的恶意代码参数被 HTML 解析、执行。

举一个例子，比如页面中包含有以下代码：

  <select>
    <script>
        document.write(''
            + '<option value=1>'
            +     location.href.substring(location.href.indexOf('default=') + 8)
            + '</option>'
        );
        document.write('<option value=2>English</option>');
    </script>
</select>

攻击者可以直接通过 URL (类似： https://xxx.com/xxx?default=<script>alert(document.cookie)</script>) 注入可执行的脚本代码。不过一些浏览器如Chrome其内置了一些XSS过滤器，可以防止大部分反射型XSS攻击。

非持久型 XSS 漏洞攻击有以下几点特征：

即时性，不经过服务器存储，直接通过 HTTP 的 GET 和 POST 请求就能完成一次攻击，拿到用户隐私数据。
攻击者需要诱骗点击,必须要通过用户点击链接才能发起
反馈率低，所以较难发现和响应修复
盗取用户敏感保密信息

为了防止出现非持久型 XSS 漏洞，需要确保这么几件事情：

Web 页面渲染的所有内容或者渲染的数据都必须来自于服务端。
尽量不要从 URL， document.referrer， document.forms 等这种 DOM API 中获取数据直接渲染。
尽量不要使用 eval, new Function()， document.write()， document.writeln()， window.setInterval()， window.setTimeout()， innerHTML， document.createElement() 等可执行字符串的方法。
如果做不到以上几点，也必须对涉及 DOM 渲染的方法传入的字符串参数做 escape 转义。
前端渲染的时候对任何的字段都需要做 escape 转义编码。

2.持久型 XSS（存储型 XSS）

持久型 XSS 漏洞，一般存在于 Form 表单提交等交互功能，如文章留言，提交文本信息等，黑客利用的 XSS 漏洞，将内容经正常功能提交进入数据库持久保存，当前端页面获得后端从数据库中读出的注入代码时，恰好将其渲染执行。

举个例子，对于评论功能来说，就得防范持久型 XSS 攻击，因为我可以在评论中输入以下内容

主要注入页面方式和非持久型 XSS 漏洞类似，只不过持久型的不是来源于 URL，referer，forms 等，而是来源于 后端从数据库中读出来的数据 。持久型 XSS 攻击不需要诱骗点击，黑客只需要在提交表单的地方完成注入即可，但是这种 XSS 攻击的成本相对还是很高。

攻击成功需要同时满足以下几个条件：

POST 请求提交表单后端没做转义直接入库。
后端从数据库中取出数据没做转义直接输出给前端。
前端拿到后端数据没做转义直接渲染成 DOM。

持久型 XSS 有以下几个特点：

持久性，植入在数据库中
盗取用户敏感私密信息
危害面广

3.如何防御

对于 XSS 攻击来说，通常有两种方式可以用来防御。

1) CSP

CSP 本质上就是建立白名单，开发者明确告诉浏览器哪些外部资源可以加载和执行。我们只需要配置规则，如何拦截是由浏览器自己实现的。我们可以通过这种方式来尽量减少 XSS 攻击。

通常可以通过两种方式来开启 CSP：

设置 HTTP Header 中的 Content-Security-Policy
设置 meta 标签的方式 <meta http-equiv="Content-Security-Policy">

这里以设置 HTTP Header 来举例：

只允许加载本站资源

  Content-Security-Policy: default-src 'self'

只允许加载 HTTPS 协议图片

  Content-Security-Policy: img-src https://*

允许加载任何来源框架

  Content-Security-Policy: child-src 'none'

如需了解更多属性，请查看 Content-Security-Policy文档

对于这种方式来说，只要开发者配置了正确的规则，那么即使网站存在漏洞，攻击者也不能执行它的攻击代码，并且 CSP 的兼容性也不错。

2) 转义字符

用户的输入永远不可信任的，最普遍的做法就是转义输入输出的内容，对于引号、尖括号、斜杠进行转义

  function escape(str) {
  str = str.replace(/&/g, '&amp;')
  str = str.replace(/</g, '&lt;')
  str = str.replace(/>/g, '&gt;')
  str = str.replace(/"/g, '&quto;')
  str = str.replace(/'/g, '&#39;')
  str = str.replace(/`/g, '&#96;')
  str = str.replace(/\//g, '&#x2F;')
  return str
}

但是对于显示富文本来说，显然不能通过上面的办法来转义所有字符，因为这样会把需要的格式也过滤掉。对于这种情况，通常采用白名单过滤的办法，当然也可以通过黑名单过滤，但是考虑到需要过滤的标签和标签属性实在太多，更加推荐使用白名单的方式。

  const xss = require('xss')
let html = xss('<h1 id="title">XSS Demo</h1><script>alert("xss");</script>')
// -> <h1>XSS Demo</h1>&lt;script&gt;alert("xss");&lt;/script&gt;
console.log(html)

以上示例使用了 js-xss 来实现，可以看到在输出中保留了 h1 标签且过滤了 script 标签。

3) HttpOnly Cookie。

这是预防XSS攻击窃取用户cookie最有效的防御手段。Web应用程序在设置cookie时，将其属性设为HttpOnly，就可以避免该网页的cookie被客户端恶意JavaScript窃取，保护用户cookie信息。

二、CSRF

CSRF(Cross Site Request Forgery)，即跨站请求伪造，是一种常见的Web攻击，它利用用户已登录的身份，在用户毫不知情的情况下，以用户的名义完成非法操作。

1.CSRF攻击的原理

下面先介绍一下CSRF攻击的原理：

完成 CSRF 攻击必须要有三个条件：

用户已经登录了站点 A，并在本地记录了 cookie
在用户没有登出站点 A 的情况下（也就是 cookie 生效的情况下），访问了恶意攻击者提供的引诱危险站点 B (B 站点要求访问站点A)。
站点 A 没有做任何 CSRF 防御

我们来看一个例子：当我们登入转账页面后，突然眼前一亮 惊现"XXX隐私照片，不看后悔一辈子"的链接，耐不住内心躁动，立马点击了该危险的网站（页面代码如下图所示），但当这页面一加载，便会执行 submitForm这个方法来提交转账请求，从而将10块转给黑客。

2.如何防御

防范 CSRF 攻击可以遵循以下几种规则：

Get 请求不对数据进行修改
不让第三方网站访问到用户 Cookie
阻止第三方网站请求接口
请求时附带验证信息，比如验证码或者 Token

1) SameSite

可以对 Cookie 设置 SameSite 属性。该属性表示 Cookie 不随着跨域请求发送，可以很大程度减少 CSRF 的攻击，但是该属性目前并不是所有浏览器都兼容。

2) Referer Check

HTTP Referer是header的一部分，当浏览器向web服务器发送请求时，一般会带上Referer信息告诉服务器是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。可以通过检查请求的来源来防御CSRF攻击。正常请求的referer具有一定规律，如在提交表单的referer必定是在该页面发起的请求。所以 通过检查http包头referer的值是不是这个页面，来判断是不是CSRF攻击。

但在某些情况下如从https跳转到http，浏览器处于安全考虑，不会发送referer，服务器就无法进行check了。若与该网站同域的其他网站有XSS漏洞，那么攻击者可以在其他网站注入恶意脚本，受害者进入了此类同域的网址，也会遭受攻击。出于以上原因，无法完全依赖Referer Check作为防御CSRF的主要手段。但是可以通过Referer Check来监控CSRF攻击的发生。

3) Anti CSRF Token

目前比较完善的解决方案是加入Anti-CSRF-Token。即发送请求时在HTTP 请求中以参数的形式加入一个随机产生的token，并在服务器建立一个拦截器来验证这个token。服务器读取浏览器当前域cookie中这个token值，会进行校验该请求当中的token和cookie当中的token值是否都存在且相等，才认为这是合法的请求。否则认为这次请求是违法的，拒绝该次服务。

这种方法相比Referer检查要安全很多，token可以在用户登陆后产生并放于session或cookie中，然后在每次请求时服务器把token从session或cookie中拿出，与本次请求中的token 进行比对。由于token的存在，攻击者无法再构造出一个完整的URL实施CSRF攻击。但在处理多个页面共存问题时，当某个页面消耗掉token后，其他页面的表单保存的还是被消耗掉的那个token，其他页面的表单提交时会出现token错误。

4) 验证码

应用程序和用户进行交互过程中，特别是账户交易这种核心步骤，强制用户输入验证码，才能完成最终请求。在通常情况下，验证码够很好地遏制CSRF攻击。 但增加验证码降低了用户的体验，网站不能给所有的操作都加上验证码。所以只能将验证码作为一种辅助手段，在关键业务点设置验证码。

三、点击劫持

点击劫持是一种视觉欺骗的攻击手段。攻击者将需要攻击的网站通过 iframe 嵌套的方式嵌入自己的网页中，并将 iframe 设置为透明，在页面中透出一个按钮诱导用户点击。

1. 特点

隐蔽性较高，骗取用户操作
"UI-覆盖攻击"
利用iframe或者其它标签的属性

2. 点击劫持的原理

用户在登陆 A 网站的系统后，被攻击者诱惑打开第三方网站，而第三方网站通过 iframe 引入了 A 网站的页面内容，用户在第三方网站中点击某个按钮（被装饰的按钮），实际上是点击了 A 网站的按钮。
接下来我们举个例子：我在优酷发布了很多视频，想让更多的人关注它，就可以通过点击劫持来实现

  iframe {
width: 1440px;
height: 900px;
position: absolute;
top: -0px;
left: -0px;
z-index: 2;
-moz-opacity: 0;
opacity: 0;
filter: alpha(opacity=0);
}
button {
position: absolute;
top: 270px;
left: 1150px;
z-index: 1;
width: 90px;
height:40px;
}
</style>
......
<button>点击脱衣</button>
<img src="http://pic1.win4000.com/wallpaper/2018-03-19/5aaf2bf0122d2.jpg">
<iframe src="http://i.youku.com/u/UMjA0NTg4Njcy" scrolling="no"></iframe>

从上图可知，攻击者通过图片作为页面背景，隐藏了用户操作的真实界面，当你按耐不住好奇点击按钮以后，真正的点击的其实是隐藏的那个页面的订阅按钮，然后就会在你不知情的情况下订阅了。

3. 如何防御

1）X-FRAME-OPTIONS

X-FRAME-OPTIONS是一个 HTTP 响应头，在现代浏览器有一个很好的支持。这个 HTTP 响应头就是为了防御用 iframe 嵌套的点击劫持攻击。

该响应头有三个值可选，分别是

DENY，表示页面不允许通过 iframe 的方式展示
SAMEORIGIN，表示页面可以在相同域名下通过 iframe 的方式展示
ALLOW-FROM，表示页面可以在指定来源的 iframe 中展示

2）JavaScript 防御

对于某些远古浏览器来说，并不能支持上面的这种方式，那我们只有通过 JS 的方式来防御点击劫持了。

  <head>
  <style id="click-jack">
    html {
      display: none !important;
    }
  </style>
</head>
<body>
  <script>
    if (self == top) {
      var style = document.getElementById('click-jack')
      document.body.removeChild(style)
    } else {
      top.location = self.location
    }
  </script>
</body>

以上代码的作用就是当通过 iframe 的方式加载页面时，攻击者的网页直接不显示所有内容了。

四、URL跳转漏洞

定义：借助未验证的URL跳转，将应用程序引导到不安全的第三方区域，从而导致的安全问题。

1.URL跳转漏洞原理

黑客利用URL跳转漏洞来诱导安全意识低的用户点击，导致用户信息泄露或者资金的流失。其原理是黑客构建恶意链接(链接需要进行伪装,尽可能迷惑),发在QQ群或者是浏览量多的贴吧/论坛中。
安全意识低的用户点击后,经过服务器或者浏览器解析后，跳到恶意的网站中。

恶意链接需要进行伪装,经常的做法是熟悉的链接后面加上一个恶意的网址，这样才迷惑用户。

诸如伪装成像如下的网址，你是否能够识别出来是恶意网址呢？

  http://gate.baidu.com/index?act=go&url=http://t.cn/RVTatrd
http://qt.qq.com/safecheck.html?flag=1&url=http://t.cn/RVTatrd
http://tieba.baidu.com/f/user/passport?jumpUrl=http://t.cn/RVTatrd

2.实现方式：

Header头跳转
Javascript跳转
META标签跳转

这里我们举个Header头跳转实现方式：

  <?php
$url=$_GET['jumpto'];
header("Location: $url");
?>

  http://www.wooyun.org/login.php?jumpto=http://www.evil.com

这里用户会认为 www.wooyun.org都是可信的，但是点击上述链接将导致用户最终访问 www.evil.com这个恶意网址。

3.如何防御

1)referer的限制

如果确定传递URL参数进入的来源，我们可以通过该方式实现安全限制，保证该URL的有效性，避免恶意用户自己生成跳转链接

2)加入有效性验证Token

我们保证所有生成的链接都是来自于我们可信域的，通过在生成的链接里加入用户不可控的Token对生成的链接进行校验，可以避免用户生成自己的恶意链接从而被利用，但是如果功能本身要求比较开放，可能导致有一定的限制。

五、SQL注入

SQL注入是一种常见的Web安全漏洞，攻击者利用这个漏洞，可以访问或修改数据，或者利用潜在的数据库漏洞进行攻击。

1.SQL注入的原理

我们先举一个万能钥匙的例子来说明其原理：

  <form action="/login" method="POST">
    <p>Username: <input type="text" name="username" /></p>
    <p>Password: <input type="password" name="password" /></p>
    <p><input type="submit" value="登陆" /></p>
</form>

后端的 SQL 语句可能是如下这样的：

  let querySQL = `
    SELECT *
    FROM user
    WHERE username='${username}'
    AND psw='${password}'
`;
// 接下来就是执行 sql 语句...

这是我们经常见到的登录页面，但如果有一个恶意攻击者输入的用户名是 admin' --，密码随意输入，就可以直接登入系统了。why! ----这就是SQL注入

我们之前预想的SQL 语句是:

  SELECT * FROM user WHERE username='admin' AND psw='password'

但是恶意攻击者用奇怪用户名将你的 SQL 语句变成了如下形式：

  SELECT * FROM user WHERE username='admin' --' AND psw='xxxx'

在 SQL 中, ' --是闭合和注释的意思，-- 是注释后面的内容的意思，所以查询语句就变成了：

  SELECT * FROM user WHERE username='admin'

所谓的万能密码,本质上就是SQL注入的一种利用方式。

一次SQL注入的过程包括以下几个过程：

获取用户请求参数
拼接到代码当中
SQL语句按照我们构造参数的语义执行成功

**SQL注入的必备条件：
1.可以控制输入的数据
2.服务器要执行的代码拼接了控制的数据**。

我们会发现SQL注入流程中与正常请求服务器类似，只是黑客控制了数据，构造了SQL查询，而正常的请求不会SQL查询这一步， SQL注入的本质:数据和代码未分离，即数据当做了代码来执行。

2.危害

获取数据库信息
- 管理员后台用户名和密码
- 获取其他数据库敏感信息：用户名、密码、手机号码、身份证、银行卡信息……
- 整个数据库：脱裤
获取服务器权限
植入Webshell，获取服务器后门
读取服务器敏感文件

3.如何防御

严格限制Web应用的数据库的操作权限，给此用户提供仅仅能够满足其工作的最低权限，从而最大限度的减少注入攻击对数据库的危害
后端代码检查输入的数据是否符合预期，严格限制变量的类型，例如使用正则表达式进行一些匹配处理。
对进入数据库的特殊字符（'，"，，<，>，&，*，; 等）进行转义处理，或编码转换。基本上所有的后端语言都有对字符串进行转义处理的方法，比如 lodash 的 lodash._escapehtmlchar 库。
所有的查询语句建议使用数据库提供的参数化查询接口，参数化的语句使用参数而不是将用户输入变量嵌入到 SQL 语句中，即不要直接拼接 SQL 语句。例如 Node.js 中的 mysqljs 库的 query 方法中的 ? 占位参数。

六、OS命令注入攻击

OS命令注入和SQL注入差不多，只不过SQL注入是针对数据库的，而OS命令注入是针对操作系统的。OS命令注入攻击指通过Web应用，执行非法的操作系统命令达到攻击的目的。只要在能调用Shell函数的地方就有存在被攻击的风险。倘若调用Shell时存在疏漏，就可以执行插入的非法命令。

命令注入攻击可以向Shell发送命令，让Windows或Linux操作系统的命令行启动程序。也就是说，通过命令注入攻击可执行操作系统上安装着的各种程序。

1.原理

黑客构造命令提交给web应用程序，web应用程序提取黑客构造的命令，拼接到被执行的命令中，因黑客注入的命令打破了原有命令结构，导致web应用执行了额外的命令，最后web应用程序将执行的结果输出到响应页面中。

我们通过一个例子来说明其原理，假如需要实现一个需求：用户提交一些内容到服务器，然后在服务器执行一些系统命令去返回一个结果给用户

  // 以 Node.js 为例，假如在接口中需要从 github 下载用户指定的 repo
const exec = require('mz/child_process').exec;
let params = {/* 用户输入的参数 */};
exec(`git clone ${params.repo} /some/path`);

如果 params.repo 传入的是 https://github.com/admin/admin.github.io.git 确实能从指定的 git repo 上下载到想要的代码。
但是如果 params.repo 传入的是 https://github.com/xx/xx.git && rm -rf /* && 恰好你的服务是用 root 权限起的就糟糕了。

2.如何防御

后端对前端提交内容进行规则限制（比如正则表达式）。
在调用系统命令前对所有传入参数进行命令行参数转义过滤。
不要直接拼接命令语句，借助一些工具做拼接、转义预处理，例如 Node.js 的 shell-escape npm包

给大家推荐一个好用的BUG监控工具 Fundebug，欢迎免费试用！

参考资料

深入了解Json Web Token之概念篇

Fri, 17 Aug 2018 08:00:18 CST

以下，可能你能够在各大网站上搜到，但是对于JWE 的内容，却鲜有见闻。下文是我读了json web token handle book后，用自己的理解写下的，如有疑问，欢迎评论。主要参考文本 JWT Hand Book，部分文字翻译自该手册。

0×00 什么是 JWT

一个JWT，应该是如下形式的：

  eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.
eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiYWRtaW4iOnRydWV9.
TJVA95OrM7E2cBab30RMHrHDcEfxjoYZgeFONFh7HgQ

这些东西看上很凌乱，但是非常紧凑，并且是 可打印的主要用于验证签名的真实性。

JWT 解决什么问题？

JWT的主要目的是在服务端和客户端之间以安全的方式来转移声明。主要的应用场景如下所示：

1.认证 Authentication；

2.授权 Authorization // 注意这两个单词的区别；

3.联合识别；

4.客户端会话（无状态的会话）；

5.客户端机密。

JWT 的一些名词解释

1.JWS：Signed JWT签名过的jwt

2.JWE：Encrypted JWT部分payload经过加密的jwt；

目前加密payload的操作不是很普及；

3.JWK：JWT的密钥，也就是我们常说的scret；

4.JWKset：JWT key set在非对称加密中，需要的是密钥对而非单独的密钥，在后文中会阐释；

5.JWA：当前JWT所用到的密码学算法；

6.nonsecure JWT：当头部的签名算法被设定为none的时候，该JWT是不安全的；因为签名的部分空缺，所有人都可以修改。

0×01 JWT的组成

一个通常你看到的jwt，由以下三部分组成，它们分别是：

1.header：主要声明了JWT的签名算法；

2.payload：主要承载了各种声明并传递明文数据；

3.signture：拥有该部分的JWT被称为JWS，也就是签了名的JWS；没有该部分的JWT被称为nonsecure JWT 也就是不安全的JWT，此时header中声明的签名算法为none。

三个部分用·分割。形如 xxxxx.yyyyy.zzzzz的样式。

JWT header

  {
  "typ": "JWT",
  "alg": "none",
  "jti": "4f1g23a12aa"
}

jwt header 的组成

头通常由两部分组成：令牌的类型，即JWT，以及正在使用的散列算法，例如HMAC SHA256或RSA。

当然，还有两个可选的部分，一个是jti，也就是JWT ID，代表了正在使用JWT的编号，这个编号在对应服务端应当唯一。当然，jti也可以放在payload中。

另一个是cty，也就是content type。这个比较少见，当payload为任意数据的时候，这个头无需设置，但是当内容也带有jwt的时候。也就是嵌套JWT的时候，这个值必须设定为jwt。这种情况比较少见。

jwt header 的加密算法

加密的方式如下：

  base64UrlEncode(header)
>> eyJ0eXAiOiJKV1QiLCJhbGciOiJub25lIiwianRpIjoiNGYxZzIzYTEyYWEifQ

JWT payload

  {
  "iss": "http://shaobaobaoer.cn",
  "aud": "http://shaobaobaoer.cn/webtest/jwt_auth/",
  "jti": "4f1g23a12aa",
  "iat": 1534070547,
  "nbf": 1534070607,
  "exp": 1534074147,
  "uid": 1,
  "data": {
    "uname": "shaobao",
    "uEmail": "shaobaobaoer@126.com",
    "uID": "0xA0",
    "uGroup": "guest"
  }
}

jwt payload的组成

payload通常由三个部分组成，分别是 Registered Claims ; Public Claims ; Private Claims ;每个声明，都有各自的字段。

Registered Claims

iss 【issuer】发布者的url地址

sub 【subject】该JWT所面向的用户，用于处理特定应用，不是常用的字段

aud 【audience】接受者的url地址

exp 【expiration】该jwt销毁的时间；unix时间戳

nbf 【not before】该jwt的使用时间不能早于该时间；unix时间戳

iat 【issued at】该jwt的发布时间；unix 时间戳

jti 【JWT ID】该jwt的唯一ID编号

Public Claims这些可以由使用JWT的那些标准化组织根据需要定义，应当参考文档 IANA JSON Web Token Registry。

Private Claims这些是为在同意使用它们的各方之间共享信息而创建的自定义声明，既不是注册声明也不是公开声明。上面的payload中，没有public claims只有private claims。

jwt payload 的加密算法

加密的方式如下：

  base64UrlEncode(payload)
>> eyJpc3MiOiJodHRwOi8vc2hhb2Jhb2Jhb2VyLmNuIiwiYXVkIjoiaHR0cDovL3NoYW9iYW9iYW9lci5jbi93ZWJ0ZXN0L2p3dF9hdXRoLyIsImp0aSI6IjRmMWcyM2ExMmFhIiwiaWF0IjoxNTM0MDcwNTQ3LCJuYmYiOjE1MzQwNzA2MDcsImV4cCI6MTUzNDA3NDE0NywidWlkIjoxLCJkYXRhIjp7InVuYW1lIjoic2hhb2JhbyIsInVFbWFpbCI6InNoYW9iYW9iYW9lckAxMjYuY29tIiwidUlEIjoiMHhBMCIsInVHcm91cCI6Imd1ZXN0In19

暴露的信息

所以，在JWT中，不应该在载荷里面加入任何敏感的数据。在上面的例子中，我们传输的是用户的User ID，邮箱等。这个值实际上不是什么敏感内容，一般情况下被知道也是安全的。但是像密码这样的内容就不能被放在JWT中了。如果将用户的密码放在了JWT中，那么怀有恶意的第三方通过Base64解码就能很快地知道你的密码了。

当然，这也是有解决方案的，那就是加密payload。在之后会说到。

0×02 JWS 的概念

JWS 的结构

JWS ，也就是JWT Signature，其结构就是在之前nonsecure JWT的基础上，在头部声明签名算法，并在最后添加上签名。创建签名，是保证jwt不能被他人随意篡改。

为了完成签名，除了用到header信息和payload信息外，还需要算法的密钥，也就是secret。当利用非对称加密方法的时候，这里的secret为私钥。

为了方便后文的展开，我们把JWT的密钥或者密钥对，统一称为JSON Web Key，也就是JWK。

jwt signature 的签名算法

  RSASSA || ECDSA || HMACSHA256(
  base64UrlEncode(header) + "." +
  base64UrlEncode(payload),
  secret)
>> GQPGEpixjPZSZ7CmqXB-KIGNzNl4Y86d3XOaRsfiXmQ
>> # 上面这个是用 HMAC SHA256生成的

到目前为止，jwt的签名算法有三种。

对称加密HMAC【哈希消息验证码】：HS256/HS384/HS512

非对称加密RSASSA【RSA签名算法】（RS256/RS384/RS512）和ECDSA【椭圆曲线数据签名算法】（ES256/ES384/ES512）

最后将签名与之前的两段内容用.连接，就可以得到经过签名的JWT，也就是JWS。

  eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiIsImp0aSI6IjRmMWcyM2ExMmFhIn0.eyJpc3MiOiJodHRwOi8vc2hhb2Jhb2Jhb2VyLmNuIiwiYXVkIjoiaHR0cDovL3NoYW9iYW9iYW9lci5jbi93ZWJ0ZXN0L2p3dF9hdXRoLyIsImp0aSI6IjRmMWcyM2ExMmFhIiwiaWF0IjoxNTM0MDcwNTQ3LCJuYmYiOjE1MzQwNzA2MDcsImV4cCI6MTUzNDA3NDE0NywidWlkIjoxLCJkYXRhIjp7InVuYW1lIjoic2hhb2JhbyIsInVFbWFpbCI6InNoYW9iYW9iYW9lckAxMjYuY29tIiwidUlEIjoiMHhBMCIsInVHcm91cCI6Imd1ZXN0In19.GQPGEpixjPZSZ7CmqXB-KIGNzNl4Y86d3XOaRsfiXmQ

当验证签名的时候，利用公钥或者密钥来解密Sign，和 base64UrlEncode(header) + “.” + base64UrlEncode(payload) 的内容完全一样的时候，表示验证通过。

JWS 的额外头部声明

如果对于CA有些概念的话，这些内容会比较好理解一些。为了确保服务器的密钥对可靠有效，同时也方便第三方CA机构来签署JWT而非本机服务器签署JWT，对于JWS的头部，可以有额外的声明，以下声明是可选的，具体取决于JWS的使用方式。如下所示：

jku: 发送JWK的地址；最好用HTTPS来传输

jwk: 就是之前说的JWK

kid: jwk的ID编号

x5u: 指向一组X509公共证书的URL

x5c: X509证书链

x5t：X509证书的SHA-1指纹

x5t#S256: X509证书的SHA-256指纹

typ: 在原本未加密的JWT的基础上增加了 JOSE 和 JOSE+ JSON。JOSE序列化后文会说及。适用于JOSE标头的对象与此JWT混合的情况。

crit: 字符串数组，包含声明的名称，用作实现定义的扩展，必须由 this->JWT的解析器处理。不常见。

多重验证与JWS序列化

当需要多重签名或者JOSE表头的对象与JWS混合的时候，往往需要用到JWS的序列化。JWS的序列化结构如下所示:

  {
    "payload": "eyJpc3MiOiJqb2UiLA0KICJleHAiOjEzMDA4MTkzODAsDQogImh0dHA6Ly9leGFtcGxlLmNvbS9pc19yb290Ijp0cnVlfQ",
"signatures": 
    [
        {
            "protected": "eyJhbGciOiJSUzI1NiJ9",
            "header": { "kid": "2010-12-29" },
            "signature":"signature1"
        },
        {
            "protected": "eyJhbGciOiJSUzI1NiJ9",
            "header": { "kid": "e9bc097a-ce51-4036-9562-d2ade882db0d" },
            "signature":"signature2"
        },
        ...
    ]
}

结构很容易理解。首先是payload字段，这个不用多讲，之后是signatures字段，这是一个数组，代表着多个签名。每个签名的结构如下：

protected：之前的头部声明，利用b64uri加密；

header：JWS的额外声明，这段内容不会放在签名之中，无需验证；

signature：也就是对当前header+payload的签名。

0×03 JWE 相关概念

JWE是一个很新的概念，总之，除了jwt的官方手册外，很少有网站或者博客会介绍这个东西。也并非所有的库都支持JWE。这里记录一下自己看官方手册后理解下来的东西。

JWS是去验证数据的，而JWE（JSON Web Encryption）是保护数据不被第三方的人看到的。通过JWE，JWT变得更加安全。

JWE和JWS的公钥私钥方案不相同，JWS中，私钥持有者加密令牌，公钥持有者验证令牌。而JWE中，私钥一方应该是唯一可以解密令牌的一方。

在JWE中，公钥持有可以将新的数据放入JWT中，但是JWS中，公钥持有者只能验证数据，不能引入新的数据。因此，对于公钥/私钥的方案而言，JWS和JWE是互补的。

	JWS	JWE
producer	pri_key	pub_key
consumer	pub_key	pri_key

JWE 的构成

一个JWE，应该是如下形式的：

  eyJhbGciOiJSU0ExXzUiLCJlbmMiOiJBMTI4Q0JDLUhTMjU2In0.
UGhIOguC7IuEvf_NPVaXsGMoLOmwvc1GyqlIKOK1nN94nHPoltGRhWhw7Zx0-kFm1NJn8LE9XShH59_
i8J0PH5ZZyNfGy2xGdULU7sHNF6Gp2vPLgNZ__deLKxGHZ7PcHALUzoOegEI-8E66jX2E4zyJKxYxzZIItRzC5hlRirb6Y5Cl_p-ko3YvkkysZIFNPccxRU7qve1WYPxqbb2Yw8kZqa2rMWI5ng8Otv
zlV7elprCbuPhcCdZ6XDP0_F8rkXds2vE4X-ncOIM8hAYHHi29NX0mcKiRaD0-D-ljQTPcFPgwCp6X-nZZd9OHBv-B3oWh2TbqmScqXMR4gp_A.
AxY8DCtDaGlsbGljb3RoZQ.
KDlTtXchhZTGufMYmOYGS4HffxPSUrfmqCHXaI9wOGY.
9hH0vgRfYgPnAHOd8stkvw

如你所见JWE一共有五个部分，分别是：

The protected header，类似于JWS的头部；

The encrypted key，用于加密密文和其他加密数据的对称密钥；

The initialization vector，初始IV值，有些加密方式需要额外的或者随机的数据；

The encrypted data (cipher text)，密文数据；

The authentication tag，由算法产生的附加数据，来防止密文被篡改。

JWE 密钥加密算法

一般来说，JWE需要对密钥进行加密，这就意味着同一个JWT中至少有两种加密算法在起作用。但是并非将密钥拿来就能用，我们需要对密钥进行加密后，利用JWK密钥管理模式来导出这些密钥。JWK的管理模式有以下五种，分别是：

Key Encryption

Key Wrapping

Direct Key Agreement

Key Agreement with Key Wrapping

Direct Encryption

并不是所有的JWA都能够支持这五种密钥管理管理模式，也并非每种密钥管理模式之间都可以相互转换。可以参考 Spomky-Labs/jose中给出的表格至于各个密钥管理模式的细节，还请看JWT的官方手册，解释起来较为复杂。

JWE Header

就好像是JWS的头部一样。JWE的头部也有着自己规定的额外声明字段，如下所示：

type：一般是 jwt

alg：算法名称，和JWS相同，该算法用于加密稍后用于加密内容的实际密钥

enc：算法名称，用上一步生成的密钥加密内容的算法。

zip：加密前压缩数据的算法。该参数可选，如果不存在则不执行压缩，通常的值为 DEF，也就是 deflate算法

jku/jkw/kid/x5u/x5c/x5t/x5t#S256/typ/cty/crit：和JWS额额外声明一样。

JWE 的加密过程

步骤2和步骤3，更具不同的密钥管理模式，应该有不同的处理方式。在此只罗列一些通常情况。

之前谈及，JWE一共有五个部分。现在来详细说一下加密的过程：

1.根据头部alg的声明，生成一定大小的随机数；

2.根据密钥管理模式确定加密密钥；

3.根据密钥管理模式确定JWE加密密钥，得到CEK；

4.计算初始IV，如果不需要，跳过此步骤；

5.如果ZIP头申明了，则压缩明文；

6.使用CEK，IV和附加认证数据，通过enc头声明的算法来加密内容，结果为加密数据和认证标记；

7.压缩内容，返回token。

     base64(header) + '.' +
   base64(encryptedKey) + '.' + // Steps 2 and 3
   base64(initializationVector) + '.' + // Step 4
   base64(ciphertext) + '.' + // Step 6
   base64(authenticationTag) // Step 6

多重验证与JWE序列化

和JWS类似，JWE也定义了紧凑的序列化格式，用来完成多种形式的加密。大致格式如下所示：

  {
    "protected": "eyJlbmMiOiJBMTI4Q0JDLUhTMjU2In0",
    "unprotected": { "jku":"https://server.example.com/keys.jwks" },
    "recipients":[
        {
        "header": { "alg":"RSA1_5","kid":"2011-04-29" },
        "encrypted_key":
        "UGhIOguC7Iu...cqXMR4gp_A"
        },
        {
        "header": { "alg":"A128KW","kid":"7" },
        "encrypted_key": "6KB707dM9YTIgH...9locizkDTHzBC2IlrT1oOQ"
        }
    ],
    "iv": "AxY8DCtDaGlsbGljb3RoZQ",
    "ciphertext": "KDlTtXchhZTGufMYmOYGS4HffxPSUrfmqCHXaI9wOGY",
    "tag": "Mz-VPPyU4RlcuYv1IwIvzw"
}

结构很容易理解，如下所示：

protected：之前的头部声明，利用b64uri加密；

unprotected：一般放JWS的额外声明，这段内容不会被b64加密；

iv：64加密后的iv参数；

add：额外认证数据；

ciphertext：b64加密后的加密数据；

recipients：b64加密后的认证标志-加密链，这是一个数组，每个数组中包含了两个信息；

header：主要是声明当前密钥的算法；

encrypted_key：JWE加密密钥。

0×04 JWT 的工作原理

这里通过juice shop来说下jwt是如何工作的。

在身份验证中，当用户使用其凭据成功登录时，将返回JSON Web令牌。如下所示：往此时，返回了jwt的令牌。

每当用户想要访问受保护的路由或资源时，用户将使用承载【bearer】模式发送JWT，通常在Authorization标头中。标题的内容应如下所示：

  Authorization: Bearer <token>

随后，服务器会取出token中的内容，来返回对应的内容。须知，这个token不一定会储存在cookie中，如果存在cookie中的话，需要设置为http-only，防止XSS。另外，还可以放在别的地方，比如localStorage、sessionStorage。如果使用vue的话，还可以存在vuex里面。

另外，如果在如 Authorization: Bearer中发送令牌，则跨域资源共享（CORS）将不会成为问题，因为它不使用cookie。

此时，去访问认证页面，请求头如下所示，如预期所见，是利用Authorization:Bearer的请求头去访问的。

关于更多的关于JWT认证的内容，可以看八幅漫画理解使用JSON Web Token设计单点登录系统 ——— by John Wu

ECDSA|RSASSA or HMAC ？应该选用哪个？

之前看JWT的时候看到论坛里的一个话题，觉得很有意思，用自己的理解来说一下 https://stackoverflow.com/questions/38588319/understanding-rsa-signing-for-jwt。

首先，我们必须明确一点，无论用的是 HMAC，RSASSA，ECDSA；密钥，公钥，私钥都不会发送给客户端，仅仅会保留在服务端上。

对称的算法HMAC适用于单点登录，一对一的场景中。速度很快。

但是面对一对多的情况，比如一个APP中的不同服务模块，需要JWT登录的时候，主服务端【APP】拥有一个私钥来完成签名即可，而用户带着JWT在访问不同服务模块【副服务端】的时候，副服务端只要用公钥来验证签名就可以了。从一定程度上也减少了主服务端的压力。

当然，还有一种情况就是不同成员进行开发的时候，大家可以用统一的私钥来完成签名，然后用各自的公钥去完成对JWT的认证，也是一种非常好的开发手段。

因此，构建一个没有多个小型“微服务应用程序”的应用程序，并且开发人员只有一组的，选择HMAC来签名即可。其他情况下，尽量选择RSA。

*本文作者 NinthDevilHunster，转载请注明来自FreeBuf.COM

什么是 JWT -- JSON WEB TOKEN - 简书

Sat, 28 Apr 2018 14:05:21 CST

什么是JWT

Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（ (RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可被加密。

起源

说起JWT，我们应该来谈一谈基于token的认证和传统的session认证的区别。

传统的session认证

我们知道，http协议本身是一种无状态的协议，而这就意味着如果用户向我们的应用提供了用户名和密码来进行用户认证，那么下一次请求时，用户还要再一次进行用户认证才行，因为根据http协议，我们并不能知道是哪个用户发出的请求，所以为了让我们的应用能识别是哪个用户发出的请求，我们只能在服务器存储一份用户登录的信息，这份登录信息会在响应时传递给浏览器，告诉其保存为cookie,以便下次请求时发送给我们的应用，这样我们的应用就能识别请求来自哪个用户了,这就是传统的基于session认证。

但是这种基于session的认证使应用本身很难得到扩展，随着不同客户端用户的增加，独立的服务器已无法承载更多的用户，而这时候基于session认证应用的问题就会暴露出来.

基于session认证所显露的问题

Session: 每个用户经过我们的应用认证之后，我们的应用都要在服务端做一次记录，以方便用户下次请求的鉴别，通常而言session都是保存在内存中，而随着认证用户的增多，服务端的开销会明显增大。

扩展性: 用户认证之后，服务端做认证记录，如果认证的记录被保存在内存中的话，这意味着用户下次请求还必须要请求在这台服务器上,这样才能拿到授权的资源，这样在分布式的应用上，相应的限制了负载均衡器的能力。这也意味着限制了应用的扩展能力。

CSRF: 因为是基于cookie来进行用户识别的, cookie如果被截获，用户就会很容易受到跨站请求伪造的攻击。

基于token的鉴权机制

基于token的鉴权机制类似于http协议也是无状态的，它不需要在服务端去保留用户的认证信息或者会话信息。这就意味着基于token认证机制的应用不需要去考虑用户在哪一台服务器登录了，这就为应用的扩展提供了便利。

流程上是这样的：

用户使用用户名密码来请求服务器
服务器进行验证用户的信息
服务器通过验证发送给用户一个token
客户端存储token，并在每次请求时附送上这个token值
服务端验证token值，并返回数据

这个token必须要在每次请求时传递给服务端，它应该保存在请求头里，另外，服务端要支持 CORS(跨来源资源共享)策略，一般我们在服务端这么做就可以了 Access-Control-Allow-Origin: *。

那么我们现在回到JWT的主题上。

JWT长什么样？

JWT是由三段信息构成的，将这三段信息文本用 .链接一起就构成了Jwt字符串。就像这样:

      eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiYWRtaW4iOnRydWV9.TJVA95OrM7E2cBab30RMHrHDcEfxjoYZgeFONFh7HgQ

JWT的构成

第一部分我们称它为头部（header),第二部分我们称其为载荷（payload, 类似于飞机上承载的物品)，第三部分是签证（signature).

header

jwt的头部承载两部分信息：

声明类型，这里是jwt
声明加密的算法通常直接使用 HMAC SHA256

完整的头部就像下面这样的JSON：

      {
  'typ': 'JWT',
  'alg': 'HS256'
}

然后将头部进行base64加密（该加密是可以对称解密的),构成了第一部分.

      eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9

playload

载荷就是存放有效信息的地方。这个名字像是特指飞机上承载的货品，这些有效信息包含三个部分

标准中注册的声明
公共的声明
私有的声明

标准中注册的声明(建议但不强制使用) ：

iss: jwt签发者
sub: jwt所面向的用户
aud: 接收jwt的一方
exp: jwt的过期时间，这个过期时间必须要大于签发时间
nbf: 定义在什么时间之前，该jwt都是不可用的.
iat: jwt的签发时间
jti: jwt的唯一身份标识，主要用来作为一次性token,从而回避重放攻击。

公共的声明：
公共的声明可以添加任何的信息，一般添加用户的相关信息或其他业务需要的必要信息.但不建议添加敏感信息，因为该部分在客户端可解密.

私有的声明：
私有声明是提供者和消费者所共同定义的声明，一般不建议存放敏感信息，因为base64是对称解密的，意味着该部分信息可以归类为明文信息。

定义一个payload:

      {
  "sub": "1234567890",
  "name": "John Doe",
  "admin": true
}

然后将其进行base64加密，得到Jwt的第二部分。

      eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiYWRtaW4iOnRydWV9

signature

jwt的第三部分是一个签证信息，这个签证信息由三部分组成：

header (base64后的)
payload (base64后的)
secret

这个部分需要base64加密后的header和base64加密后的payload使用 .连接组成的字符串，然后通过header中声明的加密方式进行加盐 secret组合加密，然后就构成了jwt的第三部分。

      // javascript
var encodedString = base64UrlEncode(header) + '.' + base64UrlEncode(payload);

var signature = HMACSHA256(encodedString, 'secret'); // TJVA95OrM7E2cBab30RMHrHDcEfxjoYZgeFONFh7HgQ

将这三部分用 .连接成一个完整的字符串,构成了最终的jwt:

      eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiYWRtaW4iOnRydWV9.TJVA95OrM7E2cBab30RMHrHDcEfxjoYZgeFONFh7HgQ

注意：secret是保存在服务器端的，jwt的签发生成也是在服务器端的，secret就是用来进行jwt的签发和jwt的验证，所以，它就是你服务端的私钥，在任何场景都不应该流露出去。一旦客户端得知这个secret, 那就意味着客户端是可以自我签发jwt了。

如何应用

一般是在请求头里加入 Authorization，并加上 Bearer标注：

      fetch('api/user/1', {
  headers: {
    'Authorization': 'Bearer ' + token
  }
})

服务端会验证token，如果验证通过就会返回相应的资源。整个流程就是这样的:

jwt-diagram

总结

优点

因为json的通用性，所以JWT是可以进行跨语言支持的，像JAVA,JavaScript,NodeJS,PHP等很多语言都可以使用。
因为有了payload部分，所以JWT可以在自身存储一些其他业务逻辑所必要的非敏感信息。
便于传输，jwt的构成非常简单，字节占用很小，所以它是非常便于传输的。
它不需要在服务端保存会话信息, 所以它易于应用的扩展

安全相关

不应该在jwt的payload部分存放敏感信息，因为该部分是客户端可解密的部分。
保护好secret私钥，该私钥非常重要。
如果可以，请使用https协议

Web新标准：指纹和面容识别可取代登录密码

Wed, 11 Apr 2018 02:08:50 CST

FIDO（线上快速身份验证）联盟和 W3C（万维网联盟）现已推出新的 Web 认证标准，新标准将更便利地为每个站点提供独立的加密证书，也就是说，你可以通过无密码的 FIDO 身份验证来访问 PC 浏览器中的任何在线服务，用户们将拥有更安全的登录方式，不再是在账号密码框中输入一串串字符，而是改用生物识别（指纹、刷脸、瞳孔）技术和 USB 令牌来实现网站登录。

新标准被称为 WebAuthn，简而言之就是允许现有的安全设备 API 接入网站验证，比如指纹识别器，相机传感器和 USB 密钥。这不仅给广大用户带来便利，更重要的是，可以有效地避免密码泄露的风险。

现有的 Web 登录模式通常需要用户记住一个账号名和自己设定的密码，而一旦用户信息被泄露，密码也将不再安全，一个网站的密码不安全，往往就意味着，用户手中的多个 Web 密码都不再安全。新标准则无需担心这样的泄密问题，哪怕被入侵者跟踪到用户行为，也无法轻易取得 Web 准入资格。传统的钓鱼攻击变得更加困难，它为有安全意识的用户和企业提供了保护自己的重要途径。

此前谷歌、微软和 Facebook 等主要服务上运用了免密码登录规范，主要是通过 USB 密钥来完成安全登录。现在，通过 WebAuthn，更多的用户将能够体验安全登录。当然，新标准的出现并不是让你很快就放弃你的密码，不过它将逐渐把你的密码习惯转向更依赖于生物识别登录。

Firefox 浏览器最新版本目前已支持 WebAuthn，Google Chrome 和 Microsoft Edge 也会在未来几个月内跟进。苹果的 Safari 暂时还没有消息，但随着苹果全线 iPhone 和 iPad 都拥有 Face ID 或 Touch ID 功能（包括 MacBook Pro），在 Safari 上实现 Face ID 或者 Touch ID 登录网站服务简直不要太顺其自然。

目前从技术上讲，新标准还是处于“推荐”阶段，想要正式批准，各大浏览器的支持将成为重要的一步。苹果有时候在新标准采用方面有点慢半拍，不过 WebAuthn 绝对是值得快速跟进的新变革。

阅读全文

十倍效能提升：Web 基础研发体系的建立

Wed, 21 Mar 2018 00:00:00 CST

1 导读

web 基础研发体系指的是， web 研发中一线工程师所直接操作的技术、工具，以及所属组织架构的总和。在过去提升企业研发效能的讨论中，围绕的主题基本都是——”通过云计算、云存储等方式将底层核心技术封装成基础设施“。而我们在实践中发现，在

互联网渗入到各行各业，业务爆发
企业竞争白热化，对速度和品质要求越来越高
一线工程师队伍越来越庞大，管理成本增高

这样的多重背景下，除了底层核心技术外，一线 web 研发效能的问题也逐渐成为决胜战场的重要因素。

然而在现实中我们看到，因为一线的研发工作可替换性强，所以并没有受到足够的重视，同时也缺少更统一、更有深度的规划和管理。实际上，将一线工程师所直接接触到的应用框架、测试、部署、监控等领域作为一个完整的体系来思考，并打造成一体化的基础设施，能为企业的业务研发带来巨大的效能提升。

在《月相》一章中，我们将介绍Web 基础研发体系有哪些构成部分，并且将深入到关键性的技术和问题中。《潮汐》一章将介绍如何配合这套研发体系，在组织结构上做出一些调整，通过管理手段进一步挖掘团队潜力，打造更高效的组织。

另外，希望这些内容也能为一线工程师提供一些职业规划上的引导。

2 月相

我们将要讨论的研发体系，涵盖了”研发流程“和”系统“两个维度。可以用一张大图来描绘：

可以看到，将这些内容作为一个整体，符合目前互联网公司”核心技术“ + ”web 研发能力“ 的模式，能快速产出应用。其中，”用户“、”权限“、”流程“可以说是绝大部分系统的铁三角，因此我们也划入到了基础研发体系中。

接下来看每个部分。从流程的角度来说，提升效能的关键在于”工具化“和”自动化“，我们就以这两点来切入。

2.1 设计

首先是设计，设计与编码的结合是目前业界想象空间最大，但也是最不成熟的领域。对于自动化的实现，目前的尝试大致可以归纳成两类：

第一类，与设计师约定规则，按规则转化设计稿。这种方式的关键在于，“既要规则简单易于被设计师接受，又要保证视觉上的关系能完整转化成程序中的关系“。我们举个例子来说明”视觉上的关系“和”常见的程序中的关系“: 网页上这样一个场景：

可以很容易地理解为一个 Tab 组件里面嵌着一个按钮，他们是”嵌套关系“，在程序中用 html 可能这样写:

   <Tabs>
  <Tabs.Pane title="tab1">	
	<Button/>
  </Tabs.Pane>
  <Tabs.Pane title="tab2" />
</Tab>

但是在现代的设计工具中，图层信息表示的仅仅是视觉上的前后关系。

这就出现了一种不匹配，设计师可以通过一万种方式来表达同样的视觉效果。因此，要保证正确识别关系，必须和设计师约定只能以某种方式来创建图层。但问题是这种约定本身对设计师来说没有实际意义，对他来说只是约束。除了嵌套关系以外，位置关系也是同样的问题——目前设计工具产出的设计稿只是某一种具体尺寸的视觉效果，而我们实际产品的尺寸会因设备不同而不同的，甚至可以随着浏览器窗口的缩放等功能动态变化：

怎么来表示这种变化对设计师来说也是额外的约束。乐观的是，从技术角度来说，总归是可实施的。

第二类尝试，像游戏一样做专用的设计工具，则从根本上解决了上述问题。

( React Studio)

思路很简单，既然设计师能有多种方式来表达，那么我们从工具角度来约束，是不是就不会有问题了？虽然同样有约束，但是对设计师来说负担要小多了，不需要额外记忆，按照工具的指引使用即可。我们甚至还可以提供一些高级功能防止出现一些人为错误，以此来吸引设计师。这种方式唯一的缺点是有一次性的学习成本。

虽然目前的自动化方案，都还只是从“视觉稿”到“程序静态视图”的自动化，并不包括交互逻辑的自动化，但已经有了巨大的意义。在前端程序员工作的统计中发现，他们有一半以上的时间都是在”调整大小、调整位置、对像素、对色值“，而且越是好的前端，这个时间比例越大。因为写逻辑是可以通过提升自身素质实现量级缩小的，而写样式这个工作本身很难实现量级的时间缩短。

如果在研发体系中，设计稿能自动转化成可用的代码，无疑对传统的 web 页面研发会有巨大的提升。虽然做专用工具看起来应该是最终的方向，但在目前的现实环境中，可能会因为加重设计师的使用负担而被抵制，所以通过在原有设计工具上做约定的方式来过渡可能更合适。在用约定的方案里，怎样让约定即不给设计师造成太大的负担，又能解决上述的规则转化问题，就成了重点。在实践中的解法是，通过工具的高级能力来补偿设计师。这部分细节已在《设计稿自动生成可用页面的展望》中详细描述过，这里不再赘述。

2.2 研发、测试和监控

我们将这三个环节合在一起来讨论，是因为他们存在技术决策上的上下游关系。过去在大团队中规划研发体系，常常会出现一种现象，就是研发、测试、监控都是由不同团队规划的，而每个团队都想着做平台。后来慢慢发现这个思路是有问题的，因为做平台必然要考虑到不同端的接入，要花成本将自己的服务抽象得足够底层，花成本对不同的端做适配。而在这三个环节中，研发中的 运行时框架(应用框架)是工具化和自动化的核心，只要对运行时框架多进行一点点投入，后面测试、反馈、监控的研发成本就能降到非常低！

举个前端的例子。在搭建可视化页面搭建平台时，我们设计了一个将“所有组件数据都统一到一棵树”上的方案。

在传统的 React 中所有组件的 state 和 props 合起来才能表达一个页面唯一的状态，state 和 props 分散在组件中，不易收集。而在这个设计中，全局的 state tree 即表达了页面的一个状态，如果将每一次变化后的state tree 都存起来，即可通过回放来展现页面动态变化的过程。更进一步的是，利用这个特性，我们在 200 行代码之内就实现了“录制即测试用例”的功能。用户无需写任何晦涩的用例代码，在调试自己写的页面时只要觉得没问题，就可以将刚才的调试过程保存成一个用例。

再举一个接口层的例子。我们运行时框架的接口采用了 GraphQL ，并且告别了手动写接口的形式，全部利用视图勾选生成。

这解决了两个研发中常见的问题：

杜绝了手工约定接口时可能出现的拼写等错误。
能自动统计到所有对某一接口进行消费的页面，一旦接口进行调整，可以自动通知到下游，甚至能自动生成适配代码，不影响下游。

这也就极大地减轻了测试环节的压力。之前的思路基本都是通过扫描代码去发现接口错误，要消耗大量资源，现在看起来没必要了。

这两个例子都是从研发的角度来思考所看到的收益，我们再单独从测试与监控的角度来看。

测试领域有一个热点，—— UI 自动化。目前的 UI 自动化有两种方案，图片对比与 dom 树对比。

( Screenster)

这两种方案都有一个共同的缺点，即“无法正确地识别变化的类型”。例如现在有个需求，视图上的两个元素需要调换一下位置，但逻辑并没有变，希望测试平台不报警。除非人工干预，否则这两种方案都很难判断出来，因为他们是以”最后渲染结果“作为判断依据的。但是如果我们的测试是针对运行时框架来设计的话，就很容易实现。以上面研发时所讲的组件树方案为例，页面到底有没有逻辑性的变化只和 state tree 有关，因为页面的状态是 state tree，而逻辑操作的也是 state tree，所以我们只要认为 state tree 没变，就可以认为页面没有发生变化，不用触发报警。

除了能识别变化外，利用运行时框架的设计，我们还能实现更先进的功能，例如 B/S 架构中还原浏览器端出错现场的问题。在过去 debug 时，我们通常都要与测试交流，按照操作步骤手工还原到现场，如果能由程序自动化一次性达到出错现场，那无疑能给 debug 速度带来质的提升。要实现这种能力的关键点在于，任何表示页面状态的数据，都要能暴露到外部，也能由外部传入进行重置。一旦有一个决定页面状态的变量在函数中，不能取出，不能序列化后传给服务端，就无法做到。毫无疑问，这种能力也是需要应用框架来支持的。例子中 state tree 的设计，有一部分原因就是出于支持这种能力的考虑。

再来看监控领域的热点，“无埋点”监控，和自动化测试有异曲同工之妙。“无埋点”指的是无手工在代码中的埋点，通常是使用可视化的技术来进行“标记”。

( GrowingIO)

目前业界的一些方案中，遇到的问题同样是不能正确地识别变化。例如当页面上的元素改变了位置，埋点能不能不受影响？在可视化搭建平台这个项目里，我们同样是在应用框架这个层面设计了解决方案：

我们的页面使用一种类似于模板的方式来嵌套组件，这个结构我们称为 component tree，这个结构是静态可分析的，所以可以很容易地实现可视化。用户如果想要控制组件使其产生变化，那么必须给组件取个唯一的名字，在逻辑代码中使用这个名字对它的数据进行操作来实现改变。

有了这个前提，无需任何额外的投入，就已经实现了“无埋点”。因为“埋点”本身就是对逻辑功能的统计，所以埋点一定会埋在有逻辑相关的组件上，因此一定会有唯一的名字，那么无论组件怎么变化，只要没有被删除，我们的埋点信息就不会受到影响。同时，如果一个有埋点的组件出现了改名或者删除，我们还能自动提示报警。而这些功能，同样是在不到200行的代码就实现了。

(埋点取名)

综上，从测试和监控两个角度我们也可以看到，只要运行时框架提供一点点帮助，就能以极小的成本来实施。针对确定的上游研发框架来进行下游的开发，不用再考虑对各种框架的兼容问题，也可以让下游在能力上走得更远，实现更多先进的功能。

2.3 框架核心技术

我们在线下交流中发现，很多团队对框架的投入只停留在写小工具和包装开源框架上。因为看不清方向，不知道如何投入，也不知道投入后有多少收益，所以不敢深入。其实方向和具体应该投入哪些技术，都是有迹可循的。这个踪迹的源头我们在《理想的应用框架》中曾提到过的，就是程序的本质—— 数据和逻辑。

2.3.1 数据

先具象一点来说数据。框架的数据就是框架运行时内部保存的对象等数据结构，只要回答好两个问题就能展现出强大的威力：

数据在哪？
数据的生命周期是怎样的？

知道数据在哪，是管理数据的基本条件。应用的任何状态，都可以看做是内部数据的一种表现。因此只有框架掌握了所有数据，才有可能实现例如还原现场之类的功能。这对我们的研发有两点指导意义：

一是在使用已经有控制反转和依赖注入的 web 框架时，应该完全遵循框架的约定，将服务等对象的管理完全由框架。有的框架语法写起来比较麻烦，可以通过命令行或者IDE工具来自动生成。

二是在我们改造或者创造框架时，应该把数据的统一管理作为最基本的底线，这是上下游实现自动化的基础。上一节中所提到的测试录制的能力，就是建立在统一数据源的基础上。再举个更有意思的例子，过去的前端的 ajax 请求基本都是独立调用 api，无中心的模式。这种模式可能会出现的问题是：

请求A发出后，由于网络等问题，一直未返回，这时用户有重新发送一次请求 A1。结果 A1 迅速返回在回调函数中提示成功。然后请求 A 超时返回，在回调中提示失败，导致最后用户看到的是失败的信息。

当引入 saga 之后，所有异步的操作都统一收归到通信管道中，就能进行跨请求的管理了。单个异步请求的取消、多个异步请求到底是独立、还是竞争、还是只保持最后一个，就都能很容易地实现了。基于中心化的请求管理，还能进行可视化：

(kuker)

继续讲到第二个问题，数据的生命周期是怎样的？生命周期通常是由外部事件来触发，或者自己运行到某一阶段自动触发的。对深度开发来说，有两个基础能力必须由框架来提供。即框架要支持：

手动驱动生命周期
内部数据的复制和置换

手动驱动生命周期对自动化测试之类的功能来说很重要，特别是在做一些基础性的测试时，有了这个能力就不用再完全模拟外部的触发条件。而内部数据的复制和置换则能为录制、还原现场、协同等高级功能提供基础。我们现在就在尝试基于这种能力，实现“用户可以将自己的出错场景一键发送给开发人员来复现”的功能。值得注意的是，有的语言中复制对象是非常昂贵的操作，这时可能就需要考虑，是否使用 immutable 的数据格式会更好？还是依靠一些约定和标记提供自身提供廉价的复制能力？限于篇幅，在此就不再展开。对框架中的数据问题感兴趣的读者可以去搜索 Single Source of Truth 和 Shared Mutable State 之类的话题，业界已经有非常多的精彩讨论。

2.3.2 逻辑

聊完数据，终于来到最有意思的逻辑部分。框架从某种意义上来说，就是提供了一种逻辑表达的方式。要在逻辑表达上提升效能，有两个发展阶段：

提供一些模式或技术。让用户写出低耦合、易重用、易扩展的代码。在写代码时提高效能。例如 MVC、IOC 等等。
针对不同场景设计更合理的 DSL，能实现代码、图等表达方式的互相转换。在研发的整条链路上实现自动化。

我们看到大部分的框架都处于第一个阶段，不管是服务器端的 MVC 还是前端的 MVVM 。但也有少量第二阶段的尝试。例如 Flow Based Programming，试图完全用数据流向的角度来诠释业务中的逻辑。它的代码可以天然被分析成图，甚至能在运行时进行观察：

( noflo)

还有《理想的应用框架》中提到的基于事件来表示业务逻辑，也是一种 DSL。但这些尝试离最终的目标仍然有差距，最终理想的状态应该是能实现业务流程图、时序图、决策树等业务领域常用的表达方式与代码的互转。虽然有差距，而且看起来要走的路还很长，但是针对一些已经比较稳定的场景，已经有一些好的经验。CMS 框架 Drupal就是一个很好的例子。它定义好了数据发布的整个流程和相应的钩子系统，让开发者用模块的方式在钩子里去修改或者增加自己的功能。曾经一度实现了一个非常繁荣的社区。更值得肯定的是，社区中很多模块都是可视化的，最终用户不需要写任何代码，按照模块的可视化指引就能完成相应的功能。这实际上就等同于 DSL 与代码的互转了。

不管哪一个阶段的关键技术，都离不开分析语义的能力。直白一点来说，就是“知道哪段代码是干什么”的能力。

在第一阶段的框架中，最影响效能的因素并不是”要写代码的多少“，而是写按框架概念写出来的代码是否易于理解、易于维护。这一点在越是大型、越是多人参与的项目中，越是明显。而代码的“语义”是否清晰在某种程度上直接决定了我们是否能通过技术手段来提升可维护性。例如，在使用依赖注入的系统中，如果所有代码的注入声明都清晰地表明了注入的到底是什么的话，那我们就很容通过语言层面的支持或者简单字符串匹配得到依赖关系图。反之，如果注入的信息模糊，既可能是函数也可能是 model，没有任何明显约束的话，那就可能得通过语法树，找到注入的入口才能分析出来，这样实现的成本就成倍增加了。

( Rekit Studio依赖分析图)

相比于依赖分析，更重要的是“ 调用关系分析”，它对于帮助理解流程，特别是排查问题特别有用。举个简单的例子，在数据驱动的前端框架中，因为视图完全是数据的展现，发现视图不对了，如果能动态展示出修改了数据的业务堆栈(不是函数堆栈)，就非常有用。不需要再一步一步断点。

当然实现起来也更难。难点有两个：一是依赖分析一般是运行前的，是静态的，而调用关系一般是运行时的，是动态的；二是依赖通常是声明出来，容易读出来，而调用通常是在主动式的语句中，会遇到条件判断、循环、甚至通过变量在不同函数、类作用域中传递，比较难分析。这种难，其实也就是语义不清。在框架的设计或者我们自己的改造中，可以通过三点来尽量提供明确的语义：

尽量转主动为被动
尽量片段化
消除用户代码中的副作用和对外部作用域中变量的依赖

前两点很好理解，被动声明式的代码结构更容易被分析。虽然在实践的时候需要大量经验，来保障设计出来的声明格式即能覆盖所有场景又要容易编写，但是它带来的收益也是最可观的。GraphQL 就是一个最好的例子，在服务器端用声明的结构将数据结构和关系表达出来，在客户端用声明的结构将要获取的数据结构表达出来，后端就可以使用统一的引擎来生成调用，省去的大量写接口的时间。第二点，尽量片段化是指我们在引导用户写代码的时候，应该把生命周期等等概念拆得尽可能小，使语义更细致。写起来繁琐的问题可以通过工具或者语法糖去解决。

第三点最重要，消除副作用指的是任何时候运行用户的代码片段应该都不会对外部环境产生影响。而消除对外部作用域中变量的依赖指的是对要用的数据、服务尽量都用参数的形式传入。这样做的好处有两个，对于一些复杂的，难以分析的调用的关系，可以将要观测的对象包装一下再传入，这样就能动态得到调用关系。在整体运行前，因为无副作用，也可以很容易地通过试运行这些片段来得到一些信息。虽然现在的语法树工具已经比较流行，但真的要完全通过语法分析来得到足够的语义仍然有很大的工作量。而上述的这三点，可以看做是快速、廉价的实现方式，并且实践中效果非常不错。

综合

最后值得一提的是，上面所讲到的数据和逻辑中的原则与技术并不是相互独立的。在《前端服务化——页面搭建工具的死与生》和《通天塔之石——企业级前端组件库方案》这两篇文章中看到，我们所使用的很多技术，其实是混合支撑着数据修改追溯、组件属性可视化等功能。他们中间有的也有着依赖关系。但相比于“数据和逻辑”这两个源头，这些并不重要。只要掌握了这两个源头面对的问题，其他都是能推导出来的。

对开源框架如何使用也是同样的道理。对于严肃的企业生产来说，应该找到业务所面临场景的源头，吸收解决问题的先进的想法，但自己实现，就像编程语言各自实现语言特性一样。而不应该只是停留在包装开源框架这个层次。开源框架为了适应尽量广的场景，有更大的群众基础，给出的一定是普适性的方案，这种普适性在业务发展到一定程度，有了足够多的独特性之后就会变成巨大的包袱反噬研发效能。等到了这个时候再考虑自己研发，其迁移、适配、研发成本以及带来的风险可能会变得非常大。而我们从前文看到，掌握了框架研发的几个核心，从小的场景就开始投入，成本并不高。最重要的是长久积累形成体系后，所带来的“流程上自动化“、”降低下游实现成本”等能力能持续地帮助企业提升研发效能。

2.3 通用子系统与核心接口

从流程的角度来看，提升效能的主要是靠自动化。而从系统的角度来说，则主要是靠能力的复用。”用户“、”流程“、”权限“几乎是任何业务系统中都存在的，因此将这三者也纳入到了基础研发体系的范围。在这里我们并不打算深入到每个系统所面临的具体问题中，只讲两点：

一、产品化或者子系统化，不要过早平台化，对将来系统整体打包有益。过去的互联网公司习惯将这些公用系统平台化，各个业务系统来接入。但这几年互联网业务进入的都是新领域，面临的市场、用户常常是需要隔离的。这个时候系统整体复制的能力就变得非常重要，所以一开始就将这三者以子系统或者子产品的方式来对待，能为之后的发展提供更多的灵活性。

二、三者不是并列关系，不用纠结于能力解耦，制定核心系统接入规范才是最重要的。权限系统无论是 RBAC 还是 DAC 都离不开用户系统的支持。流程则是既依赖于权限也依赖于用户。如果把运行时框架看做是主板，这三者应该是主板上的补充部分，一起为核心系统的接入提供针脚。同样是为了系统整体打包的能力，应该尽早制定核心系统接入的规范。

3 潮汐

在《月相》一章我们探讨了 web 基础研发体系的构成及部分重难点。相比于具体技术本身，这套方案对组织成长和重塑的意义更大。在这一章中我们会先从大团队中两个有启发性的问题出发，逐步深入到如何打造一个更高效的研发组织方案中。虽然问题出现是在大团队的，但对小团队仍有两点借鉴意义：

小团队随着业务发展会长成大团队，也可能碰到一样的问题。
问题本身萌芽于成长过程之中，予以正确的指导能更加节约人力，助力公司发展。

3.1 平台林立

首先注意，我们讨论的仍是 web 层的问题。这个现象在有多个不同业务的大公司中最常见。出现这种现象的原因有两个，一是公司到了万人规模，实际上就相当于上百个百人规模的小公司，必然想法很多，出现重复的自然也多。

另一个更重要是，在 web 这个领域，特别是前端， 基础设施变化太快。

无论是浏览器底层所支持的 api，还是 javascript 语言本身变化都非常快。底层一变化，研发的各个环节必然出现基于新技术的空缺，很多框架和平台就是随着这些空缺出现的。现象本身存在即合理，但如果有更好的统一管理，是能从如下两个方面提取出巨大的效能的。

一、 如果将研发流程中的各个环节中独立的平台统一，可以极大地加速业务开发。直接决定业务发展速度的是进行业务开发的工程师。他们最希望的就是只有一个平台将研发的所有流程都搞定，并且尽量自动化。平台一多，对业务开发工程师来说，学习、沟通、协作的成本就会陡增。这个成本有多大？在我们通过线下了解发现，这个成本很多时候甚至会超过业务开发本身。

二、 加大对趋势和方向的研究，预防无序的框架和平台的投入，这样能尽量防止走偏和无效劳动，也是一种提升。越是大的团队，这一点越明显。“基础设施变化”这样一个滚滚巨轮这些年压碎了多少框架和平台，其中很多产生的效益都不足以覆盖其研发成本。更坏的是，出于个人利益等原因，有的平台过时了也不肯下线，阻挡了整个团队随基础设施一起进步的机遇，消耗的是更多的未来的人力。

我们在《月相》中提出的研发体系就是实现这两个提升的具体手段。

首先，有一个完整的体系来将研发流程当成一个整体对待，并且通过统一的平台来实现，能更好地实现流程的自动化。降低一线工程师沟通、学习成本。

其次，对运行时框架的投入，本身就包含着对趋势和新技术的研究，可以缓解被基础设施带着跑的问题。并且我们看到运行时框架研究到了一定程度，能够极大的减少后续测试、监控实现的成本，也降低了基础设施变化所产生的多米诺效应。这里对管理带来的反思是，我们应该谨慎“平台化”的思考。特别是下游环节，因为“平台化”的思维，必然要考虑对各种不同的端进行适配，必然要制定各种规范，这些都是人力成本。如《月相》中所示，上游理清楚并且统一后，下游是能有针对性地、很低成本地实现的，根本不需要“平台级”的成本投入。当然，在这里所说的只是减少技术上的投入，环节本身还是非常重要的。

平台林立从某一方面来说也表示着团队内部有着大量的无序的力量，这种力量在团队出现不同环节的分工时就产生了，尽早地建立研发体系就能尽早地将这些力量用起来，创造真正的价值。

3.2 资源池

很多大公司的 web 研发团队都被当成资源池来用，哪个业务需要就投入到哪里。现象的直接原因有两个：一是 从管理的角度来说，web 层的研发工作相对来说可替换性强，具备形成资源池的可能。二是 web 研发处于业务决策链底层，人员相对来说最紧张，因此通过资源池的方式能动态地支持业务开发，是最简单的解决方案。但这个方案其实是相当低效的。我们从对工程师个人的关注来切入这个话题。

首先从主观的角度出发，一个有激情，对职业未来充满憧憬的工程师与苦大仇深的工程师在效率上是有成倍差别的。除了其本身的性格外，造就这两种态度有很大一部分是职业上升渠道的问题。首先，和任何能被当成资源池来用的工作一样，因为可替换性强，所以不容易被重视。其次，目前的上升渠道不够。web 研发工程师的上升渠道要么是纵向的，当业务发展得足够好，重要性提高，成为系统负责人。要么是横向的，随着团队扩大，管理需要，成为管理者。这两者一个基于业务一个基于人力，和技术相关不大。所以有才华的工程师自然会想要造框架、造平台，努力成为公司技术中重要的一部分。但没有正确的引导，就会成为上面所说”无序的力量“，发展得不对反而会变成公司的消耗。而当他发现自己付出的努力得不到回报的时，就有可能变成苦大仇深的工程师。

最终影响的不只是工程师自身，公司也会要在管理成本上为其买单。我们在与一些资深 hr 交流时，他们进一步说明了这个问题。在公司工作了四、五年的员工，是已经融入了公司，理解公司文化也了解公司问题的人，算是中流砥柱。如果得不到好的上升，可能会有两种情况：其中有想法有行动力的，多半会选择离开。既会对组织稳定性会造成影响，也会让公司付出的培养成本付诸东流，对公司来说可算是很大的损失；另一种更不好的则是既不离开，也不像以前一样努力。他们在团队内有一定的话语权，却丧失了进去的激情，不再发挥积极的作用。当公司需要快速扩张、快速发生变革的时候，他们就会成为隐性的管理成本。

而解决方案，其实很简单。大公司内部通常都有”框架组“、”平台组“类似的部门，但基本都停留在”可用“阶段就完成任务了。这远远不够，如果将建立 web 基础研发体系作为目标，以产品化为衡量标准，加强重视和投入。 web 工程师的上升渠道就会得以扩张，公司内无序的力量就会进入到正确的领域。创造的价值又能进一步为研发提供能量，形成一个正循环，逐步缓解人力紧张的态势，资源池现象也就自然会消失。这很像我们身体受伤时，外部肿胀只是炎症的表现，消炎了，肿胀自然也就好了。重点是找到关键进行消炎，而不是围着外部现象思考。

建立体系还能带来的好处是，通过提升 web 研发的效率，降低业务研发所需的人数，能帮助大公司重新回到小步快跑的节奏。张小龙有一篇演讲《警惕KPI和复杂流程》，讲到了小团队的重要性，随着互联网公司的竞争越来越激烈，这种重要性会变得越来越高。我们从一些互联网的新巨头上，其实已经看见了“ 核心技术+基础web研发能力”来快速出产品，占领市场的趋势。对小公司来说，统一的 web 基础研发体系，是帮助实现超车的重要一环。对大公司来说，则是进一步挖掘效能，防止掉队的必修课了。

4 后记

这篇文章笔者前后重写了三次，因为面对 web 一线工程师这样一个庞大的群体，效能提升已经不仅仅是技术或管理某一方面的事情，而是要综合各个方面来寻求个人和公司发展的共赢。 web 一线研发是很多工程师进入这个领域最开始做的事情，但是笔者看到了很多有才华的人困在了低效、重复的工作里面，努力了也因为方向不对而徒劳。这对个人和公司都是损失。在技术上找到方向，在管理上予以支持，多方发力，其实能提升的效能远超十倍。当然，一篇文章不足以实现任何改变，这篇文章最主要的目还是抛砖引玉，也希望对这个方向有想法，志同道合的朋友联系我，一起交流，一起推动。

邮箱: ariesate@outlook.com。

5 答读者问

问：研发体系的统一规划不是破坏了竞争和创新吗？

答：统一规划并不是指不要竞争，不要创新。而是防止开倒车的情况出现，是给竞争和创新指定一个方向。例如我们在文中理清上下游关系，目的是指导研发力量应该往哪里投入，在投入的过程中仍然可以采取竞争的形式。

问：框架研发提升效能的趋势？

答：分两个方向。一是框架本身，会朝着“增强对用户代码的理解和控制力”这个方向前进。用户按框架写的代码，能不能通过工具分析出具体的语义？人工的低级错误能不能自动检测出来并自动修正？能不能转化成某种人类习惯的表达方式，比如图？当控制力达到一定程度后，这些能力都实现后，再往下应该就是代码的自动生成。

另一个值得一提的是框架能力与业务特有属性会一起沉淀到 IDE 上，会出现面向专有框架的 IDE，面向单个具体工程的 IDE。分析图，自动扫描工具都由 IDE 作为载体，就像很多游戏的专用编辑器一样。只有沉淀到 IDE 上才是最便捷、最有针对性的。对这个方向感兴趣的读者可以跟我邮件讨论，目前我们已经有一些初步的想法。

问：文章中讲到的问题都是大公司的，对小团队来说，什么时候应该开始建立自己的基础研发体系？

答：研发体系的建立可以分为规划和实施两个阶段。规划的话，从一开始就应该有所规划。在前期人力不够的情况下，不用强行追求打造自己的框架和工具，可以用开源的。但应该始终把开源的东西拿到自己的体系中，清楚地知道它在自己体系中的角色，也清晰地知道自己用了它的什么特性，未来还需要补充什么。什么时候开始实施其实有一个象征性的标准，也是我们前面在无序的力量中提到的——出现了不同环节的分工时。有的团队业务扩张太快，人力一直不够，那么建议按五分之一到三分之一的比例来抽出人力打造基础设施。磨刀不误砍柴工，何况投资得到的回报是电锯呢。

最好用的开源Web漏扫工具梳理

Sat, 02 Dec 2017 15:00:59 CST

赛门铁克2017年互联网安全威胁报告中提出在他们今年扫描的网站中，有76%都含有恶意软件。如果你在用WordPress，SUCURI的另一份报告也显示，超过70％的被扫描网站也都存在一个或多个漏洞。

如果你刚好是某个网络应用程序的所有者，怎样才能保证你的网站是安全的、不会泄露敏感信息？

如果是基于云的安全解决方案，那么可能只需要进行常规漏扫。但如果不是，我们就必须执行例行扫描，采取必要的行动降低安全风险。

当然很多付费扫描器功能会更加全面、严谨，包含报表输出、警报、详细的应急指南等等附加功能。

开源工具最大的缺点是漏洞库可能没有付费软件那么全面。

1. Arachni

Arachni是一款基于Ruby框架搭建的高性能安全扫描程序，适用于现代Web应用程序。可用于Mac、Windows及Linux系统的可移植二进制文件。

Arachni不仅能对基本的静态或CMS网站进行扫描，还能够做到对以下平台指纹信息（(硬盘序列号和网卡物理地址)）的识别。且同时支持主动检查和被动检查。

Windows、Solaris、Linux、BSD、Unix

Nginx、Apache、Tomcat、IIS、Jetty

Java、Ruby、Python、ASP、PHP

Django、Rails、CherryPy、CakePHP、ASP.NET MVC、Symfony

一般检测的漏洞类型包括：

NoSQL/Blind/SQL/Code/LDAP/Command/XPath注入

跨站请求伪造

路径遍历

本地/远程文件包含

Response splitting

跨站脚本

未验证的DOM重定向

源代码披露

另外，你可以选择输出HTML、XML、Text、JSON、YAML等格式的审计报告。

Arachni帮助我们以插件的形式将扫描范围扩展到更深层的级别。Arachni的详细介绍与下载地址：click here。

2. XssPy

一个有力的事实是，微软、斯坦福、摩托罗拉、Informatica等很多大型企业机构都在用这款基于python的XSS（跨站脚本）漏洞扫描器。它的编写者Faizan Ahmad才华出众，XssPy是一个非常智能的工具，不仅能检查主页或给定页面，还能够检查网站上的所有链接以及子域。因此，XssPy的扫描非常细致且范围广泛。

下载地址：click here。

3. w3af

w3af是一个从2006年年底开始的基于Python的开源项目，可用于Linux和Windows系统。w3af能够检测200多个漏洞，包括OWASP top 10中提到的。

w3af能够帮你将payload注入header、URL、cookies、字符串查询、post-data等，利用Web应用程序进行审计，且支持各种记录方法完成报告，例如：

CSV

HTML

Console

Text

XML

Email

这个程序建立在一个插件架构上，所有可用插件地址：click here。

w3af下载地址：click here。

4. Nikto

相信很多人对Nikto并不陌生，这是由Netsparker（专做web安全扫描器企业，总部坐标英国）赞助的开源项目，旨在发现Web服务器配置错误、插件和Web漏洞。Nikto对6500多个风险项目进行过综合测试。支持HTTP代理、SSL或NTLM身份验证等，还能确定每个目标扫描的最大执行时间。

Nikto也适用于Kali Linux。

Nikto在企业内部网络解决方案中查找web服务器安全风险的应用前景非常广阔。

下载地址：click here。

5. Wfuzz

Wfuzz（Web Fuzzer）也是渗透中会用到的应用程序评估工具。它可以对任何字段的HTTP请求中的数据进行模糊处理，对Web应用程序进行审查。

Wfuzz需要在被扫描的计算机上安装Python。具体的使用指南可参见这个：链接。

Wfuzz下载地址：click here。

6. OWASP ZAP

ZAP（Zet Attack Proxy）是全球数百名志愿者程序员在积极更新维护的著名渗透测试工具之一。它是一款跨平台的Java工具，甚至都可以在Raspberry Pi上运行。ZAP在浏览器和Web应用程序之间拦截和检查消息。

ZAP值得一提的优良功能：

Fuzzer

自动与被动扫描

支持多种脚本语言

Forced browsing（强制浏览）

下载地址：click here。

7. Wapiti

Wapiti扫描特定的目标网页，寻找能够注入数据的脚本和表单，从而验证其中是否存在漏洞。它不是对源代码的安全检查，而是执行黑盒扫描。

支持GET和POST HTTP请求方式、HTTP和HTTPS代理以及多个认证等。

下载地址：click here。

8. Vega

Vega由Subgraph开发，Subgraph是一个用Java编写的多平台支持工具，用于查找XSS，SQLi、RFI和很多其它的漏洞。

Vega的图形用户界面相对来说比较美观。它可以通过特定的凭证登录某个应用后执行自动扫描。

如果你懂开发，还可以利用vega API创建新的攻击模块。

下载地址：click here。

9. SQLmap

顾名思义，我们可以借助sqlmap对数据库进行渗透测试和漏洞查找。

支持所有操作系统上的Python 2.6或2.7。如果你正在查找SQL注入和数据库漏洞利用，sqlmap是一个好助手。

下载地址：click here。

10. Grabber

这也是一个做得不错的Python小工具。这里列举一些特色功能：

JavaScript源代码分析器

跨站点脚本、SQL注入、SQL盲注

利用PHP-SAT的PHP应用程序测试

下载地址：click here。

11. Golismero

这是一个管理和运行Wfuzz、DNS recon、sqlmap、OpenVas、机器人分析器等一些流行安全工具的框架。

Golismero非常智能，能够整合其它工具的测试反馈，输出一个统一的结果。

下载地址：click here。

12. OWASP Xenotix XSS

OWASP的Xenotix XSS是一个用于查找和利用跨站点脚本的高级框架，内置了三个智能模糊器，用于快速扫描和结果优化。

这款工具有上百个功能，详细的功能列表与下载地址：click here。

网络安全对于在线业务至关重要，希望上面这些免费的漏扫程序能够帮助各位读者及时发现风险，在被恶意人员利用之前即完成漏洞修复。

*参考来源： geekflare，FB小编柚子编译，转载请注明来自FreeBuf.COM

docker - 从安装到部署一个web应用(go、java) - CSDN博客

Sat, 02 Dec 2017 09:37:33 CST

说明:
1.权限是root，不是则先提升权限

一:安装docker

1. https://docs.docker.com/engine/installation/binaries/
下载docker最新版二进制tar.gz

      linux下:
wget https://get.docker.com/builds/Darwin/x86_64/docker-1.11.0.tgz

2.丢到 $path中

      mv docker /usr/local/sbin

3.启动

      docker daemon &

二.在容器上运行tomcat

docker官方镜像仓库由于有墙，所以下载的很慢。目前我用的是时速云的镜像。

第一步:拉取镜像到本地
docker pull index.tenxcloud.com/tenxcloud/tomcat

第二步:为镜像添加一个别名
docker tag index.tenxcloud.com/tenxcloud/tomcat tomcat-1

第二步:启动tomcat
docker run -p 5000:8080 --name container1 tomcat-1
如此一来，tomcat就启动了，-p 5000:8080的意思是把容器tomcat的8080端口隐射到宿主机的端口上，这样外网访问5000就能访问到我们的container1的8080 tomcat上面了.

如此一来，一个简单的tomcat就跑起来了.

此处容器container1 和镜像tomcat-1，我的理解是镜像就是一个模板，container1就是根据这个模板创造的一个真正的盆子，这个盆子里面就跑着我们的tomcat. 所以我们可以用同一个镜像创建许多container。

三.在tomcat上面部署我们的应用

接下来我们要部署我们的应用上去，思路是进入到container1里面去，此时可以把container1想象为一个新的机器，我们只需要到tomcat的webapp丢war，然后重启就行了.

1.进入容器内部

docker exec -it container2 /bin/bash

2.查看tomcat webapp路径

/tomcat/webapps

3.传war

把war丢到宿主机在丢到container里面丢到tomcat/webapps

docker cp DemoOne.war container2:tomcat/webapps

太TM惊喜了，docker本身就支持啊！！！666666.

4.重启容器

不需要了。。。docker自动帮你部署了

5.访问应用

至此，一个完整的docker部署tomcat及上线一个java web应用流程就走通了.
说实话，走通后才发现是这么的简单。之前概念上面不懂的地方这下也基本通了。
不得不说很Nice，和预想中的完全一样，就把dokcer给你创建的container当成一个新的linux用就行啦！

使用docker部署一套应用系统

接下来部署一套完整的系统，包括如下组件：
负载均衡：Haproxy
JAVA工：tomcat
缓存：Redis Master、Slave

流程是Java开一个restful接口，为redis写入一个数据，
再开一个restful接口，从redis读取一个数据。

系统结构如图：

步骤：
1.准备java工程，并打包成war
2.拉取haproxy镜像，并运行

      //注意 --name不能放在最后，6555:80 80不可更改，是haproxy本身的端口docker run-d-p6555:80--linkcontainer2:container2--name haproxy-1haproxy

可以看到，haproxy已经成功实现了代理的功能.
目前的镜像不知道为什么不能通过修改haproxy.cfg的方式来支持，后续研究

之后再补上golang镜像及应用部署的流程

Web GIS 离线解决方案

Mon, 16 Oct 2017 21:51:40 CST

1、背景

在离线环境下（局域网中）的GIS系统中如何使用地图？这里的地图主要指的是地图底图，有了底图切片数据，我们就可以看到地图，在上面加上自己的业务数据图层，进行相关操作。

要在离线环境下看到GIS地图，就要有底图切片数据，地图的底图切片数据在一定时间内是不会变化的，可以使用一些地图下载器下载地图切片，如这个地图下载器。

在CS系统中可以基于GMap.Net来做，参考《百度谷歌离线地图解决方案》。

下面介绍下Web系统如何使用GIS切片数据，开发web GIS系统。

2、使用GeoWebCache发布WMS服务

Geowebcache是基于Java的Web开源项目，主要用于缓存各种WMS数据源的地图瓦片，它实现了多种服务接口，包括WMS-C，WMTS，TMS，KML。

Geowebcache作为一个独立的开源项目，在最近被Geosever的几个版本所集成，主要是对发布的WMS图层建立缓存切片。

服务发布步骤：

1）官网下载 geowebcache-1.8.0-war.zip，直接解压得到geowebcache.war文件，将该文件直接拷贝至tomcat目录下的webapps下即可，启动tomcat会对war包进行解压。

2）修改geowebcache的配置文件geowebcache-core-context.xml。该文件在Tomcat的webapps\geowebcache\WEB-INF下，修改如下：

<bean id="gwcXmlConfig" class="org.geowebcache.config.XMLConfiguration">
<constructor-arg ref="gwcAppCtx" />
<!--<constructor-arg ref="gwcDefaultStorageFinder" />-->
    <constructor-arg value="D:\\GisMap\\" />
<!-- By default GWC will look for geowebcache.xml in {GEOWEBCACHE_CACHE_DIR},
         if not found will look at GEOSEVER_DATA_DIR/gwc/
         alternatively you can specify an absolute or relative path to a directory
         by replacing the gwcDefaultStorageFinder constructor argument above by the directory
         path, like constructor-arg value="/etc/geowebcache"     
    -->
<property name="template" value="/geowebcache.xml">
<description>Set the location of the template configuration file to copy over to the
        cache directory if one doesn't already exist.
</description>
</property>
</bean>

修改gwcXmlConfig实例化时使用固定路径，该路径可以为任意新建路径文件夹。Geowebcache启动之后会检查此文件夹下是否存在gewebcache.xml文件，如果不存在则按模板新建立并读取使用，如果存在则直接读取使用。

3）修改第2步中的gewebcache.xml文件：

<layers>
    <arcgisLayer>
        <name>ARCGIS-Demo</name>
        <tilingScheme>D:\\GisMap\\Layer\\conf.xml</tilingScheme>
        <tileCachePath>D:\\GisMap\\Layer\\_alllayers</tileCachePath>
    </arcgisLayer>
</layers>

在layers节点里添加arcgisLayer节点（默认生成的gewebcache.xml的layers节点有许多其他冗余数据，可删除可保留）。Name节点表示待添加图层的名称（这里配置为ARCGIS-Demo），titlingscheme节点为conf.xml文件的路径，tileCachePath为瓦片数据的路径。

4）瓦片地图的准备

其中conf.xml为配置文件，conf.cdi为显示区域约束文件，_alllayers文件夹下则存放了切片数据，Status.gdb为切片状态情况记录（可直接删除）。

通过瓦片下载器下载瓦片地图，然后生成的切片数据_alllayers文件夹：

L01-L10表示地图缩放级数，按照ArcGIS切片目录组织，切片命名规则也和ArcGIS切片数据命名规则一致。（conf.xml、conf.cdi和_alllayers在同级目录）。

5)启动tomcat，继而启动Geowebcache服务，浏览器访问 localhost:8080/geowebcache，如果一切正确的话可以看到下面的页面

该页面简单说明了Geowebcache的一些情况。

点击“A list of all the layers and automatic demos”连接可以看到下面：

该页面显示了geowebcache.xml配置的图层信息。图中可以看到只配置了一个名字为ARCGIS-Demo的图层，使用的EPSG3857坐标系，发布的图片格式为png格式，点击png链接即可看到瓦片地图。

这里地图显示的级别和坐标系配置都来自conf.xml文件。这里的前端js使用的是Openlayers。查看网页源码：

<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="imagetoolbar" content="no">
<title>ARCGIS-Demo EPSG:3857_ARCGIS-Demo image/png</title>
<style type="text/css">
body { font-family: sans-serif; font-weight: bold; font-size: .8em; }
body { border: 0px; margin: 0px; padding: 0px; }
#map { width: 85%; height: 85%; border: 0px; padding: 0px; }
</style>
<script src="../openlayers/OpenLayers.js"></script>    
<script type="text/javascript">               
var map, demolayer;                               
  // sets the chosen modifiable parameter        
  function setParam(name, value){                
   str = "demolayer.mergeNewParams({" + name + ": '" + value + "'})" 
   // alert(str);                                   
   eval(str);                                    
  }                                              
OpenLayers.DOTS_PER_INCH = 96.0;
OpenLayers.Util.onImageLoadErrorColor = 'transparent';
function init(){
var mapOptions = { 
resolutions: [156543.033928, 78271.5169639999, 39135.7584820001, 19567.8792409999, 9783.93962049996, 4891.96981024998, 2445.98490512499, 1222.99245256249, 611.49622628138, 305.748113140558, 152.874056570411, 76.4370282850732, 38.2185141425366, 19.1092570712683, 9.55462853563415, 4.77731426794937, 2.38865713397468, 1.19432856685505, 0.597164283559817, 0.298582141647617],
projection: new OpenLayers.Projection('EPSG:3857'),
maxExtent: new OpenLayers.Bounds(-20037508.342787,-20037508.342780996,20037508.342780996,20037508.342787),
units: "meters",
controls: []
};
map = new OpenLayers.Map('map', mapOptions );
map.addControl(new OpenLayers.Control.PanZoomBar({
        position: new OpenLayers.Pixel(2, 15)
}));
map.addControl(new OpenLayers.Control.Navigation());
map.addControl(new OpenLayers.Control.Scale($('scale')));
map.addControl(new OpenLayers.Control.MousePosition({element: $('location')}));
demolayer = new OpenLayers.Layer.WMS(
"ARCGIS-Demo","../service/wms",
{layers: 'ARCGIS-Demo', format: 'image/png' },
{ tileSize: new OpenLayers.Size(256,256),
 tileOrigin: new OpenLayers.LonLat(-2.0037508342787E7, 2.0037508342787E7)});
map.addLayer(demolayer);
map.zoomToExtent(new OpenLayers.Bounds(-20037497.2108,-19929239.113399997,20037497.2108,18379686.9965));
// The following is just for GetFeatureInfo, which is not cached. Most people do not need this 
map.events.register('click', map, function (e) {
  document.getElementById('nodelist').innerHTML = "Loading... please wait...";
  var params = {
    REQUEST: "GetFeatureInfo",
    EXCEPTIONS: "application/vnd.ogc.se_xml",
    BBOX: map.getExtent().toBBOX(),
    X: e.xy.x,
    Y: e.xy.y,
    INFO_FORMAT: 'text/html',
    QUERY_LAYERS: map.layers[0].params.LAYERS,
    FEATURE_COUNT: 50,
    Layers: 'ARCGIS-Demo',
    Styles: '',
    Srs: 'EPSG:3857',
    WIDTH: map.size.w,
    HEIGHT: map.size.h,
    format: "image/png" };
  OpenLayers.loadURL("../service/wms", params, this, setHTML, setHTML);
  OpenLayers.Event.stop(e);
  });
}
function setHTML(response){
    document.getElementById('nodelist').innerHTML = response.responseText;
};
</script>
</head>
<body onload="init()">
<div id="params"></div>
<div id="map"></div>
<div id="nodelist"></div>
</body>
</html>

个人比较喜欢leaflet这个GIS javascript库，使用leaflet加载GeoWebCache发布的这个服务：

<!DOCTYPE html>
<html>
<head>
    <title>Leaflet - Offline Demo</title>
    <link rel="stylesheet" href="https://unpkg.com/leaflet@1.0.3/dist/leaflet.css" />
    <script src="https://unpkg.com/leaflet@1.0.3/dist/leaflet.js"></script>
</head>
<body>
    <div id="map" style="height:100vh;" ></div>
    <script type="text/javascript">
        
    var mapCenter = new L.LatLng(32.1280, 118.7742); //南京
        
    var map = new L.Map('map', {
        center : mapCenter,
        zoom : 4
    });

    var wmsLayer = L.tileLayer.wms("http://localhost:8080/geowebcache/service/wms", {
        layers: 'ARCGIS-Demo',
        format: 'image/png'
    });
    wmsLayer.addTo(map);

    var marker = new L.Marker(mapCenter);
    map.addLayer(marker);
    marker.bindPopup("<p>Hello! ;}</p>").openPopup();
        
    </script>
</body>
</html>

3、使用自定义的Http服务

GeowebCache本质上就是个Http服务，通过请求参数获取配置文件中的路径中的切片数据，返回给请求方。

我们可以自己写个独立的Http服务，从数据库中读取切片数据返回给请求方。

切片请求地址类似：http://localhost:8899/1818940751/{z}/{x}/{y}

其中“1818940751”是下载器下载的地图类型，z/x/y分别是zoom和地图切片行列号。

前端js使用leaflet加载：

var amapNormalUrl = 'http://localhost:8899/788865972/{z}/{x}/{y}';
var amapNormalLayer = new L.TileLayer(amapNormalUrl, {
    minZoom : 1,
    maxZoom : 18,
    attribution : '高德普通地图'
});

var mapCenter = new L.LatLng(32.1280, 118.7742); //南京
var map = new L.Map('map', {
        center : mapCenter,
        zoom : 9,
        minZoom: 1,
        maxZoom: 18,
        layers : [ amapNormalLayer ]
});

前端js可以自定义投影Projection算法，而国内google地图、高德地图和腾讯地图都是标准的墨卡托投影，可以直接用leaflet加载。

配合一些画图插件，再配合一些后台POI检索服务，如：

《使用Lucene索引和检索POI数据》

《使用Solr进行空间搜索》

则能做出如下效果：

总结：介绍了如何使用下载的离线切片数据在局域网环境下发布Web GIS地图服务，前端配合使用一些js插件，实现web下空间数据的检索。

自定义的Http地图服务代码：https://github.com/luxiaoxun/Code4Java

附件：

conf.cdi

<?xml version="1.0" encoding="utf-8" ?>
<EnvelopeN xsi:type='typens:EnvelopeN' 
    xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' 
    xmlns:xs='http://www.w3.org/2001/XMLSchema' 
    xmlns:typens='http://www.esri.com/schemas/ArcGIS/10.1'>
    
    <XMin>-20037497.2108</XMin>
    <YMin>-19929239.113399997</YMin>
    <XMax>20037497.2108</XMax>
    <YMax>18379686.9965</YMax>

</EnvelopeN>

conf.xml

<?xml version="1.0" encoding="utf-8"?>
<CacheInfo xsi:type="typens:CacheInfo" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:typens="http://www.esri.com/schemas/ArcGIS/10.1">
    <TileCacheInfo xsi:type="typens:TileCacheInfo">
        <SpatialReference xsi:type="typens:ProjectedCoordinateSystem">
            <WKT>PROJCS["WGS_1984_Web_Mercator_Auxiliary_Sphere",GEOGCS["GCS_WGS_1984",DATUM["D_WGS_1984",SPHEROID["WGS_1984",6378137.0,298.257223563]],PRIMEM["Greenwich",0.0],UNIT["Degree",0.0174532925199433]],PROJECTION["Mercator_Auxiliary_Sphere"],PARAMETER["False_Easting",0.0],PARAMETER["False_Northing",0.0],PARAMETER["Central_Meridian",0.0],PARAMETER["Standard_Parallel_1",0.0],PARAMETER["Auxiliary_Sphere_Type",0.0],UNIT["Meter",1.0],AUTHORITY["EPSG",3857]]</WKT>
            <XOrigin>-20037700</XOrigin>
            <YOrigin>-30241100</YOrigin>
            <XYScale>148923141.92838538</XYScale>
            <ZOrigin>-100000</ZOrigin>
            <ZScale>10000</ZScale>
            <MOrigin>-100000</MOrigin>
            <MScale>10000</MScale>
            <XYTolerance>0.001</XYTolerance>
            <ZTolerance>0.001</ZTolerance>
            <MTolerance>0.001</MTolerance>
            <HighPrecision>true</HighPrecision>
            <WKID>3857</WKID>
        </SpatialReference>
        
        <TileOrigin xsi:type="typens:PointN">
            <X>-20037508.342787001</X>
            <Y>20037508.342787001</Y>
        </TileOrigin>
    
        <TileCols>256</TileCols>
        <TileRows>256</TileRows>
        <DPI>96</DPI>
        <LODInfos xsi:type="typens:ArrayOfLODInfo">
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>0</LevelID>
                <Scale>591657527.591555</Scale>
                <Resolution>156543.03392799999</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>1</LevelID>
                <Scale>295828763.79577702</Scale>
                <Resolution>78271.516963999893</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>2</LevelID>
                <Scale>147914381.89788899</Scale>
                <Resolution>39135.758482000099</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>3</LevelID>
                <Scale>73957190.948944002</Scale>
                <Resolution>19567.879240999901</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>4</LevelID>
                <Scale>36978595.474472001</Scale>
                <Resolution>9783.9396204999593</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>5</LevelID>
                <Scale>18489297.737236001</Scale>
                <Resolution>4891.9698102499797</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>6</LevelID>
                <Scale>9244648.8686180003</Scale>
                <Resolution>2445.9849051249898</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>7</LevelID>
                <Scale>4622324.4343090001</Scale>
                <Resolution>1222.9924525624899</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>8</LevelID>
                <Scale>2311162.2171550002</Scale>
                <Resolution>611.49622628138002</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>9</LevelID>
                <Scale>1155581.108577</Scale>
                <Resolution>305.74811314055802</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>10</LevelID>
                <Scale>577790.55428899999</Scale>
                <Resolution>152.874056570411</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>11</LevelID>
                <Scale>288895.27714399999</Scale>
                <Resolution>76.437028285073197</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>12</LevelID>
                <Scale>144447.638572</Scale>
                <Resolution>38.218514142536598</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>13</LevelID>
                <Scale>72223.819285999998</Scale>
                <Resolution>19.109257071268299</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>14</LevelID>
                <Scale>36111.909642999999</Scale>
                <Resolution>9.5546285356341496</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>15</LevelID>
                <Scale>18055.954822</Scale>
                <Resolution>4.7773142679493699</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>16</LevelID>
                <Scale>9027.9774109999998</Scale>
                <Resolution>2.38865713397468</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>17</LevelID>
                <Scale>4513.9887049999998</Scale>
                <Resolution>1.1943285668550501</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>18</LevelID>
                <Scale>2256.994353</Scale>
                <Resolution>0.59716428355981699</Resolution>
            </LODInfo>
            <LODInfo xsi:type="typens:LODInfo">
                <LevelID>19</LevelID>
                <Scale>1128.4971760000001</Scale>
                <Resolution>0.29858214164761698</Resolution>
            </LODInfo>
        </LODInfos>
    </TileCacheInfo>
    <TileImageInfo xsi:type="typens:TileImageInfo">
        <CacheTileFormat>PNG</CacheTileFormat>
        <CompressionQuality>0</CompressionQuality>
        <Antialiasing>false</Antialiasing>
    </TileImageInfo>
    <CacheStorageInfo xsi:type="typens:CacheStorageInfo">
        <StorageFormat>esriMapCacheStorageModeExploded</StorageFormat>
        <PacketSize>0</PacketSize>
    </CacheStorageInfo>
</CacheInfo>

参考：

http://leafletjs.com/
http://leafletjs.com/examples/quick-start/
http://www.cnblogs.com/luxiaoxun/p/4454880.html
http://www.cnblogs.com/luxiaoxun/p/5020247.html

可能感兴趣的文章

Redis的11种web应用场景 - 51CTO.COM

Sun, 23 Jul 2017 09:52:54 CST

【51CTO精选译文】在“怎样让Redis在你的系统中发挥作用”一文中，Salvatore 'antirez’ Sanfilippo告诉我们如何利用Redis独有的数据结构处理能力来解决一些常见问题。一些Redis原语命令比如LPUSH、LTRIM和LREM等等能够用来帮助开发者完成需要的任务——这些任务在传统的数据库存储中非常困难或缓慢。这是一篇非常有用并且实际的文章。那么要如何在你的框架中完成这些任务呢？

下面列出11种Web应用场景，在这些场景下可以充分的利用Redis的特性，大大提高效率。

1．在主页中显示最新的项目列表。

Redis使用的是常驻内存的缓存，速度非常快。LPUSH用来插入一个内容ID，作为关键字存储在列表头部。LTRIM用来限制列表中的项目数最多为5000。如果用户需要的检索的数据量超越这个缓存容量，这时才需要把请求发送到数据库。

2．删除和过滤。

如果一篇文章被删除，可以使用LREM从缓存中彻底清除掉。

3．排行榜及相关问题。

排行榜（leader board）按照得分进行排序。ZADD命令可以直接实现这个功能，而ZREVRANGE命令可以用来按照得分来获取前100名的用户，ZRANK可以用来获取用户排名，非常直接而且操作容易。

4．按照用户投票和时间排序。

这就像Reddit的排行榜，得分会随着时间变化。LPUSH和LTRIM命令结合运用，把文章添加到一个列表中。一项后台任务用来获取列表，并重新计算列表的排序，ZADD命令用来按照新的顺序填充生成列表。列表可以实现非常快速的检索，即使是负载很重的站点。

5．过期项目处理。

使用unix时间作为关键字，用来保持列表能够按时间排序。对current_time和time_to_live进行检索，完成查找过期项目的艰巨任务。另一项后台任务使用ZRANGE...WITHSCORES进行查询，删除过期的条目。

6．计数。

进行各种数据统计的用途是非常广泛的，比如想知道什么时候封锁一个IP地址。INCRBY命令让这些变得很容易，通过原子递增保持计数；GETSET用来重置计数器；过期属性用来确认一个关键字什么时候应该删除。

7．特定时间内的特定项目。

这是特定访问者的问题，可以通过给每次页面浏览使用SADD命令来解决。SADD不会将已经存在的成员添加到一个集合。

8．实时分析正在发生的情况，用于数据统计与防止垃圾邮件等。

使用Redis原语命令，更容易实施垃圾邮件过滤系统或其他实时跟踪系统。

9．Pub/Sub。

在更新中保持用户对数据的映射是系统中的一个普遍任务。Redis的pub/sub功能使用了SUBSCRIBE、UNSUBSCRIBE和PUBLISH命令，让这个变得更加容易。

10．队列。

在当前的编程中队列随处可见。除了push和pop类型的命令之外，Redis还有阻塞队列的命令，能够让一个程序在执行时被另一个程序添加到队列。你也可以做些更有趣的事情，比如一个旋转更新的RSS feed队列。

11．缓存。

Redis缓存使用的方式与memcache相同。

网络应用不能无休止地进行模型的战争，看看这些Redis的原语命令，尽管简单但功能强大，把它们加以组合，所能完成的就更无法想象。当然，你可以专门编写代码来完成所有这些操作，但Redis实现起来显然更为轻松。

原文：11 Common Web Use Cases Solved In Redis

Web图片资源的加载与渲染时机

Tue, 04 Jul 2017 08:00:00 CST

此文研究页面中的图片资源的加载和渲染时机，使得我们能更好的管理图片资源，避免不必要的流量和提高用户体验。

浏览器的工作流程

要研究图片资源的加载和渲染，我们先要了解浏览器的工作原理。以 Webkit引擎的工作流程为例：

从上图可看出，浏览器加载一个HTML页面后进行如下操作：

解析HTML —> 构建DOM树
加载样式 —> 解析样式 —> 构建样式规则树
加载javascript —> 执行javascript代码
把DOM树和样式规则树匹配构建渲染树
计算元素位置进行布局
绘制

从上图我们不能很直观的看出图片资源从什么时候开始加载，下图标出图片加载和渲染的时机：

解析HTML【遇到 <img>标签加载图片】 —> 构建DOM树
加载样式 —> 解析样式【遇到背景图片链接不加载】 —> 构建样式规则树
加载javascript —> 执行javascript代码
把DOM树和样式规则树匹配构建渲染树【加载渲染树上的背景图片】
计算元素位置进行布局
绘制【开始渲染图片】

图片加载与渲染规则

页面中不是所有的 <img>标签图片和样式表背景图片都会加载。

display:none

<style>
.img-purple {
    background-image: url(../image/purple.png);
}
</style>
<img src="../image/pink.png" style="display:none">
<div class="img-purple" style="display:none"></div>

图片资源请求如下：

设置了 display:none属性的元素，图片不会渲染出来，但会加载。

原理

把DOM树和样式规则树匹配构建渲染树时，会把可渲染元素上的所有属性（如 display:none属性和 background-image属性）结合一起产出到渲染树。

当解析渲染树时会加载 <img>标签元素上的图片，发现元素上有 background-image属性时会加载背景图片。

当绘制时发现元素上有 display:none属性，则不计算该元素位置，也不会绘制该元素。

<style>
.img-yellow {
    background-image: url(../image/yellow.png);
}
</style>
<div style="display:none">
    <img src="../image/red.png">
    <div class="img-yellow"></div>
</div>

图片资源请求如下：

设置了 display:none属性元素的子元素，样式表中的背景图片不会渲染出来，也不会加载；而 <img>标签的图片不会渲染出来，但会加载。

原理

正如上面所说的，构建渲染树时，只会把可渲染元素产出到渲染树，这就意味有不可渲染元素，当匹配DOM树和样式规则树时，若发现一个元素的属性上有 display:none，浏览器会认为该元素的子元素是不可渲染的，因此不会把该元素的子元素产出到渲染树上。

当解析渲染树时渲染树上没有设置了 display:none属性元素的子元素，因此不会加载该元素中子元素的图片。

当绘制时也因为渲染树上没有设置了 display:none属性元素的子元素，因此该元素中子元素不会渲染出来。

重复图片

.img-blue {
    background-image: url(../image/blue.png);
}
<div class="img-blue"></div>
<img src="../image/blue.png">
<img src="../image/blue.png">

图片资源请求如下：

页面中多个 <img>标签或样式表中的背景图片图片路径是同一个，图片只加载一次。

原理

浏览器请求资源时，都会先判断是否有缓存，若有缓存且未过期则会从缓存中读取，不会再次请求。先加载的图片会存储到浏览器缓存中，后面再次请求同路径图片时会直接读取缓存中的图片。

不存在元素的背景图片

.img-blue {
    background-image: url(../image/blue.png);
}
.img-orange{
    background-image: url(../image/orange.png);
}
<div class="img-orange"></div>

图片资源请求如下：

不存在元素的背景图片不会加载。

原理

不存在的元素不会产出到DOM树上，因此渲染树上也不会有不存在的元素，当解析渲染树时无法解析不存在的元素，不存在的元素上的图片自然不会加载也不会渲染。

伪类的背景图片

.img-green {
    background-image: url(../image/green.png);
}
.img-green:hover{
    background-image: url(../image/red.png);
}
<div class="img-green"></div>

触发hover前的图片资源请求如下：

触发hover后的图片资源请求如下：

当触发伪类的时候，伪类样式上的背景图片才会加载。

原理

触发hover前，DOM树与样式规则树匹配的是无hover状态选择器 .img-green的样式，因此渲染树上 background-image属性的值是 url(../image/green.png)，解析渲染树时加载的是 green.png，绘制时渲染的也是 green.png。

触发hover后，因为 .img-green:hover的优先级比较高，因此DOM树与样式规则树匹配的是有hover状态选择器 .img-green:hover的样式，渲染树上 background-image属性的值是 url(../image/red.png)，解析渲染树时加载的是 red.png，绘制时渲染的也是 red.png。

应用

占位图

当使用样式表中的背景图片作为占位符时，要把背景图片转为base64格式。这是因为背景图片加载的顺序在 <img>标签后面，背景图片可能会在 <img>标签图片加载完成后才开始加载，达不到想要的效果。

预加载

很多场景里图片是在改变或触发状态后才显示出来的，例如点击一个Tab后，一个设置 display:none隐藏的父元素变为显示，这个父元素里的子元素图片会在父元素显示后才开始加载；又如当鼠标hover到图标后，改变图标图片，图片会在hover上去后才开始加载，导致出现闪一下这种不友好的体验。

在这种场景下，我们就需要把图片预加载，预加载有很多种方式:

若是小图标，可以合并成雪碧图，在改变状态前就把所有图标都一起加载了。
使用上文讲到的，设置了display:none属性的元素，图片不会渲染出来，但会加载。把要预加载的图片加到设置了 display:none的元素背景图或 <img>标签里。
在javascript创建img对象，把图片url设置到img对象的src属性里。

Mozilla：全球TOP 100万网站Web安全性大幅提升

Sun, 02 Jul 2017 14:20:18 CST

Mozilla 一年前发布的 Mozilla Observatory 扫描了 Alexa 排名前 100 万的网站，结果令人沮丧，大多数网站的文档和安全措施都非常糟糕，站点运营者们对内容安全（CSP）、HTTP 严格传输安全（HSTS）和子资源完整性（SRI）的重要性缺乏认知。

全球 web 站点安全性快速大幅提升

数月后，Mozilla 对 Alexa 前 100 万家网站进行了重新扫描，发现全球 web 网站的安全性有了大幅改善。HSTS 和 CSP 的部署都超过了 50%，其他方面的 web 安全性也都得到不同程度的改进，统计如下：

从上表可以看出，全球 web 站点的安全性正在以出人意料的高速度提升，虽然部署 HTTPS 的站点数量只增长了 36%，但是绝对数量已经非常可观，Alexa 前 100 万网站中已经有 11.9 万家网站部署了 HTTPS（编者按：前天 Let’s Encrypt 刚刚庆祝 HTTPS 免费证书发放数突破一亿大关）。

不仅如此，已经部署 HTTPS 的网站中，多达 9.3 万家网站将 HTTPS 设置为默认访问选项，其中 1.8 万家网站甚至禁止未加密的 HTTP 访问。

内容安全策略（CSP）的普及速度也非常惊人，因为对于一个新的站点来说，部署 CSP 其实还是有些难度的，需要对 CSP 进行重构和改造来适应站点。

Obervatory 安全评级：有喜有忧

虽然全球 web 站点的安全性过去几个月取得来飞速的进展，但是多数大网站依然没有部署 CSP 和 SRI，要知道这些技术如果部署得当，能够消除绝大多数的站点攻击，为用户提供更好的安全防护。以下为 Mozilla 给出的全球站点安全评级数据对照表：

其中不及格（F级）的网站数下降来 2.8%，这意味着过去八个月中 2.7 万家安全性不达标的网站进行来有效的改进。

成功扫描的 969924 家网站中，有超过 5 万家网站使用 Mozilla Observatory 来扫描网站改进安全评级，其中 2500 家网站的安全评分直接从F跳升到A或A+。

来自：IT 经理网-宋妍

本文链接

IT瘾web推荐

如何使用claude code开发完整的响应式web应用

the-book-of-secret-knowledge: A collection of inspiring lists, manuals, cheatsheets, blogs, hacks, one-liners, cli/web tools and more.

A collection of inspiring lists, manuals, cheatsheets, blogs, hacks, one-liners, cli/web tools, and more.

📔 What is it?

🚻 For whom?

ℹ️ Contributing

Code Contributors

Financial Contributors

📰 RSS Feed & Updates

☑️ ToDo

💢 Table of Contents

🔱 The Book of Secret Knowledge (Chapters)

CLI Tools [TOC]

▪️ Shells

▪️ Shell plugins

▪️ Managers

▪️ Text editors

▪️ Files and directories

▪️ Network

▪️ Network (DNS)

▪️ Network (HTTP)

▪️ SSL

▪️ Security

▪️ Auditing Tools

▪️ System Diagnostics/Debuggers

▪️ Log Analyzers

▪️ Databases

▪️ TOR

▪️ Messengers/IRC Clients

▪️ Productivity

▪️ Other

GUI Tools [TOC]

▪️ Terminal emulators

▪️ Network

▪️ Browsers

▪️ Password Managers

▪️ Messengers/IRC Clients

▪️ Messengers (end-to-end encryption)

▪️ Text editors

Web Tools [TOC]

▪️ Browsers

▪️ SSL/Security

▪️ HTTP Headers & Web Linters

▪️ DNS

▪️ Mail

▪️ Encoders/Decoders and Regex testing

▪️ Net-tools

▪️ Privacy

▪️ Code parsers/playgrounds

▪️ Performance

▪️ Mass scanners (search engines)

▪️ Generators

▪️ Passwords

▪️ CVE/Exploits databases

▪️ Mobile apps scanners

▪️ Private Search Engines

▪️ Secure Webmail Providers

▪️ Crypto

▪️ PGP Keyservers

Systems/Services [TOC]

▪️ Operating Systems

▪️ HTTP(s) Services

▪️ DNS Services

▪️ Other Services

▪️ Security/hardening

Networks [TOC]

▪️ Tools

▪️ Labs

▪️ Other

Containers/Orchestration [TOC]

▪️ CLI Tools

▪️ Web Tools

▪️ Security

▪️ Manuals/Tutorials/Best Practices

Manuals/Howtos/Tutorials [TOC]

▪️ Shell/Command line

▪️ Text Editors

▪️ Python

▪️ Sed & Awk & Other

CLI Tools ^[TOC]

GUI Tools ^[TOC]

Web Tools ^[TOC]

Systems/Services ^[TOC]

Networks ^[TOC]

Containers/Orchestration ^[TOC]

Manuals/Howtos/Tutorials ^[TOC]

Inspiring Lists ^[TOC]

Blogs/Podcasts/Videos ^[TOC]

Hacking/Penetration Testing ^[TOC]

Your daily knowledge and news ^[TOC]

Other Cheat Sheets ^[TOC]

Shell One-liners ^[TOC]