2.1.27 • Published 8 months ago

@blocklet/crawler v2.1.27

Weekly downloads
-
License
ISC
Repository
-
Last release
8 months ago

@blocklet/crawler

@blocklet/crawler is a package crawler for Blocklet.

Package Structure

The package is composed of both frontend and backend components. The backend code can be found in the middlewares folder.

Development

Install In Blocklet

# You can use npm / yarn
pnpm add @blocklet/crawler

Install Dependencies

To install the required dependencies, run the following command:

pnpm i

Build Packages

To build the packages, execute the following command:

pnpm build

Build, Watch, and Run Development Server

For building, watching changes, and running the development server, use the following command:

pnpm run dev

Backend Example

const { initSEOMiddleware, initCronCrawlBlocklet } = require('@blocklet/crawler/middlewares');

// init cron job to crawl blocklet that generate SEO pages
initCronCrawlBlocklet({
  time: '0 0 */12 * * *',
});

const router = express.Router();
// init SEO middleware, when request come, we will return the SEO static page
router.use(initSEOMiddleware());

License

This package is licensed under the MIT license.

2.1.27

8 months ago

2.1.25

8 months ago

2.1.26

8 months ago

2.1.23

8 months ago

2.1.24

8 months ago

2.1.21

8 months ago

2.1.22

8 months ago

2.1.19

8 months ago

2.1.20

8 months ago

2.1.18

8 months ago

2.1.16

8 months ago

2.1.17

8 months ago

2.1.14

9 months ago

2.1.15

9 months ago

2.1.13

9 months ago

2.1.12

9 months ago

2.1.11

9 months ago

2.1.2

9 months ago

2.1.1

9 months ago

2.1.4

9 months ago

2.1.3

9 months ago

2.1.6

9 months ago

2.1.5

9 months ago

2.1.8

9 months ago

2.1.7

9 months ago

2.1.0

9 months ago

2.1.10

9 months ago

2.0.198

9 months ago

2.0.197

9 months ago

2.1.9

9 months ago

2.0.191

9 months ago

2.0.196

9 months ago

2.0.195

9 months ago

2.0.194

9 months ago

2.0.193

9 months ago

2.0.192

9 months ago

2.0.190

9 months ago

2.0.179

10 months ago

2.0.178

10 months ago

2.0.177

10 months ago

2.0.176

10 months ago

2.0.175

10 months ago

2.0.174

10 months ago

2.0.172

10 months ago

2.0.171

10 months ago

2.0.170

10 months ago

2.0.180

10 months ago

2.0.189

9 months ago

2.0.188

9 months ago

2.0.187

9 months ago

2.0.186

10 months ago

2.0.185

10 months ago

2.0.184

10 months ago

2.0.183

10 months ago

2.0.182

10 months ago

2.0.181

10 months ago

2.0.159

10 months ago

2.0.158

10 months ago

2.0.157

10 months ago

2.0.156

10 months ago

2.0.155

10 months ago

2.0.154

10 months ago

2.0.153

10 months ago

2.0.152

10 months ago

2.0.151

10 months ago

2.0.150

10 months ago

2.0.169

10 months ago

2.0.168

10 months ago

2.0.167

10 months ago

2.0.166

10 months ago

2.0.165

10 months ago

2.0.164

10 months ago

2.0.163

10 months ago

2.0.162

10 months ago

2.0.161

10 months ago

2.0.160

10 months ago

2.0.149

10 months ago

2.0.148

10 months ago

2.0.147

10 months ago

2.0.146

10 months ago

2.0.145

10 months ago

2.0.144

10 months ago

2.0.143

10 months ago

2.0.142

10 months ago

2.0.141

10 months ago

2.0.140

10 months ago

2.0.15

1 year ago

2.0.16

1 year ago

2.0.13

1 year ago

2.0.14

1 year ago

2.0.11

1 year ago

2.0.12

1 year ago

2.0.10

1 year ago

2.0.19

1 year ago

2.0.17

1 year ago

2.0.18

1 year ago

2.0.26

1 year ago

2.0.27

1 year ago

2.0.24

1 year ago

2.0.25

1 year ago

2.0.22

1 year ago

2.0.23

1 year ago

2.0.20

1 year ago

2.0.21

1 year ago

2.0.28

1 year ago

2.0.29

1 year ago

2.0.37

12 months ago

2.0.38

12 months ago

2.0.35

1 year ago

2.0.36

12 months ago

2.0.33

1 year ago

2.0.34

1 year ago

2.0.31

1 year ago

2.0.32

1 year ago

2.0.30

1 year ago

2.0.39

12 months ago

2.0.48

12 months ago

2.0.49

12 months ago

2.0.46

12 months ago

2.0.47

12 months ago

2.0.44

12 months ago

2.0.45

12 months ago

2.0.42

12 months ago

2.0.43

12 months ago

2.0.40

12 months ago

2.0.41

12 months ago

2.0.59

12 months ago

2.0.57

12 months ago

2.0.58

12 months ago

2.0.55

12 months ago

2.0.56

12 months ago

2.0.53

12 months ago

2.0.54

12 months ago

2.0.51

12 months ago

2.0.52

12 months ago

2.0.50

12 months ago

2.0.68

12 months ago

2.0.69

12 months ago

2.0.66

12 months ago

2.0.67

12 months ago

2.0.64

12 months ago

2.0.65

12 months ago

2.0.62

12 months ago

2.0.63

12 months ago

2.0.61

12 months ago

2.0.79

12 months ago

2.0.77

12 months ago

2.0.78

12 months ago

2.0.75

12 months ago

2.0.76

12 months ago

2.0.73

12 months ago

2.0.74

12 months ago

2.0.71

12 months ago

2.0.72

12 months ago

2.0.70

12 months ago

2.0.88

11 months ago

2.0.89

11 months ago

2.0.86

11 months ago

2.0.87

11 months ago

2.0.84

11 months ago

2.0.85

11 months ago

2.0.82

11 months ago

2.0.83

11 months ago

2.0.80

11 months ago

2.0.81

11 months ago

2.0.99

11 months ago

2.0.97

11 months ago

2.0.98

11 months ago

2.0.95

11 months ago

2.0.96

11 months ago

2.0.94

11 months ago

1.6.259

1 year ago

1.6.258

1 year ago

1.6.260

1 year ago

1.6.262

1 year ago

1.6.261

1 year ago

1.6.264

1 year ago

1.6.263

1 year ago

1.6.255

1 year ago

1.6.254

1 year ago

1.6.257

1 year ago

1.6.256

1 year ago

2.0.3

1 year ago

2.0.2

1 year ago

2.0.139

10 months ago

2.0.5

1 year ago

2.0.138

10 months ago

2.0.4

1 year ago

2.0.137

10 months ago

2.0.7

1 year ago

2.0.136

10 months ago

2.0.6

1 year ago

2.0.135

10 months ago

2.0.9

1 year ago

2.0.134

10 months ago

2.0.133

10 months ago

2.0.132

10 months ago

2.0.131

11 months ago

2.0.130

11 months ago

2.0.1

1 year ago

2.0.0

1 year ago

2.0.109

11 months ago

2.0.119

11 months ago

2.0.118

11 months ago

2.0.117

11 months ago

2.0.116

11 months ago

2.0.115

11 months ago

2.0.114

11 months ago

2.0.113

11 months ago

2.0.112

11 months ago

2.0.111

11 months ago

2.0.110

11 months ago

2.0.129

11 months ago

2.0.128

11 months ago

2.0.127

11 months ago

2.0.126

11 months ago

2.0.125

11 months ago

2.0.124

11 months ago

2.0.123

11 months ago

2.0.122

11 months ago

2.0.121

11 months ago

2.0.120

11 months ago

2.0.108

11 months ago

2.0.107

11 months ago

2.0.106

11 months ago

2.0.105

11 months ago

2.0.104

11 months ago

2.0.103

11 months ago

2.0.102

11 months ago

2.0.101

11 months ago

2.0.100

11 months ago

1.6.253

1 year ago

1.6.246

1 year ago

1.6.248

1 year ago

1.6.247

1 year ago

1.6.249

1 year ago

1.6.251

1 year ago

1.6.250

1 year ago

1.6.252

1 year ago

1.6.244

1 year ago

1.6.245

1 year ago

1.6.243

1 year ago

1.6.242

1 year ago

1.6.241

1 year ago

1.6.239

1 year ago

1.6.240

1 year ago

1.6.238

1 year ago

1.6.237

1 year ago

1.6.236

1 year ago

1.6.234

1 year ago

1.6.233

1 year ago

1.6.232

1 year ago

1.6.231

1 year ago

1.6.228

1 year ago

1.6.229

1 year ago

1.6.230

1 year ago

1.6.227

1 year ago

1.6.226

1 year ago

1.6.225

1 year ago

1.6.224

1 year ago

1.6.222

1 year ago

1.6.221

1 year ago

1.6.223

1 year ago

1.6.220

1 year ago

1.6.219

1 year ago

1.6.218

1 year ago

1.6.217

1 year ago

1.6.215

1 year ago

1.6.216

1 year ago

1.6.214

1 year ago

1.6.213

1 year ago

1.6.211

1 year ago

1.6.212

1 year ago

1.6.206

1 year ago

1.6.208

1 year ago

1.6.207

1 year ago

1.6.209

1 year ago

1.6.210

1 year ago

1.6.204

1 year ago

1.6.203

1 year ago

1.6.205

1 year ago

1.6.202

1 year ago

1.6.198

1 year ago

1.6.199

1 year ago

1.6.200

1 year ago

1.6.201

1 year ago

1.6.196

1 year ago

1.6.197

1 year ago

1.6.195

1 year ago

1.6.192

1 year ago

1.6.191

1 year ago

1.6.194

1 year ago

1.6.193

1 year ago

1.6.189

1 year ago

1.6.188

1 year ago

1.6.185

1 year ago

1.6.187

1 year ago

1.6.186

1 year ago

1.6.184

1 year ago

1.6.183

1 year ago

1.6.182

1 year ago

1.6.181

1 year ago

1.6.180

1 year ago

1.6.179

1 year ago

1.6.176

1 year ago

1.6.178

1 year ago

1.6.177

1 year ago

1.6.174

1 year ago

1.6.175

1 year ago

1.6.173

1 year ago

1.6.172

1 year ago

1.6.169

1 year ago

1.6.170

1 year ago

1.6.171

1 year ago

1.6.168

1 year ago

1.6.167

1 year ago

1.6.165

1 year ago

1.6.164

1 year ago

1.6.166

1 year ago

1.6.163

1 year ago

1.6.162

1 year ago

1.6.159

1 year ago

1.6.161

1 year ago

1.6.160

1 year ago

1.6.158

1 year ago

1.6.154

1 year ago

1.6.153

1 year ago

1.6.156

1 year ago

1.6.157

1 year ago

1.6.152

1 year ago

1.6.149

1 year ago

1.6.150

1 year ago

1.6.151

1 year ago

1.6.148

1 year ago

1.6.147

1 year ago

1.6.146

1 year ago

1.6.141

1 year ago

1.6.140

1 year ago

1.6.143

1 year ago

1.6.142

1 year ago

1.6.145

1 year ago

1.6.144

1 year ago

1.6.138

1 year ago

1.6.137

1 year ago

1.6.139

1 year ago

1.6.130

1 year ago

1.6.132

1 year ago

1.6.131

1 year ago

1.6.134

1 year ago

1.6.133

1 year ago

1.6.136

1 year ago

1.6.135

1 year ago

1.6.127

1 year ago

1.6.126

1 year ago

1.6.129

1 year ago

1.6.128

1 year ago

1.6.125

1 year ago

1.6.124

1 year ago

1.6.123

1 year ago

1.6.121

1 year ago

1.6.120

1 year ago

1.6.118

1 year ago

1.6.119

1 year ago

1.6.116

1 year ago

1.6.117

1 year ago

1.6.115

1 year ago

1.6.114

1 year ago

1.6.113

1 year ago

1.6.105

1 year ago

1.6.104

1 year ago

1.6.107

1 year ago

1.6.106

1 year ago

1.6.109

1 year ago

1.6.108

1 year ago

1.6.110

1 year ago

1.6.112

1 year ago

1.6.111

1 year ago

1.6.103

1 year ago

1.6.101

1 year ago

1.6.100

1 year ago

1.6.102

1 year ago

1.6.95

1 year ago

1.6.97

1 year ago

1.6.96

1 year ago

1.6.99

1 year ago

1.6.98

1 year ago

1.6.93

1 year ago

1.6.92

1 year ago

1.6.94

1 year ago

1.6.88

1 year ago

1.6.87

1 year ago

1.6.89

1 year ago

1.6.91

1 year ago

1.6.90

1 year ago

1.6.86

1 year ago

1.6.85

1 year ago

1.6.80

1 year ago

1.6.82

1 year ago

1.6.81

1 year ago

1.6.84

1 year ago

1.6.83

1 year ago

1.6.79

1 year ago

1.6.77

1 year ago

1.6.78

1 year ago

1.6.75

1 year ago

1.6.74

1 year ago

1.6.76

1 year ago

1.6.71

1 year ago

1.6.73

1 year ago

1.6.72

1 year ago

1.6.70

1 year ago

1.6.66

1 year ago

1.6.68

1 year ago

1.6.67

1 year ago

1.6.69

1 year ago

1.6.64

1 year ago

1.6.65

1 year ago

1.6.62

1 year ago

1.6.63

1 year ago

1.6.59

1 year ago

1.6.60

1 year ago

1.6.61

1 year ago

1.6.55

1 year ago

1.6.57

1 year ago

1.6.56

1 year ago

1.6.58

1 year ago

1.6.53

1 year ago

1.6.54

1 year ago

1.6.49

1 year ago

1.6.51

1 year ago

1.6.50

1 year ago

1.6.52

1 year ago

1.6.46

2 years ago

1.6.45

2 years ago

1.6.48

2 years ago

1.6.47

2 years ago

1.6.44

2 years ago

1.6.40

2 years ago

1.6.42

2 years ago

1.6.41

2 years ago

1.6.43

2 years ago

1.6.39

2 years ago

1.6.38

2 years ago

1.6.37

2 years ago

1.6.31

2 years ago

1.6.33

2 years ago

1.6.32

2 years ago

1.6.35

2 years ago

1.6.34

2 years ago

1.6.36

2 years ago

1.6.22

2 years ago

1.6.21

2 years ago

1.6.24

2 years ago

1.6.23

2 years ago

1.6.26

2 years ago

1.6.25

2 years ago

1.6.28

2 years ago

1.6.27

2 years ago

1.6.29

2 years ago

1.6.30

2 years ago

1.6.20

2 years ago

1.6.17

2 years ago

1.6.16

2 years ago

1.6.19

2 years ago

1.6.18

2 years ago

1.6.15

2 years ago

1.6.14

2 years ago

1.6.13

2 years ago

1.6.9

2 years ago

1.6.8

2 years ago

1.6.11

2 years ago

1.6.10

2 years ago

1.6.12

2 years ago

1.6.4

2 years ago

1.6.3

2 years ago

1.6.2

2 years ago

1.6.1

2 years ago

1.6.0

2 years ago

1.6.7

2 years ago

1.6.6

2 years ago

1.6.5

2 years ago

1.5.214

2 years ago

1.5.213

2 years ago

1.5.212

2 years ago

1.5.209

2 years ago

1.5.208

2 years ago

1.5.211

2 years ago

1.5.210

2 years ago

1.5.203

2 years ago

1.5.202

2 years ago

1.5.207

2 years ago

1.5.206

2 years ago

1.5.205

2 years ago

1.5.204

2 years ago

1.5.201

2 years ago

1.5.200

2 years ago

1.5.199

2 years ago

1.5.198

2 years ago

1.5.197

2 years ago

1.5.196

2 years ago

1.5.195

2 years ago

1.5.194

2 years ago

1.5.193

2 years ago

1.5.192

2 years ago

1.5.191

2 years ago

1.5.190

2 years ago

1.5.189

2 years ago

1.5.188

2 years ago

1.5.187

2 years ago

1.5.186

2 years ago

1.5.185

2 years ago

1.5.184

2 years ago

1.5.183

2 years ago

1.5.182

2 years ago

1.5.181

2 years ago

1.5.180

2 years ago

1.5.179

2 years ago

1.5.178

2 years ago

1.5.177

2 years ago

1.5.176

2 years ago

1.5.175

2 years ago

1.5.174

2 years ago

1.5.173

2 years ago

1.5.172

2 years ago

1.5.171

2 years ago

1.5.170

2 years ago

1.5.169

2 years ago

1.5.168

2 years ago

1.5.167

2 years ago

1.5.165

2 years ago

1.5.164

2 years ago

1.5.163

2 years ago

1.5.162

2 years ago

1.5.161

2 years ago

1.5.160

2 years ago

1.5.159

2 years ago

1.5.158

2 years ago

1.5.157

2 years ago

1.5.156

2 years ago

1.5.155

2 years ago

1.5.154

2 years ago

1.5.153

2 years ago

1.5.152

2 years ago

1.5.151

2 years ago

1.5.150

2 years ago

1.5.149

2 years ago

1.5.148

2 years ago

1.5.147

2 years ago

1.5.146

2 years ago

1.5.145

2 years ago

1.5.144

2 years ago

1.5.143

2 years ago

1.5.142

2 years ago

1.5.141

2 years ago

1.5.140

2 years ago

1.5.139

2 years ago

1.5.138

2 years ago

1.5.137

2 years ago

1.5.136

2 years ago

1.5.135

2 years ago

1.5.134

2 years ago

1.5.133

2 years ago

1.5.132

2 years ago

1.5.131

2 years ago

1.5.130

2 years ago

1.5.129

2 years ago

1.5.128

2 years ago

1.5.127

2 years ago