2.1.27 • Published 10 months ago

@blocklet/crawler v2.1.27

Weekly downloads
-
License
ISC
Repository
-
Last release
10 months ago

@blocklet/crawler

@blocklet/crawler is a package crawler for Blocklet.

Package Structure

The package is composed of both frontend and backend components. The backend code can be found in the middlewares folder.

Development

Install In Blocklet

# You can use npm / yarn
pnpm add @blocklet/crawler

Install Dependencies

To install the required dependencies, run the following command:

pnpm i

Build Packages

To build the packages, execute the following command:

pnpm build

Build, Watch, and Run Development Server

For building, watching changes, and running the development server, use the following command:

pnpm run dev

Backend Example

const { initSEOMiddleware, initCronCrawlBlocklet } = require('@blocklet/crawler/middlewares');

// init cron job to crawl blocklet that generate SEO pages
initCronCrawlBlocklet({
  time: '0 0 */12 * * *',
});

const router = express.Router();
// init SEO middleware, when request come, we will return the SEO static page
router.use(initSEOMiddleware());

License

This package is licensed under the MIT license.

blockletcrawler
@abtnode/cron@blocklet/puppeteer@blocklet/sdkaxioscryptofs-extrageneric-poollodashlru-cachep-queuep-wait-forprettierredisrobots-parsersitemapufourl-join
@everything-registry/sub-chunk-132
2.1.27

10 months ago

2.1.25

10 months ago

2.1.26

10 months ago

2.1.23

10 months ago

2.1.24

10 months ago

2.1.21

10 months ago

2.1.22

10 months ago

2.1.19

11 months ago

2.1.20

11 months ago

2.1.18

11 months ago

2.1.16

11 months ago

2.1.17

11 months ago

2.1.14

11 months ago

2.1.15

11 months ago

2.1.13

11 months ago

2.1.12

11 months ago

2.1.11

11 months ago

2.1.2

11 months ago

2.1.1

11 months ago

2.1.4

11 months ago

2.1.3

11 months ago

2.1.6

11 months ago

2.1.5

11 months ago

2.1.8

11 months ago

2.1.7

11 months ago

2.1.0

11 months ago

2.1.10

11 months ago

2.0.198

11 months ago

2.0.197

11 months ago

2.1.9

11 months ago

2.0.191

12 months ago

2.0.196

12 months ago

2.0.195

12 months ago

2.0.194

12 months ago

2.0.193

12 months ago

2.0.192

12 months ago

2.0.190

12 months ago

2.0.179

12 months ago

2.0.178

12 months ago

2.0.177

12 months ago

2.0.176

12 months ago

2.0.175

12 months ago

2.0.174

12 months ago

2.0.172

12 months ago

2.0.171

12 months ago

2.0.170

12 months ago

2.0.180

12 months ago

2.0.189

12 months ago

2.0.188

12 months ago

2.0.187

12 months ago

2.0.186

12 months ago

2.0.185

12 months ago

2.0.184

12 months ago

2.0.183

12 months ago

2.0.182

12 months ago

2.0.181

12 months ago

2.0.159

12 months ago

2.0.158

12 months ago

2.0.157

1 year ago

2.0.156

1 year ago

2.0.155

1 year ago

2.0.154

1 year ago

2.0.153

1 year ago

2.0.152

1 year ago

2.0.151

1 year ago

2.0.150

1 year ago

2.0.169

12 months ago

2.0.168

12 months ago

2.0.167

12 months ago

2.0.166

12 months ago

2.0.165

12 months ago

2.0.164

12 months ago

2.0.163

12 months ago

2.0.162

12 months ago

2.0.161

12 months ago

2.0.160

12 months ago

2.0.149

1 year ago

2.0.148

1 year ago

2.0.147

1 year ago

2.0.146

1 year ago

2.0.145

1 year ago

2.0.144

1 year ago

2.0.143

1 year ago

2.0.142

1 year ago

2.0.141

1 year ago

2.0.140

1 year ago

2.0.15

1 year ago

2.0.16

1 year ago

2.0.13

1 year ago

2.0.14

1 year ago

2.0.11

1 year ago

2.0.12

1 year ago

2.0.10

1 year ago

2.0.19

1 year ago

2.0.17

1 year ago

2.0.18

1 year ago

2.0.26

1 year ago

2.0.27

1 year ago

2.0.24

1 year ago

2.0.25

1 year ago

2.0.22

1 year ago

2.0.23

1 year ago

2.0.20

1 year ago

2.0.21

1 year ago

2.0.28

1 year ago

2.0.29

1 year ago

2.0.37

1 year ago

2.0.38

1 year ago

2.0.35

1 year ago

2.0.36

1 year ago

2.0.33

1 year ago

2.0.34

1 year ago

2.0.31

1 year ago

2.0.32

1 year ago

2.0.30

1 year ago

2.0.39

1 year ago

2.0.48

1 year ago

2.0.49

1 year ago

2.0.46

1 year ago

2.0.47

1 year ago

2.0.44

1 year ago

2.0.45

1 year ago

2.0.42

1 year ago

2.0.43

1 year ago

2.0.40

1 year ago

2.0.41

1 year ago

2.0.59

1 year ago

2.0.57

1 year ago

2.0.58

1 year ago

2.0.55

1 year ago

2.0.56

1 year ago

2.0.53

1 year ago

2.0.54

1 year ago

2.0.51

1 year ago

2.0.52

1 year ago

2.0.50

1 year ago

2.0.68

1 year ago

2.0.69

1 year ago

2.0.66

1 year ago

2.0.67

1 year ago

2.0.64

1 year ago

2.0.65

1 year ago

2.0.62

1 year ago

2.0.63

1 year ago

2.0.61

1 year ago

2.0.79

1 year ago

2.0.77

1 year ago

2.0.78

1 year ago

2.0.75

1 year ago

2.0.76

1 year ago

2.0.73

1 year ago

2.0.74

1 year ago

2.0.71

1 year ago

2.0.72

1 year ago

2.0.70

1 year ago

2.0.88

1 year ago

2.0.89

1 year ago

2.0.86

1 year ago

2.0.87

1 year ago

2.0.84

1 year ago

2.0.85

1 year ago

2.0.82

1 year ago

2.0.83

1 year ago

2.0.80

1 year ago

2.0.81

1 year ago

2.0.99

1 year ago

2.0.97

1 year ago

2.0.98

1 year ago

2.0.95

1 year ago

2.0.96

1 year ago

2.0.94

1 year ago

1.6.259

1 year ago

1.6.258

1 year ago

1.6.260

1 year ago

1.6.262

1 year ago

1.6.261

1 year ago

1.6.264

1 year ago

1.6.263

1 year ago

1.6.255

1 year ago

1.6.254

1 year ago

1.6.257

1 year ago

1.6.256

1 year ago

2.0.3

1 year ago

2.0.2

1 year ago

2.0.139

1 year ago

2.0.5

1 year ago

2.0.138

1 year ago

2.0.4

1 year ago

2.0.137

1 year ago

2.0.7

1 year ago

2.0.136

1 year ago

2.0.6

1 year ago

2.0.135

1 year ago

2.0.9

1 year ago

2.0.134

1 year ago

2.0.133

1 year ago

2.0.132

1 year ago

2.0.131

1 year ago

2.0.130

1 year ago

2.0.1

1 year ago

2.0.0

1 year ago

2.0.109

1 year ago

2.0.119

1 year ago

2.0.118

1 year ago

2.0.117

1 year ago

2.0.116

1 year ago

2.0.115

1 year ago

2.0.114

1 year ago

2.0.113

1 year ago

2.0.112

1 year ago

2.0.111

1 year ago

2.0.110

1 year ago

2.0.129

1 year ago

2.0.128

1 year ago

2.0.127

1 year ago

2.0.126

1 year ago

2.0.125

1 year ago

2.0.124

1 year ago

2.0.123

1 year ago

2.0.122

1 year ago

2.0.121

1 year ago

2.0.120

1 year ago

2.0.108

1 year ago

2.0.107

1 year ago

2.0.106

1 year ago

2.0.105

1 year ago

2.0.104

1 year ago

2.0.103

1 year ago

2.0.102

1 year ago

2.0.101

1 year ago

2.0.100

1 year ago

1.6.253

1 year ago

1.6.246

1 year ago

1.6.248

1 year ago

1.6.247

1 year ago

1.6.249

1 year ago

1.6.251

1 year ago

1.6.250

1 year ago

1.6.252

1 year ago

1.6.244

1 year ago

1.6.245

1 year ago

1.6.243

1 year ago

1.6.242

1 year ago

1.6.241

1 year ago

1.6.239

1 year ago

1.6.240

1 year ago

1.6.238

1 year ago

1.6.237

1 year ago

1.6.236

1 year ago

1.6.234

1 year ago

1.6.233

1 year ago

1.6.232

1 year ago

1.6.231

1 year ago

1.6.228

1 year ago

1.6.229

1 year ago

1.6.230

1 year ago

1.6.227

1 year ago

1.6.226

1 year ago

1.6.225

1 year ago

1.6.224

1 year ago

1.6.222

1 year ago

1.6.221

1 year ago

1.6.223

1 year ago

1.6.220

1 year ago

1.6.219

1 year ago

1.6.218

1 year ago

1.6.217

1 year ago

1.6.215

1 year ago

1.6.216

1 year ago

1.6.214

1 year ago

1.6.213

1 year ago

1.6.211

1 year ago

1.6.212

1 year ago

1.6.206

1 year ago

1.6.208

1 year ago

1.6.207

1 year ago

1.6.209

1 year ago

1.6.210

1 year ago

1.6.204

1 year ago

1.6.203

1 year ago

1.6.205

1 year ago

1.6.202

1 year ago

1.6.198

1 year ago

1.6.199

1 year ago

1.6.200

1 year ago

1.6.201

1 year ago

1.6.196

1 year ago

1.6.197

1 year ago

1.6.195

1 year ago

1.6.192

1 year ago

1.6.191

1 year ago

1.6.194

1 year ago

1.6.193

1 year ago

1.6.189

1 year ago

1.6.188

1 year ago

1.6.185

1 year ago

1.6.187

1 year ago

1.6.186

1 year ago

1.6.184

1 year ago

1.6.183

1 year ago

1.6.182

1 year ago

1.6.181

1 year ago

1.6.180

1 year ago

1.6.179

1 year ago

1.6.176

1 year ago

1.6.178

1 year ago

1.6.177

1 year ago

1.6.174

1 year ago

1.6.175

1 year ago

1.6.173

1 year ago

1.6.172

1 year ago

1.6.169

1 year ago

1.6.170

1 year ago

1.6.171

1 year ago

1.6.168

1 year ago

1.6.167

1 year ago

1.6.165

1 year ago

1.6.164

1 year ago

1.6.166

1 year ago

1.6.163

1 year ago

1.6.162

1 year ago

1.6.159

2 years ago

1.6.161

1 year ago

1.6.160

2 years ago

1.6.158

2 years ago

1.6.154

2 years ago

1.6.153

2 years ago

1.6.156

2 years ago

1.6.157

2 years ago

1.6.152

2 years ago

1.6.149

2 years ago

1.6.150

2 years ago

1.6.151

2 years ago

1.6.148

2 years ago

1.6.147

2 years ago

1.6.146

2 years ago

1.6.141

2 years ago

1.6.140

2 years ago

1.6.143

2 years ago

1.6.142

2 years ago

1.6.145

2 years ago

1.6.144

2 years ago

1.6.138

2 years ago

1.6.137

2 years ago

1.6.139

2 years ago

1.6.130

2 years ago

1.6.132

2 years ago

1.6.131

2 years ago

1.6.134

2 years ago

1.6.133

2 years ago

1.6.136

2 years ago

1.6.135

2 years ago

1.6.127

2 years ago

1.6.126

2 years ago

1.6.129

2 years ago

1.6.128

2 years ago

1.6.125

2 years ago

1.6.124

2 years ago

1.6.123

2 years ago

1.6.121

2 years ago

1.6.120

2 years ago

1.6.118

2 years ago

1.6.119

2 years ago

1.6.116

2 years ago

1.6.117

2 years ago

1.6.115

2 years ago

1.6.114

2 years ago

1.6.113

2 years ago

1.6.105

2 years ago

1.6.104

2 years ago

1.6.107

2 years ago

1.6.106

2 years ago

1.6.109

2 years ago

1.6.108

2 years ago

1.6.110

2 years ago

1.6.112

2 years ago

1.6.111

2 years ago

1.6.103

2 years ago

1.6.101

2 years ago

1.6.100

2 years ago

1.6.102

2 years ago

1.6.95

2 years ago

1.6.97

2 years ago

1.6.96

2 years ago

1.6.99

2 years ago

1.6.98

2 years ago

1.6.93

2 years ago

1.6.92

2 years ago

1.6.94

2 years ago

1.6.88

2 years ago

1.6.87

2 years ago

1.6.89

2 years ago

1.6.91

2 years ago

1.6.90

2 years ago

1.6.86

2 years ago

1.6.85

2 years ago

1.6.80

2 years ago

1.6.82

2 years ago

1.6.81

2 years ago

1.6.84

2 years ago

1.6.83

2 years ago

1.6.79

2 years ago

1.6.77

2 years ago

1.6.78

2 years ago

1.6.75

2 years ago

1.6.74

2 years ago

1.6.76

2 years ago

1.6.71

2 years ago

1.6.73

2 years ago

1.6.72

2 years ago

1.6.70

2 years ago

1.6.66

2 years ago

1.6.68

2 years ago

1.6.67

2 years ago

1.6.69

2 years ago

1.6.64

2 years ago

1.6.65

2 years ago

1.6.62

2 years ago

1.6.63

2 years ago

1.6.59

2 years ago

1.6.60

2 years ago

1.6.61

2 years ago

1.6.55

2 years ago

1.6.57

2 years ago

1.6.56

2 years ago

1.6.58

2 years ago

1.6.53

2 years ago

1.6.54

2 years ago

1.6.49

2 years ago

1.6.51

2 years ago

1.6.50

2 years ago

1.6.52

2 years ago

1.6.46

2 years ago

1.6.45

2 years ago

1.6.48

2 years ago

1.6.47

2 years ago

1.6.44

2 years ago

1.6.40

2 years ago

1.6.42

2 years ago

1.6.41

2 years ago

1.6.43

2 years ago

1.6.39

2 years ago

1.6.38

2 years ago

1.6.37

2 years ago

1.6.31

2 years ago

1.6.33

2 years ago

1.6.32

2 years ago

1.6.35

2 years ago

1.6.34

2 years ago

1.6.36

2 years ago

1.6.22

2 years ago

1.6.21

2 years ago

1.6.24

2 years ago

1.6.23

2 years ago

1.6.26

2 years ago

1.6.25

2 years ago

1.6.28

2 years ago

1.6.27

2 years ago

1.6.29

2 years ago

1.6.30

2 years ago

1.6.20

2 years ago

1.6.17

2 years ago

1.6.16

2 years ago

1.6.19

2 years ago

1.6.18

2 years ago

1.6.15

2 years ago

1.6.14

2 years ago

1.6.13

2 years ago

1.6.9

2 years ago

1.6.8

2 years ago

1.6.11

2 years ago

1.6.10

2 years ago

1.6.12

2 years ago

1.6.4

2 years ago

1.6.3

2 years ago

1.6.2

2 years ago

1.6.1

2 years ago

1.6.0

2 years ago

1.6.7

2 years ago

1.6.6

2 years ago

1.6.5

2 years ago

1.5.214

2 years ago

1.5.213

2 years ago

1.5.212

2 years ago

1.5.209

2 years ago

1.5.208

2 years ago

1.5.211

2 years ago

1.5.210

2 years ago

1.5.203

2 years ago

1.5.202

2 years ago

1.5.207

2 years ago

1.5.206

2 years ago

1.5.205

2 years ago

1.5.204

2 years ago

1.5.201

2 years ago

1.5.200

2 years ago

1.5.199

2 years ago

1.5.198

2 years ago

1.5.197

2 years ago

1.5.196

2 years ago

1.5.195

2 years ago

1.5.194

2 years ago

1.5.193

2 years ago

1.5.192

2 years ago

1.5.191

2 years ago

1.5.190

2 years ago

1.5.189

2 years ago

1.5.188

2 years ago

1.5.187

2 years ago

1.5.186

2 years ago

1.5.185

2 years ago

1.5.184

2 years ago

1.5.183

2 years ago

1.5.182

2 years ago

1.5.181

2 years ago

1.5.180

2 years ago

1.5.179

2 years ago

1.5.178

2 years ago

1.5.177

2 years ago

1.5.176

2 years ago

1.5.175

2 years ago

1.5.174

2 years ago

1.5.173

2 years ago

1.5.172

2 years ago

1.5.171

2 years ago

1.5.170

2 years ago

1.5.169

2 years ago

1.5.168

2 years ago

1.5.167

2 years ago

1.5.165

2 years ago

1.5.164

2 years ago

1.5.163

2 years ago

1.5.162

2 years ago

1.5.161

2 years ago

1.5.160

2 years ago

1.5.159

2 years ago

1.5.158

2 years ago

1.5.157

2 years ago

1.5.156

2 years ago

1.5.155

2 years ago

1.5.154

2 years ago

1.5.153

2 years ago

1.5.152

2 years ago

1.5.151

2 years ago

1.5.150

2 years ago

1.5.149

2 years ago

1.5.148

2 years ago

1.5.147

2 years ago

1.5.146

2 years ago

1.5.145

2 years ago

1.5.144

2 years ago

1.5.143

2 years ago

1.5.142

2 years ago

1.5.141

2 years ago

1.5.140

2 years ago

1.5.139

2 years ago

1.5.138

2 years ago

1.5.137

2 years ago

1.5.136

2 years ago

1.5.135

2 years ago

1.5.134

2 years ago

1.5.133

2 years ago

1.5.132

2 years ago

1.5.131

2 years ago

1.5.130

2 years ago

1.5.129

2 years ago

1.5.128

2 years ago

1.5.127

2 years ago