Json database refactoring
parent
f893f0e751
commit
abf86ae549
@ -0,0 +1,379 @@
|
|||||||
|
package database
|
||||||
|
|
||||||
|
import (
|
||||||
|
"encoding/json"
|
||||||
|
"fmt"
|
||||||
|
"io"
|
||||||
|
"log"
|
||||||
|
"os"
|
||||||
|
"sync"
|
||||||
|
|
||||||
|
"git.phc.dm.unipi.it/phc/storage/store"
|
||||||
|
"git.phc.dm.unipi.it/phc/storage/utils"
|
||||||
|
"golang.org/x/exp/slices"
|
||||||
|
)
|
||||||
|
|
||||||
|
type JsonBucketSettings struct {
|
||||||
|
Path string `json:"path"`
|
||||||
|
}
|
||||||
|
|
||||||
|
type jsonBucket struct {
|
||||||
|
Name string `json:"name"`
|
||||||
|
Objects []string `json:"objects"`
|
||||||
|
|
||||||
|
Settings *JsonBucketSettings `json:"settings"`
|
||||||
|
}
|
||||||
|
|
||||||
|
type jsonDB struct {
|
||||||
|
mu sync.Mutex
|
||||||
|
|
||||||
|
file string
|
||||||
|
|
||||||
|
PrefixSize int `json:"prefixSize"`
|
||||||
|
|
||||||
|
DashboardState DashboardState `json:"dashboardState"`
|
||||||
|
Buckets map[string]*jsonBucket `json:"buckets"`
|
||||||
|
|
||||||
|
APIKeys []string `json:"api-keys"`
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewJSON(file string) Database {
|
||||||
|
db := &jsonDB{
|
||||||
|
file: file,
|
||||||
|
PrefixSize: 2,
|
||||||
|
DashboardState: DashboardState{
|
||||||
|
Widgets: []MonitorWidget{},
|
||||||
|
},
|
||||||
|
Buckets: map[string]*jsonBucket{},
|
||||||
|
APIKeys: []string{},
|
||||||
|
}
|
||||||
|
|
||||||
|
err := db.load()
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return db
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) setup() error {
|
||||||
|
if _, err := os.Stat(db.file); !os.IsNotExist(err) {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Printf("missing %q, creating empty database file", db.file)
|
||||||
|
|
||||||
|
f, err := os.Create(db.file)
|
||||||
|
defer f.Close()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
enc := json.NewEncoder(f)
|
||||||
|
enc.SetIndent("", " ")
|
||||||
|
if err := enc.Encode(&db); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) store() error {
|
||||||
|
f, err := os.Create(db.file)
|
||||||
|
defer f.Close()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
enc := json.NewEncoder(f)
|
||||||
|
enc.SetIndent("", " ")
|
||||||
|
if err := enc.Encode(&db); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) load() error {
|
||||||
|
if err := db.setup(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
f, err := os.Open(db.file)
|
||||||
|
defer f.Close()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := json.NewDecoder(f).Decode(&db); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func withValue[T any](
|
||||||
|
transactorFunc func(func() error) error,
|
||||||
|
workFunc func() (T, error)) (T, error) {
|
||||||
|
|
||||||
|
var value T
|
||||||
|
|
||||||
|
if err := transactorFunc(func() error {
|
||||||
|
var err error
|
||||||
|
value, err = workFunc()
|
||||||
|
|
||||||
|
return err
|
||||||
|
}); err != nil {
|
||||||
|
var zero T
|
||||||
|
return zero, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return value, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) writeTransaction(workFunc func() error) error {
|
||||||
|
db.mu.Lock()
|
||||||
|
defer db.mu.Unlock()
|
||||||
|
|
||||||
|
if err := db.load(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := workFunc(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := db.store(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) readTransaction(transactionFunc func() error) error {
|
||||||
|
db.mu.Lock()
|
||||||
|
defer db.mu.Unlock()
|
||||||
|
|
||||||
|
if err := db.load(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := transactionFunc(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) GetDashboardState() (DashboardState, error) {
|
||||||
|
return withValue(db.readTransaction, func() (DashboardState, error) {
|
||||||
|
return db.DashboardState, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) SetDashboardState(state DashboardState) error {
|
||||||
|
if err := db.load(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
db.DashboardState = state
|
||||||
|
|
||||||
|
if err := db.store(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) CreateAPIKey() (string, error) {
|
||||||
|
return withValue(db.writeTransaction, func() (string, error) {
|
||||||
|
key := utils.GenerateRandomString(32)
|
||||||
|
db.APIKeys = append(db.APIKeys, key)
|
||||||
|
|
||||||
|
return key, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) AllAPIKeys() ([]string, error) {
|
||||||
|
return withValue(db.readTransaction, func() ([]string, error) {
|
||||||
|
return db.APIKeys, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) CheckAPIKey(key string) error {
|
||||||
|
return db.readTransaction(func() error {
|
||||||
|
if !slices.Contains(db.APIKeys, key) {
|
||||||
|
return fmt.Errorf("the given api key %q is invalid", key)
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) RemoveAPIKey(key string) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
i := slices.Index(db.APIKeys, key)
|
||||||
|
if i == -1 {
|
||||||
|
return fmt.Errorf("the given api key %q is invalid", key)
|
||||||
|
}
|
||||||
|
|
||||||
|
db.APIKeys = append(db.APIKeys[:i], db.APIKeys[i+1:]...)
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
//
|
||||||
|
// Bucket Methods
|
||||||
|
//
|
||||||
|
|
||||||
|
func (db *jsonDB) CreateBucket(bucket string, settings any) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
if _, found := db.Buckets[bucket]; found {
|
||||||
|
return fmt.Errorf("bucket named %q already present", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
bi := &jsonBucket{
|
||||||
|
Name: bucket,
|
||||||
|
Settings: &JsonBucketSettings{
|
||||||
|
Path: bucket + "/",
|
||||||
|
},
|
||||||
|
Objects: []string{},
|
||||||
|
}
|
||||||
|
|
||||||
|
if settings != nil {
|
||||||
|
bi.Settings = settings.(*JsonBucketSettings)
|
||||||
|
}
|
||||||
|
|
||||||
|
db.Buckets[bucket] = bi
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) GetBucketSettings(bucket string) (any, error) {
|
||||||
|
return withValue(db.readTransaction, func() (any, error) {
|
||||||
|
if _, found := db.Buckets[bucket]; !found {
|
||||||
|
return nil, fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
return db.Buckets[bucket].Settings, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) SetBucketSettings(bucket string, settings any) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
b.Settings = settings.(*JsonBucketSettings)
|
||||||
|
|
||||||
|
log.Printf("[Warning] Bucket %q settings changed but bucket migration is not yet implemented (move the folder yourself)", bucket)
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) DeleteBucket(bucket string) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
if _, found := db.Buckets[bucket]; !found {
|
||||||
|
return fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
delete(db.Buckets, bucket)
|
||||||
|
|
||||||
|
log.Printf("The bucket named %q was removed but its files are still on disk", bucket)
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) AllBuckets() ([]string, error) {
|
||||||
|
return withValue(db.readTransaction, func() ([]string, error) {
|
||||||
|
buckets := make([]string, 0, len(db.Buckets))
|
||||||
|
|
||||||
|
for _, b := range db.Buckets {
|
||||||
|
buckets = append(buckets, b.Name)
|
||||||
|
}
|
||||||
|
|
||||||
|
return buckets, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) CreateBucketObject(bucket string, r io.Reader) (string, error) {
|
||||||
|
return withValue(db.writeTransaction, func() (string, error) {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return "", fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
id, err := store.Create(b.Settings.Path, db.PrefixSize, r)
|
||||||
|
if err != nil {
|
||||||
|
return "", err
|
||||||
|
}
|
||||||
|
|
||||||
|
b.Objects = append(b.Objects, id)
|
||||||
|
|
||||||
|
return id, err
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) SetBucketObject(bucket, id string, r io.Reader) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
return store.Update(b.Settings.Path, db.PrefixSize, id, r)
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) GetBucketObject(bucket, id string, w io.Writer) error {
|
||||||
|
return db.readTransaction(func() error {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
return store.Read(b.Settings.Path, db.PrefixSize, id, w)
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) DeleteBucketObject(bucket, id string) error {
|
||||||
|
return db.writeTransaction(func() error {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := store.Delete(b.Settings.Path, db.PrefixSize, id); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
i := slices.Index(b.Objects, id)
|
||||||
|
b.Objects = append(b.Objects[:i], b.Objects[i+1:]...)
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (db *jsonDB) AllBucketObjects(bucket string) ([]string, error) {
|
||||||
|
return withValue(db.writeTransaction, func() ([]string, error) {
|
||||||
|
b, found := db.Buckets[bucket]
|
||||||
|
if !found {
|
||||||
|
return nil, fmt.Errorf("bucket named %q not found", bucket)
|
||||||
|
}
|
||||||
|
|
||||||
|
objects, err := store.All(b.Settings.Path)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
b.Objects = objects
|
||||||
|
|
||||||
|
return b.Objects, nil
|
||||||
|
})
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue