DEV Community: qiudaozhang

pandas 数字列转换为时间

qiudaozhang — Sat, 16 Jul 2022 07:34:09 +0000

背景

这种时间阅读起来很不方便

解决

data['ts'] = pd.to_datetime(data['t'],unit='ms')

可以根据需要调整unit，不过这个时间转换的时候并没有和时区关联，我们东八区看这个时间就落后了8个点，如果为了显示正确可以在基础的毫秒上加8个小时的毫秒转换

data['ts'] = pd.to_datetime(data['t'] + 8 * 60 * 60 * 1000,unit='ms')

kotlin data class 看下反编译的代码

qiudaozhang — Tue, 21 Jun 2022 07:36:01 +0000

kotlin

data class IdModel(val id: String)

对应的class文件反编译查看为

import kotlin.Metadata;
import kotlin.jvm.internal.Intrinsics;
import org.jetbrains.annotations.NotNull;
import org.jetbrains.annotations.Nullable;

@Metadata(mv = {1, 7, 1}, k = 1, xi = 48, d1 = {"\000\"\n\002\030\002\n\002\020\000\n\000\n\002\020\016\n\002\b\006\n\002\020\013\n\002\b\002\n\002\020\b\n\002\b\002\b\b\030\0002\0020\001B\r\022\006\020\002\032\0020\003\006\002\020\004J\t\020\007\032\0020\003H\003J\023\020\b\032\0020\0002\b\b\002\020\002\032\0020\003H\001J\023\020\t\032\0020\n2\b\020\013\032\004\030\0010\001H\003J\t\020\f\032\0020\rH\001J\t\020\016\032\0020\003H\001R\021\020\002\032\0020\003\006\b\n\000\032\004\b\005\020\006\006\017"}, d2 = {"Lbasic/IdModel;", "", "id", "", "(Ljava/lang/String;)V", "getId", "()Ljava/lang/String;", "component1", "copy", "equals", "", "other", "hashCode", "", "toString", "exposed_tutorial"})
public final class IdModel {
  @NotNull
  private final String id;

  public IdModel(@NotNull String id) {
    this.id = id;
  }

  @NotNull
  public final String getId() {
    return this.id;
  }

  @NotNull
  public final String component1() {
    return this.id;
  }

  @NotNull
  public final IdModel copy(@NotNull String id) {
    Intrinsics.checkNotNullParameter(id, "id");
    return new IdModel(id);
  }

  @NotNull
  public String toString() {
    return "IdModel(id=" + this.id + ')';
  }

  public int hashCode() {
    return this.id.hashCode();
  }

  public boolean equals(@Nullable Object other) {
    if (this == other)
      return true; 
    if (!(other instanceof IdModel))
      return false; 
    IdModel idModel = (IdModel)other;
    return !!Intrinsics.areEqual(this.id, idModel.id);
  }
}

在类的基础上自动添加了很多方法，同时也把class标记为了final，不可继承，这就有个问题，我们又希望使用data class的便利，还想继承怎么搞，比如在mongodb里面我可能需要基础的class，记录了id和created，updated时间，如果每个类都搞一下，岂不是很烦人。

kotlin grade配置阿里云镜像

qiudaozhang — Fri, 17 Jun 2022 11:22:11 +0000

repositories里面添加

    maven {
        url = uri("http://maven.aliyun.com/nexus/content/groups/public/")
        isAllowInsecureProtocol = true
    }

spring boot kotlin validate问题

qiudaozhang — Fri, 17 Jun 2022 08:59:02 +0000

背景

@ApiModelProperty(value = "markdown原始内容", required = true)
@NotBlank(message = "markdown内容不能为空")
var md: String? = "",

验证不生效，需要修改一下

@ApiModelProperty(value = "markdown原始内容", required = true)
@field:NotBlank(message = "markdown内容不能为空")
var md: String? = "",

统一返回错误，可以针对不的异常类型进行捕获，比如


@ExceptionHandler(BindException::class)
@ResponseStatus(HttpStatus.BAD_REQUEST)
@ResponseBody
fun handle(e: BindException): R<Any> {
    val err = e.bindingResult.fieldErrors
    val msg = err[0].defaultMessage
    return R.fail(9005, msg ?: "未知错误")
}

mongotemplate 进行unset操作

qiudaozhang — Wed, 15 Jun 2022 08:08:10 +0000

背景

需要将某个数据的某个字段移除，并非设置为null，或者空字符串等。

mongo shell操作可以如下

db.集合名称.updateOne({id:"xxx"},{
    $unset: {"属性":"" }
})

翻译成kotlin的写法如下

override fun unsetPicture(id: String) {
    val query = Query()
    query.addCriteria(Criteria.where("id").`is`(id))
    val update = Update()
    update.unset("picture")
    mongoTemplate.updateFirst(query, update, clz)
}

如果没有存储id，使用_id 进行判断即可

pandas打印显示所有行列并且不换行

qiudaozhang — Tue, 14 Jun 2022 02:23:14 +0000

# 显示所有的列
pd.set_option('display.max_columns', None)
#显示所有行
pd.set_option('display.max_rows', None)
# 加长宽度
pd.set_option('display.width', 5000)

masonite关于debugger

qiudaozhang — Sat, 11 Jun 2022 01:28:06 +0000

安装

pip install masonite-debugbar

使用

config/providers.py 文件修改

from debugbar.providers import DebugProvider
PROVIDERS = [
    ....
    DebugProvider
]

不过上线的时候也这样就不好了，会暴露敏感信息，所以改造一下

from debugbar.providers import DebugProvider

# 如果不是生产环境，不要开启debug，即便安装了插件，也不会暴露敏感信息
if (env("APP_ENV") != 'prod'):
    PROVIDERS.append(DebugProvider)

这样即便打开了这个工具，也看不到信息

dev调整页面宽度

qiudaozhang — Fri, 10 Jun 2022 15:18:35 +0000

背景

dev这个网站默认的内容宽度太窄小了，个人不习惯，用stylus写个简单的css，让他内容变宽，那么大空白浪费，看个代码还拖动才能看完，很不舒服

.crayons-article,#bottom-content-read-next{
    width:1600px!important;
    margin-left:-400px;
}

.crayons-article-actions__inner{
    left: 100px!important;
    position:fixed!important;
}
.crayons-layout__sidebar-right {
    right: 100px!important;
    position:fixed!important;
}

效果如下

同理，它的编辑界面的宽度也是太窄了，我们加个css

.crayons-article-form__content{
    width: 1600px!important;    
    margin-left:-400px;
}

一下就舒服了

如果还想隐藏右边的无关紧要的内容

.crayons-article-form__aside {
    display: none;
}
.sidebar-wrapper-right {
    display: none;
}

.crayons-layout__sidebar-right {
    display: none;
}

完整css

.crayons-article,
#bottom-content-read-next {
    width: 1000px!important;
    margin-left: -200px;
}

.crayons-article-actions__inner {
    left: 100px!important;
    position: fixed!important;
}
.crayons-layout__sidebar-right {
    right: 100px!important;
    position: fixed!important;
}

.crayons-article-form__content {
    width: 1400px!important;
    margin-left: -200px;
}

.crayons-article-form__aside {
    display: none;
}
.sidebar-wrapper-right {
    display: none;
}

.crayons-layout__sidebar-right ,.crayons-sponsorship-widget{
    display: none;
}

masonite orm 关于表需要新增字段的问题

qiudaozhang — Fri, 10 Jun 2022 07:04:44 +0000

背景

比如我们之前有一个api_keys的表，现在需要新增一个字段exchange_id，不要再去修改已经执行过的迁移文件，应该在此基础上新增一个文件。

处理

python craft migration  update_api_keys_table --table api_keys

"""UpdateApiKeysTable Migration."""

from masoniteorm.migrations import Migration


class UpdateApiKeysTable(Migration):
    def up(self):
        """
        Run the migrations.
        """
        with self.schema.table('api_keys') as table:
            table.integer('exchange_id').unsigned()

    def down(self):
        """
        Revert the migrations.
        """
        self.schema.drop("api_keys")

改动

我们表的字段定义忘了添加注释，还有部分字段需要指定默认值，也就是不是加字段而是要修改，处理方案如下

python craft migration  update_api_keys_table --table  api_keys

写入内容

"""UpdateApiKeysTable Migration."""

from masoniteorm.migrations import Migration


class UpdateApiKeysTable(Migration):
    def up(self):
        """
        Run the migrations.
        """
        with self.schema.table("api_keys") as table:
            table.string('api_key').comment("api key").change()
            table.string('api_secret').comment('api私钥').change()
            table.integer('exchange_id').unsigned().comment('交易所id').default(1).change()
            table.integer('uid').comment('用户id').change()

    def down(self):
        """
        Revert the migrations.
        """
        pass

执行迁移

python craft migrate

最后关于migrate这块

定义的时候尽量思考全面
生成了迁移文件，就尽量不要移除
后续有改动继续定义新的迁移文件修改，不要删除后重来

masonite 模型-表-控制器 api编写流程

qiudaozhang — Fri, 10 Jun 2022 06:34:18 +0000

假设我们需要管理用户的api key ,api secret。

生成model

python craft model ApiKey

在app/models，将会得到一个模型

""" ApiKey Model """

from masoniteorm.models import Model


class ApiKey(Model):
    """ApiKey Model"""

    pass

我们填充一点需要的内容。

""" ApiKey Model """

from masoniteorm.models import Model
from masoniteorm.relationships import belongs_to


class ApiKey(Model):
    """ApiKey Model"""

    __table__ = 'api_keys'

    __fillable__ = ['id', 'api_key', 'api_secret', 'uid']

    # 它属于某个用户的，这里要定义一个反向关联的模型

    @belongs_to('uid', 'id')  # 第一个字段是api_keys的存储的值，第二个id代表了users表里面的id
    def user(self):
        from app.models.User import User
        return User

生成迁移文件

python craft migration create_api_keys_table --create api_keys

我们填充下字段的描述

"""CreateApiKeysTable Migration."""

from masoniteorm.migrations import Migration


class CreateApiKeysTable(Migration):
    def up(self):
        """
        Run the migrations.
        """
        with self.schema.create("api_keys") as table:
            table.increments("id")
            table.string("api_key").unique()
            table.string("api_secret").unique()
            table.integer("uid").unsigned()
            table.timestamps()

    def down(self):
        """
        Revert the migrations.
        """
        self.schema.drop("api_keys")

执行迁移

python craft migrate

创建一个控制器

接下来创建一个API Controller，测试我们的逻辑

python craft controller api/ApiKeyController -a

接下来注册路由

routes/api.py

from masonite.routes import Route

ROUTES = [
  ...
    Route.api('apikeys', 'api.ApiKeyController')
]

控制器代码改写

from masonite.authentication import Auth
from masonite.controllers import Controller
from masonite.request import Request
from masonite.views import View

from app.models.ApiKey import ApiKey


class ApiKeyController(Controller):
    def index(self, view: View):
        return view.render("")

    def show(self, view: View):
        return view.render("")

    def store(self, request: Request, auth: Auth):
        api_key = request.input("api_key")
        api_secret = request.input("api_secret")
        obj = ApiKey()
        obj.api_key = api_key
        obj.api_secret = api_secret
        obj.uid = auth.user().id
        obj.save()
        return {"code": 0, "message": "success"}

    def update(self, view: View):
        return view.render("")

    def destroy(self, view: View):
        return view.render("")

测试

数据库检查确认

确认无误，没问题，基本的逻辑就全走通了，剩下的根据需要添砖即可。

masonite关于jwt的处理

qiudaozhang — Fri, 10 Jun 2022 04:24:43 +0000

config配置

注册provider

from masonite.api.providers import ApiProvider

PROVIDERS = [
...
ApiProvider
]

生成文件

python craft api:install

此时会再config目录下生成一个api.py文件。

"""API Config"""
from masonite.environment import env

from app.models.User import User

DRIVERS = {
    "jwt": {
        "algorithm": "HS512",
        "secret": env("JWT_SECRET"),
        "model": User,
        "expires": 过期时间,
        "authenticates": 认证者,
        "version": 版本,
    }
}

就最后三项需要我们填写响应的信息

model的修改

为了支持jwt的认证，将User修改一下

__auth__ = "username"