待学习内容记录

简介: 待学习内容记录

pdb: python内置模块,最近将程序部署到linux server运行后,出现问题不知道如何调试,用这个模块应该有办法。
pytest: 最近看dify源码,增加一个供应商后编写的测试用例,代码基本看不懂,需要好好学习一下此模块。
docker: 最近想本地部署dify,用源码调试,于是接触了一下docker。但需要花时间系统学习一下,的确是个好东西。
iterator, generator: 生成器的使用还要再研究一下,比如结合fastapi的depend函数。
server-sent-event(SSE): 一种server端单向推送的流式传输机制。requests模块里介绍了几种流式传输,一种是生成器,一种是文件流,... 忘记了...
fastapi: 源生支持异步的后端框架,需要系统学习一下。
flask: 后端框架,相较django是轻量级的,dify使用的就是它。部署时有个flask db upgrade的命令,一下子能将程序中使用的数据库表结构在数据库中自动创建,让我觉得很神奇。
pydantic: 数据校验的模块,功能强大,需要系统的学习和熟悉一下。在其他项目中经常会看到对这个模块的使用。
dify源码: 主要是想学学大神们的代码风格,以及一些高级用法。之前在添加了自定义供应商及预定义模型后,在debug模型方法过程中完全迷失了。主要是有一个步骤一下跳到了某个函数的中间位置,让我百失不得其解。
weaviate: 一款向量数据库。 想以它为例,学习一些向量数据库的通用功能。
ollama: 想研究一下本地部署大模型。
{spa.echaleojo.com]
{spa.kdhsyw.com]
{spa.shinonomedrop.com]
{spa.csnbt.com]
{spa.wangyouku.com]
{spa.ksjqgs.com]
{spa.158853.com]
poetry: 一个逐渐流行的python包依赖管理工具。有一定的学习成本,但值得学习和使用。
sqlalchemy:一个流程的ORM模块,也支持异步。之前没有完整系统的学习。
Kubernetes: 又称K8s,是容器部署的编排工具,用于大批量容器部署的场景。而docker compose只用于在一台机器上部署多个容器。
Jenkins: 用于持续集成(CI/CD)的自动化工具,支持众多插件,比如docker,git。它可以自动监控到git仓库有没有更新。 可以编写脚本,让其自动化的发版。 比如目前公司部署的dify,当修改代码后,推送到仓库,在Jenkins选择对应的仓库,点击build后就可以自动化的完成发版。 当然,build的脚本得自己写好,比如先用docker build以新代码生成新的image,再用docker run来使用新的image启动容器等。
web3: 国外比较火的技术,基于区块链技术,同时各种币也在用这种技术实现。 无服务器模型,据说能接到国外的单子,并且价格不错。需要理解其智能合约的概念。
javascript: 以及node.js,有时间还是得学,应用太广,动不动就会接触到。
postgresSQL: 应该比mysql好用,尤其sql优化器要更强大。docker教程里涉及到的数据库基本都是它。
linux: 应该学些基本知识,比如常用命令,目录结构,权限策略等,以帮助理解docker的高级使用。
ast: python内置库,用于分析用字符串表示的代码块的各个对象
repair_json: python第三方库,用于修复json字符串里可能出现的不符合语法规则的部分
transformers: hugging face提供的python库,用于方便的下载模型到本地,并在本地直接运行,适合在本地运行小一点的开源模型。提供了更多的模型参数控制,便于学习和研究,测试等。
gradio: 一个易于进行gui demo展示的python库,在deeplearning的hugging face教学里经常用到,方便在jupyter notebook中展示gui页面。
jinja: 模板语法,用于动态构建html网页,主要用于前后端不分离的开发模型。dify中也有组件使用这种语法。 目前版本是jinja2

wsgi, rabbitmq, celery, worker

分类: python

相关文章
|
5月前
|
存储 数据可视化 数据挖掘
数据的处理包括哪些内容
数据的处理包括数据的收集、数据的分析和数据的可视化。收集和存储是数据处理的基础,企业内部收集来的各种原始数据都要经过这些处理才能为企业内部决策服务。在分析和可视化阶段,则是对各种信息进行加工整理,用来指导决策,为企业创造更大价值。
|
4月前
|
机器学习/深度学习 数据采集 人工智能
技术心得记录:对比学习(contrastivelearning)
技术心得记录:对比学习(contrastivelearning)
28 0
|
4月前
|
内存技术
详尽分享记录几个有用的网站
详尽分享记录几个有用的网站
25 0
|
5月前
|
JavaScript
js事件记录(如有更新请留言我去补充)
js事件记录(如有更新请留言我去补充)
|
5月前
|
Java
DashVector实践记录
DashVector内测期间,在业务场景中实践落地了向量检索。
|
测试技术 索引 Python
【刷题日记】307. 区域和检索 - 数组可修改
本次刷题日记的第 24 篇,力扣题为:307. 区域和检索 - 数组可修改 ,中等
|
存储 SQL 自然语言处理
如何从800万数据中快速捞出自己想要的数据?
如何从800万数据中快速捞出自己想要的数据?
185 0
如何从800万数据中快速捞出自己想要的数据?
|
JavaScript 开发者
get方式提交新闻防止新闻被覆盖掉(补充说明)|学习笔记
快速学习 get 方式提交新闻防止新闻被覆盖掉(补充说明)
119 0
get方式提交新闻防止新闻被覆盖掉(补充说明)|学习笔记
Word 技术篇-文档中不同级别标题自动重新编号设置方法,论文多级编号演示
Word 技术篇-文档中不同级别标题自动重新编号设置方法,论文多级编号演示
1371 0
Word 技术篇-文档中不同级别标题自动重新编号设置方法,论文多级编号演示