众所周知,CSV 文件使用逗号分隔内容,但这对于存在逗号、分隔符和换行符等情况不太适用,文章建议使用 ASCII 的通用分隔符作为替代,可以处理复杂数据,避免格式出错。
本期速览
CSV 槽点多、DSV 更顺手,PEP-750 提议标签字符串;3.5 亿 Token 剖析 Hacker News 的爱与恨。
文章&教程
× 12介绍了用 scrapy-playwright 插件实现无限滚动网页的内容抓取,包括如何配置、处理 CORS 问题、滚动抓取的原理解析、详细的实现代码。
介绍了如何用 pytest-cov 计算代码库的测试覆盖率,并用 nox 等工具对不同版本的 Python 和库进行组合测试。既测试代码本身,也测试它与整个 Python 生态的集成。
Fastcore 的作者介绍了这个库的主要功能,它主要用于扩展 Python 的能力,包括:使**kwargs 透明化、设置实例属性时规避样板代码、避免子类的样板代码、类型分派、更好的 functools.partial、更有用的 __repr__,等等。
作者开发了 Knuckledragger,是一个基于 Z3 的半自动 Python 校验助手,文章介绍了它的基本设计原则、核心原理、理论和应用、支持的主要功能,等等。
在集群上训练神经网络时,常用 Docker 容器打包所有依赖项。通用配置的镜像大小达 7.6G,文章介绍了几项优化配置,可节省 60% 的空间。
求和类型(Sum Types)是类型理论中的概念,将不同的类型组合成一种单一类型。Python 不支持这种类型,文章介绍用 Pydantic 的 unions 和 TypeAdapter 来实现一个相似的类型,并完成 JSON 序列化和反序列化。
这是新发起的一个提案(草稿状态),可视为 f-string 的扩展,类似于 JavaScript 的标签模板字面量,使用自定义的函数代替“f”前缀,实现更丰富的功能,如安全检查、延迟计算、Web 模板等。
textual 框架已经很流行了呢,Github 星星近 25K。这篇文章是框架作者写于 2022 年的,分享了 7 个观点:终端速度很快、DictViews 非常棒、lru_cache 速度很快,等等。
如何在 Linux 上调试正在运行的 Python 脚本?文章介绍了用系统原生调试器 GDB 的 attach 命令,以及 Python 自带的调试器 pdb 来调试 Python 脚本。
Copy-on-Write 是一种提高内存使用率的优化技术,Pandas 2.0 已经支持了,但未完全实现。文章介绍了如何启用 CoW,以及它对 Pandas 到底有哪些好处、启用与不启用 CoW 的差异。
分析了 Hacker News 从 2020.1 至 2023.6 的所有帖子及其不少于 5 条评论,利用 LLama3 70B 从不同维度对这些内容做统计。用到的框架是 Netflix 开源的 metaflow,文章介绍了使用的工作流和提示词。
项目&资源
× 12用 Rust 开发的高性能邮件校验库,比传统工具(如 python-email-validator、verify-email 和 pyIsEmail)快 100-1000 倍。
向 Python 中添加其它语言的优秀特性,如 Julia 的 multiple dispatch、Ruby 的 mixins,以及 Haskell 的 currying 和 binding 等;同时添加了不少有用的功能。
集成 Scrapy 和 Playwright 的优点,遵循 Scrapy 的常规工作流,可很好处理 JavaScript 相关的内容。支持协程和 asyncio。
用 Python 开发的轻量级可扩展数据库,提供基本的数据库操作和版本控制,由 polars 和 deltalake 提供高性能支持。
由相互协作的多个代理组成的 AGI,具备自我进化能力,可根据需要构建出新的代理来完成特定的任务。
利用自然语言和 LLM,提升 OCR 对扫描版 PDF 文件的扫描准确度,将结果转换为格式良好且可读的文档。
Andrew Ng 开源的用于机器翻译的工作流,基本流程是先让 LLM 翻译,然后再让它提出修改建议,最后基于建议作修改。
这是一个在线学习 Python 的网站,包含一系列课程、视频、PPT 材料和参考资料等,另外发布在 Coursera、edX 等平台,参加课程可获得证书。
利用 LLM 启动 API,将复杂的文档转换为结构化 JSON,或者启动 ETL 管道,从云文件/对象存储系统中读取复杂文件,并将结构化数据写入数据仓库和数据库。
这个库提供了 400+ 主流 LLM 的 token 花费计算能力,跟踪最新的价格变化,有效管理对接 LLM 的成本。
数学优化建模,性能超过了 Pyomo 和 JuMP.jl 等,适合大规模数学优化问题(线性规划、二次规划、混合整数线性规划等)的建模和求解。
适用于 SQL 的格式化、执行和分析场景,致力于打造性能最高的 Python 版 SQL 解析器,包含词法树解析、语法树解析和语法树分析等功能。