背景 想获取youtube 完整的播放列表 playlist，对于播放列表很长的情况。我之前的做法是使用selenium模拟网页下拉。但是这种方式到列表的最底部的几个处理不好，会丢失几条数据。因为下拉的时候没法精准的定位到最底部。后来一直在处理这个selenium的怎么实现精准的下拉到底部。技术上还有挑战。只有缩短下拉的间隔来尽可能的减少丢失数据的情况。苦苦思索没有有效的解决之道时。有时候关闭一扇窗的时候，可以选择去打开一个门。在寻求解决方案的时候发现了另外2条路。 使用Youtube data API 使用第三方…

pip安装第三方库时报错如果出现这样的报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None)) 通常会出现超时或者连接不上的问题。如果这种情况发生，需要切换为国内的镜像源。可以解决这个问题。 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken …

Youtube获取时长及Pafy库使用 Youtube 下载视频会遇到一个问题，比如直播视频，全程比赛，会导致数据异常大，而且占用资源。当时的方法是获取网页上的视频长度。使用的方式selenium，找到对应的元素，实际操作的过程中，确实找到了对应的元素和位置。但是运行时，总是抓到部分的时长，我设置了延迟也没有有效的解决这个问题。 在网上搜索时，发现了一个库pafy，直接可以获取视频的元数据。包括视频的时长在内的很多参数。但是实际发现很多的都是为空。比较实用的是持续时间，时长（根据视频持续时间转化为秒单位的数值）和观…

读书笔记：睡眠革命 [英]尼克·利特尔黑尔斯 睡眠革命的关键指标 睡眠革命的核心思想是提出了R90睡眠周期的概念。睡眠周期 “R90”指的是以90分钟为一个周期，获得身体修复。用90分钟时长的睡眠周期衡量睡眠，而不是睡了多少小时。根据R90方案，我们把7天作为一个周期来观测睡眠状况，而不再着眼于一个晚上的睡眠状况。 睡眠革命的第一步是确定自己的起床时间，因为在固定的时间醒来，有助于大脑形成锚定，有利于我们树立信心，在生活中的其他方面更加灵活。 固定的起床时间就像一根铁锚，支撑着整个R90方案。我们应该设定一个固定的…

Typora 是大家公认的体验较好的写作软件之一，它最大的特点就是：所见即所得，无须分屏预览，或者开启新页面预览。那么Typora 中能不能直接粘贴图片后，就自动上传到图床呢？下面就来介绍如何配置，以及 PicGo 的使用。实现图片的自动上传。 Kogoal介绍了使用 SM.MS 这一种图床，其他图床的配置可以参考PicGo。 使用到的工具 SM.MS: 免费图床。 PicGo 开源的图片管理工具，可以自己上传图片到各种图床。 Typora: 写Markdown的神器，轻便简洁的Markdown编辑器，支持即时渲染…

如今的绝大多数工作都离不开邮件，收发邮件成了我们的日常工作。用Python可以实现Outlook自动发送邮件，实现办公的自动化，对付那些需要定期发送的邮件，非常高效。 Kogoal记录下，分享给需要的朋友们。大家在Python 帮你发邮件的同时，可以停下来的享受一杯咖啡，享受下生活。 Outlook 自动发送邮件 import win32com.client # 自动群发邮件 def send_group_mail(): outlook = win32com.client.Dispatch("Outlook.App…

MySQL DATE_FORMAT() 函数 定义和用法 DATE_FORMAT() 函数用于以不同的格式显示日期/时间数据。Kogoal记录下官方的文档结合常用的场景，把常用的日期格式整理出来，分享给需要的朋友们。 语法 DATE_FORMAT(date,format) date 参数是合法的日期。 format 规定日期/时间的输出格式。常用的格式如下表 格式 描述 示例 %Y 年，4 位 2020,...2030 %y 年，2 位 20,…30 %M 月名 January, February,…Decembe…

在outlook2016里设置163的邮箱，发现之前的方法不能用了。参考了网上的方法，总算设置成功了。这里需要吐槽下163的官方文档太古老了，很久没更新了。Kogoal记录下，分享给需要的朋友们。 1.网页端设置确认开启POP3/SMTP/IMAP服务 如果没有开启，启用outlook会配置失败。网页端设置路径如下: 网页版邮箱 => 设置 => POP3/SMTP/IMAP IMAP和POP3选择一种即可。 2.outlook进行邮箱配置 打开outlook后,路径如下：文件 => 账户添加 输入要添加的邮件地址…

mysql官方提供了一套员工样例数据employees sample data，大约有160MB，6张表，包含超过400万条数据。不同的数据类型，官方还同时提供了表的关联关系。方便我们做测试使用。 employees是mysql官方提供的测试库下载：https://github.com/datacharmer/test_db 前期准备： 设置mysql的环境变量(如果已经添加可以忽略) mysql程序位于MySQL安装文件夹的目录bin下 C:\Program Files\MySQL\MySQL Server 8.…

CTE的递归功能很强大，可以有很多实际的运用场景。比如我们经常用到的日期维度表。这个日期维度表在PowerBI上很常见。以前可以在网上找日期维度表或者用EXCEL写公式生成。通过CTE的递归功能可以很快的生成。 可以自己定义开始时间和结束时间，非常的方面。我这里设置的是2020年1月1号开始到当前日期。完全可以根据实际需要自定义。 set @dt = '2020-1-1'; with recursive CTE as ( select @dt as DateID ,year(@dt) as year_num ,mo…