Neo's Tech Blog技术博客

网站标签

Tech、 engineering、 Java、 distributed、 systems、 big、 data、 技术、 研发、 互联网、 neoremind、 java、 架构、 分布式系统、 大数据、 技术博客、 数据库、 mysql、

---

网站描述

Neoremind.comisanoriginaltechnicalblog,andtheauthorspecializesinareassuchasdistributedsystems,databases,Java,andbigdataengineering.neoremind.com是一个原创文章技术博客，作者擅长领域在分布式系统，数据库，Java，大数据工程等方面。

---

上一篇：广东华影文化科技有限公司

下一篇：【重庆鲁能星城六街区小区,二手房,租房】- 重庆房天下

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：2 | 站内链接：46
IP网速：	IP地址：- 地址：- | 网速：566毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=UTF-8 服务器类型 Apache 程序支持 连接标识 消息发送 2023年10月7日 16时48分46秒 GZIP检测 已启用GZIP压缩 源文件大小 35.88KB 压缩后大小 13.17KB 压缩率 63.29%

网站快照

N e o s T e c h B l o g 技 术 博 客 N e o 的 技 术 博 客 A b o u t m e M y w o r k s 版 权 声 明 页 面 A b o u t m e M y w o r k s 版 权 声 明 D o c u m e n t s A b o u t m e M y w o r k s C o p y r i g h t L L M b a s e d G e n B I 从 探 索 到 实 践 1 月 1 7 , 2 0 2 5 随 着 L L M b a s e d G e n e r a t i v e A I 的 火 热 ， 这 个 浪 潮 也 席 卷 到 了 数 据 库 领 域 。 D B f o r A I 和 A I f o r D B 的 概 念 更 多 地 进 入 了 人 们 的 视 野 。 首 先 看 D B f o r A I ， 数 据 库 与 M L t r a i n i n g 和 i n f e r e n c e 的 集 成 产 品 化 已 久 ， 比 如 A W S R e d S h i f t 和 S a g e M a k e r 的 集 成 思 想 [ 1 ] m o v e m o d e l t o t h e d a t a r a t h e r t h a n v i c e v e r s a ； 这 两 年 基 于 向 量 检 索 + L L M 的 R A G 更 让 各 大 数 据 库 全 面 拥 抱 A I 。 再 看 A I f o r D B ， 基 于 M L 智 能 调 优 数 据 库 的 想 法 ， 很 早 就 被 A n d y P a v l o 提 出 ， 其 推 动 的 s e l f d r i v i n g d a [ … … ] 继 续 阅 读 从 M y S Q L I n n o D B 物 理 文 件 格 式 深 入 理 解 索 引 1 月 1 9 , 2 0 2 0 1 . I n n o D B 物 理 文 件 的 基 本 结 构 I n n o D B 的 物 理 文 件 有 很 多 种 ， 包 括 ：   1 ） 系 统 表 空 间 （ s y s t e m t a b l e s p a c e ） 。 文 件 以 i b d a t a 1 、 i b d a t a 2 等 命 名 ， 包 括 元 数 据 数 据 字 典 （ 表 、 列 、 索 引 等 ） 、 d o u b l e w r i t e b u f f e r 、 插 入 缓 冲 索 引 页 （ c h a n g e b u f f e r ） 、 系 统 事 务 信 息 （ s y s _ t r x ） 、 默 认 包 含 u n d o 回 滚 段 （ r o l l b a c k s e g m e n t ） 。 2 ） 用 户 表 空 间 。 i n n o d b _ f i l e _ p e r _ t a b l e = t r u e 时 ， 一 个 表 对 应 一 个 独 立 的 文 件 ， 文 件 以 d b _ n a m e / t a b l e _ n a m e . i b d 命 名 。 行 存 储 在 这 类 文 件 。 另 外 还 有 5 . 7 之 后 引 [ … … ] 继 续 阅 读 从 服 务 和 存 储 角 度 看 异 地 多 活 的 高 可 用 架 构 1 月 1 8 , 2 0 2 0 1 . 前 言 互 联 网 公 司 的 分 布 式 系 统 要 对 外 提 供 可 靠 的 服 务 ， 一 般 都 会 有 一 套 高 可 用 的 架 构 ， 在 C A P 理 论 下 ， 分 区 容 忍 性 往 往 是 不 能 舍 弃 的 ， 所 以 对 于 系 统 可 用 性 （ A v a i l a b i l i t y ） 、 数 据 一 致 性 （ C o n s i s t e n c y ） 的 容 忍 程 度 ， 决 定 了 能 提 供 什 么 样 的 服 务 等 级 。 简 单 的 系 统 部 署 在 单 地 域 单 机 房 ， 但 是 大 型 互 联 网 公 司 ， 一 般 都 不 采 用 这 样 的 单 点 架 构 ， 从 同 城 双 活 到 异 地 灾 备 ， 再 到 异 地 多 活 。 G o o g l e 在 2 0 1 5 所 发 表 的 一 篇 论 文 《 H i g h A v a i l a b i l i t y a t M a s s i v e S c a l e : B u i l d i n g G o o g l e ’ s D a t a I n f r a s t r u c t u r e f o r A d s 》 也 介 绍 了 类 似 的 [ … … ] 继 续 阅 读 广 告 系 统 的 平 台 架 构 与 交 互 流 程 1 月 1 7 , 2 0 2 0 商 业 化 是 互 联 网 产 品 常 用 的 流 量 变 现 手 段 ， 商 业 化 平 台 （ 广 告 平 台 ） 其 核 心 是 围 绕 客 户 （ 商 家 、 广 告 主 等 ） ， 用 户 （ 网 民 、 用 户 产 品 使 用 者 ） ， 平 台 三 者 展 开 的 商 业 活 动 。 在 业 界 比 较 大 的 广 告 平 台 包 括 ： 百 度 凤 巢 ， 腾 讯 广 点 通 ， 阿 里 妈 妈 ， 头 条 巨 量 等 。   这 些 广 告 平 台 面 向 的 业 务 领 域 大 体 相 同 ， 都 在 计 算 广 告 学 的 范 畴 内 ， 不 管 是 展 示 广 告 、 效 果 广 告 、 信 息 流 广 告 ， 还 是 C P T 、 C P M 、 C P C 模 式 ， 也 不 管 是 竞 价 R T B 还 是 合 约 广 告 ， 其 系 统 架 构 上 必 然 有 很 多 共 性 ， 本 文 就 尝 试 抽 象 一 种 通 用 的 广 告 系 统 架 构 ， 从 工 程 角 度 阐 述 其 模 块 构 成 ， 从 模 块 交 互 流 转 角 度 介 绍 主 业 务 流 程 。   下 文 提 到 的 每 一 个 模 块 都 可 以 展 开 为 一 个 超 大 的 工 程 或 者 [ … … ] 继 续 阅 读 阿 里 云 第 一 届 P o l a r D B 数 据 库 性 能 大 赛 J a v a 排 名 第 一 分 享 1 2 月 2 0 , 2 0 1 8 参 加 天 池 大 赛 阿 里 云 第 一 届 P o l a r D B 数 据 库 性 能 大 赛 ， 比 赛 以 N V M E O p t a n e S S D 为 背 景 ， 在 此 之 上 开 发 单 机 存 储 引 擎 比 拼 性 能 ， 支 持 C + + 和 J a v a 语 言 。 我 的 完 赛 成 绩 是 J a v a 语 言 排 名 第 一 ， 总 排 名 2 0 （ 共 1 6 5 3 人 参 赛 ， 队 伍 名 称 ： n e o r e m i n d ） ， 与 C + + 第 一 差 距 在 2 . 1 % （ 本 文 是 解 题 报 告 ， 源 码 地 址 h t t p s : / / g i t h u b . c o m / n e o r e m i n d / 2 0 1 8 p o l a r r a c e ， 其 中 的 架 构 设 计 是 通 用 的 ， 只 是 实 现 语 言 是 J a v [ … … ] 继 续 阅 读 消 息 队 列 技 术 点 梳 理 （ 思 维 导 图 版 ） 3 月 1 8 , 2 0 1 8 消 息 队 列 作 为 服 务 / 应 用 之 间 的 通 信 中 间 件 ， 可 以 起 到 业 务 耦 合 、 广 播 消 息 、 保 证 最 终 一 致 性 以 及 错 峰 流 控 （ 克 服 短 板 瓶 颈 ） 等 作 用 。 本 文 不 打 算 详 细 深 入 讲 解 消 息 队 列 ， 而 是 体 系 化 的 梳 理 消 息 队 列 可 能 涉 及 的 技 术 点 ， 起 到 提 纲 挈 领 的 作 用 ， 构 造 一 个 宏 观 的 概 念 ， 使 用 思 维 导 图 梳 理 。   再 介 绍 之 前 ， 先 简 短 比 较 下 R P C 和 消 息 队 列 。 R P C 大 多 属 于 请 求 应 答 模 式 ， 也 包 括 越 来 越 多 响 应 式 范 式 ， 对 于 需 要 点 对 点 交 互 、 强 事 务 保 证 和 延 迟 敏 感 的 服 务 / 应 用 之 间 的 通 信 ， R P C 是 优 于 消 息 队 列 的 。 那 么 消 息 队 列 （ 下 文 也 简 称 M Q ， 即 M e s s a g e Q u e u e ） 可 以 看 做 是 一 种 异 步 R P C ， 把 一 次 R P C 变 为 两 次 ， 进 行 内 容 转 存 ， 再 在 合 适 的 时 机 投 递 出 去 [ … … ] 继 续 阅 读 N e s t o – H u l u 用 户 分 析 平 台 的 O L A P 引 擎 3 月 1 7 , 2 0 1 8 本 文 主 要 介 绍 H u l u 用 户 分 析 平 台 使 用 的 O L A P 引 擎 — — N e s t o （ N e s t e d S t o r e ） ， 是 一 个 提 供 近 实 时 数 据 导 入 ， 嵌 套 结 构 、 T B 级 数 据 量 、 秒 级 查 询 延 迟 的 分 布 式 O L A P 解 决 方 案 ， 包 括 一 个 交 互 式 查 询 引 擎 和 数 据 处 理 基 础 设 施 。   1 . 项 目 背 景 N e s t o 起 源 于 用 户 分 析 团 队 ， 业 务 上 需 要 一 个 面 向 用 户 、 分 析 型 的 产 品 ， 提 供 任 意 维 度 的 A d H o c 交 互 式 查 询 、 导 出 数 据 ， 供 运 营 、 产 品 、 第 三 方 数 据 公 司 使 用 。   一 个 典 型 场 景 是 ： 导 出 2 0 1 8 年 1 月 看 过 《 冰 与 火 之 歌 》 第 7 季 第 7 集 （ S 7 E 7 ） 超 过 5 次 的 新 注 册 用 户 ， 包 括 用 户 名 、 e m a i l 两 个 域 ， 用 于 发 送 营 销 [ … … ] 继 续 阅 读 使 用 火 焰 图 做 性 能 分 析 9 月 3 0 , 2 0 1 7 系 统 性 能 的 评 估 维 度 可 能 很 多 ， 包 括 应 用 的 吞 吐 量 、 响 应 时 间 、 任 务 完 成 时 间 和 资 源 利 用 率 等 。 但 是 这 些 指 标 （ m e t r i c s ） 仅 仅 是 表 象 ， 一 旦 发 现 异 常 ， 如 何 从 代 码 级 别 定 位 性 能 问 题 才 是 解 决 问 题 的 关 键 ， 本 文 介 绍 了 一 种 使 用 火 焰 图 （ F l a m e G r a p h ） 来 做 性 能 分 析 的 方 法 ， 在 实 战 中 具 备 很 高 的 可 操 作 性 和 快 速 p i n p o i n t 问 题 的 能 力 。 下 面 按 照 1 . 发 现 问 题 ， 2 . 分 析 问 题 ， 3 . 解 决 问 题 三 个 章 节 展 开 ， 最 后 是 4 . L e s s o n L e a r n e d 。   1 . 发 现 问 题 最 近 公 司 完 成 大 数 据 集 群 的 迁 移 ， 应 用 大 多 是 S p a r k 开 发 的 ， 但 是 仍 然 存 在 一 个 老 的 每 日 运 行 的 H a d o o p 任 务 突 然 发 现 指 标 异 常 ， 主 要 体 现 在 [ … … ] 继 续 阅 读 浅 谈 从 G o o g l e M e s a 到 百 度 P A L O 9 月 2 2 , 2 0 1 7 最 近 在 研 究 O L A P 相 关 的 技 术 ， 正 好 看 到 G o o g l e 2 0 1 4 年 的 论 文 《 M e s a : G e o R e p l i c a t e d , N e a r R e a l T i m e , S c a l a b l e D a t a W a r e h o u s i n g 》 ， 以 及 百 度 最 近 2 0 1 7 年 开 源 的 基 于 M e s a + I m p a l a 的 实 现 系 统 P A L O ， 本 篇 就 尝 试 结 合 起 来 看 下 二 者 ， 主 要 是 学 习 介 绍 性 质 的 文 章 。   1 . M e s a M e s a 是 一 个 G o o g l e 内 部 使 用 的 数 据 仓 库 系 统 ， 从 论 文 的 标 题 可 以 抓 住 几 个 关 键 词 ： 可 实 现 跨 D C 复 制 的 、 近 实 时 的 、 可 扩 展 的 。 这 几 点 算 是 M e s a 的 特 色 所 在 ， 同 时 和 M e s a 要 解 决 的 问 题 背 景 有 很 大 关 系 ， M e s a 主 要 解 决 G o o g l e 在 线 广 告 报 表 和 [ … … ] 继 续 阅 读 J A V A 并 发 编 程 实 战 笔 记 8 月 1 7 , 2 0 1 7 第 二 次 认 真 读 了 D o u g L e a 的 J a v a C o n c u r r e n c y I n P r a c t i c e 这 本 大 作 ， 记 录 笔 记 在 此 链 接 。 [ … … ] 继 续 阅 读 E a s y m a p p e r – 一 个 灵 活 可 扩 展 的 高 性 能 B e a n m a p p i n g 类 库 8 月 8 , 2 0 1 6 1 背 景 做 J a v a 开 发 都 避 免 不 了 和 各 种 B e a n 打 交 道 ， 包 括 P O J O 、 B O 、 V O 、 P O 、 D T O 等 ， 而 J a v a 的 应 用 非 常 讲 究 分 层 的 架 构 ， 因 此 就 会 存 在 对 象 在 各 个 层 次 之 间 作 为 参 数 或 者 输 出 传 递 的 过 程 ， 这 里 转 换 的 工 作 往 往 非 常 繁 琐 。   这 里 举 个 例 子 ， 做 过 J a v a 的 都 会 深 有 体 会 ， 下 面 代 码 的 s e t / g e t 看 起 来 不 那 么 优 雅 🙁 E l e m e n t C o n f e f = n e w E l e m e n t C o n f ( ) ; e f . s e t T p l C o n f I d ( t p l C o n f M o d e l . g e t T p l C o n f I d K e y ( ) ) ; e f . s e t T e m p l a t e I d ( t p l C o n f M o d e l . g e t T e m p l a t e I d [ . . . . . . ] p c l a s s = r e a d m o r e > a h r e f = h t t p s : / / n e o r e m i n d . c o m / 2 0 1 6 / 0 8 / e a s y m a p p e r % e 4 % b 8 % 8 0 % e 4 % b 8 % a a % e 7 % 8 1 % b 5 % e 6 % b 4 % b b % e 5 % 8 f % a f % e 6 % 8 9 % a 9 % e 5 % b 1 % 9 5 % e 7 % 9 a % 8 4 % e 9 % a b % 9 8 % e 6 % 8 0 % a 7 % e 8 % 8 3 % b d b e a n m a p p i n g % e 7 % b 1 % b b % e 5 % b a % 9 3 / > 继 续 阅 读 a > p > E l e m e n t C o n f e f = n e w E l e m e n t C o n f ( ) ; e f . s e t T p l C o n f I d ( t p l C o n f M o d e l . g e t T p l C o n f I d K e y ( ) ) ; e f . s e t T e m p l a t e I d ( t p l C o n f M o d e l . g e t T e m p l a t e I d [ . . . . . . ] 继 续 阅 读 从 J V M 说 起 到 初 探 S c a l a 应 用 实 践 8 月 5 , 2 0 1 6 最 近 在 公 司 组 内 分 享 了 一 次 关 于 J V M 、 S c a l a 以 及 S p a r k 介 绍 性 质 浅 析 的 议 题 ， 这 种 形 式 的 分 享 可 以 鞭 策 自 己 主 动 、 自 驱 的 完 成 一 些 既 定 目 标 ， 还 能 和 有 经 验 的 人 士 一 起 交 流 ， 共 享 与 学 习 是 每 一 个 做 技 术 的 同 胞 都 应 该 拥 抱 的 价 值 观 。 P P T 见 连 接 ， 请 点 此 。 [ … … ] 继 续 阅 读 大 塞 车 游 戏 活 动 的 算 法 解 7 月 2 7 , 2 0 1 6 最 近 在 公 司 组 织 的 培 训 上 ， 遇 到 了 一 个 很 有 意 思 的 算 法 题 ， 这 篇 文 章 就 借 这 个 为 题 提 供 一 个 解 。 解 的 代 码 用 J a v a 实 现 ， 并 配 有 演 示 ， 已 经 放 到 了 g i t h u b 上 h t t p s : / / g i t h u b . c o m / n e o r e m i n d / b i g t r a f f i c j a m s o l v e r 。   首 先 感 谢 李 培 英 老 师 ， 《 职 业 化 研 讨 》 这 门 课 非 常 值 得 公 司 内 的 一 线 管 理 人 员 去 学 习 。 在 讲 到 职 业 化 内 涵 里 的 “ 规 则 意 识 ” 一 节 时 ， 让 大 家 做 了 一 个 简 单 的 大 塞 车 游 戏 ， 规 则 如 下 ：   1 、 邀 请 1 0 人 以 上 的 学 员 （ 注 意 是 偶 数 ， 当 然 越 多 越 好 ） ， 列 成 两 队 ， 面 对 面 的 坐 在 椅 子 上 。 2 、 中 间 叫 做 “ 鸿 沟 & r d q [ … … ] 继 续 阅 读 F l u m e + K a f k a 收 集 D o c k e r 容 器 内 分 布 式 日 志 应 用 实 践 5 月 1 6 , 2 0 1 6 1 背 景 和 问 题 随 着 云 计 算 、 P a a S 平 台 的 普 及 ， 虚 拟 化 、 容 器 化 等 技 术 的 应 用 ， 例 如 D o c k e r 等 技 术 ， 越 来 越 多 的 服 务 会 部 署 在 云 端 。 通 常 ， 我 们 需 要 需 要 获 取 日 志 ， 来 进 行 监 控 、 分 析 、 预 测 、 统 计 等 工 作 ， 但 是 云 端 的 服 务 不 是 物 理 的 固 定 资 源 ， 日 志 获 取 的 难 度 增 加 了 ， 以 往 可 以 S S H 登 陆 的 或 者 F T P 获 取 的 ， 现 在 可 不 那 么 容 易 获 得 ， 但 这 又 是 工 程 师 迫 切 需 要 的 ， 最 典 型 的 场 景 便 是 ： 上 线 过 程 中 ， 一 切 都 在 G U I 化 的 P a a S 平 台 点 点 鼠 标 完 成 ， 但 是 我 们 需 要 结 合 t a i l F 、 g r e p 等 命 令 来 观 察 日 志 ， 判 断 是 否 上 线 成 功 。 当 然 这 是 一 种 情 况 ， 完 善 的 P a a S 平 台 会 为 我 们 完 成 这 个 工 作 ， 但 是 还 有 非 常 多 的 a d h o c 的 需 求 ， P a a S 平 台 无 法 满 足 [ … … ] 继 续 阅 读 使 用 S c a l a 开 发 一 个 D S L 来 做 远 程 调 用 4 月 4 , 2 0 1 6 问 题 背 景 最 近 在 实 施 微 服 务 化 过 程 中 ， 发 现 了 一 类 潜 在 需 求 （ 这 就 是 传 说 中 开 发 者 的 敏 锐 嗅 觉 = _ = ? ） : 如 何 快 速 的 来 进 行 远 程 R P C 调 用 ， 来 进 行 测 试 、 排 查 问 题 ？ 服 务 调 用 方 式 有 两 种 形 式 ， 如 下 图 所 示 。 第 一 种 ， 传 统 的 方 式 ， 服 务 p r o v i d e r 提 供 S D K ， 服 务 c o n s u m e r 在 构 建 环 境 中 引 入 S D K 依 赖 ， 并 且 配 置 I P : P O R T ， 直 连 调 用 。   第 二 种 ， 改 进 的 方 式 ， 服 务 p r o v i d e r 通 过 平 台 治 理 中 心 来 生 成 S D K ， 实 际 就 是 将 A P I 的 接 口 和 签 名 、 类 定 义 信 息 进 行 统 一 的 s c h e m a 描 述 （ 可 以 使 用 p r o t o ） 后 ， 由 平 台 负 责 生 成 S D K ， 服 务 c o n s u m e r 可 以 通 过 契 约 s c h e m a 的 方 式 、 [ … … ] 继 续 阅 读 下 一 页 © 2 0 2 5 n e o R e M i n D | 京 I C P 备 1 6 0 0 4 9 8 1 号 2

站点概括

关于neoremind.com说明：
neoremind.com由网友主动性提交被爱收录站整理收录的，爱收录站仅提供neoremind.com的基础信息并免费向大众网友展示，neoremind.com的是IP地址：- 地址：-，neoremind.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、neoremind.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：http://5qa.2dhz.cn/links/c12f0d6e253dc2df6169.html，复制请保留版权链接！

---