共计 3196 个字符，预计需要花费 8 分钟才能阅读完成。

这篇文章主要介绍 Ceph 中 RGW 是如何向底层 OSD 发送 Message 的，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

1. Librados 的读写流程

在 src/cls/rgw/cls_rgw_client.cc 可以看到如下函数：

int cls_rgw_lc_set_entry(IoCtx  io_ctx, string  oid, pair string, int  entry)
 bufferlist in, out;
 cls_rgw_lc_set_entry_op call;
 call.entry = entry;
 ::encode(call, in);
 int r = io_ctx.exec(oid,  rgw ,  lc_set_entry , in, out);
 return r;
}

继续跟踪 io_ctx.exec() 这个函数调用, 在 src/librados/librados.cc 可以查看到相应的函数实现如下：

int librados::IoCtx::exec(const std::string  oid, const char *cls, const char *method,
 bufferlist  inbl, bufferlist  outbl)
 object_t obj(oid);
 return io_ctx_impl- exec(obj, cls, method, inbl, outbl);
}

继续跟踪 io_ctx_impl- exec() 这个函数调用，在 librados/IoCtxImpl.cc 中看到如下实现：

int librados::IoCtxImpl::exec(const object_t  oid, 
 const char *cls, const char *method,
 bufferlist  inbl, bufferlist  outbl)
 ::ObjectOperation rd;
 prepare_assert_ops(rd);
 rd.call(cls, method, inbl);
 return operate_read(oid,  rd,  outbl);
}

rd.call() 此函数将该操作封装成 OSDOp，放入 ObjectOperation 对象的 vector 集合中。在最后的 operate_read(oid, rd, outbl) 函数中发起读写请求操作：

int librados::IoCtxImpl::operate_read(const object_t  oid, 
 ::ObjectOperation *o,
 bufferlist *pbl,
 int flags)
 if (!o- size())
 return 0;
 Mutex mylock( IoCtxImpl::operate_read::mylock 
 Cond cond;
 bool done;
 int r;
 version_t ver; 
 Context *onack = new C_SafeCond( mylock,  cond,  done,   
 int op = o- ops[0].op.op;
 ldout(client- cct, 10)   ceph_osd_op_name(op)     oid=    oid     nspace=    oloc.nspace   dendl;
 Objecter::Op *objecter_op = objecter- prepare_read_op(oid, oloc,
 *o, snap_seq, pbl, flags,
 onack,  ver);
 lock- Lock();
 objecter- op_submit(objecter_op);
 lock- Unlock();
 mylock.Lock();
 while (!done)
 cond.Wait(mylock);
 mylock.Unlock();
 ldout(client- cct, 10)    Objecter returned from  
   ceph_osd_op_name(op)     r=    r   dendl;
 set_sync_op_version(ver);
 return r;
}

需要说明的是 operate_read(oid, rd, outbl) 可以分解为一下三个步骤：

创建一个 Op 实例, 数据结构变成了 Objecter::Op

Objecter::Op *objecter_op = objecter- prepare_read_op(oid, oloc,
 *o, snap_seq, pbl, flags,
 onack,  ver);

操作提交到 objecter 层，操作对象类型变为 Objecter::Op, 函数实现在 osdc/Objecter.cc:

objecter- op_submit(objecter_op)

继续调用 ceph_tid_t Objecter::_op_submit() 函数，函数实现在 osdc/Objecter.cc：省略了部分代码，重点关注 send_op(op)

ceph_tid_t Objecter::_op_submit(Op *op) 
 // pick tid if we haven t got one yet
 if (op- tid == ceph_tid_t(0)) {
 ceph_tid_t mytid = ++last_tid;
 op- tid = mytid;
 }
 assert(client_inc  = 0);
 // pick target
 num_homeless_ops++; // initially; recalc_op_target() will decrement if it finds a target
 int r = recalc_op_target(op);
 bool check_for_latest_map = (r == RECALC_OP_TARGET_POOL_DNE);
 ............
 else if (op- session) { send_op(op);
 } 
 .............
 }

这里的 send_op(op) 就是我们要关注的重点了. 从这里开始就会用到网络层提供的各种操作将消息, 也就是这里的 op 发送出去. 这里可以看成是调用网络层的一个起点.

下面的代码就和网络层有关系了。

2. 发送消息的过程。

在网络层中，需要注意的是类 Messenger 是核心的数据结构。同时也是个抽象基类，在 Firefly 版本中，由于网络通信类型只实现了 SimpleMessenger 这一单一类型。在后面，就会看到 SimpleMessenger 是继承自 Messenger 类，很多方法最终都是调用的是 SimpleMessenger（在此也可以体会到多态思想）。首先，看一下 Objecter 类的声明 (其他部分已省略)：

class Objecter : public md_config_obs_t {
 ...........
 public:
 Messenger *messenger;
 ........
}

在这个类中声明了 messenger. 从 ceph_tid_t Objecter::_op_submit(Op *op) 中可以看到，最后调用了 send_op() 函数。这个函数末尾：

messenger- send_message(m, op- session- con);

可以看出，需要发送的消息是: m。发送到哪里去呢？通过 **op- session- con** 可以获取到相应的连接。

以上是“Ceph 中 RGW 是如何向底层 OSD 发送 Message 的”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注丸趣 TV 行业资讯频道！